В статье описаны принципы работы модуля "VPU (Vlan Per User)" и алгоритм его установки. Модуль позволяет помещать каждый сервер (группу серверов) в отдельный широковещательный домен. Подробнее о VLAN см. в статье VLAN.

Установка и настройка модуля

Нажмите Интеграция → Модули → Установить для установки модуля.

После установки кнопка Установить заменяется на кнопку Настроить.

Для настройки нужен маршрутизатор, на котором настраивается IRB-интерфейс, а также группы IP-адресов в IPmanager.

Подробнее см. в статьях Создание маршрутизатора и Интеграция с IPmanager.

 Укажите:

  • Тип IP-адреса при освобождении — при освобождении сервера (при смене владельца сервера на "без владельца") у него удаляются IP-адреса из VLAN-сети и ему присваивается новый IP-адрес данного типа. Укажите название группы IP-адресов, созданной в IPmanager;
  • Помещать в VLAN при освобождении — опция помещения сервера в VLAN после освобождения. Если необходима настройка адреса IPMI, то подключение IPMI переключится в выбранный VLAN после диагностики. Если настройка адреса IPMI не требуется, порт сервера переключится в выбранный VLAN, а затем будет проведена диагностика;
  • ID VLAN при освобождении — идентификатор VLAN для помещения сервера при его освобождении. Указывается только при включённой опции "Помещать в VLAN при освобождении";
  • Маршрутизатор для синхронизации — маршрутизатор, на котором настраивается IRB-интерфейс;
  • Тип IP-адресов — тип адресов, используемых для выдачи серверам в VPU-сети;
  • Тип IP-адресов IPMI— тип адресов, используемых для выдачи IPMI в VPU-сети. Укажите для автоматической настройки IPMI при включении серверов в VPU;
  • Тип дополнительных IP-адресов — тип адресов, используемых для выдачи дополнительных IP-адресов (алиасы) для серверов в VPU-сетях;
  • Диапазоны VLAN ID — идентификаторы VLAN, которые разрешено использовать для создания VPU. Начальный и конечный идентификатор диапазона указываются через дефис, диапазоны указываются через пробел. Например "1-15 29 50 333-400";
  • Сети провайдера — сети, в которые должны входить все дополнительные IP-адреса (алиасы). В противном случае дополнительные IP-адреса не будут включены в список анонсирования маршрутизатора. Указываются в формате <адрес сети>/<маска>. Значение данного поля используется при конфигурировании Bird. Подробнее о Bird см. на официальном сайте;
  • ID AS — идентификатор автономной системы. Значение данного поля используется при конфигурировании Bird;
  • Удалять VPU сеть автоматически — опция для автоматического удаления VPU-сети при удалении из неё последнего IP-адреса. По умолчанию включена. 

После настройки модуля "VPU (Vlan Per User)" в Главное меню → Виртуальные сети(VLAN) доступна кнопка Сети.

Использование модуля

После настройки модуля для включения режима VPU на сервере:

  • создайте сеть в VLAN;
  • настройте IPMI сервера;
  • настройте сервер.

Сервер переключается в режим VPU после запуска операции на нём или после проведения настройки IPMI (с версии 5.155).

Создание сетей в VLAN

Нажмите Главное меню → Виртуальные сети(VLAN) → Сети для просмотра списка VPU-сетей, который включены в выбранный VLAN, и управления ими.

Нажмите Добавить для создания VPU в VLAN:
 

Укажите:

  • Выбрать группу адресов — опция выбора группы IP-адресов, из которой будут выделены адреса для VPU;
  • Группа IP-адресов — группа адресов, из которой будут выделены адреса для VPU. Указывается только при включённой опции "Выбрать группу адресов";
  • Префикс для выделяемой сети — префикс определяет количество IP-адресов, которое будет выделено для VPU.

После создания VPU-сеть добавляется в список сетей и в столбце состояние отображаются иконки типа "конверт" и типа "восклицательный знак".
 

Иконка типа "восклицательный знак" означает, что требуется выполнить команды на маршрутизаторе. Команды отображаются по наведению указателя мыши на иконку типа "конверт".

Пример настроек маршрутизатора:

set interface irb unit 2001 family inet address 11.0.0.4/31 set vlans vlan2001 vlan-id 2001 l3-interface irb.2001
BASH

2001 — целевой VLAN.

11.0.0.4/31 — первый адрес из VPU сети.

После выполнения указанной команды на маршрутизаторе опросите его из панели управления. Для этого нажмите Оборудование → Маршрутизаторы → Опросить.

После опроса исчезнет иконка типа "восклицательный знак" в столбце Состояние VPU-сети.

Настройка IPMI сервера

Если есть сервер с единственным подключением к коммутатору, на котором расположен IPMI, то при внесении такого сервера в VLAN связь с IPMI пропадает. Для избежания потери связи добавлена возможность автоматической настройки IPMI при внесении сервера в VPU (с версии 5.155).

Для использования автоматической настройки IPMI:

  1. Со стороны DCImanager:
    1. Укажите Тип IP-адресов IPMI в настройках модуля "VPU (Vlan Per User)".
    2. Включите опцию Добавлять IPMI автоматически в Настройки → Глобальные настройки → блок настроек IPMI.
  2. Со стороны сервера:
    1. Сервер не должен находиться в VPU, т.е. серверу не должны быть присвоены VPU-адреса.
    2. На сервере не должно быть запущенных операций.
    3. На сервере должно быть единственное подключение — "Подключение к IPMI".

После выполнения данных условий при настройке существующего сервера будет доступна опция Настроить IPMI.

Для автоматической настройки IPMI при освобождении сервера:

  1. Укажите параметр ID VLAN при освобождении в настройках модуля VPU.
  2. Включите опцию Диагностика при освобождении в Настройки → Глобальные настройки → блок настроек Политики.
  3. Укажите параметр Блок IP-адресов для IPMI в Настройки → Глобальные настройки → блок настроек IPMI.

Если условия выполнены, то при смене владельца сервера на "без владельца" на сервере будет запущена диагностика. В ходе диагностики изменяются настройки IPMI. После проведения операции VLAN на порту коммутатора изменяется на заданный в настройках модуля.

Настройка существующего сервера

Настройка существующего сервера подразумевает выделение ему IP-адреса для его включения в VPU. Нажмите Главное меню → Серверы → IP-адреса → Добавить:
 

Укажите:

  • Использовать VPU-сеть — опция создания VPU-сети для сервера. Включите эту опцию;
  • Имя хоста — доменное имя, закреплённое за IP-адресом;
  • VLAN из VPU-сети — VLAN, из которого выбирается VPU-сеть. Если вы используете модуль "Пользовательские VLAN", то в список попадают VLAN владельца сервера и без владельца. Подробнее о модуле см. в статье Модуль "Пользовательские VLAN";
  • VPU-сеть — выбор VPU-сети, из которой будет выделен IP-адрес для сервера.

Обратите внимание!

Чтобы добавить серверу IP-адрес из VPU-сети, у владельца сервера должна быть VPU-сеть. Добавить адрес из чужой VPU-сети невозможно.

VPU-сети без владельца доступны для использования на любом сервере. 

Настройка нового сервера

Настройка нового сервера подразумевает выделение ему IP-адреса при создании для включения его в VPU-сеть. Нажмите Главное меню → Серверы → Создать. При создании в блоке настроек Система включите опцию Использовать VPU-сеть, выберите VLAN из VPU-сети и укажите VPU-сеть, в которую будет добавлен сервер: 

Отключение режима VPU на сервере

Удалите у сервера все IP-адреса из VPU-сетей для отключения на нём режима VPU.

Обратите внимание!

При удалении IP-адресов из VPU-сети у сервера не происходит освобождение данных IP-адресов в базе IP-адресов или IPmanager. Однако их можно назначить другим серверам. IP-адреса из VPU-сети освобождаются только после её удаления.

Принципы работы модуля

Принципы автоматической настройки IPMI сервера

Алгоритм автоматической настройки IPMI при добавлении серверу IP-адреса из VPU:

  1. Автоматически создаётся /31 VPU-сеть для IPMI с типом, который указан в настройках модуля (параметр Тип IP-адреса при освобождении).
  2. Серверу выделяется временный адрес с доменом "temp.ipmi.ip.address" из созданной VPU-сети.
  3. С помощью временного адреса на сервере запускается операция по смене настроек IPMI.
  4. Во время проведения операции серверу выделяется IP-адрес для IPMI из сети с VLAN, который указан в сети для сервера.
  5. После окончания операции временно выделенный адрес удаляется, а подключение сервера переходит во VLAN из VPU.

Алгоритм автоматической настройки IPMI при освобождении сервера или удалении последнего адреса из VPU-сети:

  1. Серверу выделяется временный адрес с доменом "temp.ipmi.ip.address" из сети VLAN, в которой находился сервер.
  2. С помощью временного адреса на сервере запускается операция по смене настроек IPMI.
  3. Во время проведения операции серверу выделяется IP-адрес для IPMI с типом, который указан в Настройки → Глобальные настройки → блок настроек IPMI → поле Блок IP-адресов для IPMI.
  4. После окончания операции временно выделенный адрес удаляется, а подключение сервера переходит во VLAN, которая указана в настройках модуля (параметр ID VLAN при освобождении).

Технические детали

Настройка DHCP-relay

set forwarding-options dhcp-relay forward-snooped-clients all-interfaces
set forwarding-options dhcp-relay server-group dci-dhcp-relay 10.10.10.1
set forwarding-options dhcp-relay active-server-group dci-dhcp-relay
set forwarding-options dhcp-relay group dci-dhcp-relay interface irb.2001
BASH

10.10.10.1 — основной IP-адрес DCImanager, на котором настроен DHCP-сервер.

irb.2001 — IRB-интерфейс.

Дополнительные IP-адреса

Дополнительные IP-адреса могут быть назначены из любых сетей. После их добавления в конфигурационном файле Bird (bird.conf) создаётся соответствующая запись в секцию "filter ibgp_policy":

filter ibgp_policy {
	if ( dest = RTD_UNREACHABLE && pref_from_isp() && net =10.0.0.2/32 ) then {
		bgp_next_hop = 11.0.0.15;
		print "Alias accepted: ",net;
		bgp_origin = 0; bgp_community = -empty-;
		bgp_community.add((1111,1));
		accept;
	}
	reject;
}
BASH

10.0.0.2 — дополнительный адрес.

11.0.0.15 — адрес из VPU-сети.

Перегенерация конфигурационного файла Bird

Синхронизация конфигурационного файла Bird с настройками из DCImanager выполняется командой:

/usr/local/mgr5/sbin/mgrctl -m dcimgr bird.rebuild
BASH

Конфигурационный файл Bird полностью очищается. Добавляются все записи для серверов с VPU. Старый конфигурационный файл сохраняется в /etc/bird.conf.reset.bak.

Параметры и опции конфигурационного файла DCImanager

Опции:

  • Option AllowVPU — включение режима "VPU";
  • Option AllowVlanOnFree — включение возможности указать VLAN по умолчанию, в которую перейдут подключения к коммутатору после освобождения сервера;
  • Option CreateNetOnRouter — включение автоматической настройки интерфейса для VPU на маршрутизатораx Juniper (с версии 5.147).

Параметры:

  • DefaultIpType — тип IP-адреса, который выделяется для сервера при освобождении сервера c VPU;
  • VPUFreeIpPool — пул IP-адресов, из которого выделяется адрес для сервера при освобождении сервера c VPU. Необходим для внутреннего использования с IPmanagementV2;
  • DefaultVlan — идентификатор VLAN для помещения сервера при его освобождении. Указывается только при наличии опции "AllowVlanOnFree";
  • RouterSync — идентификатор маршрутизатора для синхронизации списка VLAN на этом маршрутизаторе с таблицей "router_vlan";
  • VpuNetIpType — тип адресов для выделения серверам в VPU-сети;
  • VPUNetIpPool — пул IP-адресов для выделения серверам в VPU-сети. Необходим для внутреннего использования с IPmanagementV2;
  • VpuNetIpTypeIpmi — тип адресов для выделения IPMI серверов в VPU-сети;
  • VPUNetIpPoolIpmi — пул IP-адресов для выделения IPMI серверов в VPU-сети. Необходим для внутреннего использования с IPmanagementV2;
  • AliasIpType — тип адресов для выделения серверам в VPU в качестве дополнительных IP-адресов;
  • VPUAliasIpPool — пул IP-адресов для выделения серверам в VPU в качестве дополнительных IP-адресов. Необходим для внутреннего использования c IPmanagementV2;
  • AllowVlanRange — идентификаторы VLAN для создания VPU. Указываются диапазонами в формате число-число через запятую, например: "102-105, 2000-2500";
  • AutonomSystem — номер (идентификатор) автономной системы (AutonomousSystem) для BGP для VPU.