IP-fabric — один из типов настройки сети кластера. Такой тип настройки позволяет создавать виртуальные машины (ВМ) с публичными IP-адресами в приватной сети.

ВМ в кластере IP-fabric получают IPv4-адреса с маской /32 или IPv6-адреса с маской /128. В качестве шлюза по умолчанию для каждой ВМ используется отдельный виртуальный интерфейс. Узлы кластера выполняют функцию маршрутизаторов.

Маршрутизация в кластере осуществляется с использованием протокола iBGP. Передачу информации о маршрутах iBGP выполняет оборудование Route Reflector (RR). В качестве такого оборудования могут использоваться физические или виртуальные маршрутизаторы и/или серверы. Рекомендуем использовать не менее двух комплектов оборудования RR в одном кластере — основного и резервного. 

Для работы IPv4-сети в кластере используйте не менее одного комплекта оборудования RR с IPv4-адресом, для работы IPv6-сети — не менее одного комплекта с IPv6-адресом.

Преимущества использования IP-fabric:

  • снижение объёма служебного трафика;
  • экономия адресного пространства;
  • изоляция трафика ВМ;
  • отсутствие привязки IP-адресов к узлам кластера;
  • возможность оперативной миграции ВМ между узлами кластера.

Логика работы


При создании ВМ в кластере IP-fabric:

  1. Платформа VMmanager:
    1. Создаёт отдельный виртуальный интерфейс <vmname>_net0. Например, для ВМ с именем sea_gold, интерфейс будет называться sea_gold_net0. Все виртуальные интерфейсы на узле будут иметь одинаковые IP и MAC-адреса.
    2. Устанавливает IP-адрес созданного интерфейса в качестве шлюза для ВМ. Маршрутизация между ВМ и шлюзом осуществляется через соединение "точка-точка" (PtP).
    3. Добавляет созданный маршрут в конфигурацию сервиса FRR на узле кластера.
  2. Сервис FRR передаёт информацию о созданном маршруте по протоколу iBGP на оборудование RR.
  3. Оборудование RR передаёт информацию о маршруте на оборудование Core Gateway. После этого ВМ становится доступна из внешней сети (интернета).

 

Пример работы кластера IP-fabric

iBGP протокол динамической маршрутизации, отвечающий за обмен маршрутами между узлами и сетевым оборудованием.

Node 1, Node 2, Node 3 — узлы кластера.

VM1, VM2, VM3... — виртуальные машины.

VNET — виртуальные сетевые интерфейсы.

Core Gateway — оборудование, обеспечивающее доступ во внешнюю сеть (интернет).

FRR сервис на узле кластера, реализующий работу протокола iBGP.

Linux CORE — ядро ОС на узле кластера

Route Reflector сервер или сетевое оборудование, принимающее информацию о маршрутах от узлов и передающее её в Core Gateway.

Backup Route Reflector — резервный комплект оборудования Route Reflector.

Порядок настройки


  1. В VMmanager:
    1. Создайте пул IP-адресов для ВМ. Подробнее см. Работа с пулами.
    2. Создайте кластер с типом настройки сети IP-fabric. Подробнее см. Создание кластера. При создании укажите:
      1. IP-адрес шлюза для ВМ. VMmanager будет присваивать этот адрес всем виртуальным интерфейсам на узле кластера и использовать его только для маршрутизации между ВМ на узле. Рекомендуем указать частный IP-адрес (например, 10.0.0.1). Этот адрес не должен использоваться где-либо ещё в локальной сети;
      2. BGP-комьюнити;
      3. IP-адреса и номера автономных систем оборудования RR.
    3. Добавьте узлы в кластер. Подробнее см. Управление серверами кластера

      На узлах кластера IP-fabric с виртуализацией KVM должна быть установлена ОС AlmaLinux 8, с виртуализацией LXD — ОС Ubuntu 20.04.

  2. Настройте BGP-сессии для каждого узла кластера на оборудовании RR: укажите в настройках IP-адреса узлов и номера автономных систем BGP.

Пример настройки


В примере рассматривается настройка IP-fabric в кластере серверов, используемых в качестве гипервизоров. Роль Core Gateway выполняет маршрутизатор Juniper MX. В качестве Route Reflector используются физические серверы с ОС Linux.

Подготовка

Для настройки понадобится следующее оборудование:

  • сервер с платформой VMmanager;
  • один или несколько узлов кластера с установленной ОС AlmaLinux 8 или Ubuntu 20.04;
  • один или два сервера Route Reflector;
  • маршрутизатор Juniper MX.

Перед настройкой:

  1. Получите у провайдера информацию о настройках BGP: номере автономной системы и комьюнити.
  2. Убедитесь, что протокол BGP настроен и функционирует правильно.
  3. Создайте пул IP-адресов для виртуальных машин в VMmanager.

Настройка маршрутизатора Core Gateway

Чтобы настроить "соседство" Core Gateway и Route Reflector:

  1. Добавьте в конфигурацию маршрутизатора новый фильтр:

    set policy-options policy-statement VM term isp-ipv4 from protocol bgp
            set policy-options policy-statement VM term isp-ipv4 from route-filter <filter> orlonger
            set policy-options policy-statement VM term isp-ipv4 then accept
            set policy-options policy-statement VM then reject
            set policy-options policy-statement reject-all then reject
    CODE

    <filter> — список сетей из VMmanager

  2. Добавьте в конфигурацию маршрутизатора новую группу:

    set protocols bgp group VM import VM
            set protocols bgp group VM export reject-all
            set protocols bgp group VM peer-as <as>
            set protocols bgp group VM neighbor <rr_ip>
    CODE

    <as> — номер автономной системы

    <rr_ip> — IP-адрес Route Reflector

  3. Проверьте и примените конфигурацию:

    commit check
    CODE
    commit confirmed 5
    CODE
  4. Проверьте, что маршруты BGP получены:

    show bgp group VM detail
    CODE
  5. Подтвердите изменения в конфигурации:

    commit
    CODE

Настройка серверов Route Reflector

Чтобы настроить "соседство" между Route Reflector, Core Gateway и узлами кластера, установите и настройте ПО FRRouting (FRR). Вы можете автоматизировать этот процесс с помощью скрипта.

Для установки FRR сервер должен иметь прямой доступ к сети Интернет без использования прокси. При необходимости настройте правила сети так, чтобы подключение к Интернет выполнялось в обход прокси через маршрутизаторы или межсетевые экраны.

Если для Route Reflector используется виртуальная машина под управлением VMmanager, запустите на ней скрипт Route Reflector:

  1. Перейдите в Виртуальные машины → меню Запустить скрипт.
  2. Выберите скрипт Route Reflector и укажите его параметры:
    1. AS — номер автономной системы BGP.
    2. NEIGHBOR — IP-адрес "соседа" — узла кластера VMmanager.
    3. PREFIX — префикс IP-сетей, которые будет принимать Route Reflector.
    4. Поддержка VxLAN — нужно ли передавать информацию о виртуальных сетях (VxLAN).
  3. Нажмите Запустить скрипт.

Если для Route Reflector используется физический сервер:

  1. Создайте файл route_reflector.sh следующего содержания:

    #!/bin/sh
    # tags: debian10,debian11,ubuntu2004,alma8
    RNAME=route_reflector
    
    set -x
    
    LOG_PIPE=/tmp/log.pipe.$$                                                                                                                                                                                                                    
    mkfifo ${LOG_PIPE}
    LOG_FILE=/root/${RNAME}.log
    touch ${LOG_FILE}
    chmod 600 ${LOG_FILE}
    
    tee < ${LOG_PIPE} ${LOG_FILE} &
    
    exec > ${LOG_PIPE}
    exec 2> ${LOG_PIPE}
    
    killjobs() {
        jops="$(jobs -p)"
        test -n "${jops}" && kill ${jops} || :
    }
    trap killjobs INT TERM EXIT
    
    echo
    echo "=== Recipe ${RNAME} started at $(date) ==="
    echo
    
    if [ -f /etc/redhat-release ]; then
        OSNAME=centos
    else
        OSNAME=debian
    fi
    
    Service() {
        # $1 - name
        # $2 - command
    
        if [ -n "$(which systemctl 2>/dev/null)" ]; then
            systemctl ${2} ${1}.service
        else
            if [ "${2}" = "enable" ]; then
                if [ "${OSNAME}" = "debian" ]; then
                    update-rc.d ${1} enable
                else
                    chkconfig ${1} on
                fi
            else
                service ${1} ${2}
            fi
        fi
    }
    
    if [ "${OSNAME}" = "debian" ]; then
        export DEBIAN_FRONTEND="noninteractive"
    
        # Wait firstrun script
        while ps uxaww | grep  -v grep | grep -Eq 'apt-get|dpkg' ; do echo "waiting..." ; sleep 3 ; done
        apt-get update --allow-releaseinfo-change || :
        apt-get update
        test -f /usr/bin/which || apt-get -y install which
        which lsb_release 2>/dev/null || apt-get -y install lsb-release
        which logger 2>/dev/null || apt-get -y install bsdutils
        OSREL=$(lsb_release -s -c)
        apt install -y curl ca-certificates
        curl -s https://deb.frrouting.org/frr/keys.asc | apt-key add -
        FRRVER="frr-stable"
        echo deb https://deb.frrouting.org/frr $(lsb_release -s -c) $FRRVER | tee -a /etc/apt/sources.list.d/frr.list
        apt update
        apt -y install frr frr-pythontools
    else
        OSREL=$(printf '%.0f' $(rpm -qf --qf '%{version}' /etc/redhat-release))
        FRRVER="frr-stable"
        yum install -y curl
        curl -O https://rpm.frrouting.org/repo/$FRRVER-repo-1-0.el8.noarch.rpm
        yum install -y ./$FRRVER*
        yum install -y frr frr-pythontools
    fi
    
    sed -i '/bgpd=/s/no/yes/' /etc/frr/daemons
    CONFIG="/etc/frr/frr.conf"
    ip=$(ip route get 1 | grep -Po '(?<=src )[^ ]+')
    if grep -q "router bgp" $CONFIG; then
        # Already exists. adding new neighbor or new network
        if grep -q "($NEIGHBOR)" $CONFIG; then
            # This neighbor already exists
            true
        else
            sed -i "/extended-nexthop/a    neighbor ($NEIGHBOR) peer-group fabric" $CONFIG
            sed -i "/extended-nexthop/a    neighbor ($NEIGHBOR) remote-as ($AS)" $CONFIG
        fi
        if [ "($VXLAN)" = "yes" ]; then
            # need to add vxlan?
            if grep -q "address-family l2vpn evpn" $CONFIG; then
                # already enabled
                true
            else
                sed -i '/exit-address-family/cexit-address-family\
        !\
        address-family l2vpn evpn\
            neighbor fabric activate\
            neighbor fabric route-reflector-client\
            advertise-all-vni\
        exit-address-family' $CONFIG
            fi
        fi
        if grep -q "($PREFIX)" $CONFIG; then
            # already added
            true
        else
            if ! [ "($PREFIX)" = "()" ]; then
                cat << EOF >> $CONFIG
    ip prefix-list IPV4_PLIST permit ($PREFIX) ge 32 le 32
    !
    EOF
            fi
        fi
    else
        cat << EOF > $CONFIG
    router bgp ($AS)
        bgp router-id $ip
        bgp log-neighbor-changes
        no bgp default ipv4-unicast
        neighbor fabric peer-group
        neighbor fabric capability extended-nexthop
        neighbor ($NEIGHBOR) remote-as ($AS)
        neighbor ($NEIGHBOR) peer-group fabric
        !
        address-family ipv4 unicast
            neighbor fabric activate
            neighbor fabric route-map IPV4_IMPORT in
            neighbor fabric route-reflector-client
        exit-address-family
        !
    EOF
        if [ "($VXLAN)" = "yes" ]; then
            cat << EOF >> $CONFIG
        address-family l2vpn evpn
            neighbor fabric activate
            neighbor fabric route-reflector-client
            advertise-all-vni
        exit-address-family
    EOF
        fi
        cat << EOF >> $CONFIG
    exit
    !
    route-map IPV4_IMPORT permit 5
        match ip address prefix-list IPV4_PLIST
    exit
    !
    ip nht resolve-via-default
    !
    EOF
    if ! [ "($PREFIX)" = "()" ]; then
        cat << EOF >> $CONFIG
    ip prefix-list IPV4_PLIST permit ($PREFIX) ge 32 le 32
    !
    EOF
        fi
        Service frr enable
    fi
    sed -i '/Nice/d' /usr/lib/systemd/system/frr.service
    sed -i '/Nuce/d' /lib/systemd/system/frr.service
    systemctl daemon-reload
    Service frr restart
    
    
    BASH
  2. Замените макросы в тексте файла:
    1. ($AS) — на номер автономной системы BGP.
    2. ($NEIGHBOR) — на IP-адрес "соседа" — узла кластера VMmanager.
    3. ($PREFIX) — на префикс IP-сетей, которые будет принимать Route Reflector.
    4. ($VXLAN) — на:
      • уеs — если сервис должен передавать информацию о виртуальных сетях (VxLAN);
      • no — если информацию о виртуальных сетях передавать не нужно.
  3. Запустите скрипт: 

    sh route_reflector.sh
    BASH

При добавлении новых узлов в кластер информацию о них нужно будет добавить в конфигурационный файл FRR. Для этого повторно запустите скрипт с нужными параметрами или внесите изменения вручную в файл /etc/frr/frr.conf.

Настройка VMmanager

Для настройки IP-fabric в VMmanager:

  1. Cоздайте кластер с типом сети IP-Fabric. При создании укажите настройки для соединения с Core Gateway и Route Reflector.
  2. Подключите серверы в созданный кластер.
  3. Создайте ВМ в кластере.