Linux агрегирование сетевых интерфейсов

Объединение сетевых карт в Linux

Nov 30, 2015 15:52 · 547 words · 3 minute read hardware

Объединение сетевых карт в Linux (bonding) используется для агрегирования нескольких физических сетевых интерфейсов в один логический.

Чаще всего сетевые интерфейсы работают в режиме горячего резерва или балансировки нагрузки — все зависит от выбранной политики. Давайте разберемся с объединением сетевых карт в ОС Debian Wheezy!

В нашем примере используется одноранговая сеть (peer-to-peer) между двумя серверами, по которой синхронизируются drbd-разделы. Необходимо использовать объединение сетевых карт в режиме balance-rr (round-robin) на случай выхода из строя одного из сетевых интерфейсов.

Настройки будут проводиться на серверах:

lsb_release -a Distributor ID: Debian Description: Debian GNU/Linux 7.8 (wheezy) Release: 7.8 Codename: wheezy 

Устанавливаем необходимый пакет ifenslave на оба сервера:

aptitude install ifenslave-2.6 

Правим /etc/network/interfaces на первом сервере, добавляем следующие строки:

auto bond0 iface bond0 inet static address 172.16.0.1 netmask 255.255.255.0 gateway 172.16.0.254 bond_mode balance-rr bond_miimon 100 bond_downdelay 200 bond_updelay 200 slaves eth2 eth3 

На втором сервере в /etc/network/interfaces добавляем:

auto bond0 iface bond0 inet static address 172.16.0.2 netmask 255.255.255.0 gateway 172.16.0.254 bond_mode balance-rr bond_miimon 100 bond_downdelay 200 bond_updelay 200 slaves eth2 eth3 

Подробнее об используемых параметрах:

• bond_mode balance-rr — режим round-robin , применяется для отказоустойчивости и балансировки нагрузки;
• bond_miimon 100 — периодичность MII мониторинга (миллисекунды);
• bond_downdelay 200 — время задержки перед отключением интерфейса при сбое соединения (миллисекунды);
• bond_updelay 200 — время задержки перед включением интерфейса при восстановлении соединения (миллисекунды);
• slaves eth2 eth3 — при такой конфигурации описывать интерфейсы eth2 и eth3 в /etc/network/interfaces не нужно.

Далее на обоих серверах выполняем:

Примечание. Проверить, загружен модуль или нет можно с помощью команды lsmod | grep bonding .

Опять же, на обоих серверах:

ifdown eth2 eth3 && ifup bond0 

После проделанных действий проверим, что новые сетевые интерфейсы действительно добавились. Первый сервер:

ifconfig bond0 Link encap:Ethernet HWaddr 68:05:ca:20:4f:6a  inet addr:172.16.0.1 Bcast:172.16.0.255 Mask:255.255.255.0  inet6 addr: fe80::6a05:caff:fe20:4f6a/64 Scope:Link  UP BROADCAST RUNNING MASTER MULTICAST MTU:1500 Metric:1  RX packets:5091884726 errors:0 dropped:0 overruns:0 frame:0  TX packets:16029676320 errors:0 dropped:0 overruns:0 carrier:0  collisions:0 txqueuelen:0  RX bytes:424211603599 (395.0 GiB) TX bytes:22123967678480 (20.1 TiB) . 

ifconfig bond0 Link encap:Ethernet HWaddr 68:05:ca:20:51:ec  inet addr:172.16.0.2 Bcast:172.16.0.255 Mask:255.255.255.0  inet6 addr: fe80::6a05:caff:fe20:51ec/64 Scope:Link  UP BROADCAST RUNNING MASTER MULTICAST MTU:1500 Metric:1  RX packets:16029826998 errors:0 dropped:0 overruns:0 frame:0  TX packets:5091930656 errors:0 dropped:0 overruns:0 carrier:0  collisions:0 txqueuelen:0  RX bytes:22124111859139 (20.1 TiB) TX bytes:424213993831 (395.0 GiB) . 

При объединении сетевых карт в Linux можно использовать следующие режимы ( mode ) поведения сетевых интерфейсов:

• balance-rr , или mode=0 — режим round-robin, последовательная отправка пакетов с первого по последний доступный интерфейс. Такая политика применяется для балансировки нагрузки и отказоустойчивости;
• active-backup , или mode=1 — режим активный-резервный, работает только один сетевой интерфейс. Второй интерфейс становится активным, когда «падает» текущий активный интерфейс. Такая политика применяется для обеспечения отказоустойчивости;
• balance-xor , или mode=2 — режим передачи данных когда один и тот же сетевой интерфейс передаёт пакеты одним и тем же получателям. Политика XOR используется для балансировки нагрузки и отказоустойчивости;
• broadcast , или mode=3 — режим передачи всех пакетов на все сетевые интерфейсы, политика применяется для обеспечения отказоустойчивости путем избыточности;
• 802.3ad , или mode=4 — режим агрегирования каналов по стандарту IEEE 802.3ad (объединение сетевых карт с одинаковой скоростью и дуплексом);
• balance-tlb , или mode=5 — режим адаптивной балансировки передачи данных, входящие пакеты приходят на активную сетевую карту, а исходящие распределяются в зависимости от текущей загрузки каждого сетевого интерфейса;
• balance-alb , или mode=6 — режим адаптивной балансировки передачи данных, при котором и входящие, и исходящие пакеты распределяются в зависимости от текущей загрузки каждого сетевого интерфейса.

Read more

© Copyright 2023 Yevhen Lebid

Источник

UbuntuBonding

Bonding, also called port trunking or link aggregation means combining several network interfaces (NICs) to a single link, providing either high-availability, load-balancing, maximum throughput, or a combination of these. See Wikipedia for details.

Installation

sudo apt-get install ifenslave

Interface Configuration

Step 1: Ensure kernel support

Before Ubuntu can configure your network cards into a NIC bond, you need to ensure that the correct kernel module bonding is present, and loaded at boot time.

Edit your /etc/modules configuration:

Ensure that the bonding module is loaded:

# /etc/modules: kernel modules to load at boot time. # # This file contains the names of kernel modules that should be loaded # at boot time, one per line. Lines beginning with "#" are ignored. loop lp rtc bonding

Note: Starting with Ubuntu 9.04, this step is optional if you are configuring bonding with ifup/ifdown. In this case, the bonding module is automatically loaded when the bond interface is brought up.

Step 2: Configure network interfaces

Ensure that your network is brought down:

Then load the bonding kernel module:

Now you are ready to configure your NICs.

1. Pick which available NICs will be part of the bond.
2. Configure all other NICs as usual
3. Configure all bonded NICs:
   1. To be manually configured
   2. To join the named bond-master

   Edit your interfaces configuration:

   sudo vi /etc/network/interfaces

   For example, to combine eth0 and eth1 as slaves to the bonding interface bond0 using a simple active-backup setup, with eth0 being the primary interface:

   # eth0 is manually configured, and slave to the "bond0" bonded NIC auto eth0 iface eth0 inet manual bond-master bond0 bond-primary eth0 # eth1 ditto, thus creating a 2-link bond. auto eth1 iface eth1 inet manual bond-master bond0 # bond0 is the bonding NIC and can be used like any other normal NIC. # bond0 is configured using static network information. auto bond0 iface bond0 inet static address 192.168.1.10 gateway 192.168.1.1 netmask 255.255.255.0 bond-mode active-backup bond-miimon 100 bond-slaves none

   The bond-primary directive, if needed, needs to be part of the slave description (eth0 in the example), instead of the master. Otherwise it will be ignored.

   As another example, to combine eth0 and eth1 using the IEEE 802.3ad LACP bonding protocol:

   # eth0 is manually configured, and slave to the "bond0" bonded NIC auto eth0 iface eth0 inet manual bond-master bond0 # eth1 ditto, thus creating a 2-link bond. auto eth1 iface eth1 inet manual bond-master bond0 # bond0 is the bonded NIC and can be used like any other normal NIC. # bond0 is configured using static network information. auto bond0 iface bond0 inet static address 192.168.1.10 gateway 192.168.1.1 netmask 255.255.255.0 # bond0 uses standard IEEE 802.3ad LACP bonding protocol bond-mode 4 bond-miimon 100 bond-lacp-rate 1 bond-slaves eth0 eth1

   The bond statements in 12.04 are dashed instead of underscored. The config above is updated based on Stéphane Graber’s bonding example at : http://www.stgraber.org/download/complex-interfaces

   The configuration as provided above works with Ubuntu 12.10 out of the box — michel-drescher, 10 Nov 2012

   For bonding-specific networking options please consult the documentation available at BondingModuleDocumentation.

   Finally, bring up your network again:

   Checking the bonding interface

   Link information is available under /proc/net/bonding/. To check bond0 for example:

   # cat /proc/net/bonding/bond0 Ethernet Channel Bonding Driver: v3.5.0 (November 4, 2008) Bonding Mode: IEEE 802.3ad Dynamic link aggregation Transmit Hash Policy: layer2 (0) MII Status: up MII Polling Interval (ms): 100 Up Delay (ms): 0 Down Delay (ms): 0 802.3ad info LACP rate: fast Aggregator selection policy (ad_select): stable bond bond0 has no active aggregator Slave Interface: eth1 MII Status: up Link Failure Count: 0 Permanent HW addr: 00:0c:29:f5:b7:11 Aggregator ID: N/A Slave Interface: eth2 MII Status: up Link Failure Count: 0 Permanent HW addr: 00:0c:29:f5:b7:1b Aggregator ID: N/A

   Bringing up/down bonding interface

   To bring the bonding interface, run

   To bring down a bonding interface, run

   Ethernet Bonding modes

   Ethernet bonding has different modes you can use. You specify the mode for your bonding interface in /etc/network/interfaces. For example:

   Descriptions of bonding modes

   Round-robin policy: Transmit packets in sequential order from the first available slave through the last. This mode provides load balancing and fault tolerance. Mode 1

   Active-backup policy: Only one slave in the bond is active. A different slave becomes active if, and only if, the active slave fails. The bond’s MAC address is externally visible on only one port (network adapter) to avoid confusing the switch. This mode provides fault tolerance. The primary option affects the behavior of this mode. Mode 2

   XOR policy: Transmit based on selectable hashing algorithm. The default policy is a simple source+destination MAC address algorithm. Alternate transmit policies may be selected via the xmit_hash_policy option, described below. This mode provides load balancing and fault tolerance. Mode 3

   Broadcast policy: transmits everything on all slave interfaces. This mode provides fault tolerance. Mode 4

   • Prerequisites:
     1. Ethtool support in the base drivers for retrieving the speed and duplex of each slave.
     2. A switch that supports IEEE 802.3ad Dynamic link aggregation. Most switches will require some type of configuration to enable 802.3ad mode.

     Mode 5

   • Prerequisites:
     • Ethtool support in the base drivers for retrieving the speed of each slave.

     Adaptive load balancing: includes balance-tlb plus receive load balancing (rlb) for IPV4 traffic, and does not require any special switch support. The receive load balancing is achieved by ARP negotiation. The bonding driver intercepts the ARP Replies sent by the local system on their way out and overwrites the source hardware address with the unique hardware address of one of the slaves in the bond such that different peers use different hardware addresses for the server.

     Descriptions of balancing algorithm modes

     The balancing algorithm is set with the xmit_hash_policy option.

     layer2 Uses XOR of hardware MAC addresses to generate the hash. This algorithm will place all traffic to a particular network peer on the same slave.

     layer2+3 Uses XOR of hardware MAC addresses and IP addresses to generate the hash. This algorithm will place all traffic to a particular network peer on the same slave.

     layer3+4 This policy uses upper layer protocol information, when available, to generate the hash. This allows for traffic to a particular network peer to span multiple slaves, although a single connection will not span multiple slaves.

     encap2+3 This policy uses the same formula as layer2+3 but it relies on skb_flow_dissect to obtain the header fields which might result in the use of inner headers if an encapsulation protocol is used.

     encap3+4 This policy uses the same formula as layer3+4 but it relies on skb_flow_dissect to obtain the header fields which might result in the use of inner headers if an encapsulation protocol is used.

     The default value is layer2. This option was added in bonding version 2.6.3. In earlier versions of bonding, this parameter does not exist, and the layer2 policy is the only policy. The layer2+3 value was added for bonding version 3.2.2.

     UbuntuBonding (последним исправлял пользователь sbright 2017-11-07 14:58:45)

     The material on this wiki is available under a free license, see Copyright / License for details
     You can contribute to this wiki, see Wiki Guide for details

     Источник