Топология сети дата центра
В проектировании сетевой инфраструктуры для дата-центров наметилась тенденция создания быстрой, масштабируемой и эффективной коммуникационной архитектуры. Архитектура Leaf-Spine как раз и отвечает таким запросам.
Объемы данных передаваемых по сети как внутри ЦОД, так и вовне, растут в геометрической прогрессии. Классическая трехуровневая сетевая архитектура «ядро – агрегация – доступ» начинает устаревать. Она постепенно заменяется т.н. Leaf-Spine архитектурой, которая способна быстро адаптироваться к непрерывно меняющимся потребностям предприятий, использующих «анализ больших данных» (Big Data), требующих несколько иных подходов к построению дата-центров.
Традиционная трехуровневая архитектура использовалась в сетях общего применения, обычно сегментированных в точках доставки PoD (Point of Delivery), которые ограничивали расположение устройств, таких как сервера виртуализации. Классическая архитектура обычно состоит из маршрутизаторов ядра сети (Core), маршрутизаторов уровня агрегации (Aggregation, иногда – Distribution) и коммутаторов доступа (Access). С целью резервирования они соединялись дублированными линками, которые в сети могли образовывать петли. Для устранения этого нежелательного явления использовался протокол Spanning Tree. Во время работы все маршруты, кроме основного, деактивируются. Резервный маршрут активируется только при отказе основного.
Рис. 1: Традиционная трехуровневая архитектура.
В архитектуре Leaf-Spine имеются только два уровня, при этом все устройства «равноудалены» от коммутаторов «ядра», т.е. имеют одинаковые и предсказуемые задержки при передаче пакетов. Эти уровни называются Leaf и Spine. Уровень Leaf состоит из коммутаторов доступа, подключенных к другим устройствам дата-центра: серверам, межсетевым шлюзам, балансировщикам нагрузки и оконечным коммутаторам. Уровень Spine, состоящий из маршрутизирующих коммутаторов, является ядром сети, где каждый Leaf-коммутатор подключен к каждому из Spine-коммутаторов. Между уровнями используется динамическая маршрутизация Layer 3, чтобы обеспечить предсказуемое расстояние между устройствами. Динамическая маршрутизация позволяет обеспечить наилучший маршрут. Такая архитектура предназначена в основном для дата-центров и ориентирована на трафик «East-West». В таком трафике передаются только данные, предназначенные для использования только внутри дата-центра. Этот новый подход решает присущие протоколу Spanning Tree ограничения, и дает возможность использовать и другие сетевые протоколы, а также методы построения динамичной сети.
Рис. 2: Архитектура Leaf-Spine
В сети Leaf-Spine используется маршрутизация Layer 3. Все маршруты сконфигурированы в активном режиме при помощи протокола равноудаленных маршрутов ECMP (Equal-Cost Multipathing). Это позволяет всем соединениям быть активными одновременно при сохранении стабильности без боязни образования петель внутри сети.
В традиционных протоколах коммутации Layer 2, таких как STP (Spanning Tree) в трехслойных сетях, все устройства должны быть правильно и вручную сконфигурированы и должны быть учтены все особенности STP. При этом очень велика вероятность ошибки конфигурации, в частности, неправильного определения приоритетов устройств, что может повлечь неэффективную прокладку маршрутов.
Преимущества Leaf-Spine
Замена STP между уровнями Access и Aggregation на маршрутизацию Layer 3 дает более стабильную работу сети. Другое преимущество – легкость добавления дополнительного оборудования и расширение емкости. При возникновении перегрузки линков (oversubscription), что означает генерацию бóльшего объема трафика, чем его может воспринять уровень агрегации), способность к увеличению емкости является очевидным преимуществом. Эта проблема легко решается добавлением еще одного коммутатора Spine. Точно также можно добавлять коммутаторы Leaf, когда не хватает портов доступа. При этом сеть легко расширяется и при этом не требуется возня с протоколами Layer 2
Недостатки Leaf-Spine
При использовании сетевой архитектуры Leaf-Spine возникают и некоторые проблемы. Во-первых, это большое количество кабельной «лапши» в стойках дата-центра, что видно даже на рисунке, показывающем архитектуру Leaf-Spine. И при добавлении новых коммутаторов на обоих уровнях эта проблема будет только расти. Нужно очень тщательно выбирать место расположения коммутаторов Spine в дата-центрах, особенно больших, чтобы минимизировать эту проблему.
Во-вторых, основной недостаток происходит от использования маршрутизации Layer 3, который не дает развертывать виртуальные сети VLAN во всей сети. Сети VLAN в архитектуре Leaf-Spine локализуются в каждом из Leaf-коммутаторов и другим Leaf-коммутаторам недоступны. Это может создавать проблемы при обеспечении мобильности гостевой виртуальной машины в пределах дата-центра.
Примеры применения Leaf-Spine
Веб-приложения, где расположение сервера внутри сети статично – подходящее применение для Leaf-Spine. Использование маршрутизации Layer 3 между уровнями не препятствует работе масштабируемых веб-приложений, потому что они не требуют мобильности серверов внутри дата-центра. Устранение протокола Spanning Tree (STP) положительно влияет на стабильность и надежность сети с преобладанием внутреннего трафика дата-центра (East-West). Масштабируемость архитектуры также улучшается.
Корпоративные приложения с использованием мобильных виртуальных машин (напр. vMotion) создают некоторые проблемы при обслуживании серверов в пределах дата-центра. Причина – использование Layer 3 и невозможность расширения VLAN между Leaf-коммутаторами. Для решения этой проблемы, может быть использовано решение программно-конфигурируемых сетей SDN (Software Defined Networking), которое создает виртуальный уровень Layer 2 поверх сети Leaf-Spine. При этом виртуальные серверы могут свободно перемещаться внутри среды дата-центра, без ухудшения эффективности трафика East-West, масштабируемости и стабильности топологии сети Leaf-Spine.
Как альтернатива маршрутизации Layer 3, в топологии Leaf-Spine могут использоваться и другие протоколы, такие как TRILL (Transparent Interconnection of Lots of Links) или SPB (Shortest Path Bridging), с которыми можно достичь схожей функциональности. При этом задействуется протокол ECMP уровня Layer 2, когда Spanning Tree работает только для организации VLAN’ов между Leaf-коммутаторами.
Таким образом, сети Leaf-Spine имеют существенные преимущества перед традиционной трехслойной архитектурой сети. Использование маршрутизации Layer 3 с протоколом ECMP (Equal Cost Multipathing) помогает значительно расширить доступную полосу пропускания, за счет эффективного использования доступных линков. При этом удается достичь адаптируемости и масштабируемости сети. Устранение протокола STP (Spanning Tree Protocol) существенно повышает стабильность сети. Недостатки Leaf-Spine (например, ограничения VLAN) можно преодолеть при помощи таких решений, как SDN.