Skalierbare Rechenzentren mit Cisco FabricPath

Whitepaper
Skalierbare Rechenzentren mit Cisco FabricPath
Inhalte:
Traditionelle Netzwerkarchitekturen sind so entworfen, dass sie hohe Verfügbarkeit für statische Anwendungen
ermöglichen. Servervirtualisierung und hoch skalierbare verteilte Anwendungen erfordern hingegen mehr
Flexibilität, um frei zwischen physischen Rechenzentrumszonen und größerer Bandbreitenskalierbarkeit
zur Unterstützung der Any-to-Any-Kommunikation zu wechseln.
Cisco® FabricPath, ein zentrales Element innerhalb von Cisco Unified Fabric, ist eine innovative Cisco NX-OSSoftwaretechnologie, die aktuelle und zukünftige Anforderungen erfüllt und das Rechenzentrumdesign
revolutioniert. Diese Technologie bringt die Stabilität und Leistung des Layer 3-Routings in Layer 2-SwitchedNetzwerke, um für ein zuverlässiges und skalierbares Layer 2-Fabric zu sorgen. Cisco FabricPath bildet die
Basis für hoch skalierbare und flexible Rechenzentren.
Herausforderungen des aktuellen Netzwerkdesigns
Moderne Rechenzentren enthalten auch weiterhin eine Form des Layer 2-Switchings, zum Teil aufgrund der von
bestimmten Lösungen festgelegten Anforderungen, die Layer 2-Verbindungen voraussetzen, aber auch wegen des
Verwaltungsaufwands und der fehlenden Flexibilität, die die IP-Adressierung mit sich bringt. Die Einrichtung eines
Servers in einem Rechenzentrum erfordert eine genaue Planung und die Koordination mehrerer unabhängiger
Teams: Netzwerkteam, Serverteam, Anwendungsteam, Speicherteam u. v. m. In einem gerouteten Netzwerk
erfordert das Verschieben des Standorts eines Hosts das Ändern seiner Adresse, und da einige Anwendungen
Server über ihre IP-Adressen identifizieren, entspricht das Ändern des Standorts im Prinzip dem kompletten
Neustart des Serverinstallationsprozesses. Layer 2 gibt ein höheres Maß an Flexibilität, indem das Einfügen
oder Verschieben eines Geräts auf transparente Weise auf der IP-Ebene ermöglicht wird. Dank der
Virtualisierungstechnologien wird die Dichte verwalteter virtueller Server im Rechenzentrum erhöht und die
physischen Ressourcen besser genutzt. Es erhöht aber auch die Notwendigkeit flexibler Layer 2-Netzwerke.
Obwohl die für den Betrieb eines großen Rechenzentrums notwendige hohe Flexibilität durch Layer 2-Switching
bereitgestellt werden kann, weist es im Vergleich zu einer gerouteten Lösung auch einige Schwachstellen auf.
Die Layer 2-Datenebene ist anfällig für die Verbreitung von Frames. Die Weiterleitungstopologie, die häufig, aber
nicht notwendigerweise, vom Spanning Tree Protocol berechnet wird, muss unter allen Umständen schleifenfrei sein.
Andernfalls könnten Frames bei Leitungsgeschwindigkeit repliziert werden und sich auf die gesamte Bridge-Domäne
auswirken. Außerdem könnte Layer 2 evtl. die verfügbare Bandbreite im Netzwerk nicht optimal nutzen, und es würden
suboptimale Pfade zwischen den Hosts im Netzwerk entstehen. Da sich ein Ausfall außerdem auf die gesamte BridgeDomäne auswirken kann, ist Layer 2 aus Gründen der Risikominimierung auf kleine Bereiche beschränkt.
Daher sind aktuelle Rechenzentrumdesigns ein Kompromiss zwischen der von Layer 2 bereitgestellten Flexibilität
und der von Layer 3 gebotenen Skalierung:
●
Begrenzter Umfang: Layer 2 stellt Flexibilität bereit, aber keine Skalierung. Bridge-Domänen sind darum
auf kleine Bereiche beschränkt, die von Layer 3-Grenzen strikt abgegrenzt werden.
© 2011 Cisco und/oder Partnerunternehmen. Alle Rechte vorbehalten. Dieses Dokument enthält öffentliche Informationen von Cisco.
Seite 1 von 8
●
Suboptimale Leistung: Die Datenverkehrweiterleitung innerhalb einer Bridge-Domäne wird von
Spanning Tree-Regeln eingeschränkt, die die Bandbreite eingrenzen und ineffiziente Pfade
zwischen Geräten durchsetzen.
●
Komplexer Betrieb: Die Layer 3-Segmentierung führt zu statischen Rechenzentrumdesigns und verhindert
das nötige Maß an geschäftlicher Flexibilität, die für die neuesten Virtualisierungstechnologien erforderlich
ist. Jede Änderung am ursprünglichen Plan ist kompliziert, unterbricht den Betrieb und erfordert eine
aufwendige Konfiguration.
Einsatz von Layer 2-Fabrics mit Cisco FabricPath
Der Virtualisierungstrend hat seinen Anfang am Rand des Rechenzentrums genommen. Durch die
Servervirtualisierung ist die Konsolidierung mehrerer Server als virtuelle Systeme auf einem einzelnen physischen
Host möglich. Cisco FabricPath bietet die Grundlage zum Erstellen einer skalierbaren Struktur – ein Netzwerk, das
aus der Perspektive der Benutzer selbst wie ein einzelner virtueller Switch erscheint. Diese Eigenschaft wird durch
Bereitstellung der optimalen Bandbreite zwischen zwei beliebigen Ports unabhängig von ihren physischen
Standorten erreicht. Da Cisco FabricPath außerdem nicht die Skalierungsbeschränkungen traditioneller
transparenter Bridges aufweist, kann ein bestimmtes VLAN auf das ganze Fabric ausgeweitet werden und
der Eindruck eines einzelnen virtuellen Switches verstärkt werden. Cisco FabricPath ist zwar eine Layer 2Technologie, das Fabric aber behält die Layer 3-Funktionen der Switches der Cisco Nexus®-Familie bei und
ermöglicht eine nahtlose Routingintegration.
Cisco FabricPath routet Datenverkehr im Fabric
Cisco FabricPath sorgt für ein stabiles und leistungsfähiges Routing auf Layer 2. Cisco FabricPath übernimmt
sobald ein Ethernet-Frame von einem Ethernet-Netzwerk (auch als klassisches Ethernet bezeichnet) zu
einer Cisco FabricPath-Struktur wechselt. Ethernet-Bridge-Regeln diktieren nicht die Topologie und die
Weiterleitungsprinzipien in einer Cisco FabricPath-Struktur. Der Frame wird mit einem Cisco FabricPath-Header
gekapselt, der aus routingfähigen Quell- und Zieladressen besteht. Diese Adressen sind die Adresse des
Switches, auf dem der Frame empfangen wurde, und die Adresse des Ziel-Switches, auf den der Frame
übertragen wird. Von dort wird der Frame geroutet, bis er den Remote-Switch erreicht. Dort wird er entkapselt
und in seinem ursprünglichen Ethernet-Format bereitgestellt. Abbildung 1 zeigt diesen einfachen Prozess.
Abbildung 1.
Frame-Transport mit Cisco FabricPath
© 2011 Cisco und/oder Partnerunternehmen. Alle Rechte vorbehalten. Dieses Dokument enthält öffentliche Informationen von Cisco.
Seite 2 von 8
Der grundlegende Unterschied zwischen Cisco FabricPath und dem klassischen Ethernet besteht darin, dass der
Frame mit Cisco FabricPath im Core immer mithilfe einer bekannten Zieladresse weitergeleitet wird. Die Adressen
der Bridges werden automatisch zugewiesen, und für alle Unicast- und Multicast-Ziele wird eine Routingtabelle
erstellt. Dies ermöglicht das einfache und flexible Verhalten von Layer 2. Gleichzeitig werden
Routingmechanismen verwendet, die das IP zuverlässig und skalierbar machen.
Cisco FabricPath sorgt für umfangreiche Änderung auf Datenebene. Für die Implementierung der Funktionen mit
geringer Latenz ist eine spezielle Hardware erforderlich. Die E/A-Module der Cisco Nexus 7000 F Serie und die
Cisco Nexus 5500-Plattform können Cisco FabricPath, IEEE Data Center Bridging (DCB) und Fibre Channel over
Ethernet (FCoE) ausführen. Da die Cisco Nexus Switches transparent in das Layer 3-Routing integriert werden,
kann das daraus resultierende Fabric alle unterschiedlichen E/A-Technologien für das Rechenzentrum gleichzeitig
und effizient ausführen.
Vorteile von Cisco FabricPath
Cisco FabricPath zeichnet sich durch die folgenden Leistungsmerkmale aus:
●
Einfachheit und reduzierte Betriebskosten
◦ Cisco FabricPath ist sehr einfach zu konfigurieren. Die einzige notwendige Konfiguration besteht aus
dem Unterscheiden der Core-Ports, die die Switches miteinander verbinden, von den Edge-Ports, an
die Endgeräte angeschlossen sind. Die Parameter müssen nicht angepasst werden, um eine optimale
Konfiguration zu erhalten, und Switch-Adressen werden automatisch zugewiesen.
◦ Für die Unicast-Weiterleitung, die Multicast-Weiterleitung und das VLAN-Pruning wird ein einziges
Steuerungsprotokoll verwendet. Die Cisco FabricPath-Lösung benötigt weniger kombinierte
Konfigurationsarbeiten als ein entsprechendes Spanning Tree Protocol-basiertes Netzwerk
und reduziert damit die Gesamtverwaltungskosten.
◦ In statischen Netzwerkdesigns werden Vermutungen zu Datenverkehrsmustern und den Server- und
Servicestandorten gemacht. Wenn diese Vermutungen falsch sind, was häufiger der Fall sein kann, ist
möglicherweise ein komplexer Neuentwurf notwendig. Ein auf Cisco FabricPath basierendes Netzwerk
kann bei Bedarf ohne Unterbrechungen für die Endgeräte geändert werden.
◦ Die Funktionen der Cisco FabricPath-Fehlerbehebungs-Tools übertreffen die der aktuell in der IP-Welt
verfügbaren Tools. Die Ping- und Traceroute-Funktionen, die jetzt auf Layer 2 geboten werden, können
die Latenz messen und einen bestimmten Pfad unter mehreren Pfaden zu einem Ziel in dem Fabric mit
gleichen Kosten testen.
◦ Ein Gerät, das Cisco FabricPath nicht unterstützt, kann redundant mit zwei separaten Cisco FabricPathBridges mit erweiterter virtueller PortChannel (vPC+)-Technologie verbunden werden und einen
einfachen Migrationspfad bereitstellen (Abbildung 2). Genau wie vPC1 benötigt vPC+ die PortChannelTechnologie, um Multipathing und Redundanz ohne Verwendung des Spanning Tree Protocol
bereitzustellen.
1
Weitere Informationen zu Cisco NX-OS vPC finden Sie unter
http://www.cisco.com/en/US/prod/collateral/switches/ps9441/ps9402/white_paper_c11-516396.html.
© 2011 Cisco und/oder Partnerunternehmen. Alle Rechte vorbehalten. Dieses Dokument enthält öffentliche Informationen von Cisco.
Seite 3 von 8
Abbildung 2.
●
Verbinden von Geräten, die Cisco FabricPath mit vPC+ nicht unterstützen
Skalierbarkeit durch bewährte Technologie
◦ Cisco FabricPath verwendet ein Steuerungsprotokoll, das auf das leistungsstarke Intermediate Systemto-Intermediate System (IS-IS)-Routingprotokoll aufbaut, ein Industriestandard, der schnelle Konvergenz
bereitstellt und nachgewiesenermaßen auch auf die größten Service-Anbieter-Umgebungen skaliert
werden kann. Dennoch ist kein spezielles IS-IS-Wissen erforderlich, um ein Cisco FabricPath-Netzwerk
zu betreiben.
◦ Die Schleifenvermeidung und -reduzierung ist auf Datenebene verfügbar, was eine sichere
Weiterleitung ermöglicht, die von keiner transparenten Bridge-Technologie erreicht werden kann.
Die Cisco FabricPath-Frames umfassen ein Time-to-Live (TTL)-Feld, das dem im IP verwendeten
Feld ähnlich ist. Außerdem wird eine Reverse Path Forwarding (RPF)-Prüfung durchgeführt.
●
Effizienz und hohe Leistung
◦ Da Equal-Cost Multipath (ECMP) auf Datenebene verwendet werden kann, kann das Netzwerk
alle Verbindungen nutzen, die zwischen zwei beliebigen Geräten verfügbar sind. Die erste HardwareGeneration, die Cisco FabricPath unterstützt, kann 16-faches ECMP durchführen, was in Kombination
mit 16-Port-10-Gbit/s-Port-Kanälen eine potenzielle Bandbreite von 2,56 Terabit pro Sekunde (Tbit/s)
zwischen Switches entspricht.
◦ Frames werden entlang des kürzesten Pfads zum Ziel weitergeleitet, und die Latenz beim Austausch
zwischen Endgeräten wird im Vergleich zu einer Spanning Tree-basierten Lösung reduziert.
◦ MAC-Adressen werden selektiv am Netzwerk-Edge erfasst und ermöglichen das Skalieren
des Netzwerks bis über die Grenzen der MAC-Adresstabelle der einzelnen Switches hinaus.
Cisco FabricPath-Anwendungsfälle
Der geschäftliche Vorteil von Cisco FabricPath, das Erstellen einfacher, skalierbarer und effizienter Layer 2Domänen, ist auf viele Netzwerkszenarien anwendbar. Seit der Markteinführung von Cisco FabricPath im Oktober
2010 implementieren Cisco Kunden die unterschiedlichsten Netzwerkdesigns, von vollständig vermaschten bis zu
Ring-Topologien. In diesem Abschnitt präsentieren wir Ihnen einige dieser Anwendungsbeispiele.
Cisco FabricPath in einem typischen Rechenzentrumdesign
Cisco FabricPath wird häufig mit Skalierbarkeit und Leistung in Verbindung gebracht. Moderne Rechenzentren
werden aber normalerweise um kleine Layer 2-Blocks, die als PoDs bezeichnet werden, entwickelt. Ein Beispiel
© 2011 Cisco und/oder Partnerunternehmen. Alle Rechte vorbehalten. Dieses Dokument enthält öffentliche Informationen von Cisco.
Seite 4 von 8
für ein solches Netzwerk ist Rechenzentrum A, das in Abbildung 3 dargestellt wird. Innerhalb eines PoDs erfolgt
das Switching über die Cisco NX-OS vPC-Technologie. vPC stellt eine Active-Active-Umgebung bereit, die nicht
vom Spanning Tree Protocol abhängt und die bei einem Ausfall schnell konvergiert. vPC erscheint in diesem
Umfang als ausreichend. Daher sollten auch noch andere Aspekte von Cisco FabricPath beachtet werden,
die es für dieses Szenario attraktiv machen:
●
Cisco FabricPath ist einfach zu konfigurieren und zu verwalten. Es müssen keine gepaarten Peers
identifiziert und keine PortChannels konfiguriert werden. Alle Geräte im Fabric haben dieselbe Rolle
und denselben minimalen Konfigurationsaufwand.
●
Cisco FabricPath ist flexibel und benötigt keine spezielle Topologie. Auch wenn das Netzwerk derzeit für
die klassische Dreiecks-vPC-Topologie verkabelt ist, kann Cisco FabricPath alle Designs aufnehmen, die
in Zukunft möglicherweise erforderlich sind.
●
Cisco FabricPath verwendet und erweitert nicht das Spanning Tree Protocol. Selbst eine anteilige
Einführung von Cisco FabricPath hat einen positiven Effekt auf das Netzwerk, da der SPAN des
Spanning Tree Protocol segmentiert wird. Da es sich um eine Optimierung des klassischen
Ethernets handelt, benötigt vPC für bestimmte Szenarien weiterhin das Spanning Tree Protocol.
●
Cisco FabricPath kann einfach und ohne den Betrieb zu schwächen erweitert werden. Das Hinzufügen
eines Switches oder einer Verbindung in einer Cisco FabricPath-Struktur führt nicht zum Verlust von
Frames. Daher ist es möglich, mit einem kleinen Netzwerk zu beginnen und es bei Bedarf schrittweise
zu erweitern.
Cisco FabricPath und die Skalierung herkömmlicher Rechenzentrumdesigns
Im vorherigen Abschnitt wurden die Vorteile der Einführung von Cisco FabricPath als direkter Ersatz für vPC
erläutert. Dieser Abschnitt soll darstellen, wie Cisco FabricPath zu einer zusätzlichen und deutlichen Verbesserung
der Skalierbarkeit, Verfügbarkeit und Flexibilität führen kann, indem die Verkabelung eines vorhandenen
Rechenzentrums neu aufgestellt wird. Abbildung 3 zeigt zwei Rechenzentren, die exakt die gleiche Anzahl von
Verbindungen und Switches aufweisen. Im Rechenzentrum A ist jeder Access-Switch über einen PortChannel
mit vier Ports und zwei Aggregation-Switches in einer vPC-Domäne verbunden. Im Rechenzentrum B, das
Cisco FabricPath unterstützt, ist stattdessen jeder Access-Switch über einen einzelnen Uplink mit vier
Aggregation-Switches verbunden.
Abbildung 3.
Traditionell konzipiertes Rechenzentrum
© 2011 Cisco und/oder Partnerunternehmen. Alle Rechte vorbehalten. Dieses Dokument enthält öffentliche Informationen von Cisco.
Seite 5 von 8
Tabelle 1.
Vorteile von Cisco FabricPath im Rechenzentrum
Spanning Tree Protocol- oder vPC-basiertes
Rechenzentrum A
Rechenzentrum B mit Unterstützung von
Cisco FabricPath
Jeder Switch spielt eine individuelle Rolle und erfordert
einen anderen PortChannel, Spanning Tree oder eine
andere IP-Konfiguration. Die Konfiguration hängt
normalerweise nicht nur vom Switch ab, sondern
auch vom VLAN.
Einfacher:
Layer 2Erreichbarkeit
Access-Switches werden in zwei PoDs aufgeteilt, die nur
untereinander auf Layer 3 kommunizieren können. Server
werden einem bestimmten PoD statisch zugewiesen. Sie
zu verschieben, bedeutet einen hohen Verwaltungsaufwand
und kann unmöglich sein, wenn die vorbestimmten
Größen der PoDs nicht mehr passend sind.
Umfangreicher:
Bandbreite
Jeder Access-Switch verfügt über 40 Gbit/s Bandbreite,
die seinen Peers im gleichen PoD zur Verfügung steht,
teilt aber eine begrenzte Bandbreite im oberen Layer,
wenn er versucht, auf Peers in anderen PoD zuzugreifen.
Höher:
Der Verlust eines Aggregation-Switches reduziert die für
die betroffenen Access-Switches verfügbare Bandbreite
um 50 %.
Höher:
Konfiguration
Verfügbarkeit
Eine spezielle VLAN- oder Switch-Konfiguration
wird nicht benötigt. Verbindungen werden nicht
in PortChannels gebündelt.
Access-Switches können miteinander auf Layer 2
kommunizieren, was eine einfache Verwaltung und ein
Verschieben virtueller Systeme innerhalb von Sekunden
ermöglicht. Ein Server muss sich physisch nicht in einem
bestimmten PoD befinden, was die Bereitstellung einfach
und dynamisch macht.
Jeder Access-Switch stellt jedem Peer im Netzwerk
40 Gbit/s Bandbreite über den kürzesten möglichen
Pfad zur Verfügung.
Der Ausfall eines Aggregation-Switches reduziert die
am Aggregation-Switch verfügbare Bandbreite nur um
25 %.
Cisco FabricPath und High-Performance Computing
Rechenzentren für High-Performance Computing werden so entworfen, dass Server mit wenig Überbelegung
miteinander kommunizieren können. In einem Spanning Tree-basierten Netzwerk befindet sich die Layer 3-Grenze
normalerweise in der Nähe des Root-Switches, um den vollständigen Durchsatz für den vertikalen Datenverkehr zu
ermöglichen. Beim horizontalen Datenverkehr kommt es für gewöhnlich zu einer hohen Überbelegung, da
transparente Bridges den Datenverkehr entlang eines Spanning Trees weiterleiten, sodass es zwischen zwei
Bridges nur eine einzige weiterleitende Verbindung geben kann. Diese Beschränkung sorgt bei der bisektionalen
Bandbreite des Netzwerks für eine feste Grenze.
Cisco FabricPath hebt diese Beschränkung mithilfe von ECMP auf. Mit der aktuellen Hardware unterstützt Cisco
FabricPath 16-faches ECMP. Daher können zwischen zwei beliebigen Geräten im Netzwerk bis zu 16 Pfade
aktiv sein. Da jeder dieser 16 Pfade ein 16-Port-PortChannel sein kann, kann die Lösung tatsächlich 2,56 Tbit/s
bisektionale Bandbreite bereitstellen. Abbildung 4 zeigt ein mögliches Netzwerkdesign zum Bereitstellen einer
blockierungsfreien Struktur, die die Cisco FabricPath-Funktionen nutzt. Diese Topologie wird als Clos-Fabric
bezeichnet und ist einfach ein extremes Beispiel von Rechenzentrum B, das in Abbildung 3 gezeigt wird. Hier
stellt eine Gruppe mit 16 Aggregations-Geräten (Spine-Switches) 16 verschiedene Pfade zwischen den Access
-Switches (Leaf-Switches) bereit.
© 2011 Cisco und/oder Partnerunternehmen. Alle Rechte vorbehalten. Dieses Dokument enthält öffentliche Informationen von Cisco.
Seite 6 von 8
Abbildung 4.
Hochleistungs-Fabric mit der Cisco Nexus 7000 und Cisco Nexus 5500 Serie
Mit dem Cisco Switch der Nexus 7000 Serie mit 18 Steckplätzen und den E/A-Modulen der F2-Serie auf dem
Spine kann die aktuelle Hardware ein blockierungsfreies Layer 2-Fabric mit mehr als 12.000 x 10-Gbit/s-Ports
bereitstellen – ein Branchenrekord. Der Cisco Switch der Nexus 7000 Serie mit 18 Steckplätzen auf dem Leaf
könnte eine Implementierung des gesamten Fabric mit nur 64 Geräten ermöglichen. Eine beliebige Kombination
aus Cisco Switches der Nexus 7000 Serie und der Nexus 5500 Serie stellt allerdings viele verschiedene
Implementierungsoptionen bereit.
Die Port-Skalierbarkeit kann weiter erhöht werden, indem Cisco FabricPath mit Fabric Extenders der Cisco Nexus
2000 Serie am Edge kombiniert wird oder indem eine Überbelegung auf dem Access-Layer durchgeführt wird.
Zusammenfassung
Für den Betrieb moderner, hochgradig virtualisierter Rechenzentren ist Layer 2 noch immer erforderlich.
Der Umfang der Bridge-Domänen wird allerdings durch einige Einschränkungen der Bridge-Datenebene
begrenzt. Die Cisco FabricPath-Technologie kombiniert die Flexibilität von Layer 2 mit den Skalierungsund Leistungsmerkmalen einer Routinglösung und erzeugt so eine einfache, skalierbare und effiziente
Lösung für traditionelle, virtualisierte oder Cloud-Umgebungen.
Weitere Informationen
http://www.cisco.com/en/US/prod/switches/ps9441/fabric_path_promo.html.
© 2011 Cisco und/oder Partnerunternehmen. Alle Rechte vorbehalten. Dieses Dokument enthält öffentliche Informationen von Cisco.
Seite 7 von 8
Gedruckt in den USA
© 2011 Cisco und/oder Partnerunternehmen. Alle Rechte vorbehalten. Dieses Dokument enthält öffentliche Informationen von Cisco.
C11-605488-01
10/11
Seite 8 von 8