BelWü – Landeshochschulnetz Baden-Württemberg Tim Kleefass, Juni 2014 BelWü NeIF – 100G Ausbau 2013/2014 BelWü hat 100G Verbindungen zwischen allen Universitätsstädten in Baden-Württemberg geschaltet. Im Juni 2013 ist die erste 100G Wellenlänge im BelWü Netz in den produktiven Betrieb übergegangen. War diese noch eine dedizierte Kopplung für das landesweite Speichersystem LSDF (Large Scale Data Facility) zwischen den Standorten Heidelberg und Karlsruhe, wurde nun die nächste Runde eingeläutet. Im ersten Quartal 2014 hat BelWü eine 100G Infrastruktur zwischen allen Universitätsstädten aufgebaut. Dazu wurden auf das vorhandene optische DWDM (Dense Wavelength Division Multiplexing) System von BelWü 100G Wellenlängen dazu geschaltet. Diese sind in der Übersicht in der Abbildung 1 in lila abgebildet. Ebenso ist die 100G Verbindung für LSDF in grün zu sehen. An jedem Standort werden die 100G Wellenlängen in 10 mal 10G Bandbreiten geteilt, die über eine schaltbare Matrix weitergeschaltet werden. Damit können zwischen sämtlichen Universitätsstandorten 10G Bandbreiten z.B. zur Erweiterung des Backbones oder als Projektlambdas flexibel bereitgestellt werden: BelWü NeIF – Netzwerk für Innovation und Forschung. Abbildung 1: BelWü 100G Infrastruktur Im Folgenden soll ein kurzer Blick auf das 100G Setup im BelWü Netzwerk geworfen werden. Allgemeine und weitere Informationen zu BelWü und dem BelWü Netzwerk finden Sie auch unter: https://www.belwue.de Seite 1 von 7 Das BelWü Backbone BelWü hat zwischen allen Universitäten in Baden-Württemberg Glasfaserleitungen angemietet. Allerdings waren in den letzten Jahren nicht in allen Regionen Glasfasern zu bekommen, daher sind die "Ringschlüsse" zur Bildung der Redundanz mit angemieteten 10G Bandbreiten realisiert. Glasfaser sind in Betrieb auf den Hauptstrecken Freiburg - Karlsruhe - Mannheim - Heidelberg, Karlsruhe Stuttgart - Ulm sowie Stuttgart - Tübingen - Konstanz. Die Ringschlüsse Freiburg - Konstanz sowie Heidelberg - Ulm sind mit angemieteten 10G Bandbreiten realisiert. Die Städte mit Hochschulen sind entweder in den Pfad mit Glasfasern integriert oder über weitere Spangen mit dem Backbone an den Universitätsstädten verbunden. Die Faserplattform mit den Glasfaserleitungen ergibt zusammen mit den angemieteten Bandbreiten die Leitungsplattform von BelWü. Basierend auf der Faserplattform betreibt BelWü ein statisch eingerichtetes, optisches DWDM Netzwerk (Dense Wavelength Division Multiplexing). Passive Bandsplitter und Filter teilen die Glasfasern auf in optische Bereiche und Wellenlängen. Für den Transport auf längeren Strecken kommen optische EDFA Verstärker (Erbium Doped Fibre Amplifier) sowie Einheiten zur Dispersionskompensation zum Einsatz. Über dieses Netzwerk sind 1G, 10G und 100G Wellenlängen geschaltet. Während die 1G Wellenlängen für kleinere Einrichtungen oder Managementzugänge benutzt werden, sind die 10G Wellenlängen die Hauptverbindungen zwischen den BelWü IP/MPLSRoutern sowie vereinzelt als Punkt-zu-Punkt Bandbreiten für BelWü-Teilnehmer geschalten. Alle Universitäten sind an jeweils zwei Standorten redundant an das IP Netzwerk angebunden. Im Juni 2013 wurde eine 100G Wellenlänge für die Kopplung des landesweiten Speichersystems LSDF (Large Scale Data Facility) zwischen den Standorten Heidelberg und Karlsruhe geschaltet. Dies war die erste 100G Verbindung im Produktionsnetz von BelWü und ist eine der wenigen Wellenlängen, die über mehrere Standorte im Backbone geleitet wird. Die meisten Wellenlängen sind zwischen zwei Städten, die direkt nebeneinander liegen. Das Weiterleiten über mehrere Standorte bedeutet, dass auch mehrere optische Verstärker auf dem Pfad sind, was es schwieriger macht, alle Wellenlängen auf dem gleichen optischen Level zu halten. An beiden Enden der 100G Wellenlänge für LSDF sind Ekinops 100G Transponder im Einsatz, die auf der Klientenseite 100 Gigabitethernet an die Einrichtungen Kit und Universität Heidelberg übergeben. Auf der Lineseite sind kohärente Laser eingebaut. Diese leuchten mit einer optischen Wellenlänge und sind daher direkt auf das optische System von BelWü geschalten und werden durch das bestehende DWDM System an den jeweils anderen Standort transportiert. Anfang 2014 wurde das Netzwerk für Innovation und Forschung, kurz NeIF, aufgebaut. Dazu wurden zehn neue 100G Wellenlängen parallel zu den bestehenden 10G Wellenlängen mit Optelian Muxpondern geschalten. Die 100G Wellenlängen sind Punkt-zu-Punkt zwischen je zwei benachbarten Universitätsstädten und werden jeweils in 10 mal 10G Bandbreiten geteilt. Die 10G Bandbreiten sind an eine konfigurierbare Schaltmatrix angeschlossen und können so flexibel zwischen sämtlichen Universitätsstandorten in Baden-Württemberg geschaltet werden. Ein Überblick über die 100G Infrastruktur und die 10G Schaltmatrizen ist in Abbildung 2 abgebildet. Seite 2 von 7 Abbildung 2: 100G Wellenlängen und 10G Schaltmatrizen Seite 3 von 7 100G BelWü NeIF Nun wollen wir einen Blick auf den Aufbau der 100G BelWü-NeIF werfen und die Eigenschaften erörtern. Abbildung 3: Bsp. Aufbau einer Universitätsstadt mit zwei Standorten und 100G Wellenlängen In der Abbildung 3 werfen wir einen Blick auf den Aufbau eine Universitätsstadt mit den beiden Standorten der Universität und die Integration der BelWü-NeIF. Auf dem Campus der Universität hat BelWü zwei Standorte, hier Standort A und Standort B. Diese liegen in der Regel ca. einen Kilometer auseinander. Zwischen den beiden Standorten sind genügend Glasfasern vorhanden. BelWü betreibt an beiden Standorten einen IP/MPLS-Router. Diese Backbonerouter sind mit mehrfach 10G untereinander verbunden, hier im Bild sehen wir die gelben und orangenen Linien. Nach Norden, Osten und Westen sind die 10G Wellenlängen auf das optische DWDM System geschalten und werden zur nächsten Stadt transportiert. Es ist sichergestellt, dass mindestens zwei der ausgehenden Glasfaserleitungen kantendisjunkt, also leitungsredundant sind. Die Universität ist mit (mehrfach) 10G an beide Router redundant angeschlossen. Neu sind die 100G Wellenlängen in der Abbildung in rot und etwas dicker. Diese sind parallel zu den vorhandenen 10G Wellenlängen auf die optische DWDM System geschaltet. Jede 100G terminiert an beiden Enden auf einem Muxpondern ("Mux"), welcher 10 mal 10G Verbindungen an die Schaltmatrix ("Matrix") übergibt. Neben den 10G Ports, die an die 100G Muxponder angeschlossen sind, sind weitere 10G Ports für den lokalen Abzweig. Mit diesem Setup hat BelWü mit dem vorhandenen, statischen DWDM System kurzfristig die Bandbreite auf dem optischen Layer drastisch erhöht. Die gewonnene Bandbreite kann für verschiedene Anwendungen benutzt werden. Die Bandbreite steht unabhängig vom IP/MPLSNetzwerk zur Verfügung, kann aber für dieses benutzt werden. Zum jetzigen Zeitpunkt müssen allerdings noch keine teuren 100G Interfaces auf den IP/MPLS-Routern angeschafft werden. Sollten kurzfristig 100G auf den IP/MPLS-Router notwendig werden, können die Muxponder auf den Transpondermodus umgeschaltet werden und die IP/MPLS-Router mit 100G Interfaces nachgerüstet werden. Ob dies so oder mit einem größeren optischen DWDM System realisiert wird, wird im laufenden Jahr von der BelWü-Koordination erörtert. Sollten zum Beispiel in der Zukunft ein durchgehendes, redundanten Glasfasernetzwerk zur Verfügung stehen, könnten bei der Unterbrechung einer Glasfaserstrecke Wellenlängen auf dem optischen Layer auf einen anderen Weg umgeschaltet werden. Seite 4 von 7 Anwendungsmöglichkeiten Es sollen drei Anwendungsmöglichkeiten dargestellt werden: Erhöhung der Bandbreite im BelWü Backbone, dedizierte Verbindungen zwischen Hosts in den LANs der Universitäten sowie Verbindungen für bw-Projekte. Abbildung 4: Bsp. Router-Router Verbindung In der Abbildung ist beispielhalf eine 10G Verbindungen zur Erhöhung der Bandbreite der Backbonerouter genutzt. Die durchgehenden blauen Linien sind 10G Verbindungen mit Standartoptiken zwischen den IP/MPLS-Router und der Schaltmatrix. Auf der Schaltmatrix werden die Verbindungen auf eine der 100G Wellenlägen geschaltet. Zwischen dem „linken“ und „rechten“ Standort können sich weitere Standorte befinden, an denen die 10G Bandbreite einfachdurchgeschaltet wird. So kann auf den Glasfasern mit 100G Wellenlängen die Bandbreite im IP/MPLS-Backbone einfach und schnell erhöht werden. Abbildung 5: Bsp. Campus-Campus Verbindung Ein weiteres Beispiel ist die Verbindung von zwei Hosts, z.B. Server, im LAN der Universitäten. Diese Hosts werden wieder per Standardoptik an die lokale Schaltmatrix angebunden und zum entsprechenden Zielstandort durchgeschaltet. Der Host kann weiterhin im LAN der Universitäten sein und die hochbandbreitige direkte Verbindung für dedizierte Aufgaben benutzten. Beispiele wären die Verbindung von Backupservern an ein größeres Speichersystem oder der dedizierte Zugriff auf entfernte Ressourcen. Seite 5 von 7 Als dritte Möglichkeit können Bandbreiten für Projekte allokiert werden. Je nach Charakter des Projektes sind verschiedene Faktoren relevant. So kann mit dedizierten Bandbreiten sichergestellt werden, dass genau diese Bandbreite zur Verfügung steht, es gibt keine Änderungen an der Latenzzeiten und keine Nebenwirkungen mit unterschiedlichen Pufferfüllungen. Außerdem können die Projekte unabhängig vom LAN der Universität betrieben werden. Allgemeine Informationen zu BelWü Das Landeshochschulnetz Baden-Württemberg BelWü vernetzt heute insbesondere die neun Landesuniversitäten, die 23 Hochschulen für Angewandte Wissenschaften, die acht Standorte der Dualen Hochschule, die sechs Pädagogischen Hochschulen, die acht Musik- und Kunsthochschulen, zahlreiche Schulen, Bibliotheken, weitere Einrichtungen des Landes, sowie andere Einrichtungen und stellt darüber hinaus deren Internet-Konnektivität sicher. Als Pionier der Nutzung von InternetProtokollen für die Vernetzung von Universitäten bereits in den 1980er Jahren ist das BelWü̈-Netz seither konsequent hinsichtlich Bandbreite und Ausfallsicherheit erweitert worden. Ausgehend von 34 Mbit/s in 1994, über 1 Gbit/s in 2001 und 10 Gbit/s in 2006 sind mit 100 Gbit/s in 2013 die Voraussetzungen für den nächsten Technologieschritt geschaffen worden. BelWü betreibt eine landesweite Leitungsplattform. So weit wie möglich werden zwischen den Universitäts- und Hochschulstandorten Glasfasern gemietet (Faserplattform). In Fällen, in denen keine Glasfasern zur Verfügung stehen, wird (i.d.R.) eine 10GE Bandbreite gemietet. Damit werden sämtliche Universitäts- und Hochschulstandorten erschlossen, die Universitäten sind leitungsredundant angebunden. Basierend auf der Faserplattform betreibt BelWü ein statisch eingerichtetes DWDM-Netzwerk. Über dieses Netzwerk sind 1G, 10G und 100G Wellenlängen geschaltet. Während die 1G Wellenlängen für kleinere Einrichtungen benutzt werden, sind die 10G Wellenlängen als Verbindungen zwischen den BelWü IP-Router sowie vereinzelt als Punkt-zu-Punkt Bandbreiten für BelWü-Teilnehmer geschalten. Im Juni 2013 wurde eine 100G Wellenlänge für die Kopplung des landesweiten Speichersystems LSDF (Large Scale Data Facility) zwischen den Standorten Heidelberg und Karlsruhe geschaltet. Über das DWDM-Netzwerk und die Bandbreiten betreibt BelWü ein IP/MPLS-Netzwerk mit IPRoutern (Cisco ASR 9000 und 1000), welche über mehrere 10GE Wellenlängen und den angemieteten Bandbreiten als Backbone miteinander verbunden sind. Über das IP-Netzwerk werden IPv4 und IPv6 nativ und im Dualstack geroutet. Auf den Backbonelinks ist parallel dazu MPLS aktiviert, so dass Layer 2-VPNs als Punkt-zu-Punkt und Mehrpunkt-zuMehrpunkt Verbindungen in Form von Ethernet Over MPLS angeboten werden können. Weitere Informationen auf https://www.belwue.de Kontakt: [email protected] Seite 6 von 7 DE-CIX MANDA fradecix-1 9006 Telia Netztopologie RLP-Net diverse Peerings NeIF Frankfurt Heidelberg RLP-Net Mannheim Mosbach hdlrz-1 9010 manrz-1 9010 Uni Man mos 1001 hdl2 1001 hlb 9006 kue 9006 Heilbronn Künzelsau Uni Hdl manschl-1 9010 NeIF NeIF URZ 100G aal 9006 shl 1001 LSDF sgd 9006 Ludwigsburg lbgph-1 9006 KIT Campus Nord Stuttgart LSDF KIT S-IX NeIF PH lbg-fa 1001 Uni Hoh ras 1001 BadenBaden bad 1001 9010 Uni Stu KIT ess 9006 HS Ess stunwz-1 9010 Esslingen ulmn25-1 9010 Uni Ulm goe Göppingen Cogent NeIF DFN boe gei Böblingen Geislingen nue 9006 Nürtingen NeIF Straßburg keh 9006 fds Horb tuemor-1 9010 Uni Tue hor 9006 diverse Peerings ulmn26-1 9010 NeIF OSIRIS Kehl Ulm al30-1 NeIF Rastatt hdh 9006 Hohenheim stu- karbib-1 9010 karrz-1 9010 DFN Heidenheim NeIF Pforzheim Karlsruhe Schw. Gmünd FA Level3 pfo 9006 Aalen Schw. Hall Rottenburg tuewae-1 9010 rot 1001 Freudenstadt Tübingen ofg 9006 reu 9006 Reutlingen Offenburg bib 9006 fuw 9006 Biberach vil Furtwangen 9006 tro Villingen 9006 Schwenningen Trossingen alb 9006 tut 9006 sig 9006 Sigmaringen Albstadt Tuttlingen frbrz-1 9010 wei 9006 NeIF NeIF konrz-1 9010 Uni Frb rav 9006 Uni Kon loe 1001 frbkg-1 9010 Freiburg Konstanz SWITCH 100GE DWDM 10GE DWDM, Uni/Core-Netz (potentiell 100GE) 10GE DWDM, Uni/Core-Netz 10GE DWDM oder LWL, Hochschulen 10GE Bandbreite 10GE opt. Fenster über Versatel/RLP-Net 1GE LWL, 1GE Bandbreite, 155Mbit/s POS in Planung aal 9006 fra1 9006 NeIF Telia S-IX DFN konbib-1 9010 fdh 9006 Weingarten Ravensburg Friedrichshafen diverse Peerings Kreuzlingen Router (Name und Cisco Modell) Router (ggf. mit full-routing) Netzwerk für Innovation und Forschung kommerzieller Upstream Seite 7 von 7 Internet Exchange wissenschaftlicher Upstream FA Filmakademie PH Pädagogische Hochschule MANDA, RLP, SWITCH: Wissenschaftsnetze Darmstadt, Rheinland-Pfalz, Schweiz BelWü-Koordination Universität Stuttgart http://www.belwue.de Fri May 09 2014