Einsatz optischer Verbindungen in der Rechentechnik D. Fey Fachgruppensitzung PII Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur 1 Dietmar Fey Friedrich-Schiller-Universität Jena Institut für Informatik Ernst-Abbe-Platz 1-4 07743 Jena Überblick Q Einführung Q Optische Verbindungen für fein-granulare Architekturen Q Optische Verbindungen für grob-granulare Architekturen Q Zusammenfassung D. Fey Fachgruppensitzung PII Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur 2 Einführung Q Klassen von Rechnerarchitekturen Wie können diese vom Einsatz optischer Verbindungen profitieren? D. Fey Q Fachgruppensitzung PII Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur 3 grobe Unterscheidung zwischen X fein-granularen Architekturen X grob-granularen Architekturen Einführung Q allgemeine Anforderungen an ein Rechensystem 3 Aufgaben zu erfüllen X X X Daten verarbeiten Daten speichern Daten transportieren bestimmen Rechenleistung D. Fey Fachgruppensitzung PII Q Frankfurt/M., 18.7.2003 in beiden Architekturklassen X FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur X 4 Kommunikation ist kritischer Anteil Einsatz Optik • Verbesserung der Kommunikation • Verbesserung der gesamten Rechenleistung Einführung Q Verfolgung verschiedener Ziele durch Einsatz von Optik X fein-granulare Architekturen • Ausnutzen der hohen optischen Ortsbandbreite – realisieren einer hohen Kanaldichte D. Fey X Fachgruppensitzung PII grob-granulare Architekturen • Ausnutzen der hohen optischen Zeitbandbreite Frankfurt/M., 18.7.2003 – Reduzierung von Latenzen FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur – Vermeiden von Konflikten – einfachere Wegesuche 5 Einführung Q hohe Ortsbandbreite besonders attraktiv für 3-D optoelektronisches VLSI (OE-VLSI) X Kommunikationseinheit • weder Bytes noch Worte, sondern binäre Matrizen • werden zwischen VLSI-Schaltkreisen übertragen – ausgestattet mit 2-D optoelektronischen Schnittstelle D. Fey length of pipeline z Fachgruppensitzung PII 1 2 ... 3 z Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur array of Smart Pixels 6 "Smart-Pixel" processing element optical link optical interconnection module Einführung Q aktuelle VLSI Technologie X bietet im Prinzip riesiges Potenzial • 100.000 von Prozessorelementen in einem Chip integrierbar • Problem: nicht alle gleichzeitig verwendbar • Grund: Anzahl möglicher externer Verbindungen nicht ausreichend D. Fey Fachgruppensitzung PII Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur 7 Optische Verbindungen für feingranulare Architekturen Q Verdrahtungskrise: Pin Limitierung X bedingt durch Skalierung und Chipflächen-Vergrößerung Transistor Pin Anstieg α² × β²: α=β=2 D. Fey Fachgruppensitzung PII Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur 5 × 5 = 25 Transistoren 60 Pins 8 20 × 20 = 400 Transistoren 120 Pins Optische Verbindungen für feingranulare Architekturen X Beispiel für Probleme mit langen Leitungen: Latenz • späten 1980er: 1.0 µm CMOS Prozess 1 mm Leitungslänge Signal-Verzögerung / Leitungs-Verzögerung = 10 : 1 • für fortgeschrittene 0.1 µm-Prozess-Technologie Signal-Verzögerung / Leitungs-Verzögerung = 1 : 100 D. Fey Fachgruppensitzung PII Leitungs-Verzögerung nahm innerhalb einer Dekade gegenüber Transistorlatenz um um drei Größenordnungen ab!! Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur 9 Optische Verbindungen für feingranulare Architekturen Q 3-D OE-VLSI X 3-D OESP (optoelectronic stacked processors) Konsortium D. Fey Fachgruppensitzung PII Frankfurt/M., 18.7.2003 Li et. al., APPLIED OPTICS Vol. 41, No. 2 10 January 2002 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur 10 Optische Verbindungen für feingranulare Architekturen Q Jahns/Sinzinger/Gruber et. al. – FernUni Hagen X D. Fey Fachgruppensitzung PII Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur 11 Planare Optik als Technologie für optoelektronische Multi-Chip-Module Optische Verbindungen für feingranulare Architekturen Q D. Fey Smarte Detektoren als Assoziativ-Speicher X Fachgruppensitzung PII allgemeine Schwierigkeiten bei 3-D OE-VLSI • Aufbau- und Verbindungstechnik – hybride Aufbau verschiedener Module wie MikroOptiken, optische Empfänger und Sender-Felder Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur • Mixed-Signal Design 12 – saubere Trennung der digitalen und analogen Anteile – digitale Anteil leichter skalierbar Beispiele für optoelektronische feingranulare Architekturen Q Beispiel 1: superskalare Arithmetikeinheit X X Optische verbundenen gestapelte PE-Felder arithmetische Operationen • Addition, Subtraktion, Multiplikation, Division optical interconnect pipelines ... ... ... ... D. Fey Fachgruppensitzung PII Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur circuit plane 1 13 circuit plane 2 circuit plane n-1 circuit plane n Beispiele für optoelektronische feingranulare Architekturen X Funktionalität • Modifizierte vorzeichenbehaftete Zahlen Darstellung 1 ≡ +1 0 1 ≡ 0 ≡ -1 0101 = 4 – 1 = 3 • Addition in zwei Schritten unabhängig von der Wortlänge D. Fey Fachgruppensitzung PII Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur – Regel: 1 + 0 = 10 + 01 = (2)10 -(1)10 (7)10 0111 + 1110 +(2)10 0010 - 0101 + 1010 1011 - 0001 = (9)10 14 Beispiele für optoelektronische feingranulare Architekturen • schrittweise Rückkonvertierung beginnend vom höchstwertigen Bit (Ercegovac/Lang: on the flyalgorithm) 1011 A: 1 B: 0 A:10 B:01 D. Fey Fachgruppensitzung PII A:101 B:100 Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur A:1001 15 Beispiele für optoelektronische feingranulare Architekturen • In jeder Ebene wird Addition und Rückkonvertierung • X gleichzeitig ausgeführt Multiplikation und Division zurückführen auf nachfolgende Additionen/Subtraktionen Synthese-Ergebnis • unter 100 Transistoren pro PE ausreichend • PE Taktfrequenz ~ 200 MHz für 0.8 µm CMOS Prozess • 1-to-1 Abbildung zwischen benachbarten PE-Ebenen • Durchsatz-Leistung zwischen 4 to 22 GIPS für ein D. Fey Fachgruppensitzung PII Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur 0.35 µm und 0.5 µm Prozess 16 Beispiele für optoelektronische feingranulare Architekturen Q Beispiel 2: eine paralleler DSP X Leistung basiert auf effizienter Prozessor-Speicher-Kopplung X Berechnung von Standardfunktionen basierend auf Konvergenz-Algorithmen X einfache Basis-Operationen ausreichend • Addition • Bitschiebe-Operationen • Bit-Abfrage • Tabellen-Zugriff X vermeidet Flächen-intensive Multiplizierwerke X unterstützt Implementierung massiv-paralleler Architekturen X wichtig für effiziente Implementierung • TABELLEN-ZUGRIFF! D. Fey Fachgruppensitzung PII Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur 17 Beispiele für optoelektronische feingranulare Architekturen X entwickelte Konvergenz-Algorithmen Funktion cos α Iterationsformel Start Bedingung x + = x m 2−i ⋅ z i i i 1 1 ? x = −i 0 1.6467 y ≥0 =α y + = y i m arctan 2 y i i 1 0 −i z =0 = ± ⋅ z+ z 2 x 0 i i i 1 D. Fey Fachgruppensitzung PII X ähnliche Formeln existieren für sin, atan, exp, ln, sqr X Konstante Werte ln(1+2-i) und atan(2-i) notwendig Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur 18 Beispiele für optoelektronische feingranulare Architekturen X Rein-elektronische Implementierung schwierig wegen zu hohem Aufwands an Tabellen PE PE PE PE table PE PE PE table PE table PE PE table PE table PE PE table PE table D. Fey Fachgruppensitzung PII Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur 19 1 Tabelle viele globale Leitungen n Tabellen hoher Flächenbedarf Beispiele für optoelektronische feingranulare Architekturen Q Lösung für effizienten Tabellenzugriff X parallele optische Prozessor-Speicher-Kopplung memory circuit processor circuit m 1c 27 27 VCSEL ... D. Fey clock generatorcircuit 20 FF FF FF FF FF FF 1 ... ring shift register for constant atan(2^-i) ... ring shift register for constant ln(1+2^-i) i 1 #PEs column 1 receiver diode clock receiver diode for ln(1+2^-i) ... Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur i 1 cm ... ... Fachgruppensitzung PII receiver diode for atan(2^-i) Beispiele für optoelektronische feingranulare Architekturen Q Synthese X CADENCE Layout-Synthese für 0.8µm CMOS Prozess P a ra m e te r size P E critica l p a th le n g th X Optimierung Durchsatz MOPS 500 D. Fey b it se ria l 3 2 B it 734×734 µm ² 3 .6 6 n s Fachgruppensitzung PII 0.35µm 0.5µm 100 50 Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur 0.8µm 10 MHz 21 0 100 200 300 400 500 Optoelektronische fein-granulare Architekturen Q Smarte Detektoren – intellig. CMOS Kameras D. Fey Fachgruppensitzung PII Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur 22 Kompaktere und schnellere Kamerasysteme für die industrielle Bildverarbeitung Optoelektronische fein-granulare Architekturen Q Kombination – parallele Signalerfassung und parallele Signalauswertung • Matrix von Prozessorelementen • ein optischer Empfänger je PE (SIMD – Architektur) • identische Logik • X-Netzwerk • „Smart pixel“ optical detection AD D. Fey PE Fachgruppensitzung PII & Q D Frankfurt/M., 18.7.2003 1 & = digital processing FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur PD Logik 23 Optoelektronische fein-granulare Architekturen Q Seriell versus parallele Verarbeitung? X Wieviel Pixel mehr seriell? # pix _ serial ( AChip − AADC − ALog ) ⋅ ( APD + AADC + ALog ) = pixel _ ratio = # pix _ spix APD ⋅ AChip AChip = 1 cm² AADC = 3400 µm² APD = 1600 µm² D. Fey Fachgruppensitzung PII Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur µm² 24 Optoelektronische fein-granulare Architekturen Q Seriell versus parallele Verarbeitung? X Zeit pro Pixel pixel _ exec _ time = frame _ rate # pixels [ns] D. Fey Fachgruppensitzung PII Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur # pixels 25 kHz Optoelektronische fein-granulare Architekturen Q Vorgehensweise beim Entwurf Verhaltensbeschreibung der PE – Logik in VHDL Layout – Technologie Bibliothek AND31 XOR21 DFF MUX32 ... D. Fey Fachgruppensitzung PII Simulation Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur 26 Testbench Layout – Beschreibung der PE –Logik + PD – Layout Optoelektronische fein-granulare Architekturen Q fertiges Layout X Raster-Anordnung erfordert noch viel Handarbeit Test Strukturen D. Fey Fachgruppensitzung PII Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur 27 Photodioden, TransimpedanzVerstärker Bond Anschlüsse digitale Logik Optoelektronische fein-granulare Architekturen Q FPGA-Prototyp entwickelt X X mit Ausgabe Original- und Ergebnisbild auf VGA-Monitor verschiedene Operationen programmierbar Kantendetektierung Erosion Konturkode Dilatation D. Fey Fachgruppensitzung PII Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur 28 Optoelektronische fein-granulare Architekturen Q Testsystem mit Faserfeldern X X X Faserfelder selbst entwickelt [Hoppe; mit IPHT] neben Anwendung Sensortechnik zugleich Anwendung für Datenkommunikation demonstriert hohe Übertragungsraten zwischen Baugruppen Raster = 250 µm 16 Kanäle Multi-Mode D. Fey Fachgruppensitzung PII Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur Faserkern 29 Optoelektronische fein-granulare Architekturen X Ankopplung Faserfeld – Chip Übertragung zwischen Baugruppen fibre bundle periphery chip with integrated opto-electronic transmitter and receiver arrays D. Fey Fachgruppensitzung PII Überstand zur Ankopplung Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur 30 processor board 2-D-fibre array-connector gefertigtes Element Optische Verbindungen für Architekturen mit grob-granularer Parallelität Q hohe Zeitbandbreite in Cluster-Rechnern X X X weiterhin: vereinfachte Wegewahl (Routing) insbesondere in Beowulf-Clustern • Fokus auf niedrige Kosten teure und aufwändige Schalter durch passiven optischen Wellenlängen-Multiplex (WDM) ersetzen reflective star coupler D. Fey λ2 λ1 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur 31 optical MUX/DEMUX λ λ λ 3 4 λ2 Frankfurt/M., 18.7.2003 1 λ 3 λ 4 Fachgruppensitzung PII λ 1 λ 2 λ λ3 4 λ 1λ 2λ 3 λ4 Optische Verbindungen für Architekturen mit grob-granularer Parallelität Q grobes WDM (Coarse WDM – CWDM) für SAN-Netze X Dense Wavelength Division Multiplexing (DWDM)Komponenten zu teuer • X geringer Wellenlängenabstand (~0.4 nm) stellt hohe Anforderungen bei Herstellung bei höheren Kanalabstand (~ 20 nm) • Optische Add-Drop-Multiplexer (ADMs) in hohen Stückzahlen kostengünstig herstellbar D. Fey Spiegel ADM Fachgruppensitzung PII Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur 32 Beugungsgitter λ1 − λ4 Quelle: Dr. Junger / FhG Institute λ1λ2λ3λ4 Optische Verbindungen für Architekturen mit grob-granularer Parallelität • kein Schalter X → passives Routing mit optischen ADMs Kosten • erheblicher Anteil bei Cluster-Rechner entfällt aufs Netzwerk – insbesondere dem Switch D. Fey Fachgruppensitzung PII Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur 40 TDM ~ 20 T€ Switch GBit-Ethernet 12 x 1: Kupfer: 9.4 TDM ~ 4.7 T€ Faser: bis zu 30 TDM ~ 15 T€ 33 Dezember 2001: Optische Verbindungen für Architekturen mit grob-granularer Parallelität X D. Fey O Fachgruppensitzung PII Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur 34 Aufwand in Switches (Schaltern in Netzwerken) • z.B. interner Aufbau sog. Sunshine-Switch Batcher-SortierNetzwerk X sortiert Pakete nach SortierMisch-Prinzip X Anzahl Stufen: ldn × (1+ldn)/2 Optische Verbindungen für Architekturen mit grob-granularer Parallelität • Banyan-Netzwerk – n / 2 × ldn (2 × 2) - Schalter 001 011 110 111 001 011 110 111 D. Fey Fachgruppensitzung PII • Wertung Frankfurt/M., 18.7.2003 – – – – FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur 35 viele Schalter Batcher-Netzwerk vergleicht über alle Adressbits aufwändige Konfliktbehandlung Puffer-Speicher notwendig Optische Verbindungen für Architekturen mit grob-granularer Parallelität Q ferner: kollisionsfreies und konfliktfreies Netzwerk X X bei Sender-basierter Adresskodierung im Gegensatz zu Empfänger-basierter Adressierung Sender-basierte Adresskodierung Empfänger-basierte Adresskodierung Optischer Stern-Koppler ADM λn λ2 λ1 ... λ1-λn λ1-λn-1 ADM λ1-λn ADM λ1, λ3-λn λ1-λn ADM λ2-λn λ1-λn-1 ADM Fachgruppensitzung PII λ1, λ3-λn λ2-λn D. Fey Optischer Stern-Koppler ADM ... Frankfurt/M., 18.7.2003 ... FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur 1 ... 2 ... ... n Empfänger-Adresse 1 ... 2 ... ... n Nachrichten-Format Nachrichten-Format 36 ... Daten Sender-Adresse Daten Optische Verbindungen für Architekturen mit grob-granularer Parallelität Q Schwierigkeit X X begrenzte Anzahl Knoten bei CWDM (8-16) Bildung hierarchischer Strukturen (s. Beispiel für 4 Knoten) Maschen-Ring-Netzwerk D. Fey Fachgruppensitzung PII Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur 37 2-stufige vollständige Masche Zusammenfassung Q Nutzung optoelektronischer Verbindungen für parallele fein- und grob-granulare Architekturen Q zwei fein-granulare Architektur-Beispiele vorgestellt X D. Fey Q drittes Beispiel: spezielle SIMD-Architekturen mit paralleler Schnittstelle für intelligente Kamerachips Q viertes Beispiel: grob-granulare Parallelarchitekturen Fachgruppensitzung PII Frankfurt/M., 18.7.2003 FSU Jena Institut für Informatik Lehrstuhl für Rechnerarchitektur X X 38 3-D Schnittstelle für Chip-to-Chip-Kommunikation erlaubt Entwurf leistungsstarker Pipeline-Architekturen X Optisches CWDM-Netzwerk für SAN-Bereich Alternative zu teuren Schaltern Konflikt-freies Netzwerk