Direkte numerische Simulation mit GENE

GENE
Ein massiv paralleler Code zur Berechnung von
turbulenten Strömungen in Fusionsplasmen
Priv.-Doz. Dr. Frank Jenko
Nachwuchsgruppe “Theorie und Ab-initio-Simulation von Plasmaturbulenz”
MPI für Plasmaphysik in Garching und Universität Münster
ASDEX Upgrade (D)
Stellare Fusionsplasmen
ITER (F)
(Ausgabe 12/1999)
Was sind die 10 größten ungelösten Probleme
in der Physik?
Umfrage des ‘Institute of Physics’
(Britische Physikervereinigung):
•
•
•
•
•
…
Fusionsenergie
Turbulenz
Komplexität
…
Diesen ‘Grand Challenges’ ist dieses Projekt gewidmet
Turbulenzforschung
Turbulente Strömungen sind allgegenwärtig…
…aber bis heute nicht wirklich verstanden!
Fusionsforschung und Plasmaturbulenz
• 100 Mio Grad heißes, ionisiertes
Gas (Plasma) in torusförmigen
magnetischen ‘Käfigen’
• Energieverlustrate liegt i.A. um
etliche Größenordnungen über
den naiven Erwartungen
Plasmaturbulenz ist ein/das Kernproblem der Fusionsforschung
Ziel: Verständnis und Kontrolle
Turbulenzinduzierter Transport (Simulation)
Direkte numerische Simulation mit GENE
Physikalische Grundlagen
Verwendete Algorithmen
Parallelisierungsstrategie
Ergebnisse und Herausforderungen
Konzeptioneller Ansatz
Komplexe
Phänomene
einfache Modelle
DNS (GENE)
Qualitatives Verständnis
Quantitatives Verständnis
(fundamentale Prozesse)
(direkter Vergleich mit dem Experiment)
Einfaches 2D-Flüssigkeitsmodell
Hasegawa-Mima-Gleichung
• minimales Modell für Plasmamikroturbulenz
• 2D-Gleichung für das elektrostatische Potential Ф
• identisch mit der Charney-Gleichung (Geophysik)
• eng verwandt mit der 2D-Navier-Stokes-Gleichung
Varianten dieser Gleichung liegen vielen Studien zugrunde;
sie ist das Herzstück aufwändigerer/realistischerer Modelle.
Kinetische Beschreibung stossarmer Plasmen
Dünne, heisse Plasmen sind fast stossfrei
Vlasov-Maxwell-Gleichungen
Eliminierung der schnellen Gyration
[Frieman, Chen, Lee, Hahm, Brizard et al. in den 1980ern]
Ladungsringe als Quasiteilchen
Nichtlineare Integro-Differentialgleichungen in 3+2 Dimensionen
Die nichtlinearen gyrokinetischen Gleichungen
X = Position des Gyrozentrums
V‫= װ‬
parallele Geschwindigkeit
μ = magnetisches Moment
Entsprechende Feldgleichungen
Direkte numerische Simulation mit GENE
Physikalische Grundlagen
Verwendete Algorithmen
Parallelisierungsstrategie
Ergebnisse und Herausforderungen
Effiziente Nutzung von Höchstleistungsrechnern
Mathematische Formulierung des Problems:
• Mittelung über die schnelle Gyrationsbewegung eliminiert kleine
und irrelevante Raum-Zeit-Skalen [spart viele Größenordnungen]
• Anpassung des Koordinatensystems an die räumliche Struktur der
turbulenten Fluktuationen, d.h. an das Hintergrund-Magnetfeld
[spart etwa 2-3 Größenordnungen]
Wahl des Algorithmus
Wichtige Auswahlkriterien:
• Stabilität bzw. Robustheit
• möglichst geringe Komplexität
• gute Effizienz und Parallelisierbarkeit
Algorithmische Alternativen:
• Particle-in-Cell-Methoden
hervorragend parallelisierbar
numerisches Rauschen
• Semi-Lagrange-Methoden
kein numerisches Rauschen
i.d.R. nur schwer parallelisierbar
• Gitter-Methoden
kein numerisches Rauschen
Effizienz und Parallelisierbarkeit OK
Angewandte CFD-Methoden
FJ und Tilman Dannert (1999-2005)
Kinetische Gleichung (eine für jede Teilchenspezies):
• x-Richtung (radial):
• y-Richtung (toroidal):
• z-Richtung (poloidal):
• v_parallel-Richtung:
• μ-Richtung:
kompakte finite Differenzen (quasispektral)
pseudospektral (Axialsymmetrie des Torus)
finite Differenzen vom upwind-Typ
zentrierte finite Differenzen
tritt nur als Parameter auf
Typisches Phasenraum-Gitter bei minimalem Simulationsvolumen:
128 x 64 x 32 x 32 x 8 Punkte (~ Bevölkerung der BRD)
Feldlöser:
• Berechnung der Quellterme erfordert Geschwindigkeitsraum-Integration
• Lösung der 2D-Poisson/Helmholtz-Gleichungen im x-y-Raum durch FFTs
Zeitschrittverfahren:
• Explizites Runge-Kutta-Verfahren 3. Ordnung (Heun-Verfahren)
Wahl des Zeitschrittverfahrens
Linearisiertes (und reduziertes) Problem:
Phasenraum-Diskretisierung liefert Matrix-Gleichung
Lage der EW in der komplexen Ebene
Stabilitätsbereiche von ERK-Verfahren
Lineare Stabilität erfordert ein ERK-Verfahren von mindestens 3. Ordnung
Direkte numerische Simulation mit GENE
Physikalische Grundlagen
Verwendete Algorithmen
Parallelisierungsstrategie
Ergebnisse und Herausforderungen
Parallelisierung und Rechnerarchitektur
Im wesentlichen zwei Familien:
Shared memory
Distributed memory
(Symmetric Multi Processing)
(Clusters)
OpenMP
MPI
(Open Multi Processing)
(Message Passing Interface)
IBM-Regatta-System am Rechenzentrum Garching:
SMP-Knoten
32 Prozessoren
SMP-Knoten
32 Prozessoren
SMP-Knoten
32 Prozessoren
SMP-Knoten
32 Prozessoren
Zwei Alternativen:
1) Nur MPI
2) Mischung aus MPI und OpenMP
25 Knoten à
64/256 GB
166.4 GFlop/s (peak)
Parallelisierungsstrategie bei GENE
Lokale und nichtlokale Operatoren:
• x-Richtung:
• y-Richtung:
• z-Richtung:
• v-Raum:
FFTs, kompakte finite Differenzen
FFTs
finite Differenzen
Integration
Gemischte Parallelisierung:
• MPI-Prozesse: z, y, μ (Wahlmöglichkeit)
• OpenMP:
Rest
SMP-Knoten:
1 MPI-Prozess
+ OpenMP
SMP-Knoten:
1 MPI-Prozess
+ OpenMP
SMP-Knoten:
1 MPI-Prozess
+ OpenMP
SMP-Knoten:
1 MPI-Prozess
+ OpenMP
Erzielte Effizienz: bis etwa 15% des theoretischen Maximums
Direkte numerische Simulation mit GENE
Physikalische Grundlagen
Verwendete Algorithmen
Parallelisierungsstrategie
Ergebnisse und Herausforderungen
Turbulenzantrieb durch Mikroinstabilitäten
Wichtige Mikroinstabilitäten:
ITG modes
ETG modes
• Ion temperature gradient (ITG) modes
• Electron temperature gradient (ETG) modes
• Trapped electron modes
trapped electron
modes
Im linearen Bereich sind ITG- und ETG-Modes isomorph.
Im nichtlinearen Bereich könnte das bedeuten:
DNS von ETG-Turbulenz
Strukturbildung
Dominanz von radial elongierten
Wirbeln (‘streamers’)
Turbulenter Transport
In Gegenwart von ‘streamers’
kann der Transport um mehr
als eine Größenordnung steigen
Theoretische Erklärung
FJ et al., Phys. Plasmas 2000
W. Dorland, FJ et al., PRL 2000
FJ and W. Dorland, PRL 2002
FJ, Phys. Lett. A 2005
[Jenko & Kendl 2002]
Plasmaturbulenz als ein Multiskalenproblem
spectra of
(log-log plot)
edge par’s
nonlinear
cross-scale
coupling
[Jenko 2004]
Verletzung des Superpositionsprinzips!
Globale Rechnungen (ITER)
Eine globale Turbulenzsimulation für ITER wird im Jahr 2015
auf einem 10 PFlop/s-Rechner etwa eine Woche dauern…
DEISA Extreme Computing Initiative
Distributed European Infrastructure for Supercomputing Applications
www.deisa.org
Eines von 20 EU-Projekten in 2005/2006:
“GYROKINETICS”
“The ultimate goal of this effort is to create a 'virtual fusion plasma‘
which can be used to predict and optimize the performance of
future tokamaks and stellarators.”
Danksagung:
Tilman Dannert
Reinhard Tisma
Mehr Information:
www.ipp.mpg.de/~fsj