python - Fakultät für Physik
Werbung
Vorlesung (Einführung in die) Computergestützte Datenauswertung Günter Quast, Andreas Poenicke Fakultät für Physik Institut für Experimentelle Kernphysik KIT – Die Forschungsuniversität in der Helmholtz-Gemeinschaft SS ‘17 www.kit.edu Rechnernutzung in der Wissenschaft Datenerfassung Einzelplatz-Rechner als Schnittstelle zum Anwender (=Physiker) Moderne ModerneWissenschaft Wissenschaftohne ohneComputer Computernicht nichtdenkbar denkbar CERN Computer Centre Server-Rack Worldwide LHC computing Grid Weltumspannende Netzwerke: Grid(s) und Cloud Rechnerhardware Rechner in der Physik heute meist auf PC-Architektur (PC=Personal Computer) d.h. Mikrocomputersysteme bestehend aus: - Mikroprozessor(en) - (flüchtigem) Halbleiter-Speicher - permanentem Magnet-Festplattenspeicher oder „SolidStateDisk“ (SSD) - Ein-Ausgabeschnittstellen -Tastatur, Bildschirm, Maus, Wechsellaufwerke, Drucker, Netzwerk, ... Verfügbar als - Einzelplatz-Desktop-PC / Notebook - vernetzter Cluster aus Desktop-PCs - PC-Farm mit Fileservern - Multi-Prozessor-Installationen für „High-Performance-Computing“ - vernetzte Rechenzentren („GRID“ & „Cloud“) Für diesen Kurs (und praktisch Ihr gesamtes Studium) ist ein Notebook ideal: ● ● ● ≥2 GB Speicher ≥25 GB freier Plattenplatz ≥ core i3 andernfalls: PCs im CIP-Pool dieser Kurs läuft sogar auf einem Raspberry Pi Betriebssystem Anwendungsprogramme Direkter Zugriff von Anwenderprogrammen auf Hardware nur in Ausnahmefällen sinnvoll / möglich: - ein-Prozess-Betrieb (z.B. Spiele!) - Echtzeit-Anwendungen Betriebssystem Treiber Windows, BIOS MacOSX, Linux, Android, Hardware ... Ansonsten: Zugriff auf Hardware nur über Betriebssystem Verschiedene Anforderungen ... Mobiltelefon, Windows …. App_1 App_2 Arbeit an Projekten App_1 App_3 App1Data GUI 1 GUI 2 GUI 3 AppData 1 AppData 2 AppData 3 App_4 App_4 GUI 4 App4Data Gemeinsame Daten App_2 App2Data App3Data ProjektDaten Projektziel AppData 4 z.B. Foto-App, E-Mail-Programm Telefon-App …. App_3 Android Windows Projektziel: Produkt (Dokument, App, ...) Daten: Grafiken, Tabellen, Textbausteine, Messdaten, Ergebnisse von Auswertungen ... Mac OS X Linux … erfordern unterschiedliche Arbeitsumgebungen ! Interaktion mit dem Computer ... Es gibt viele Wege: grafisch mit Finger und Gesten grafisch klicki-bunti mit Maus Shell auf der Textkonsole Grafik & Textkonsole Arbeitsumgebung für diesen Kurs Steuerung von Arbeitsabläufen Arbeitsabläufe sind meist mehrschrittig und komplex Beispiel: Vergleich von (Mess-)Daten mit Modell - Berechnung der Modellvorhersage(n) - Datenaufnahme und Korrekturen - Statistische Datenanalyse und Cross-Checks, Systematische Fehler - Dokumentation und Sicherstellung der Reproduzierbarkeit der Ergebnisse versus Script interaktiv / Maus ++ sehr intuitiv + leicht erlernbar - kaum Reproduzierbarkeit bei komplexen „Workflows“ - - spezielle Menü-Optionen nicht im Ergebnis dokumentiert - - keine permanente Dokumentation der Vorgehensweise - - in der Regel auf eine Anwendung und deren Tools festgelegt 0 erfordert Einarbeitung + relativ leicht erlernbar ++ Skript enthält alle relevanten Schritte: vollständige Dokumentation des Arbeitsablaufs ++ vollständig reproduzierbar ++ einfache Nutzung verschiedener Programm-Pakete und Tools Interaktion mit dem Betriebssystem Wir empfehlen: & friends: - numpy - scipy - matplotlib python ist eine – moderne – objektorientierte – interpretierte – intuitive – leicht zu erlernende – effiziente Programmier- und Skript-Sprache mit – Unterstützung praktisch aller Funktionen des Betriebssystems, – eigenen Modulen insb. auch für wissenschaftliches Rechnen – Anbindung von Bibliotheken wichtiger Programmpakete – Einbindung von selbst-programmierter Funktionalität python ist verfügbar für Windows, Mac OSX und Linux: Platform-übergreifend ! Betriebssystem für Wissenschaftliches Arbeiten Spezielle Empfehlung: Nutzen Sie Linux für wissenschaftliches Arbeiten ! Linux ist eine Re-Implementierung (Open Source) von Unix (begonnen Anfang der 90er von Linus Torvalds) LINUX ist (wie UNIX) ein portables (in C programmiertes), recht einfach aufgebautes Betriebssystem, mit folgenden wesentlichen Eigenschaften: -Multitasking (Prozess-Scheduling, Prozess-Kommunikation) - Multiuser (Zugangskontrolle und Abrechnung) - dialogorientiert - ein Werkzeugkasten mit viele hundert Dienstprogrammen - (mehrere) Shell(s) mit mächtiger Script-Sprache; Scripte laufen als Unterprozesse des startenden Prozesses - Dateisystem mit Baum-artiger Struktur, Rechtekontrolle für Datei-Zugriff - graphische Oberfläche X-Windows (X11) - volle Netzwerkunterstützung, incl. Netzwerk-Laufwerken, remote shells etc. Linux bietet viele Vorteile – der Einstieg über die virtuelle Maschine (s. unten) ist leicht. Probieren Sie es aus ! python „Appetizers“ python appetizer http://docs.python.org/2/tutorial/ Visualisierung und Auswertung von Daten mit & friends: - numpy - scipy - matplotlib numpy: effizientes und komfortables Arbeiten mit „arrays“ als Datenstruktur matplotlib: Erstellen von Grafiken in „Publikationsqualität“ http://www.matplotlib.org matplotlib user guide: „ making plots should be easy!“ Beispiel 1 Darstellung einer Funktion x=np.linspace(0.,10, 200) y=np.sin(np.pi*x)/x i.w. das Ergebnis dieses plt.plot(x,y,label='example function') kurzen Programms: plt.legend() siehe simplePlot.py plt.show() Beispiel 2 Datenpunkte mit Fehlerbalken und einer Geraden ym=[2.31,1.27,4.40,4.98,5.40,6.98,7.53,8.54,9.65,10.15] xm=range(1,11) plt.errorbar(xm,ym,yerr=0.5,fmt='ro') x=np.linspace(0.,11.,100) y=x+0.5 plt.plot(x,y) plt.show() simpleData.py Beispiel 3 Bestimmung von π mit Zufallszahlen pi.py s. auch animate_pi.py Beispiel 4: 3d Funktionen von zwei Variablen in 3d plot3dfunction.py noch mehr Beispiele animate_wave.py animated_Gauss.py playDice.py Beispiele unter http://matplotlib.org Lernen von python und matplotlib Konzept dieses Kurses: – python lernen am Beispiel der Darstellung von Daten mit matplotlib – statistische Einsichten gewinnen durch „Ausprobieren“ („the python way“) – Aufgeklappte Notebook-Deckel ausdrücklich erwünscht !!! (direktes Ausprobieren der Vorlesungs-Beispiele) – aktive Teilnahme an den Kleingruppen-Übungen unerlässlich (Programmieren lernt man durch Programmieren) – Recherche in online Dokumentation erforderlich (Listen mit Befehlen und Optionen in der Vorlesung sind laaangweilig) – Bilden von Lerngruppen, Diskutieren von Lösungsmöglichkeiten (Programmieren ist ein kreativer Prozess) Das Ziel: Kreative Nutzung des Computers zur Lösung von Problemen Der Kurs läuft zum zweiten Mal Empfohlene Software nützliche Software-Pakete Die nachfolgenden Software-Pakete sind quelloffen (Open Source) und frei unter Linux, MS Windows (10) und Mac OSX verfügbar Textdokumente erstellen mit LaTeX siehe z.B. http://www.dante.de/ • (Vektor-)Grafik mit INKSCAPE https://inkscape.org/de/ • Ausführen von virtuellen Maschinen: VirtualBox https://www.virtualbox.org/ • Programmiersprache python • unter Linux (meist) schon installiert Windows siehe Entwicklungsumgebung für python: IDLE • interaktives Arbeiten mit python: IPython • grafische Darstellung mit python: • python-Bibliotheken für wissenschaftliches Arbeiten: • Funktionsanpassung mit python: kafe • • (einfache) http://winpython.sourceforge.net/ Integrated Dvelopment and LEarning http://ipython.org/notebook.html matplotlib numpy und scipy http://www.ekp.kit.edu/~quast man braucht noch einen Texteditor ( das ist „Geschmackssache“ , etwas komfortabler als MS Notepad darf's schon sein) In diesem Kurs werden wir hauptsächlich mit python, numpy & matplotlib arbeiten nach dem Konzept: „Learning by Doing“ Virtuelle Hardware Software-Emulation von Hardware auf Wirts-System seit langem bei Großrechnern alte Rechner auf moderner Hardware/OS, z.B. Atari, V24, Apple II Windows- oder Linux-Betriebssystem auf Linux und/oder Windows aktuell empfohlen: VirtualBox, freie Virtualisierungslösung für Linux, Windows, Mac siehe http://www.virtualbox.org Virtualisierung erlaubt Standard-Umgebung auf unterschiedlichster Hardware bzw. OS Virtuelle Maschine mit aller notwendigen Software zum Kurs und Dokumentation finden Sie unter: http://www.ekp.kit.edu/~quast/VM-DaA Virtuelle Maschine zum Kurs: VM-DaA Virtuelle Maschine VM-DaA (Vers. SS17) für VirtualBox (http://www.virtualbox.org) auf Basis von kubuntu 16.04.2 LTS 32 bit Installationsanleitung: http://www.ekp.kit.edu/~quast/VM-DaA Enthaltene Software diverse Editoren zur Erstellung von Text / Programmcode Libreoffice (Textbearbeitung, Tabellenkalkulation und Präsentation) inc. texmath-Erweiterung zur Einbindung von Formeln mit LaTeX Textsatzsystem LaTeX Vektorgrafik inkscape C und C++ Compiler gcc / g++ python mit numpy, scipy und matplotlib gnuplot und qtiplot zur Datenanalyse und Visualisierung Datenanalyseframework ROOT RooFiLab zur interaktiven Funktionsanpassung mit Root python-Paket kafe zur Funktionsanpassung weitere Pakete problemlos nachladbar Virtuelles Linux unter Windows VirtualBox herunterladen und installieren → https://www.virtualbox.org/ für Windows (alle Versionen), Mac OSX und Linux virtuelle Maschine herunterladen Virtuelle Maschine über das Menü von VirtualBox starten → Arbeiten in kompletter Linux-Umgebung ideal zum Ausprobieren und Gewöhnen → http://www.ekp.kit.edu/~quast/VM-DaA Software unter Windows Um ein Windows-System (getestet unter Windows10) zu nutzen, muss einiges an zusätzlicher Software installiert werden: Hier die getesteten (und empfohlenen) Pakete mit Download-Links: – WinPython (32 bit Version): WinPython-32bit-2.7.10.3.exe eine komplette Python-Umgebung mit diversen IDEs – DANTE LaTeX „texlive“: install-tl-windows.exe – iminuit (vers. 1.1.1) zur Funktionsanpassung iminuit für Windows wird in der python-shell mit Hilfe von „pip“ installiert: >>> pip install future >>> pip install iminuit.1.1.1.whl – putty und filezilla zum Datei-Transfer von / zu anderen Systemen – ein Ent- / Packprogramm, z.B. 7zip zum Packen und Entpacken von Archiven in Standard-Formaten (.zip oder auch .tar.gz oder .tgz) – Paket kafe zur Funktionsanpassung kafe (Vers. 1.2) >>> pip install kafe – evlt. das mächtige Datenanalyse-Framework root vom CERN: root_v5.34.34.win32.vc12.exe Software unter Windows (2) Damit alles reibungslos zusammen spielt, müssen noch Pfade über die Systemsteuerung gesetzt werden: über das Menü (rechte Maustaste in Windows 10) Systemsteuerung > System und Sicherheit > System > Erweiterte Systemeinstellungen im sich dann öffnenden Fenster Doppelklick auf Path im sich darauf öffnenden Fenster folgende Pfade hinzufügen: X:\DAsoft\texlive\2015\bin\win32 X:\DAsoft\WinPython2.7.10.3\python-2.7.10 X:\DAsoft bezeichet den Pfad zur Zusatzsoftware Evtl. einen Wert für root anlegen (falls es installiert ist) X:\DAsoft\root_v5.34.34\bin und eine neue Umgebungsvariable anlegen: PYTHONPATH mit dem Wert X:\DAsoft\root_v5.34.34\bin damit kann root unter python verwendet werden Der Beqeumlichkeit halber noch Dateien vom Typ .py mit python.exe verknüpfen: Rechtsklick auf Datei.py → Öffnen mit → andere App auswählen X:\DAsoft\WinPython2.7.10.3\python-2.7.10\python.exe Vorbereitete Software für Windows Um das Herunterladen der Pakete zu vereinfachen, gibt es eine nützliche Sammlung unter: http://www.ekp.kit.edu/~quast/vorlesung/CgDA/Software Nutzer: Students Passwort: only ● ● Das Verzeichnis Win10/Downloads enthält die Installierbaren Dateien die Datei Win10/Dasoft.7z ist ein gepacktes Verzeichnis mit allen Dateien für LaTeX, WinPython (mit kafe), PyCharm und Root („portable“ Versionen) Ohne Installation nach Setzen der Umgebungsvariablen lauffähig (z.B. auch von einem (schnellen) USB-Stick) Software unter Linux/Mac OSx Viele Pakete sind unter Linux standardmäßig schon vorhanden, fehlende werden einfach über die Paketverwaltung zusätzlich installiert: LaTeX: texlive, texlive-science, texlive-extra-utils Python, python-numpy, python-matplotlib, python-scipy (Achtung: wir arbeiten (noch) mit Version 2.7) mit idle-python2.7 Evtl. Datenanalyse-Paket root (Vers. 5.34) über die Paketverwaltung von Ubuntu oder vom CERN: https://root.cern.ch/downloading-root Software zur Funktionsanpassung kafe: http://www.ekp.kit.edu/~quast/kafe Ich wünsche Ihnen Erfolg beim Installieren, viel Spaß beim Ausprobieren und uns allen ein gutes Gelingen des Kurses !
