Computerlinguistische Textanalyse

Werbung
Computerlinguistische Textanalyse
3. Sitzung – 04.11.2014
Verarbeitung von Rohtext II
Franz Matthies
Lehrstuhl für Computerlinguistik
Institut für Germanistische Sprachwissenschaft
Friedrich-Schiller Universität Jena
www.julielab.de
Übersicht
Termin: betreute Übungen (*)
●
Projekt (*)
●
Referate, die zweite …
●
Ein bisschen mehr Python: Funktionen, Skripts, Notebook
●
Hausaufgabe :)
●
Übersicht
2/10
Referatsthemen
Wortkategorisierung & Tagging
●
(Tagsets,) Tagging­Methoden, Stemmer, Lemmatisierer
Klassifizierung von Texten
●
Typen von Klassifizierern
Informationsextraktion aus Texten
●
Chunking, Named Entity Recognition, Relation Extraction
Referate, die zweite … (1/2) 3/10
Referatstermine
Wortkategorisierung & Tagging
●
2 Termine: 02.12. & 09.12.
Klassifizierung von Texten
●
1 Termin: 13.01.
Informationsextraktion aus Texten
●
2 Termine: 20.01. & 27.01.
Referate, die zweite … (2/2)
4/10
Funktionen
Mathematik: einem Element einer Menge wird
ein Element einer anderen Menge zugeordnet
●
z.B.: cos(0) = 1
Python: eine Eingabe wird nach bestimmten Vor­
gaben verarbeitet (und ein “Wert” zurückgegeben)
●
tokens = word_tokenize(raw)
Ein bisschen mehr Python (1/4)
5/10
Skripte
Zusammenfassung aufeinanderfolgender Befehle
●
iPython mit einem Skript starten
●
… :~$ ipython3 ­i /Pfad/zum/Skript.py
Definition von Funktionen, Klassen etc.
●
Ein bisschen mehr Python (2/4)
6/10
Übungen
NLTK­Buch: Kapitel 3.12
●
Strings: Übung 1, 2 & 11
Regular Expressions: Übung 6 & 7
● Skripte: Schreib ein Skript, das die Bücher aus
“nltk.book” importiert (NLTK Kapitel 1.2) und eine
Konkordanz­Ansicht eines beliebigen Wortes eines
beliebigen Textes zeigt.
Ein bisschen mehr Python (3/4)
7/10
iPython Notebook
Eine noch “bessere” Python­Oberfläche
●
Besonders gut um Arbeiten zu dokumentieren
und zu teilen
●
Speichern der Arbeitsergebnisse
●
Start mit: … :~$ ipython3 notebook
●
Wenn unter Windows “Anaconda” oder “WinPython”
installiert wurde, sollte es ein entsprechendes
Programm geben
●
Ein bisschen mehr Python (4/4)
8/10
“Hausaufgaben”
Gedanken zum Projekt machen:
­ wie könnte eine Pipeline dafür aussehen
­ kleinteilige Schritte
●
Codecadamy:
­ Conditionals & Control Flow
­ Functions
●
NLTK:
­ Kapitel 3.1: ab “Reading Local Files”
­ Kapitel 3.9
●
Hausaufgabe
9/10
Links
http://ipython.org/ipython­doc/1/interactive/notebook.html
●
(iPython­Notebook Einführung)
http://markdowntutorial.com/
●
(Markdown Einführung – für Notebook Kommentare)
Link zum Skript & Text
●
Last but not least …
10/10
Herunterladen
Random flashcards
Medizin

5 Karten Sophia Gunkel

Laser

2 Karten anel1973

Literaturepochen

2 Karten oauth2_google_55780ed8-d9a3-433e-81ef-5cfc413e35b4

Erstellen Lernkarten