Computerlinguistische Textanalyse

Computerlinguistische Textanalyse
1. Sitzung – 21.10.2014
Einführung:
Textverarbeitung und Python
Franz Matthies
Lehrstuhl für Computerlinguistik
Institut für Germanistische Sprachwissenschaft
Friedrich-Schiller Universität Jena
www.julielab.de
Übersicht
Vorstellung
●
Warum Textanalyse?
●
Warum Python?
●
Warum NLTK?
●
Kurs­Roadmap
●
Organisatorisches
●
Übersicht
2/12
Vorstellung
Warum Computerlinguistik?
●
Programmier­Erfahrung?
●
Studienfächer
●
(studiumrelevante) Interessen
●
[…]
Vorstellung
3/12
Was ist das Ziel?
nahezu alles ist irgendwie “Text”
●
Information im Web
●
… in Datenbanken
●
aber unstrukturiert
●
→ daraus strukturierte Information generieren
… darum Textanalyse! (1/2)
4/12
Einige NLP Prozesse
Tokenisierung (Wort­, Satzebene)
●
POS­Tagging
●
Stemming/Lemmatisierung
●
Parsen
●
Named Entity Recognition
●
Sentimentanalyse
●
Wort­Disambiguierung
●
… darum Textanalyse! (2/2)
5/12
Python “Hard Facts”
einfache(re), leicht lesbare Sprache
●
interaktive Benutzung möglich
●
quelloffen & frei
●
→ gut für Forschung & Lehre
http://www.codecademy.com/tracks/python
●
http://greenteapress.com/thinkpython/thinkpython.pdf
●
… darum Python! (1/2)
6/12
The Zen of Python
Beautiful is better than ugly.
Explicit is better than implicit.
Simple is better than complex.
Complex is better than complicated.
Flat is better than nested.
Sparse is better than dense.
Readability counts.
[…]
"PEP 20 – The Zen of Python"
… darum Python! (2/2)
7/12
Was ist NLTK?
quelloffene Python­Bibliothek für NLP
●
entwickelt mit Lehre im Sinn
●
viele vorgefertigte nützliche Methoden
●
… wie auch einige Corpora
●
ausführliche Dokumentation/Tutorial
●
http://www.nltk.org/book/
… darum NLTK! (1/2)
8/12
NLTK Beispiele
… darum NLTK! (2/2)
9/12
Kurs­Roadmap
Text Corpora und andere Ressourcen
●
Wie mit unverarbeitetem Text umgehen
●
Komplexere Python Verwendung
●
Analyse auf Wort­Ebene
●
→ erste Klassifizierer
Analyse auf Satz­Ebene
●
Kurs­Roadmap
10/12
Organisatorisches
nur einer der beiden Kurse anrechenbar!
●
regelmäßige Übungen → Portfolio am Ende?
●
Referat → schriftliche Ausarbeitung am Ende?
●
Literaturliste kommt auch noch
●
Organisatorisches
11/12
Irgendwelche offenen Fragen?
? ? ?
Fragen, Wünsche, Anmerkungen
12/12