Computerlinguistische Textanalyse
Werbung
Computerlinguistische Textanalyse 1. Sitzung – 21.10.2014 Einführung: Textverarbeitung und Python Franz Matthies Lehrstuhl für Computerlinguistik Institut für Germanistische Sprachwissenschaft Friedrich-Schiller Universität Jena www.julielab.de Übersicht Vorstellung ● Warum Textanalyse? ● Warum Python? ● Warum NLTK? ● Kurs­Roadmap ● Organisatorisches ● Übersicht 2/12 Vorstellung Warum Computerlinguistik? ● Programmier­Erfahrung? ● Studienfächer ● (studiumrelevante) Interessen ● […] Vorstellung 3/12 Was ist das Ziel? nahezu alles ist irgendwie “Text” ● Information im Web ● … in Datenbanken ● aber unstrukturiert ● → daraus strukturierte Information generieren … darum Textanalyse! (1/2) 4/12 Einige NLP Prozesse Tokenisierung (Wort­, Satzebene) ● POS­Tagging ● Stemming/Lemmatisierung ● Parsen ● Named Entity Recognition ● Sentimentanalyse ● Wort­Disambiguierung ● … darum Textanalyse! (2/2) 5/12 Python “Hard Facts” einfache(re), leicht lesbare Sprache ● interaktive Benutzung möglich ● quelloffen & frei ● → gut für Forschung & Lehre http://www.codecademy.com/tracks/python ● http://greenteapress.com/thinkpython/thinkpython.pdf ● … darum Python! (1/2) 6/12 The Zen of Python Beautiful is better than ugly. Explicit is better than implicit. Simple is better than complex. Complex is better than complicated. Flat is better than nested. Sparse is better than dense. Readability counts. […] "PEP 20 – The Zen of Python" … darum Python! (2/2) 7/12 Was ist NLTK? quelloffene Python­Bibliothek für NLP ● entwickelt mit Lehre im Sinn ● viele vorgefertigte nützliche Methoden ● … wie auch einige Corpora ● ausführliche Dokumentation/Tutorial ● http://www.nltk.org/book/ … darum NLTK! (1/2) 8/12 NLTK Beispiele … darum NLTK! (2/2) 9/12 Kurs­Roadmap Text Corpora und andere Ressourcen ● Wie mit unverarbeitetem Text umgehen ● Komplexere Python Verwendung ● Analyse auf Wort­Ebene ● → erste Klassifizierer Analyse auf Satz­Ebene ● Kurs­Roadmap 10/12 Organisatorisches nur einer der beiden Kurse anrechenbar! ● regelmäßige Übungen → Portfolio am Ende? ● Referat → schriftliche Ausarbeitung am Ende? ● Literaturliste kommt auch noch ● Organisatorisches 11/12 Irgendwelche offenen Fragen? ? ? ? Fragen, Wünsche, Anmerkungen 12/12
