Warum Twitter?

Institut für Informatik
Hauptseminar „Data Science“:
Mining Social Media
Hauptseminar SS 2015
Ansprechpartner:
Prof. Matthias Renz
Dr. Tobias Emrich
Johannes Niedermayer
Ablauf
Agenda
•
Einleitung
•
Seminarüberblick
• Ziele des Seminars
• Ablauf des Seminars
•
Mining Twitter
• Warum Twitter?
• Mögliche Fragestellungen
•
Grundlagen
• Twitter API
• Tools
•
Einteilung der Gruppen
MediaQ
Social Media
Internetbasierte Applikationen, die auf
dem Web 2.0 aufbauen und die
Erzeugung sowie den Austausch
nutzergenerierter Inhalte ermöglichen
Twitter
Twitter
•
Microblogging-Plattform
•
Kommunikation erfolgt über Tweets
•
•
•
•
Kurze Textnachrichten mit bis zu 140 Zeichen
Hashtags zur Kategorisierung
Möglichkeit der Einbindung von Bildern und Videos
Zusätzliche Anreichung mit Geoinformationen möglich
Literaturempfehlung: Kwak, Lee, Park, Moon: “What is Twitter, a Social Network or a News Media?“ (2010).
Ziele
Ziele
Entwicklung neuer Analysemethodiken für
Microblogging-Plattformen wie Twitter und Instagram
•
Einarbeitung in Fragestellungen des Themengebiets „Data Science“ mit
Konzentration auf Social Media Mining
•
Kreative Auseinandersetzung mit den gegebenen Daten
• Neue Fragestellungen zur Analyse von Social Media Daten entwickeln
• Ansprechende Visualisierung der Idee
•
Umsetzung der Ideen
• Implementierung
• Präsentation
Ablauf des Seminars
Ablauf des Seminars
•
1. Termin (Heute)
• Vorstellung der Thematik
• Einteilung der Gruppen
•
2. Termin (6. November 2015)
• Meilenstein: theoretische Auseinandersetzung abgeschlossen
• Paper-Präsentation (Theoretischer Teil)
• Vorstellung der Projektideen (Praktischer Teil)
•
3. Termin (4. Novemberwoche)
• Meilenstein: praktische Einarbeitung beendet
• Zwischenpräsentation des Projektes
• Diskussion der Zwischenergebnisse
•
4. Termin (5. Februar 2016)
• Meilenstein: Projekt abgeschlossen
• Abschlusspräsentation des Projektes
Ablauf: Theoretischer Teil
Ablauf: Theoretischer Teil
•
Einarbeitung in ein festgelegtes Themengebiet anhand eines
vorgegebenen Papers
•
Entwicklung von eigenen Applikationsideen
•
•
anhand der Publikation
•
anhand eigener Ideen
Präsentation der Ergebnisse im Seminar
•
15 Minuten Paper
•
5 Minuten eigene Projektideen
•
5 Minuten Diskussion
Ablauf: Praktischer Teil (Einarbeitung)
Ablauf: Praktischer Teil (Einarbeitung)
•
Einarbeitung in die Twitter- oder Instagram-API und Crawling der
benötigten Daten über die API
•
Detaillierte Auseinandersetzung mit den Daten inklusiver erster
Experimente - Realdaten sind schwierig: Vorverarbeitung ist kritisch!
Vertraulichkeit: Twitter Terms of Service beachten
•
Crawler wird bereit gestellt (Java)
•
Weiterentwicklung der Ideen
•
Skizzierung einer detaillierten Analysepipeline
•
Präsentation der Ergebnisse (~10 Minuten) und Diskussion mit den
Betreuern (~5 Minuten)
Ablauf: Praktischer Teil (Umsetzung)
Ablauf: Praktischer Teil (Umsetzung)
•
Implementierung des entwickelten Analyseverfahrens
•
Dokumentation der Applikation, sowie Beschreibung der
Softwarearchitektur und Algorithmen in einem Webdokument
•
Präsentation des Verfahrens und der Umsetzung im Seminar (~15
Minuten)
Ziele
Benotungskriterien
1. Einarbeitung in ein Themengebiet anhand eines vorgegebenen Papers
und Vortrag zu diesem Themengebiet
2. Entwicklung und Implementierung eines Analyseverfahrens
3. Dokumentation und Veröffentlichung des Verfahrens in Form eines
Webauftritts
4. Präsentation der Ergebnisse im Seminar
Es wird in Gruppen von 3 Personen gearbeitet.
Warum Twitter?
Geokoordinaten
Bilder
Retweets
Hashtags
Text
Follower
Links
API
Data Mining und Machine Learning
Techniken
•
Clustering
•
Outlier Detection (bzw. Trend Detection)
•
Regression
•
Klassifikation
•
Frequent Pattern Mining
•
Hot-Spot Detection
•
Graph Pattern Mining
•
Query Processing
•
…
Ziele
Mögliche Fragestellungen
Retweet Prediction: Wie groß ist für einen gegebenen Tweet die
Wahrscheinlichkeit eines Retweets?
Trend Analysis: Welche Begriffe sind aktuell im Trend?
#
Hashtag Prediction: Welche Hashtags bieten sich für einen
Tweet an?
Vergleich der Daten (Text, Geodaten, Bilder, Hashtags, …) von
Twitter und Instagram
Identifikation interessanter Orte (POIs)
?
Weitere innovative Ideen sind Willkommen!
MediaQ
Twitter API
•
Nach einer Registrierung ermöglicht Twitter den Datenzugriff über eine API
•
Streaming API ermöglicht Empfang eines Samples
•
Spezielle Anfragen an die Twitter-API (Begrenzt bzgl. Anzahl an Queries)
•
Implementierungen für eine Vielzahl von Programmiersprachen
•
Crawler wird bereit gestellt (Java)
•
Links:
•
API
http://dev.twitter.com/
•
Libraries:
http://dev.twitter.com/overview/api/twitter-libraries
Hardware
Hard- und Software (Auszug)
•
hekto.cip.ifi.lmu.de – 136 GB Arbeitsspeicher, 24 Kerne
•
deka.cip.ifi.lmu.de – 144 GB Arbeitsspeicher, 24 Kerne
•
cerboli.dbs.ifi.lmu.de – 32 GB Arbeitsspeicher, 12 Kerne, Tesla M2090 GPU
Nach Anmeldung!
•
https://wiki.cip.ifi.lmu.de/tiki-index.php?page=tiki-sge – Sun Grid
Engine des CIP-Pools
Texte
Arbeiten mit Texten
•
Tokenization: Splitten von einem Text
String in einzelne Worte/Tokens
•
Stopword Removal und Term
Weighting: Entfernung irrelevanter
Worte (der, die das, …)
•
Gewichtung von Worten nach
Informationsgehalt (TF/IDF)
•
Frameworks
• NLTK (Python) – Stemming, Stopwortlisten, Klassifikatoren, Sentiment Analysis
http://www.nltk.org/
• Lucene (Java) – Textsuchmaschine
http://lucene.apache.org
• OpenNLP (Java) – Natural Language Processing mit Java
https://opennlp.apache.org/
Bilder
Arbeiten mit Bildern
•
Mit Caffe (http://caffe.berkeleyvision.org/) können State-of-the-Art
Features aus Bildern extrahiert werden, die dann wie beliebige Vektordaten
verarbeitet werden können
•
OpenCV ermöglicht die Extraktion weiterer Features
•
theano, numpy und sklearn
eignen sich gut für Fragestellungen aus dem Bereich
Machine Learning (nicht nur für Bilder)
Social Graphs
Arbeiten mit sozialen Netzwerken
•
FlockDB (Graphdatenbank von Twitter)
https://github.com/twitter/flockdb
•
Neo4j (Graphdatenbank)
http://neo4j.com
•
Redis (NoSQL)
http://redis.io/
Geodaten
Arbeiten mit Geodaten
•
Lucene (Textsuchmaschine mit Spatial Tools)
http://lucene.apache.org
•
PostGIS (Geodatenbank)
http://postgis.net/
•
Weka (Data-Mining Framework)
http://www.cs.waikato.ac.nz/ml/weka/
•
Elki (Data-Mining Framework)
http://elki.dbs.ifi.lmu.de/
Ziele
Gruppeneinteilung
Austausch
Die-Informatiker Forum
Unter Hauptstudium -> DBS -> Hauptseminar „Data Science“ 2015
Gruppeneinteilung
Vortragsthemen (1)
1.
2.
3.
4.
5.
6.
7.
8.
9.
Georgiou, Agrawal, Abbadi GeoScope: Online Detection of Geo-Correlated
Information Trends in Social Networks. Topic: Trend Detection.
Cataldi, Di Caro, Schifanella: Emerging Topic Detection on Twitter based on
Temporal and Social Terms Evaluation. Tropic: Trend Detection.
Bakshy, Hofman, Mason, Watts: “Everyone’s an Influencer: Quantifying Influence on
Twitter” (2011). Topic: Twitter Analysis.
Pak, Paroubek: “Twitter as a Corpus for Sentiment Analysis and Opinion Mining”
(1010). Topic: Sentiment Analysis.
Wang, Wei, Liu, Zhou, Zhang: “Topic Sentiment Analysis in Twitter: A Graph-based
Hashtag Sentiment Classification Approach”. Topic: Graph Mining.
Bahmani, Chowdhury, Goel: “Fast Incremental and Personalized PageRank” (2010).
Topic: Social Network Analysis.
Lu, Chen, Kou: "Algorithms for spatial outlier detection„ (2003). Topic: Spatial Data
Analysis.
Krizhevsky, Sutskever, Hinton: “ImageNet Classification with Deep Convolutional
Neural Networks” (2012). Topic: Image Classification.
Castillo, Mendoza, Poblete: “Information Credibility on Twitter” (2011). Topic: Twitter
Analysis.
Hausaufgaben bis zum nächsten Mal…
•
Vertraut machen mit den Daten und Plattform
• API-Richtlinien lesen
• Twitter Entwickler-Konto anlegen
• Einfache Applikation zum Zugriff auf die Streaming-API
entwickeln
•
Präsentation Erstellen (Präsentationslänge ~20 Minuten)
• Inhalt des Papers (ca. 15 Minuten)
• Kreativer Teil (ca. 5 Minuten)
• Auswahl einer der zuvor erwähnten Analysen oder
Entwicklung einer neuen Fragestellung auf den Daten
von Twitter oder Instagram
• Anwendung und ggfs. Anpassung der Techniken des
Papers auf die ausgewählte Fragestellung
• Optional: Weitere Anwendungsideen unabhängig vom
Paper