Diplom-Wirtschaftsinformatikerin (FH)
Werbung
Fakultät für Wirtschaftswissenschaften Diplomarbeit Educational Data Mining Abschlussarbeit zur Erlangung des Grades einer Diplom-Wirtschaftsinformatikerin (FH) der Hochschule Wismar eingereicht von: Daniela Garling-Schmid geboren am 30. September 1978 in Rostock Studiengang Wirtschaftsinformatik Matrikelnummer: 117718 Erstgutachter: Prof. Dr. J. Cleve Zweitgutachter: Prof. Dr. Ing. U. Lämmel Bamberg, den 16. Juni 2015 Inhaltsverzeichnis 1 Einleitung 1 2 Grundlagen und Definitionen 2 2.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2.2 EDM und Learning Analytics . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2.3 Entstehung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2.4 Einsatzbereiche und Datenquellen . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.5 Interessengruppen und Ziele . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.5.1 Interessengruppen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.5.2 Analyse und Visualisierung von Daten . . . . . . . . . . . . . . . . . . . 11 2.5.3 Erarbeiten von Empfehlungen . . . . . . . . . . . . . . . . . . . . . . . 11 2.5.4 Entwicklung von Concept Maps . . . . . . . . . . . . . . . . . . . . . . 11 2.5.5 Gruppierung von Studenten . . . . . . . . . . . . . . . . . . . . . . . . 12 2.5.6 Entwicklung von Modellen . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.5.7 Entwicklung von Kursen . . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.5.8 Leistungsprognose . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 2.5.9 Planung und Disposition . . . . . . . . . . . . . . . . . . . . . . . . . . 13 2.5.10 Unterstützung der Bildungsforschung . . . . . . . . . . . . . . . . . . . 13 2.6 Anwendungsklassen und Verfahren . . . . . . . . . . . . . . . . . . . . . . . . 16 2.6.1 Vorhersage - Prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2.6.2 Strukturerkennung - Structure Discovery . . . . . . . . . . . . . . . . . . 19 2.6.3 Beziehungs-Mining - Relationship Mining . . . . . . . . . . . . . . . . . 20 2.6.4 Entdecken mit Modellen - Discovery with Models . . . . . . . . . . . . . 21 2.6.5 Sonstige Methoden . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3 Ausgewählte Beispiele aus der Literatur 24 3.1 A Survey on Pre-Processing Educational Data . . . . . . . . . . . . . . . . . . 24 3.1.1 Vorverarbeitungswerkzeuge . . . . . . . . . . . . . . . . . . . . . . . . 28 3.1.2 Schlussfolgerung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 3.2 Web mining for self-directed e-learning . . . . . . . . . . . . . . . . . . . . . . 29 3.2.1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 3.2.2 Self-Directed E-Learning . . . . . . . . . . . . . . . . . . . . . . . . . . 29 II INHALTSVERZEICHNIS 3.2.3 Defizite der vorgestellten Systeme . . . . . . . . . . . . . . . . . . . . . 30 3.2.4 Web-Mining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 3.2.5 Web-Mining im E-Learning-Bereich . . . . . . . . . . . . . . . . . . . . 32 3.2.6 Ausblick . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 3.2.7 Schlussfolgerung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 3.3 Web-based educational hypermedia . . . . . . . . . . . . . . . . . . . . . . . . 33 3.3.1 Probleme mit der „just-put-it-on-the-web“-Variante . . . . . . . . . . . . . 33 3.3.2 Adaptive (Educational) Hypermedia . . . . . . . . . . . . . . . . . . . . 34 3.3.3 AHAM - Adaptive Hypermedia Application Model . . . . . . . . . . . . . 35 3.3.4 AHA! . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 3.3.5 Fragen, Tests und Aufgaben . . . . . . . . . . . . . . . . . . . . . . . . 39 3.3.6 Anpassung an Lernstile . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 3.3.7 Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 3.4 A Personalized e-Learning Material Recommender System . . . . . . . . . . . . 40 3.4.1 Vorüberlegungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 3.4.2 Framework des PLRS . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 3.4.3 Definitionen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 3.4.4 Komponentendetails . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 3.4.5 Vorteile des Frameworks . . . . . . . . . . . . . . . . . . . . . . . . . . 44 3.5 Off-Task Behaviour in the Cognitive Tutor Classroom . . . . . . . . . . . . . . . 44 3.5.1 Studienaufbau . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 3.5.2 Ergebnisse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 3.5.3 Die Beziehungen von Off-Task-Verhalten zum Lernerfolg . . . . . . . . . 46 3.5.4 Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 4 Eigene Anwendungsbeispiele 50 4.1 Zielstellung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 4.2 Vorgehensweise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 4.3 Lernumgebung und Rohdaten . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 4.3.1 ILIAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 4.3.2 Datensätze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 4.4 Welche Fragen in einem Test sind besonders einfach oder besonders schwer? . 52 4.4.1 Datenvorverarbeitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 4.4.2 Data Mining und Evaluation 53 . . . . . . . . . . . . . . . . . . . . . . . . 4.5 Gibt es Fragearten, die besonders häufig falsch bzw mit nicht voller Punktzahl absolviert wurden? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 4.5.1 Datenvorverarbeitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 4.5.2 Data Mining und Evaluation 56 . . . . . . . . . . . . . . . . . . . . . . . . 4.6 Gibt es Fragenpaare oder -gruppen, die häufig gemeinsam richtig / falsch beantwortet wurden? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . III 59 INHALTSVERZEICHNIS 4.6.1 Datenvorverarbeitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 4.6.2 Data Mining und Evaluation 60 . . . . . . . . . . . . . . . . . . . . . . . . 5 Fazit 62 IV Abbildungsverzeichnis 2.1 Ziele und Interessengruppen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.2 Anwendungsklassen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 2.3 Anwendungsklassenverteilung in der Literatur . . . . . . . . . . . . . . . . . . . 16 3.1 Hauptvorverarbeitungsschritte bei Bildungsdaten nach Romero, Romero & Ventura (2014) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 3.2 Verschiedene Stufen der Granularität in Beziehung zu der Datenmenge nach Romero, Romero & Ventura (2014) . . . . . . . . . . . . . . . . . . . . . . . . . . 28 3.3 Web-Mining-Taxonomie nach Desikan et al. (2006) . . . . . . . . . . . . . . . . 31 3.4 Dexter Modell und AHAM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 3.5 AHA! Architektur nach De Bra (2006) . . . . . . . . . . . . . . . . . . . . . . . 37 3.6 Anpassung in AHA! nach De Bra (2006) . . . . . . . . . . . . . . . . . . . . . . 38 3.7 PLRS Framework nach Lu (2004) . . . . . . . . . . . . . . . . . . . . . . . . . 43 3.8 Learning Material Tree nach Lu (2004) . . . . . . . . . . . . . . . . . . . . . . . 44 3.9 zeitliche Verteilung der Verhaltensweisen in Prozent . . . . . . . . . . . . . . . 47 3.10 Anteil der Schüler, die die Verhaltensweisen mind. ein Mal zeigten . . . . . . . . 48 3.11 Einflussfaktoren auf das Nachtestergebnis . . . . . . . . . . . . . . . . . . . . . 49 4.1 Educational Data Mining Prozess . . . . . . . . . . . . . . . . . . . . . . . . . 51 4.2 Beispieltabellen aus der ILIAS . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 4.3 Auszug aus einer ARFF-Datei . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 4.4 Auszug aus einem KNIME Workflow . . . . . . . . . . . . . . . . . . . . . . . . 54 4.5 Verteilung der erreichten Punkte . . . . . . . . . . . . . . . . . . . . . . . . . . 55 4.6 J48-Entscheidungsbaum zur TI-Testklausur . . . . . . . . . . . . . . . . . . . . 56 4.7 Datenbereinigung in Knime . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 4.8 Scatter Plot Fragetyp (X-Achse) und erreichte Prozent (Y-Achse) . . . . . . . . . 58 4.9 Scatter Plot: Test-ID (X-Achse) und erreichte Prozent (Y-Achse) . . . . . . . . . 58 4.10 Scatter Plot: Frage (X-Achse) und durchschnittlich erreichte Prozent (Y-Achse) . 59 4.11 Scatter Plot: Fragetyp (X-Achse) und durchschnittlich erreichte Prozent (Y-Achse) 59 4.12 EDM-Workflow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 4.13 Gefundene Assoziationsregeln . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 V Tabellenverzeichnis 2.1 Vergleich EDM und LAK . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.2 Datenquellen und Fragestellungen für das Data Mining in verschiedenen Bildungsbereichen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3.1 Verschiedene Arten von Daten und Data Mining Techniken nach Romero, Romero & Ventura (2014) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3.2 Datenvorverarbeitungswerkzeuge nach Romero, Romero & Ventura (2014) . . . 28 3.3 Beispiele für web-basierte E-Learning Anwendungen . . . . . . . . . . . . . . . 30 3.4 inhaltsorientierte und kooperationsorientierte Recommender-Systeme . . . . . . 41 3.5 Korrelationskoeffizienten verschiedener Verhaltensweisen zum Nachtestergebnis nach Baker et al. (2004) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 3.6 Vergleich zwischen Gamern und Nicht-Gamern mit niedrigem Vorwissen . . . . . 48 5.1 SWOT-Analyse der EDM-Forschung nach Papamitsiou & Economides (2014) . . 64 VI Abkürzungsverzeichnis AHS Adaptive Hypermedia Systems AIWBES Adaptive and Intelligent Web-Based Educational Systems BKT Bayesian Knowledge Tracing DM Data Mining EDM Educational Data Mining HAC Hierarchical Agglomerative Clustering IEDMS International Educational Data Mining Society ITS Intelligent Tutoring Systems LA Learning Analytics LAK Learning Analytics and Knowledge LCMS Learning Content Management System MOOC Massive Open Online Course PDF Probability Density Function PLE Personal Learning Environment PLRS Personalized Learning Recommender System SNA Social Network Analysis SMI Supervised Model Induction SVM Support Vector Machines SWE Selbstwirksamkeitserwartung WCM Web Content Mining WLM Web Log Mining WSM Web Structure Mining WUM Web Usage Mining VII Kapitel 1 Einleitung Anfang 2013 veröffentlichte der IT-Branchenverband BITKOM unter der Schlagzeile „E-Learning gewinnt rasant an Bedeutung“ eine repräsentative Umfrage der BITKOM Research, nach der über die Hälfte der Bundesbürger zwischen 14 und 29 Jahren bereits E-Learning Angebote genutzt haben. Knapp zwei Drittel der Unternehmen aus der Informations- und Kommunikationstechnikbranche nutze digitale Lernformen, wobei Online-Trainings am beliebtesten seien.1 Die grosse Verbreitung computergestützter Bildungsangebote und -systeme führt zu einer verstärkten Produktion von großen und komplexen Datenmengen im Bildungsbereich, die mit klassischen Methoden der Datenverarbeitung kaum ausgewertet werden können. Das durch sinkende Speicherpreise leichtere Sammeln dieser Daten gepaart mit Fortschritten in der computergestützten Auswertung kann bei der Verbesserung von formalen Lernprozessen hilfreich sein. 2 Der Fokus innerhalb von Educational Data Mining (EDM) liegt auf der Verwendung von Data Mining Methoden mit diesen grossen Datenmengen, um Lernprozesse und damit auch die Effektivität von Bildungsangeboten zu verbessern. Es gibt eine Vielzahl von Schwerpunkten innerhalb des EDM, zum Beispiel die Senkung von Schulabbruchraten, die Personalisierung von Lernangeboten und die Auswertung von Lernverhalten innerhalb von Kursmanagementsystemen. 3 Diese Diplomarbeit gibt einen Überblick über die Disziplin EDM. Einleitend werden Grundlagen dargestellt, es wird auf Einsatzbereiche, Ziele und Interessengruppen sowie Anwendungsklassen und Verfahren eingegangen. In Kapitel 3 werden ausgewählte Beispiele aus der Literatur angeführt und schliesslich werden in Kapitel 4 einige Beispiele anhand von Daten aus dem Lernmanagementsystem ILIAS vorgestellt. In Kapitel 5 werden Schwachstellen und Risiken angesprochen und ein Fazit gebildet. 1 BITKOM (2013), S. 1. Vgl. SIEMENS, G. (2012), S. 252-254. 3 Vgl. HUEBNER, R. (2013), S. 1-13. 2 1 Kapitel 2 Grundlagen und Definitionen 2.1 Definition Romero und Ventura definieren Data Mining (DM) kurz als „Prozess durch den interessante, interpretierbare, nützliche und neue Informationen aus Daten extrahiert werden“. 1 EDM wiederum definieren dieselben Autoren als „die Anwendung von Data Mining Verfahren auf die speziellen Arten von Datensätzen, die aus dem Bildungsbereich stammen, um sich mit wichtigen Fragen der Bildung auseinanderzusetzen“. 2 Die International Educational Data Mining Society (IEDMS) definiert EDM wie folgt: „Educational Data Mining ist eine aufkommende Disziplin, deren Inhalt es ist, Methoden zu entwickeln, um die speziellen Arten von Daten aus dem Bildungsbereich zu erforschen, zu analysieren und auszuwerten, um dadurch das Lernverhalten und die Lernszenarien von Studenten verstehen zu können“. 3 besser 4 Die Disziplin EDM beschäftigt sich also mit der Entwicklung, Erforschung und Anwendung von computergestützten Methoden, um Muster in grossen Mengen von Bildungsdaten zu entdecken, die andernfalls aufgrund der enormen Menge an Daten, in denen sie sich befinden, schwierig bis unmöglich auffindbar wären. 5 Ein erster Workshop zum Thema EDM fand 2005 statt, jährliche Konferenzen gibt es seit 2008. 2009 erschien erstmalig das EDM-Journal. 2011 wurde die IEDMS gegründet, die 2014 bereits 240 Mitglieder zählte. 6 1 Vgl. ROMERO, C., VENTURA, S. (2010), S. 601-618. Vgl. ROMERO, C., VENTURA, S. (2013), S. 12-27. 3 Englisch: students, gemeint sind stets Schüler, Studenten und sonstige Lernende, also all jene, die Bildungsangebote nutzen. 4 IEDMS (2015). 5 Vgl. ROMERO, C., VENTURA, S. (2013), S. 12-27. 6 Vgl. BAKER, R., INVENTADO, P. (2014), S. 61-75. 2 2 2.2. EDM UND LEARNING ANALYTICS 2.2 EDM und Learning Analytics EDM arbeitet mit und erweitert verwandte Disziplinen wie Machine Learning, Text Mining und Statistik. Weitere wichtige Einflüsse stammen aus dem Gebiet der Psychometrie und der Web Log Analyse. 7 EDM ist zudem eng verwandt mit Learning Analytics (LA auch LAK für Learning Analytics and Knowledge). Beide Gebiete teilen sich das Interesse an datenintensiven Herangehensweisen an die Bildungsforschung sowie das Ziel die Bildung als solche zu verbessern. Schon die Definitionen sind einander ähnlich. LA definiert sich als „.. die Messung, Sammlung, Analyse von und Berichterstellung aus Daten über Lernende und die Zusammenhänge, um das Lernen und die Lernumgebungen besser zu verstehen und zu optimieren.“ Beide Communities haben also das Ziel die Qualität der Analyse grosser Datenmengen aus dem Bildungsbereich zu verbessern, um damit sowohl Grundlagenforschung als auch die praktische Bildung zu verbessern. Trotzdem haben beide Bereiche unterschiedliche Wurzeln und Ansätze. Siemens und Baker erstellten 2012 eine Übersicht der Hauptunterscheidungspunkte, versahen diese jedoch mit dem Hinweis, dass die Grenzen fliessend seien und gerade durch das Lernen voneinander und die Zusammenarbeit zwischen den Disziplinen immer mehr verschwimmen.8 Tabelle 2.1 zeigt, dass EDM ein größeres Augenmerk auf automatisierte Datenanalyse legt, während bei LA die Beurteilung und Interpretation durch den Menschen eine größere Rolle spielt. EDM fokussiert eher auf einzelne Bestandteile des Bildungs- bzw Lernsystems während LAK es in seiner Gänze mit all seiner Komplexität betrachtet. Die Ergebnisse werden bei EDM vorzugsweise automatisiert implementiert, bei LA dienen sie der Stärkung der Lernenden und Lehrenden. Der Einsatz der Techniken und Methoden verändert sich über die Zeit. Baker und Inventado (2014) halten u.a. fest, dass Vorhersagemodelle und Strukturanalyse in beiden Lagern beliebt seien. Domain-Strukturanalyse ist bei EDM stärker vertreten. Auch Relationship Mining und Discovery with Models werden häufiger bei EDM angewandt. (Soziale) Netzwerkanalyse sowie Textanalyse in Form von Text Mining und Diskursanalyse hingegen sind beliebte Methoden bei LAK. 9 2.3 Entstehung Im herkömmlichen Frontalunterricht können Lehrende direkte Rückmeldung von den Schülern erhalten und dadurch ggf. eine kontinuierliche Anpassung und Verbesserung ihres Unterrichts gewährleisten. Dazu können sie das Verhalten der Schüler beobachten, Erfahrungswerte in Betracht ziehen und die Effektivität verschiedener pädagogischer Strategien abschätzen. Viele der ersten webbasierten E-Learning-Angebote bestanden jedoch aus statischem Material, das in keiner Weise auf die Lernenden und ihre Unterschiede eingehen konnte. Die Antwort waren intelligente adaptive Systeme, die mithilfe von Daten aus Serverzugriffsstatistiken und dem auf7 Vgl. SCHEUER, O., McLAREN, B. (2012), S. 1075-1079. Vgl. SIEMENS, G., BAKER, R. (2012), S. 252-254. 9 Vgl. BAKER, R., INVENTADO, P. (2014), S. 61-75. 8 3 2.3. ENTSTEHUNG Schwerpunkt Reduktion & Holismus EDM automatisierte Entdeckung von Zusammenhängen. Menschliches Urteil wird eingesetzt, um das Ziel zu erreichen. Größeres Augenmerk auf die Reduktion auf einzelne Bestandteile und die Analyse individueller Komponenten und der Beziehungen zwischen ihnen Wurzeln Starke Wurzeln in der Bildungssoftware und Student Modeling sowie der Vorhersage von Kursergebnissen Anpassung & Personalisierung Größerer Fokus auf automatisierter Anpassung durch den Computer ohne menschliche Beteiligung LAK Die Nutzung des menschlichen Urteils steht im Mittelpunkt. Automatisierte Entdeckungen sind Mittel, dieses Ziel zu erreichen. Größeres Augenmerk auf das Verstehen von Systemen als Ganzes LAK entstammt eher dem Bereich der Semantik, des „Intelligenten Lehrplans“, Ergebnisvorhersage und der systemischen Interventionen Der Fokus liegt auf dem Informationsgewinn für und der Stärkung von Lehrenden und Lernenden Tabelle 2.1: Vergleich EDM und LAK gezeichneten Lernverhalten des Studenten, seiner Ziele, Präferenzen und seines vorhandenen Wissens umfassende Lernprofile erstellen konnten. Diese Systeme versuchen den Lernenden personalisierte Bildung anzubieten und so die Lernerfahrungen zu bereichern. 10 Das Ziel von EDM ist das Entdecken nützlicher Informationen in den großen Mengen digitaler Daten, die von elektronischen Bildungssystemen erfasst werden. 11 Dabei zählen zu den hierfür interessanten Daten nicht nur die Interaktionen zwischen Studenten und Lernsystem (Navigation, Testeingaben, interaktive Übungen) sondern auch Daten aus der Zusammenarbeit mehrerer Studenten (Chatlogs), administrative Daten (Schule, Schulbezirk, Lehrer) und demographische Daten (Geschlecht, Alter, Schulnoten). Auch Daten über die Stimmung, Motivation und Gefühlslage von Schülern können berücksichtigt werden. 12 Mithilfe von Methoden aus dem Bereich des Data Mining kann dann also das Lern- und Nutzungsverhalten von Studierenden im E-Learningbereich analysiert und ausgewertet werden, um so die Effizienz des jeweiligen Systems zu bewerten und gegebenenfalls die Gestaltung anzupassen.13 Zu den vielversprechendsten frühen Arbeiten zählt die Entwicklung von e-Learning Recommendation Agents14 . Diese observieren was ein Student gerade tut und empfehlen darauf basierend für ihn sinnvolle Aktionen (Aktivitäten, Shortcuts, Inhalte, etc.). Recommender Agents können auch in sich selbst weiterentwickelnde E-Learning-Systeme integriert werden. Diese Systeme 10 Vgl. ROMERO, C., VENTURA, S. (2007), S. 135-146. Vgl. KULKARNI, S., RAMPURE, G., YADAV, B. (2013), S. 773-777. 12 Vgl. SCHEUER, O., McLAREN, B. (2012), S. 1075-1079. 13 Vgl. PAHL, C. (2006), S. 41-57. 14 LU, J. (2004), S. 374-380. 11 4 2.4. EINSATZBEREICHE UND DATENQUELLEN finden Materialien im Internet und ordnen sie eigenständig ein. Damit helfen Sie Lehrenden aus heterogenen Quellen wie dem Internet die Materialien auszuwählen, die am besten für die Zusammenstellung neuer Kurse geeignet sind. 15 Auf der fünften Internationalen EDM Konferenz im Jahr 2012 formulierten Dolan und Behrens fünf Hoffnungen, die sie im Zusammenhang mit EDM hegten. Diese beginnen jeweils mit: „Wir hoffen, EDM wird ...“ 1) die Vielfalt an sozialen und organisatorischen Aspekte von Bildung und ihrer Verwaltung berücksichtigen, inklusive informellem und ubiquitärem Lernen. 2) die Vielfalt an Eingangsgrößen und digitalen Artefakten, die bei dem Entwurf von Lernsystemen eine Rolle spielen, berücksichtigen (nicht nur die Ergebnisse von Interaktionen mit dem System). 3) Data Mining als menschliche Bemühung verstehen, was an sich bereits ein eigenes Thema psychologischer, soziologischer und anderer akademischer Disziplinen darstellt. 4) nicht die Grundlagen von qualitativ hochwertiger Datenanalyse vergessen, ungeachtet der rechenbetonten Techniken. 5) Informationen bereitstellen, die die Vielfalt effektiver Pädagogiken feiert und das Lernen von Sonderfällen, versteckten Clustern und sonstigen speziellen Gruppen von Menschen, die im Durchschnitt und sonstigen unsensiblen Aggregaten untergehen, unterstützen. 16 2.4 Einsatzbereiche und Datenquellen Data Mining kann auf Daten angewandt werden, die aus verschiedenen Bildungssystemen kommen. Romero und Ventura unterscheiden grob zwischen traditionellem Unterricht in Klassenzimmern und Fernbildung. Letztere unterteilen sie in die Kategorien web-basierte Kurse, pädagogische Content Management Systeme (Learning Content Management Systems (LCMS)) und „adaptive und intelligente web-basierte Bildungssysteme“ (Adaptive and intelligent web-based educational systems (AIWBES)). Die anzuwendenden Techniken, Datenquellen und Zielvorgaben differieren teils stark zwischen den verschiedenen Einsatzgebieten. 17 Eine aufbereitete Zusammenfassung findet sich in Tabelle 2.2. Die Übersicht der Datenquellen kann um massive offene Onlinekurse (Massive Open Online Courses, MOOCs), computerbasierte Bildungsangebote (die in keine andere Kategorie fallen, z.B. Desktopanwendungen) und mobiles Lernen (Lernprogramme, die ausschliesslich oder primär auf mobilen Endgeräten genutzt werden, „Apps“) ergänzt werden. Weitere Quellen können auch Fragebögen, Interviews und Google Analytics sein. Häufig bedienen sich Data Miner auch öffentlicher Datensätze, z.B. aus dem PSLC Data Shop18 . 19 15 Vgl. ROMERO, C., VENTURA, S. (2007), S. 135-146. Vgl. DOLAN, B., BEHRENS, J. (2012), S. 7. 17 Vgl. ROMERO, C., VENTURA, S. (2007), S. 135-146. 18 PSLC Data Shop (2015). 19 Vgl. PAPAMITSIOU, Z., ECONOMIDES, A. (2014), S. 49-64. 16 5 2.4. EINSATZBEREICHE UND DATENQUELLEN LCMS (auch LMS) sind Plattformen, die viele verschiedene Kanäle und Arbeitsumgebungen anbieten. Den Kursteilnehmern wird so der Informationsaustausch und die Kommunikation untereinander und mit den Tutoren ermöglicht. Ausbilder können Kursmaterial an die Studenten verteilen, Inhalte erstellen, Aufgaben und Tests vorbereiten, in Diskussionen mitwirken und Fernstudienklassen verwalten, gemeinsames Lernen mithilfe von Foren und Chats fördern. Diese Systeme sammeln grosse Mengen an Logdaten über die Aktivitäten der Studenten und haben üblicherweise eingebaute Beobachtungsfunktionen. Obwohl einige dieser Plattformen auch Berichtswerkzeuge bereitstellen wird es schnell unübersichtlich für Tutoren sinnvolle Informationen zu extrahieren - gerade bei einer großen Menge von Studenten. 20 AIWBES sind eine Alternative zu den traditionellen „just-put-it-on-the-web“-Ansätzen. Sie streben eine höhere Anpassungsfähigkeit an den einzelnen Studenten an, indem sie ein Profil aus Zielen, Vorlieben und des Wissens des Studenten bauen und dieses Modell während jeder Interaktion mit ihm nutzen, um seinen Bedürfnissen gerecht zu werden. AIWBES sind das Resultat einer gemeinsamen Entwicklung aus Intelligent Tutoring Systems (ITS) und Adaptive Hypermedia Systems (AHS). Die Daten aus AIWBES sind umfangreicher und ermöglichen eine diagnostischere Auswertung. 21 Betrachtet und untersucht werden z.B. Login Häufigkeit, Anzahl der Chatnachrichten zwischen Teilnehmern, Anzahl der Fragen an den Ausbilder, Anzahl der angefragten Hinweise, Antwortzeiten bei der Beantwortung von Testfragen oder sonstigen Aufgaben, besuchte Ressourcen, vorherige Noten, Abschlussnoten in Kursen, detaillierte Profile, Einstellungen im LMS, Forenund Diskussionseinträge, beobachtete Emotionen (Langeweile, Frustration, Verwirrung, Freude, etc) usw. 22 20 Vgl. ROMERO, C., VENTURA, S. (2007), S. 135-146. Vgl. ROMERO, C., VENTURA, S. (2007), S. 135-146. 22 Vgl. PAPAMITSIOU, Z., ECONOMIDES, A. (2014), S. 49-64. 21 6 Fragestellungen Datenquellen Bereich 7 LCMS Wie nutzen Studenten den Kurs? In welcher Reihenfolge lernen die Studenten das Material?, Welche Seiten / Themen werden ausgelassen?, Wieviel Zeit verbringen die Studenten auf einer Seite, mit einem Kapitel oder dem gesamten Kurs? DM wird zur Untersuchung, Visualisierung und Analyse der Daten eingesetzt, - um sinnvolle Muster zu erkennen, - um Aktivitäten besser bewerten zu können, - um objektives Feedback zu Kursen zu erhalten, - um zu erfahren, wie die Studenten mit dem LCMS lernen Web Access Logs, Server Logs, Client Logs umfangreiche Logdateien mit Informationen zu Nutzungsverhalten und Nutzeraktivitäten Nutzerprofile, (lesen, schreiben, Tests Seiteninhalt, absolvieren, Kommunikation mit Seitenstruktur, anderen Studenten oder dem Nutzungsdaten Ausbilder, Aufgaben lösen,...), Datenbank mit Nutzerprofilen und akademischen Leistungen Webbasierte Kurse Fernbildung AES AIWBES DM kann eingesetzt werden, - um die Ursachen für Probleme im System zu ermitteln, - um das Niveau an den Lernfortschritt des Studenten anzupassen, - um den Studenten personalisierte Lernerlebnisse und Aktivitäten vorzuschlagen Domain Model, pädagogische Datensätze (Aufgaben mit Antworten und Angaben zu ihrem Schwierigkeitsgrad), Interaktionslogs, Nutzerprofile (Student Models) ITS Tabelle 2.2: Datenquellen und Fragestellungen für das Data Mining in verschiedenen Bildungsbereichen Wieviele Studenten werden sich in einen Kurs eintragen?, Welche Studenten brauchen Hilfe, um zu bestehen / ihren Abschluss zu machen?, In welchem Kurs wird ein Student am wahrscheinlichsten gut abschneiden?, Was trägt am meisten zum Lernerfolg bei? Wie lassen sich sinnvoll Studiengrupen bilden? Anwesenheitslisten, Kursinformationen, Lehrpläne, Testergebnisse, Schülerakten, Personalakten des Lehrpersonals, Klassenbücher, Stundenpläne Traditionelle Bildung 2.4. EINSATZBEREICHE UND DATENQUELLEN 2.5. INTERESSENGRUPPEN UND ZIELE 2.5 Interessengruppen und Ziele EDM bietet umfangreiche Analysemöglichkeiten für viele sehr unterschiedliche Fragestellungen und Probleme in der Bildungsforschung und -entwicklung. Dies wird sowohl durch die Vielzahl an Interessengruppen als auch durch die Menge an Zielvorgaben und Vorstellungen widergespiegelt. In ihrer ersten Übersichtsarbeit 200723 betrachteten Romero und Ventura drei Interessengruppen, 201024 ergänzten sie zwei weitere. - Schüler / Studenten (2007) - Lehrkräfte (2007) - Personen mit Verwaltungs- oder Administrationsaufgaben (2007) - Kurs(-software-)entwickler / Bildungsforscher (2010) - Bildungseinrichtungen (2010) Ausgewählte Fragestellungen lauteten und lauten beispielsweise25 : Für Studenten: - Wie wählt man am besten einen Kurs aus (basierend auf Vorhersagen, wie gut man darin abschneiden wird)? Für Lehrkräfte: - Welche Lernerlebnisse tragen am meisten zum Lernergebnis bei? - Warum ist eine Klasse besser als die andere? - Wie lassen sich Studenten in Lerngruppen zusammenfassen? Für die Verwaltung: - Welche Zugangsvorraussetzungen gibt es? - Wie groß wird die Klassenstufe? Für Bildungseinrichtungen: - Welche / Wieviele Studenten werden sich in einen bestimmten Kurs eintragen? - Welche Studenten brauchen Hilfe, um zu bestehen / ihren Abschluss zu machen? Unterschiedliche Autoren gliedern die Ziele und Arbeitsschwerpunkte von EDM zum Teil sehr unterschiedlich. Zum Beispiel fasste Baker die wichtigsten Arbeitsbereiche in vier Punkten zusammen26 : 23 Vgl. ROMERO, C., VENTURA, S. (2007), S. 135-146. Vgl. ROMERO, C., VENTURA, S. (2010), S. 601-618. 25 Vgl. ROMERO, C., VENTURA, S. (2007), S. 135-146. 26 Vgl. BAKER, R. (2010), S. 112-118. 24 8 2.5. INTERESSENGRUPPEN UND ZIELE - die Verbesserung von Studentenprofilen (Student Models) - das Auffinden und Verbessern von Domänenmodellen (Domain Models) - das Untersuchen des pädagogischen Nutzens von Lernsoftware - wissenschaftliche Entdeckungen über das Lernen und Lernende Eine umfassendere Aufstellung, bei der es jedoch zum Teil zu Überschneidungen kommt, findet sich bei Romero und Ventura27 : - die Analyse und das Visualisieren von Daten - das Bereitstellen von Feedback zur Unterstützung der Lehrkräfte - die Formulierung von Empfehlungen für Studenten - das Vorhersagen studentischer Leistungen - das Entwickeln von Studentenprofilen (Student Modeling) - das Feststellen von unerwünschtem Lernverhalten - das Gruppieren von Studenten - die Analyse sozialer Netzwerke (Social Network Analysis) - die Entwicklung von Concept-Maps - die Entwicklung von Kursen - die Planung und Disposition Mit dem Wachsen der EDM-Gemeinde und der Entwicklung neuer Mining-Methoden erweiterten sich auch die Arbeits- und Forschungsgebiete. In Abbildung 2.1 wird eine Kategorisierung in starker Anlehnung an die obige Taxonomie mit Berücksichtigung aktueller Aufgabenbereiche mit einer Zuordnung zu Nutzniessern vorgestellt, die im Anschluss näher erläutert wird. Die Informationen und Beschreibungen wurden zusammengetragen aus Romero & Ventura (2007)28 , Romero & Ventura (2010)29 , Scheuer & McLaren (2012)30 , Huebner (2013)31 , Baker & Yacef (2009)32 , Baker (2010)33 und Papamitsiou & Economides (2014)34 . 27 Vgl. ROMERO, C., VENTURA, S. (2010), S. 601-618. ROMERO, C., VENTURA, S. (2007), S. 135-146. 29 ROMERO, C., VENTURA, S. (2010), S. 601-618. 30 SCHEUER, O., McLAREN, B. (2012), S. 1075-1079. 31 HUEBNER, R. (2013), S. 1-13. 32 BAKER, R., YACEF, K. (2009), S. 3-16. 33 BAKER, R. (2010), S. 112-118. 34 PAPAMITSIOU, Z., ECONOMIDES, A. (2014), S. 49-64. 28 9 2.5. INTERESSENGRUPPEN UND ZIELE Analyse und Visualisierung Erarbeiten von Empfehlungen Studenten Entwicklung von Concept Maps Ausbilder Entwicklung von Kursen Gruppierung von Studenten Kursentwickler Leistungsprognose Entwicklung von Modellen Bildungseinrichtungen Planung und Disposition Bildungsforschung Unterstützung der Bildungsforschung Abbildung 2.1: Ziele und Interessengruppen 2.5.1 Interessengruppen Die folgende Aufstellung entstand in enger Anlehnung an Romero und Venturas Übersicht35 . Studenten Zu dieser Gruppe gehören Schüler, Studenten und sonstige Lernende also all jene, die Bildungsangebote nutzen. Ausbilder Hierzu zählen sämtliche Personen mit Lehrtätigkeit, Ausbilder, Lehrer, Professoren, Dozenten, Tutoren – also Lehrkräfte im Allgemeinen. Bildungseinrichtungen Als Nutzniesser fallen in diesen Bereich nicht nur Universitäten und Schulen, sondern alle privaten und öffentlichen Organisationen und Einrichtungen, die Bildung anbieten bzw. deren Entscheidungsträger, mit deren Verwaltung betraute oder an deren Gewinn beteiligte Personen. Auch Verantwortliche aus der Politik zählen zu dieser Kategorie. 35 Vgl. ROMERO, C., VENTURA, S. (2007), S. 135-146., Vgl. ROMERO, C., VENTURA, S. (2010), S. 601-618. 10 2.5. INTERESSENGRUPPEN UND ZIELE Kursentwickler Gemeint sind Entwickler von Lernsoftware. Bildungsforschung Personen und Institute, die sich mit pädagogischer Forschung beschäftigen, gehören zu dieser Interessengruppe. 2.5.2 Analyse und Visualisierung von Daten Die Analyse von Daten ist im Data Mining eine allumfassende Aufgabe, die Bestandteil jeder Untersuchung ist. Aber erst die Visualisierung, z.B. die Berichterstellung für Ausbilder und Verwaltungsmitarbeiter oder die graphische Aufbereitung von Forschungsergebnissen für Kursentwickler, Studenten oder Administratoren verhilft zu einem besseren Verständnis des neu gewonnenen Wissens. Durch die Analyse und Visualisierung von Daten kann also nicht nur den Lehrkräften objektives Feedback in leicht interpretierbarer Form gegeben werden, auch für alle anderen Nutzniesser und Aufgabenbereiche sind diese Arbeitsschritte wichtig, da die anschauliche Darstellung des gefundenen Wissens massgeblich zur Akzeptanz der Resultate beiträgt. 2.5.3 Erarbeiten von Empfehlungen Das Entwickeln von Personal Learning Environments (PLE) und „Recommender Systems“ ist eines der prominentesten Ziele im EDM. Hier geht es vordergründig um die Verbesserung des Lernerlebnisses und des Lernerfolgs von Studenten. Dazu gehören die Unteraufgaben der Personalisierung des Lernens im Allgemeinen und im Besonderen die Anpassung aller Empfehlungen - seien es Kursempfehlungen, Buchempfehlungen, Literaturempfehlungen - an die Erfahrungen und Vorlieben eines Studenten. Dies kann unter anderem auf Basis der bereits belegten Kurse und erzielten Ergebnisse, der gelesenen Kapitel, der Ergebnisse von Tests oder Fragebögen, der Systemeinstellungen in einem LMS, der Browserhistorie oder auch der Daten ähnlicher Studenten geschehen. Für EDM ist an dieser Stelle unter anderem die Social Network Analysis (SNA) interessant, bei der zur Bestimmung der Vorlieben auch die Daten der sozialen Beziehungen zwischen Individuen berücksichtigt werden. In diesem Zusammenhang gelten Gruppen von Menschen, Organisationen oder Gruppen von Freunden oder Kollegen als soziales Netzwerk. „Collaborative Filtering“ ist zum Beispiel eine Methode, bei der Vorhersagen über die Interessen eines Nutzers anhand der Vorlieben vieler Nutzer gemacht werden. 2.5.4 Entwicklung von Concept Maps Concept Maps sind graphische Darstellungen von Begriffen / Konzepten und ihren Zusammenhängen. So kann die hierarchische Struktur von Wissen dargestellt werden. Die Aufgabe von EDM ist es, bei der automatisierten Entwicklung solcher Übersichten zu unterstützen. Dies kann 11 2.5. INTERESSENGRUPPEN UND ZIELE wiederum den Lehrkräften helfen, das Lehrmaterial, den Kursaufbau und den Lernprozess besser zu strukturieren. 2.5.5 Gruppierung von Studenten Die automatisierte Gruppierung von Studenten auf Basis derer Eigenschaften, Bedürfnisse und Leistungen erleichtert es Ausbildern wie auch Kursentwicklern, auf individuelle Bedürfnisse näher eingehen zu können und Gruppenprojekte erfolgreicher zu gestalten. 2.5.6 Entwicklung von Modellen Die Entwicklung und Verbesserung von Modellen und die Arbeit mit diesen ist eines der neueren und vielversprechenden Arbeitsgebiete innerhalb von EDM. Hierzu zählen zwei Bereiche: die Parameterfindung und Erstellung von Studentenprofilen und das Bilden von Domänenmodellen. Studentenprofile werden zumeist in Intelligenten Tutorsystemen eingesetzt, wo sie in Echtzeit ausgewertet werden und zur Personalisierung herangezogen werden. Sie enthalten detaillierte Informationen über den Studenten, seine Charakteristiken, Stimmungen, Motivationsgrad, Wissensstand und innere Einstellungen, die aus beobachtbarem und messbarem Verhalten während der Arbeit mit dem System gewonnen werden. Mit dem Herausstellen individueller Unterschiede zwischen Studenten wird es möglich, Software herzustellen, die auf diese Unterschiede reagiert und damit das Lernen signifikant verbessert. Solche Modelle wurden in der Vergangenheit angewendet, um abzuleiten, ob Studenten das System zu überlisten versuchen, eine schlechte Selbstwirksamkeitserwartung (SWE) haben, abgelenkt, gelangweilt oder gar frustriert sind aber auch ob jemand einen Fehler „aus Versehen“ gemacht hat - also eine falsche Antwort gewählt hat, obwohl er die richtige Antwort kennt. Mithilfe dieser Profile lassen sich das Wissen von Studenten und deren künftige Leistungen besser voraussagen. Ein Ziel von EDM ist die automatisierte Erstellung von Studenten- und Verhaltensprofilen durch die Identifizierung von relevanten Parametern und Mustern. Domänenquerschnitte wiederum sind Modelle der Wissensstruktur, der Konzepte, vermittelten Fähigkeiten, Lernschwerpunkte und ihrer Zusammenhänge in einem System. Dabei berücksichtigen diese Systemquerschnitte auch Aspekte der menschlichen Wahrnehmung, des Wissens und der Problemlösungsfähigkeiten. Es wurden durch EDM Methoden entwickelt, die anhand der im System befindlichen Daten automatisiert und schnell akkurate Domain Models entwerfen und existierende Modelle bewerten. 2.5.7 Entwicklung von Kursen Ziel ist es, dass Ausbilder und Entwickler den Aufbau und die Entwicklung von Kursen automatisiert durchführen können. Hierfür wird unter anderem Material aus heterogenen Quellen wie dem Internet herausgefiltert und in bestehende Kurse integriert, bzw zur Integration vorgeschlagen. Auch die Wiederverwendung von vorhandenem Kursmaterial von anderen Kursen / 12 2.5. INTERESSENGRUPPEN UND ZIELE Nutzern / Systemen für die Erstellung neuer Kurse wird begünstigt. Es wird dafür nach Informationen darüber gesucht, wie Kursinhalte sich besser und automatisiert anpassen lassen. Auch die Kursstruktur kann in Bezug auf ihre Effektivität für den Lernprozess analysiert werden. Webseiten können restrukturiert werden, um Kursinhalte personalisieren zu können, die Inhalte an den Lernfortschritt anzupassen und personalisierte Lehrpläne zu entwickeln. 2.5.8 Leistungsprognose Für Bildungseinrichtungen und Ausbilder ist eine möglichst genaue Einschätzung der von Studenten zu erwartenden Leistungen von Interesse. Durch die frühzeitige Erkennung von potentiellen Bildungsabbrechern kann den Problemen dieser Studenten proaktiv begegnet werden. Die fundiertere Beurteilung von Studenten, gerade hinsichtlich Erfolgs- wie auch Risikofaktoren und unerwünschter Verhaltensweisen (niedrige Motivation, Täuschung, akademische Misserfolge, Missbrauch, etc.) ist eine wichtige Vorraussetzung zur Effektivitätssteigerung. Das Aufspüren von Faktoren, die mit studentischem Versagen einhergehen, erleichtert es Lehrkräften rechtzeitig zu erkennen, welche Studenten Hilfe und Unterstützung benötigen. 2.5.9 Planung und Disposition Im Rahmen dieses Aufgabenbereichs werden Methoden des DM eingesetzt, um das zukünftige Kursangebot und Lehrpläne zu entwickeln, der Verwaltung Messgrößen anzubieten, die sie bei der Disposition der vorhandenen Ressourcen unterstützen, beim Zulassungsprozess zu helfen, usw. Einflussgrößen auf die Effizienz von Webseiten (optimale Servergröße, Verteilung des Netzaufkommens) werden ermittelt, so dass sie an das Nutzerverhalten angepasst werden können. EDM kann dazu beitragen, die institutionelle Effizienz zu steigern, die kostengünstigsten Methoden zu ermitteln, um Schulabbruchraten zu senken und Noten zu verbessern, die am besten qualifizierten Bewerber zur Zulassung zu ermitteln, das Kursangebot auf Basis des größten Nutzens zu erweitern, Lehrer und Lehrpläne zu beurteilen und auch die Effektivität von Fernstudiengängen zu bewerten. 2.5.10 Unterstützung der Bildungsforschung Die Unterstützung bei der Untersuchung von Phänomenen im Bildungssektor ist ein weiteres Einsatzgebiet für EDM. Das Ziel ist das Finden empirischer Belege für die Weiterentwicklung und Erweiterung von Theorien, um ein besseres Verständnis der Zusammenhänge und Schlüsselfaktoren, die das Lernen beeinflussen, zu erlangen. Oft wird dies mit dem Ziel verbunden, bessere Lernsysteme zu gestalten. Untersucht wird hierfür ganz allgemein das Lernen und Lernverhalten, sowohl das individuelle Lernen als auch das Lernen in Gruppen mithilfe von Bildungssoftware, das Durchführen von Prüfungen mithilfe des Computers, die Effektivität computergestützter Fernkurse und der pädagogische Nutzen von Lernsoftware. Herauszufinden, 13 2.5. INTERESSENGRUPPEN UND ZIELE welche der Funktionen eines LMS am nützlichsten ist, ist eine beliebte Aufgabe innerhalb der EDM-Gemeinde. Auch der Vergleich verschiedener Data Mining Techniken, um die geeignetste für jede Aufgabe zu ermitteln und die Entwicklung spezieller Data Mining Werkzeuge für die konkreten und speziellen Herausforderungen von Daten aus dem Bildungsbereich ist Bestandteil dieses Aufgabenbereichs. Das Hauptziel ist das Lernen als solches zu vereinfachen und zu verbessern. 14 Text Mining Statistik und Visualisierung Assoziationsanalyse Zeitreihenanalyse Clustering Klassifizierung Ausreißererkennung Romero & Ventura (2007) 15 Entdecken mit Modellen (grafische) Ergebnisaufbereitung • KausalbeziehungsMining • Zeitreihenanalyse • Korrelations-Mining • Assoziationsanalyse Beziehungs-Mining Clustering • Dichteschätzung • Regression • Klassifizierung Vorhersage Baker & Yacef (2009) Abbildung 2.2: Anwendungsklassen Entdecken mit Modellen (grafische) Ergebnisaufbereitung • KausalbeziehungsMining • Zeitreihenanalyse • Korrelations-Mining • Assoziationsanalyse Beziehungs-Mining • Clustering Unüberwachtes (maschinelles) Lernen Parameterschätzung • Regressionsmodelle • Klassifizierungsmodelle Überwachtes (maschinelles) Lernen Scheuer & McLaren (2012) Entdecken mit Modellen (grafische) Ergebnisaufbereitung Beziehungs-Mining Clustering Vorhersage Kulkarni et al (2013) Entdecken mit Modellen • KausalbeziehungsMining • Zeitreihenanalyse • Korrelations-Mining • Assoziationsanalyse Beziehungs-Mining • Domänenstrukturerkennung • Faktoranalyse • Clustering Structure Discovery • Latent Knowledge Estimation • Regression • Klassifizierung Vorhersage Baker & Inventado (2014) 2.5. INTERESSENGRUPPEN UND ZIELE 2.6. ANWENDUNGSKLASSEN UND VERFAHREN Abbildung 2.3: Anwendungsklassenverteilung in der Literatur 2.6 Anwendungsklassen und Verfahren Abbildung 2.2 zeigt einige Beispiele, die veranschaulichen, wie Data Mining Methoden, die im Bereich EDM angewandt werden, von verschiedenen Autoren zu verschiedenen Zeitpunkten unterschiedlich klassifiziert wurden aber auch, dass immer mehr unterschiedliche Klassen Anwendung finden. 36 . Es fällt auf, dass Bakers Übersicht von 2014 nicht mehr die visuelle Aufbereitung für den Menschen zu den EDM-Methoden zählt. Obgleich die Visualisierung von Daten und Ergebnissen nach wie vor als wichtige Aufgabe im EDM gilt, werden die hier angewandten Verfahren doch streng genommen von den meisten nicht in den Bereich des Data Mining gehörig gesehen. Die Veränderung der Taxonomien spiegelt auch die Veränderung der Einsätze der Methoden in der Literatur wieder (vgl. Abbildung 2.3). Insbesondere Beziehungs-Mining, das zunächst bei über 40 Prozent aller Arbeiten im EDM angewandt wurde, kam 2009 nur noch auf 9 Prozent. Vorhersagemethoden hingegen waren 2009 mit 42 Prozent sehr stark vertreten (2005 bei 28 Prozent). Die Entwicklung von Modellen und Profilen, die bis 2005 noch kaum eine Rolle spielte, wurde 2009 bereits in fast 1/5 aller Veröffentlichungen angewandt. 37 Noch immer werden neue Methoden entwickelt und angewandt, die Domain Strukturerkennung 36 37 Vgl. BAKER, R., YACEF, K. (2009), S. 3-16. Vgl. BAKER, R., YACEF, K. (2009), S. 3-16. 16 2.6. ANWENDUNGSKLASSEN UND VERFAHREN und auch die latente Wissensabschätzung (latent knowledge estimation) sind verhältnismäßig neue und aktuell sehr prominente Bereiche. Letztlich geht es vor allem darum, herauszufinden, für welche Aufgabe welche Methode am besten geeignet ist und die besten Resultate liefert. 38 Auf den folgenden Seiten werden die in Abbildung 2.2 genannten Anwendungsklassen näher erläutert. 2.6.1 Vorhersage - Prediction Das Ziel, bei der Vorhersage (engl. Prediction) ist die Erstellung eines Modells, das Prognosen über unbekannte Merkmalswerte (die vorhergesagte Variable) auf Basis anderer Merkmale (Einflussgrößen) oder auf Basis des gleichen Merkmals aus früheren Perioden machen kann. 39 Überwachtes (maschinelles) Lernen - Supervised Model Induction Ein anderer Oberbegriff für die Anwendungsklassen, die unter die Vorhersagekategorie fallen, ist überwachtes Lernen oder auch Supervised Model Induction (SMI). SMI umfasst Methoden aus dem Maschinenlernen, die Vorhersagemodelle aus Trainingsdaten ableiten, für die die Werte der Zielattribute bekannt sind. Vorhersagemodelle erhalten Instanzen als Eingabe und geben eine Vorhersage über das Zielattribut zurück. Modelle, die kategoriale Zielwerte vorhersagen nennt man Klassifizierungsmodelle, solche, die stetige Werte prognostizieren, sind Regressionsmodelle. Im Rahmen von EDM können zum Beispiel einzelne Diskussionsbeiträge nach zum Thema gehörig oder nicht (das Zielattribut) anhand von Termini aus dem Beitragstext (Attributvektor) unterschieden werden. 40 Klassifizierung - Classification Bei der Klassifizierung werden Klassenbezeichnungen vorhergesagt. Das heisst, damit kann zum Beispiel die Kennzeichnung von Attributen einer Gruppe von Nutzerprofilen erfolgen, einer Menge an ähnlichen Seiten oder ähnlicher Lernsitzungen.41 Die abhängige Variable ist hierbei entweder binär (bspw. true/false) oder kategorial (Element aus einer abgeschlossenen Kategorienliste). Einige gängige Klassifikationsmethoden im Bildungsbereich sind Entscheidungsbäume, random forests, Entscheidungsregeln, schrittweise Regression, Logistische Regression und Support Vector Machines (SVM).4243 38 Vgl. BAKER, R., INVENTADO, P. (2014), S. 61-75. Vgl. BAKER, R., INVENTADO, P. (2014), S. 61-75. 40 Vgl. SCHEUER, O., McLAREN, B. (2012), S. 1075-1079. 41 Vgl. ROMERO, C., VENTURA, S. (2007), S. 135-146. 42 Vgl. BAKER, R., INVENTADO, P. (2014), S. 61-75. 43 Vgl. BAKER, R. (2010), S. 112-118. 39 17 2.6. ANWENDUNGSKLASSEN UND VERFAHREN Regression - Regression Bei der Regression ist die abhängige Variable eine stetige.44 Die am weitesten verbreiteten Regressoren innerhalb von EDM sind die lineare Regression und Regressionsbäume. 45 Latente Wissenseinschätzung - Latent Knowledge Estimation Bei der latenten Wissenseinschätzung oder Wissensbewertung werden die Fähigkeiten und das Wissen eines Studenten anhand von gefundenen Genauigkeitsmustern („patterns of correctness“) bei der Anwendung dieser Konzepte bewertet. Der Zusatz „latent“ wird verwendet, da Wissen nicht direkt messbar ist, diese Größe muss aus der studentischen Leistung abgeleitet werden. Es existieren eine Vielzahl an Algorithmen für die Latente Wissenseinschätzung. Klassischerweise werden Bayes Netze für komplexe Wissensstrukturen oder Bayesian Knowledge Tracing (BKT) verwendet. 46 Ausreißererkennung - Outlier Detection Ausreißer sind solche Messwerte, die ungewöhnlich gross oder klein im Verhältnis zu anderen Daten im Datenbestand sind. Sie können folgenden Ursachen zugeschrieben werden: - der Wert wurde falsch beobachtet, aufgezeichnet oder erfasst - die Messwerte stammen aus einem anderen Bestand - die Messung ist korrekt, spiegelt aber einen Ausnahmefall wider. Mit Verfahren aus dieser Anwendungsklasse lassen sich beispielsweise auffällige Studenten, z.B. solche mit Lernproblemen, ermitteln. 47 Dichteschätzung - Density Estimation Bei der Density Estimation ist die vorherzusagende Variable eine Dichtefunktion (Probability Density Function, PDF). Je nach Prognoseart können die Eingangsvariablen entweder kategorial oder stetig sein. Die Zuverlässigkeit der Prognoseverfahren ist abhängig von der Art der verwendeten Eingangsgrößen. 48 Parameterschätzung - Parameter Estimation Parameter Estimation beinhaltet solche statistischen Verfahren, mit denen sich Parameter wahrscheinlichkeitstheoretischer Modelle aus vorhandenen Daten ableiten lassen. Mit diesen Modellen wird die Wahrscheinlichkeit des Eintretens von interessanten Ereignissen vorausgesagt. Die Methode basiert auf der Annahme, dass das Modell eine gegebene parametrische Form 44 Vgl. BAKER, R. (2010), S. 112-118. Vgl. BAKER, R., INVENTADO, P. (2014), S. 61-75. 46 Vgl. BAKER, R., INVENTADO, P. (2014), S. 61-75. 47 Vgl. ROMERO, C., VENTURA, S. (2007), S. 135-146. 48 Vgl. BAKER, R. (2010), S. 112-118. 45 18 2.6. ANWENDUNGSKLASSEN UND VERFAHREN hat (z.B. Gaussche Normalverteilung mit den Parametern Durchschnitt und Varianz). Eine Beispielanwendung in EDM ist die Schätzung von Bayesian Knowledge Tracing-Parametern. BKT wird verwendet um auf Basis von vergangenen Leistungen zu bestimmen, wie hoch die Wahrscheinlichkeit ist, dass ein Student eine Fähigkeit erlernt hat. 49 2.6.2 Strukturerkennung - Structure Discovery Mit Strukturerkennungsalgorithmen wird versucht, interessante Strukturen und Muster in Daten zu finden, ohne vorher genau zu wissen, wonach gesucht wird. Clustering Das Clustering ist eine Form des unüberwachten (maschinellen) Lernens. Dort werden Modelle aus Trainingsdaten generiert, für die die Werte der Zielattribute nicht bekannt sind. Clustering wird genutzt, um Gruppen von Datensätzen in einem Trainingsset zu identifizieren, die einander ähnlich sind. Der Datenbestand wird so in Teilmengen zerlegt, dass Elemente einer Gruppe, also eines Clusters, einander möglichst ähnlich sind und Elemente verschiedener Cluster einander möglichst unähnlich. Typischerweise wird für die Bestimmung des Grades der Ähnlichkeit eine Distanzfunktion angewendet (z.B. die Euklidische Distanz). So lassen sich die am häufigsten vorkommenden Kategorien innerhalb eines Datenbestandes ermitteln, ohne sie im Voraus zu kennen. Sobald ein Set von Clustern gebildet wurde, können neue Instanzen dadurch klassifiziert werden, dass der nächste Cluster gefunden wird (Vergleich mit Centroids oder Medoids). 50 Zum Beispiel ließen sich so Schulen oder Studenten gruppieren, um ihre Unterschiede und Gemeinsamkeiten zu untersuchen, Handlungsweisen von Studenten (um Verhaltensmuster zu untersuchen), Webseiten mit ähnlichem Inhalt und so weiter. Die Clusteringverfahren lassen sich in zwei Gruppen aufteilen: hierarchische (Hierarchical Agglomerative Clustering, HAC) und nicht-hierarchische (k-Means, Gaussian Mixture Modeling, Spectral Clustering). 51 Faktoranalyse - Factor Analysis Bei der Faktoranalyse gilt es, Variablen zu finden, die sich zu Gruppen zusammenfassen lassen, wodurch sich die Menge der Variablen in eine Menge latenter (nicht direkt messbarer) Faktoren aufteilt. Im EDM wird die Faktoranalyse zur Dimensionsreduktion genutzt (um die Zahl der Variablen zu reduzieren). So wird potentiellem Overfitting entgegengewirkt. Ein Anwendungsbeispiel aus dem EDM ist die Ermittlung von gruppierbaren Eigenschaften intelligenter Tutorsysteme. 52 49 Vgl. SCHEUER, O., McLAREN, B. (2012), S. 1075-1079. Vgl. SCHEUER, O., McLAREN, B. (2012), S. 1075-1079. 51 Vgl. ROMERO, C., VENTURA, S. (2007), S. 135-146. 52 Vgl. BAKER, R., INVENTADO, P. (2014), S. 61-75. 50 19 2.6. ANWENDUNGSKLASSEN UND VERFAHREN Domänenstrukturerkennung - Domain Structure Discovery Beim Entdecken von Strukturen in einer Domäne wird versucht herauszufinden, welche Strukturelemente sich spezifischen Fähigkeiten von Studenten zuordnen lassen. 53 2.6.3 Beziehungs-Mining - Relationship Mining Beim Relationship Mining geht es darum, Beziehungen zwischen Variablen in einem Datenbestand zu finden und diese als Regeln für den späteren Gebrauch zu formulieren.54 So findet man mit Methoden des Relationship Mining zum Beispiel heraus, welche Variablen am stärksten mit einer einzelnen Variablen von besonderem Interesse verbunden sind. Andererseits lässt sich auch ermitteln, zwischen welchen Variablen der stärkste Zusammenhang besteht. Beziehungen, die so gefunden wurden, müssen zwei Kriterien genügen: statistischer Bedeutung und Interessantheit. Es gibt eine Vielzahl an Interessantheitsmassen, z.B. Support, Confidence, Conviction, lift, Einfluss (leverage), Erfassung (coverage), correlation, und cosine. 55 Assoziationsanalyse - Association Rule Mining Assoziationsanalyse ist der Warenkorbanalyse sehr ähnlich. Es geht darum, Wenn-Dann-Regeln zu finden. Also, wenn eine Gruppe von Variablen bestimmte Werte haben, dann hat eine andere Variable ebenfalls einen spezifischen Wert. Beispielsweise liessen sich Regeln der Art bilden: WENN ein Student frustriert ist ODER ihm das Lernen wichtiger ist als seine Note DANN fragt er häufig nach Hilfe. Regeln, die durch die Assoziationsanalyse gefunden werden, zeigen häufige Kookkurenzen (gemeinsames Auftreten) in den Daten, die auf anderem Weg nur schwer auffindbar wären.56 Diese Regeln müssen festgelegte Mindestwerte für „Support“ und Konfidenz aufweisen. Support gibt die relative Häufigkeit der Beispiele an, in denen die Regel anwendbar ist. Also die Menge der Datensätze bei denen die Werte des Wenn- als auch des Dann-Teils einer Regel vorkommen geteilt durch die Anzahl aller Datensätze. Konfidenz ist ein Mass für die relative Häufigkeit von Datensätzen, die die Regel erfüllen. In EDM wird es beispielsweise angewendet, um Fehler auszumachen, die häufig gemeinsam auftreten (Wenn Student Frage A und Frage B falsch beantwortet, so beantwortet er auch Frage C falsch).57 Zeitreihenanalyse - Sequential Pattern Mining Das Ziel der Zeitreihenanalyse ist es, zeitliche Beziehungen zwischen Ereignissen zu finden. Im Bereich EDM liesse sich so herausfinden, welche Folge von studentischem Verhalten schließ53 Vgl. BAKER, R., INVENTADO, P. (2014), S. 61-75. Vgl. KULKARNI, S., RAMPURE, G., YADAV, B. (2013), S. 773-777. 55 Vgl. BAKER, R. (2010), S. 112-118. 56 Vgl. BAKER, R., INVENTADO, P. (2014), S. 61-75. 57 Vgl. SCHEUER, O., McLAREN, B. (2012), S. 1075-1079. 54 20 2.6. ANWENDUNGSKLASSEN UND VERFAHREN lich zu einem bestimmten pädagogischen Ereignis von Interesse führt.58 So wird beispielsweise auch untersucht, welche Abfolge in Gruppenarbeiten zu einem insgesamt erfolgreicheren Gruppenprojekt führt, wie sich das Hilfe-Anforderungsverhalten über die Zeit entwickelt und welche Muster in der Nutzung von Concept Maps mit einem besseren Lernerlebnis einhergehen.59 Es lassen sich ebenso Muster erkennen, welche Inhalte Studenten gleichzeitig erlernen oder welche Kombination von Hilfsmitteln sie nutzen. Mithilfe der Zeitreihenanalyse kann man bspw. zeigen, inwiefern das Studium eines Kapitels den Zugriff auf ein anderes beeinflusst oder wie Inhalte miteinander verflochten sind.60 Korrelations-Mining - Correlation Mining Beim Correlation Mining ist das Ziel positive oder negative lineare Korrelationen zwischen Variablen zu finden. Correlation Mining wurde bereits genutzt, um die Beziehung zwischen innerer Einstellung und hilfe-suchendem Verhalten von Studenten zu untersuchen. Eine andere Studie untersuchte den Zusammenhang zwischen der Gestaltung eines ITS und dem Fakt, dass Studenten versuchen, das System zu überlisten. 61 Kausalbeziehungs-Mining - Causal Data Mining Kausalbeziehungs-Mining untersucht, ob ein Ereignis (oder beobachtetes Konstrukt) die Ursache für ein anderes Ereignis war. Dazu wird die Kovarianz beider Ereignisse analysiert oder aber betrachtet, was einen der Events ausgelöst hat. Im Rahmen von EDM wurde Causal Data Mining bereits genutzt, um vorherzusagen, welche Faktoren dazu führen werden, dass ein Student schlechte Leistungen erbringt, um zu analysieren, wie unterschiedliche Bedingungen einer Studie die Inanspruchnahme von Hilfe und das Lernen unterschiedlich beeinflussen und zu untersuchen, wie zum Beispiel die Einstellung das Verhalten in einem ITS und das konsequente Lernen beeinflusst. 62 2.6.4 Entdecken mit Modellen - Discovery with Models Im Rahmen der Discovery with Models wird ein Modell eines Phänomens mithilfe von Vorhersage, Clustering oder auch Knowledge Engineering entwickelt. Dieses Modell wird dann als Bestandteil bei weiteren Analysen oder Modellen genutzt, zum Beispiel einer erneuten Vorhersage oder Beziehungsanalyse. 63 Zum Beispiel werden Modelle zur Abschätzung von laten- tem Wissen für Vorhersagemodelle von meta-kognitivem Verhalten genutzt. Erstere wiederum arbeiten häufig mit Daten aus Domänenstrukturmodellen. 58 Vgl. BAKER, R. (2010), S. 112-118. Vgl. BAKER, R., INVENTADO, P. (2014), S. 61-75. 60 Vgl. ROMERO, C., VENTURA, S. (2007), S. 135-146. 61 Vgl. BAKER, R., INVENTADO, P. (2014), S. 61-75. 62 Vgl. BAKER, R., INVENTADO, P. (2014), S. 61-75. 63 Vgl. BAKER, R. (2010), S. 112-118. 64 Vgl. BAKER, R., INVENTADO, P. (2014), S. 61-75. 59 21 64 Mit Modellen wurde schon unter- 2.6. ANWENDUNGSKLASSEN UND VERFAHREN sucht, von welchem Lernmaterial welche Schülergruppen am meisten profitieren können, wie verschiedene Verhaltensmuster von Studenten ihr Lernen unterschiedlich beeinflussen und wie Veränderungen der Gestaltung von ITS das Studentenverhalten über die Zeit beeinflussen. 65 2.6.5 Sonstige Methoden Statistik und Visualisierung / (grafische) Ergebnisaufbereitung - Distillation of Data for Human Judgment Nutzungsstatistiken bilden häufig den ersten Ansatzpunkt bei der Evaluierung von E-LearningSystemen, obwohl dies streng genommen nicht zu den Data Mining Techniken zählt. Bei der statistischen Auswertung testet man zuvor getroffene Annahmen gegen die vorhandenen Daten. Beim Data Mining hingegen wird die Hypothese automatisch durch die Untersuchung der Daten gebildet. Einige Beispiele für Nutzungsstatistiken sind einfache Messgrößen wie die Anzahl der Besuche oder Besuche pro Seite. Anhand weiterer statistischer Auswertungen lässt sich die Verteilung der Studenten über die Zeit zeigen sowie die am häufigsten besuchten Kurse. Die Ergebnisse von diesen und insbesondere von komplexeren Statistiken wie Lernkurven sind jedoch – gerade für Laien – nicht immer einfach zu interpretieren. Durch grafische Ergebnisaufbereitung können Ausbilder Besonderheiten der Daten einfacher und schneller identifizieren und klassifizieren (z.B. für die anschliessende Erstellung von Vorhersagemodellen). So können multidimensionale Daten der Studenten mit Visualisierungstechniken verständlicher z.B. als Kalkulationstabelle, Streudiagramm oder in 3D dargestellt werden. Auf die Art werden Informationen zu beendeten Aufgaben, beantworteten Fragen, Testergebnissen aber auch insbesondere Lernkurven (Anzahl der Gelegenheiten, eine Fähigkeit zu üben auf der X-Achse, Leistungsattribut wie Antwortzeit auf der Y-Achse) anschaulicher gemacht. Auch soziale Zusammenhänge im Bereich des computergestützten Lernens wie Diskussionen in Foren, Unterhaltungen auf Messageboards oder private Nachrichten sind visuell leicht verständlich aufbereitbar. So können gerade bei Fernkursen die Ausbilder nützliche zusätzliche Informationen über ihre Studenten erhalten. 66 Text Mining Text Mining Methoden können als Erweiterung von Data Mining verstanden werden, die es ermöglichen textuelle Daten zu analysieren. Die Interdisziplinarität ist hier besonders gross, es werden Methoden des Maschinenlernens, der Statistik, der Informationsgewinnung und der Verarbeitung natürlicher Sprache mit denen des Data Mining vereint. 67 65 Vgl. BAKER, R., YACEF, K. (2009), S. 3-16. Vgl. BAKER, R., YACEF, K. (2009), S. 3-16. 67 Vgl. ROMERO, C., VENTURA, S. (2007), S. 135-146. 66 22 2.6. ANWENDUNGSKLASSEN UND VERFAHREN Web Mining Unter Web Mining versteht man die Anwendung von Data Mining Algorithmen, um Wissen aus Webdaten zu fördern. Dabei wird Web Content Mining (WCM) unterschieden von Web Structure Mining (WSM) und Web Usage Mining (WUM). Bei ersterem werden sinnvolle Informationen aus den Inhalten von Webdokumenten extrahiert, bei WSM werden der Aufbau und die Struktur untersucht und bei WUM wird versucht, Muster in den Daten zu finden, die durch Client-ServerTransaktionen generiert (zB geloggt) werden. Gerade ITS nutzen Web Log Mining, eine Unterkategorie von WUM, um on-the-fly, also in Echtzeit, Nutzerdaten auszuwerten und den Studenten direkt beim Lernen zu unterstützen. 68 68 Vgl. ROMERO, C., VENTURA, S. (2007), S. 135-146. 23 Kapitel 3 Ausgewählte Beispiele aus der Literatur Es gibt einige Überblicksarbeiten über den Stand der Dinge im Bereich EDM, die vorhandene Fallstudien und Veröffentlichungen gruppieren und nach verschiedenen Aspekten klassifizieren. Hervorzuheben sind in diesem Zusammenhang „Educational data mining: A survey from 1995 to 2005“ von Romero & Ventura1 und „Educational data mining: A review of the state of the art“ ebenfalls von Romero & Ventura2 . Die Erstellung einer ähnlichen Arbeit unter Berücksichtigung der Veröffentlichungen der vergangenen fünf Jahre dürfte allerdings einen beträchtlichen Aufwand darstellen. Aus 753.000 Einträgen zum Suchbegriff „Educational Data Mining“ auf google scholar allein und 11.600.000 Treffern bei Google 3 werden in diesem Kapitel fünf ausgewählte Artikel vorgestellt. Als erstes wird eine ausführliche Arbeit über die Datenvorbereitungsschritte näher beleuchtet. Es folgt die Zusammenfassung zweier Artikel mit dem Fokus auf Web-basiertem Lernen, zunächst mit dem Schwerpunkt Web-Mining und im Anschluss etwas über die Erstellung von und Arbeit mit Nutzerprofilen. Im darauffolgenden Abschnitt soll es um Lus Ansatz zur Entwicklung eines Systems zur personalisierten E-Learning Materialempfehlung gehen. Abschliessend folgt die Zusammenfassung einer Fallstudie zur Bestimmung der Beziehung von Off-Task-Verhalten und Testergebnissen. 3.1 A Survey on Pre-Processing Educational Data „A Survey on Pre-Processing Educational Data“4 wurde von Cristobal Romero, Jose Raul Romero and Sebastian Ventura 2014 im Buch Educational Data Mining 5 veröffentlicht. Das Hauptziel von Romero, Romero und Ventura ist es, mit ihrem Artikel einen Überblick – auch eine Art Leitfaden – über die verschiedenen notwendigen Datenvorverarbeitungsschritte für das EDM zu liefern. 1 ROMERO, C., VENTURA, S. (2007), S. 135-146. ROMERO, C., VENTURA, S. (2010), S. 601-618. 3 www.google.de Abruf: 24. Mai 2015 4 Eine Studie zur Vorverarbeitung von Bildungsdaten 5 ROMERO, C., ROMERO, J., VENTURA, S. (2014), S. 29-64. 2 24 3.1. A SURVEY ON PRE-PROCESSING EDUCATIONAL DATA Als erstes nennen und beschreiben die Verfasser verschiedene Arten von computergestützten Bildungssystemen (LMS, MOOC, ITS, AIHS sowie Test- und Quizsysteme) und die Daten, die jeweils von diesen erhoben werden. Jedes dieser Systeme stelle unterschiedliche Datenquellen zur Verfügung, die verschiedener Vorverarbeitungsschritte bedürfen, sowohl was die Art der verfügbaren Daten als auch was die speziellen Probleme und Aufgaben betreffe, die von verschiedenen DM Techniken gelöst werden müssten. Zunächst erläutern sie die Arten von Daten und die passenden Data Mining Techniken eingehend, anschliessend stellen die Autoren beides zusammenfassend gegenüber: Arten von Daten Relationale Daten Transaktionsdaten Temporal-, Sequenz und Zeitreihendaten Textdaten Multimediadaten World Wide Web Daten DM Techniken Relationales Data Mining Klassifizierung, Clustering, Assoziations-Mining, etc. Zeitreihenanalyse / Sequenz-Mining Text Mining Multimedia Data Mining Web Content/Structure/Usage Mining Tabelle 3.1: Verschiedene Arten von Daten und Data Mining Techniken nach Romero, Romero & Ventura (2014) Anschliessend gehen sie auf die Hauptaufgaben und –probleme bei der Vorbereitung von Bildungsdaten ein. Durch die Datenvorverarbeitung würden Rohdaten umgewandelt in eine Form, die es erlaube ein Problem mithilfe von speziellen Data Mining Methoden, Techniken oder Algorithmen zu lösen. Laut Romero, Romero und Ventura würde für die Phase der Datenvorbereitung üblicherweise zwischen 60 und 90% der Zeit, Aufwände und Ressourcen des gesamten Mining-Projekts benötigt. Die Vorverarbeitungsaufgaben unterteilen die Autoren in zwei Gruppen: 1) Erkennungstechniken, um Fehlerstellen im Datenbestand zu finden 2) Transformationstechniken, um leichter zu bewältigende Datenbestände zu erhalten. Folgende vier Aspekte werden aufgeführt, die besondere Herausforderungen von Bildungsdaten darstellen: • die reine Menge an zur Verfügung stehenden Daten, die von Bildungssystemen täglich generiert werden • nicht alle Studenten beenden alle Aktivitäten, Übungen, Tests usw. Daraus folgt, dass es überdurchschnittlich häufig zu fehlenden oder unvollständigen Datensätzen kommt. 25 3.1. A SURVEY ON PRE-PROCESSING EDUCATIONAL DATA Abbildung 3.1: Hauptvorverarbeitungsschritte bei Bildungsdaten nach Romero, Romero & Ventura (2014) • Es gibt üblicherweise eine Vielzahl an Attributen über Studenten und eine Menge Instan- zen, mit unterschiedlicher Granularität. Also bedarf es einer Attributauswahl und Filterung, um die repräsentativsten Attribute und Instanzen auszuwählen, um ein spezifisches Bildungsproblem anzugehen • einige Datentransformationsaufgaben, wie Attributdiskretisierung können angewandt werden, um die Verständlichkeit der Daten und gewonnenen Modelle zu verbessern. In den darauffolgenden Abschnitten skizzieren die Verfasser die Hauptschritte und –aufgaben bei der Datenvorbereitung und erläutern die einzelnen Punkte ausführlich. Im Rahmen der Datenerfassung, dem ersten Schritt, würden alle benötigten und gewünschten Daten aus verschiedenen Quellen wie Logdateien, Testergebnissen und Portfolios zusammengetragen. Im nächsten Schritt - der Datenaggregation und –integration - gelte es, die Daten zu gruppieren in ein gemeinsames Datenformat zu bringen, normalerweise in einer Datenbank zusammenzuführen. Aggregation würde angewendet auf Daten derselben Art von unterschiedlichen Problemen, Sitzungen, Studenten, Klassen, Schulen und die Integration gelte für unterschiedliche Arten von Daten zum selben Problem, zur selben Sitzung, Studenten, Klasse, Schule. Die Datenbereinigung, so die Autoren, bestünde aus dem Auffinden und Verwerfen von fehlerhaften und irrelevanten Daten. Fehlende Werte könnten durch globale Konstanten ersetzt werden oder durch einen Ersatzwert (Attributdurchschnitt oder den häufigsten Wert). Auch die Ausreißererkennung gehöre zu diesem Arbeitsschritt. Werte, die sich von den übrigen signifikant unterscheiden, könnten durch Messfehler verursacht sein oder auch einer grossen Datenvielfalt geschuldet sein, wobei sie dann seltene oder unerwartete Werte darstellten. Ein Weg, Ausreißer zu behandeln sei es, Mittelwerte statt Durchschnitte zu verwenden. In Bildungsdaten gäbe es stets besonders gute wie auch besonders schlechte Studenten, die sich stark auf die Durchschnittswerte auswirken. Gerade die Entscheidung, welche Ausreisser einbezogen würden und welche nicht, sei eine schwere und bedürfe einer umfangreichen Kenntnis der Umstände unter welchen die Daten gesammelt wurden und dem Ziel der Analyse. Eine einfache Methode, Ausreisser zu erkennen sei die Visualisierung von Datenclustern. Ein anderes anzugehendes Thema wäre die Problematik der inkonsistenten Daten. Hier gelte es, die Datenbezeichnungen, Datenkodierungen und Datenformate zu prüfen. Häufige 26 3.1. A SURVEY ON PRE-PROCESSING EDUCATIONAL DATA Fehlerquellen seien beispielsweise Eingabefelder wie Geburtstag und Alter. Speziell im Zusammenhang mit webbasierten Bildungssystemen sei es ausserdem wichtig, lange Zeiträume zwischen zwei Aktionen zu bereinigen (Student hat den Computer verlassen?) und unvollständige Daten. Der vierte Schritt der Vorverarbeitung, die „Nutzer und Sitzungsidentifizierung“ sei ein sehr wichtiger. Er bestehe aus der Identifizierung von Nutzern durch IP-Adressen, Cookies oder Authentifizierungsmechanismen und Sitzungen. Insbesondere die Erkennung des Endes einer Sitzung stelle weiterhin ein Problem dar. Alle Datensätze könnten dann in aufsteigender Reihenfolge sortiert werden – mit der Nutzer-ID als Primärschlüssel und dem Ereigniszeitpunkt als Sekundärschlüssel. Nachdem diese Sortierung stattgefunden habe, sei es einfacher, Sitzungen durch die Gruppierung zeitlich zusammenhängender Datensätze zwischen zwei Logins zu identifizieren. Bestandteil dieses Schrittes sei ebenfalls die juristisch wichtige Anonymisierung der Personendaten. Dabei müsse darauf geachtet werden, die Zuordnung der Datensätze zueinander nicht zu verlieren – eine Möglichkeit wäre die Verwendung von User-IDs anstelle von Namen. Gegenstand des fünften Schrittes der Datenvorverarbeitung sei die Attributauswahl. Es gelte aus dem gesamten Satz an Attributen diejenigen auszuwählen, die für das konkrete Problem relevant seien. Zu ignorieren seien irrelevante und redundante Variablen. Dieser Schritt sei deshalb gerade für Bildungsdaten wichtig, weil eine zu grosse Anzahl von Einflussfaktoren die Genauigkeit eines Lernmodells aufgrund von Overfitting beeinträchtigen könne. In der Vergangenheit sei bspw. mithilfe von Entscheidungsbäumen ermittelt worden, welche Variablen den größten Einfluss hätten (Relevanzanalyse, Feature Selection). Die Verfasser behandeln anschliessend den Aspekt Datenfilterung. Hierbei würden aus einem großen Datenbestand eine geringere Menge repräsentativer Datensätze ausgewählt. So filtere man bspw. lediglich die Datensätze, die zu demselben Kurs, Test, Nutzer, Tag oder ähnlichem gehörten, um mit einem überschaubareren Bestand arbeiten zu können. Ein besonderer Aspekt bei Bildungsdaten sei in diesem Zusammenhang die unterschiedliche Granularität der vorhandenen Daten: Zu den verschiedenen betrachtbaren Ebenen gehörten die der Tastenanschläge, der Antworten, Sitzungen, Nutzer, Klassen, Schulen. Hierzu käme, dass ein größeres Mass an Granularität mit einer geringeren Menge an Datensätzen einherginge (vgl. Abbildung: 3.2). Als letzten Bestandteil des Vorverarbeitungsprozesses führen die Autoren die Datenumwandlung bzw. -transformation an. Was hier geschehe, sei die Umwandlung bereits vorhandener Attribute in neue Attribute. Beispiele hierfür seien die Normalisierung, Diskretisierung, Ableitung und Dateiformatumwandlung. Jedes dieser Beispiele wird von den Autoren ausführlich erläutert. Insbesondere die Formatumwandlung betreffend werden einige mögliche Ergebnisformate aufgeführt, darunter das Weka ARFF Format, Keels DAT Format, XML und CSV. 27 3.1. A SURVEY ON PRE-PROCESSING EDUCATIONAL DATA Abbildung 3.2: Verschiedene Stufen der Granularität in Beziehung zu der Datenmenge nach Romero, Romero & Ventura (2014) 3.1.1 Vorverarbeitungswerkzeuge Im folgenden Teil des Artikels nennen die Autoren populäre Software zur allgemeinen Datenvorverarbeitung im EDM, die sie in drei Gruppen unterteilen. Datenanalyse zur Behandlung von fehlenden Werten, Datenumwandlung, Merkmalsmanipulation oder Metadatenbehandlung. Matlab R IBM SPSS Modeler SAS Statistica Microsoft Excel Data Mining sowohl einfache als auch erweiterte Möglichkeiten zur Datenumwandlung, Merkmalsauswahl und Metadatenbehandlung Weka RapidMiner Knime Business Intelligence zur Geschäftsdatenanalyse und -visualisierung zur Unterstützung von Entscheidungsprozessen. mit erweiterten Funktionen zur Datenuntersuchung und -umwandlung. Orange Angoss Amadea Tabelle 3.2: Datenvorverarbeitungswerkzeuge nach Romero, Romero & Ventura (2014) Neben den allgemeinen Aufgaben der Datenvorverarbeitung gebe es noch die besonderen Aufgaben, wobei es sich bei der Software in diesem Bereich aktuell noch überwiegend um Prototypen mit eingeschränkter Funktionalität handele. Genannt werden in diesem Zusammenhang DataPreparator und EDM Workbench. 28 3.2. WEB MINING FOR SELF-DIRECTED E-LEARNING 3.1.2 Schlussfolgerung Die Autoren bemerken zusammenfassend, dass es nur wenige spezielle Datenvorverarbeitungswerkzeuge für EDM gäbe und EDM-Nutzer daher üblicherweise allgemeine Softwarelösungen und Data Mining Werkzeuge wählen würden. Die meisten der aktuell vorhandenen Werkzeuge könnten sowohl für EDM-Forscher, Ausbilder und sonstige Nutzer, die keine Data Mining Experten seien, zu komplex sein. 3.2 Web mining for self-directed e-learning „Web-Mining for self-directed e-learning“6 wurde von P. Desikan, C. DeLong, K. Beemanapalli, A. Bose und J. Srivastava 2006 verfasst und im Buch „Data Mining in E-Learning“ von Romero & Ventura (Hrsg.) veröffentlicht7 . Das Ziel der Arbeit ist es, den Nutzen von Web-Mining bei selbstgesteuerten E-Learning Angeboten aufzuzeigen. 3.2.1 Einleitung Einleitend stellen die Autoren fest, dass es deutliche Unterschiede zwischen Lernenden gäbe, zum Beispiel im Hinblick auf die Lerngeschwindigkeit, persönliche Interessen und das Vorwissen. Sie stellen die These auf, dass wenn es gelingen würde, E-Learning Angebote an diese Unterschiede anzupassen, das persönliche Lernerlebnis deutlich verbessert werden könne. Allerdings sei es schwierig, so die Autoren, alle möglichen Nutzungsvarianten bereits beim Design eines Systems zu berücksichtigen. Ausserdem wären die Anforderungen sehr unterschiedlich und würden sich sehr schnell verändern. Daraus ergäbe sich die Notwendigkeit für ein System, das sich kontinuierlich selbst über die Anforderungen seiner Nutzer weiterbilde und dann stets das am besten geeignete Material präsentiere. 3.2.2 Self-Directed E-Learning Selbstgesteuertes (self-directed) E-Learning finde immer dann statt, wenn das Lernen ohne Lehrplan, ohne Stundenplan, ohne Noten und Tests mit freiem Zugriff auf alle Ressourcen sei. Als Beispiele führen die Verfasser eine Vollzeitmutter (also eine nicht-berufstätige Mutter) an, die einen grossen Lernbedarf hinsichtlich der Aufzucht, Pflege, Erziehung und Entwicklung von Kindern habe und einen Diplomanden, der sich über interessante Forschungsthemen informieren möchte. Das Internet stelle eine scheinbar grenzenlose Menge von Informationen bereit daraus effektiv und effizient diejenigen Angebote zu ermitteln, die den individuellen Wünschen und Anforderungen am besten gerecht werden, sei nach wie vor die größte Herausforderung. Die Verfasser nennen und beschreiben sechs große webbasierte E-Learning Anwendungen und gehen dann auf die gemeinsamen Defizite dieser Systeme ein (vgl. Tabelle 3.3). 6 7 Web-Mining im Bereich des selbstgesteuerten E-Learnings DESIKAN, P. et al. (2006), S. 21-40. 29 3.2. WEB MINING FOR SELF-DIRECTED E-LEARNING Angebot Google Scholar Westlaw CiteSeer LexisNexis Beschreibung Suchmaschine für akademische Veröffentlichungen Suchmaschine für juristische Dokumente in Thompson Wests proprietärer Datenbank Suchmaschine und Zitationsdatenbank wissenschaftlicher Literatur, hauptsächlich IT Sammlung von Suchwerkzeugen und Fachdatenbank zu den Themen Recht, Wissenschaft, Strafverfolgung, Nachrichten, Wirtschaft,... Knowledge Management Systems Wissensdatenbanken innerhalb von Organisationen Dr. Spock bietet Eltern Expertenratschläge, Informationen und Inspirationen zur Kindererziehung Tabelle 3.3: Beispiele für web-basierte E-Learning Anwendungen 3.2.3 Defizite der vorgestellten Systeme 1) Kommunikation zwischen den Nutzern Bei keinem der genannten Angebote könne – anders als in realen Klassenzimmern – eine Kommunikation, Zusammenarbeit, gemeinsame Lösungsfindung oder Diskussion zwischen den Nutzern stattfinden. 2) Zeitmanagement Die Suchen wären unter Umständen zeitraubend, insbesondere dann, wenn der Anwender den richtigen Suchstring nicht kenne und erst herausfinden müsse. 3) fortlaufende Selbstverbesserung Die Suchergebnisse würden nicht auf das Modell der Dokumentrelevanz abgebildet. Zugriffsstatistiken der Ergebnisdokumente könnten als Relevanzindikatoren genutzt werden. 4) implizite Beziehungen Die Berücksichtigung von implizit verwandten Dokumenten und Inhalten finde nach Ansicht der Autoren noch nicht in ausreichendem Ausmass statt. Bislang würden nur direkte Beziehungen (über Zitate) oder textuelle Ähnlichkeiten berücksichtigt. Letzteres sei aber fehleranfällig bei Worten, die in unterschiedlichen Zusammenhängen vorkommen können. Ein noch ungelöstes Problem in diesem Zusammenhang sei die Identifizierung von Nutzerkontext. Gerade was aber die Berücksichtigung des gewünschten Kontexts betreffe, könne noch eine Verfeinerung der Suchergebnisse erreicht werden. 30 3.2. WEB MINING FOR SELF-DIRECTED E-LEARNING Abbildung 3.3: Web-Mining-Taxonomie nach Desikan et al. (2006) 3.2.4 Web-Mining Im Folgenden beschreiben die Autoren unterschiedliche Möglichkeiten von Data Mining Methoden, um Wissen aus Webdaten, also Webinhalten, Webstrukturen oder Webnutzungsdaten, zu extrahieren. Sie gehen darauf ein, was konkret miniert werden könne, von den Texten auf den Webseiten über die Hyperlinks, Dokumentenaufbau, Serverdaten bis hin zu den Anwendungsdaten. Schliesslich geben sie einen kurzen Überblick über den Stand der Wissenschaft bzgl. Web-Mining und erwähnen erfolgversprechende Studienergebnisse und abgeschlossene Entwicklungen. Insbesondere führen sie Folgendes auf: • das Extrahieren von Informationen aus strukturierten und unstrukturierten Daten und die Integration von Informationen aus verschiedenen Quellen • Webseitenkategorisierung und Themendestillation • Hyperlink-Analyse, insbesondere PageRank, ein Algorithmus der Googlegründer, bei dem Hypertextdokumente der Wichtigkeit nach sortiert werden, wobei eine Seite umso wichtiger ist, je wichtiger die Seiten sind, die auf sie verweisen • verbesserte, sogenannte „Usage Aware PageRank“-Algorithmen, die zusätzlich auch Nutzungsstatistiken berücksichtigen 31 3.2. WEB MINING FOR SELF-DIRECTED E-LEARNING • „Hub“- und „Authority“-Wertungen: mit dem Hintergrund der Graphentheorie würden Mittel- punkte und „Authoritäten“ als Elemente eines zweiteiligen Webgraphen arrangiert, wobei die Wertungen nicht seitenspezifisch sondern jeweils für themenbezogene Gruppen von Seiten berechnet würden 3.2.5 Web-Mining im E-Learning-Bereich Gegenstand der Betrachtungen in diesem Abschnitt sind die noch nicht (gänzlich) genutzten weiteren Möglichkeiten von Web-Mining Techniken. Zwar würden diese bereits effektiv in Suchmaschinentechnologien eingesetzt, um die relevantesten und signifikantesten Seiten zu finden, aber die Resultate könnten nach Meinung der Autoren mehr beinhalten als den reinen Seiteninhalt. Gerade für Lernmaterial seien zum Beispiel auch Nutzungsdaten von Interesse. WUM könne in diesem Zusammenhang dabei helfen, die Nutzerperspektive zu verstehen, Nutzerprofile zu erstellen, Navigationsmuster aufzudecken. Diese Daten könnten dann als nützliches Feedback für Experten dienen, um herauszufinden, wie Anfänger das Thema angingen, könnte aber auch den Anfängern nutzen, um von der Navigationserfahrung anderer zu profitieren. Letztlich böte WUM Möglichkeiten von der Gestaltung besserer adaptiver Webseiten bis hin zur Erstellung von Recommender Systems. 3.2.6 Ausblick Die Autoren nennen fünf Schwerpunkte, die im Bereich der selbstgesteuerten E-LearningSysteme das Nutzererlebnis signifikant aufwerten könnten. 1. Nutzungsmuster Durch die Untersuchung von Nutzungsmustern aus Server Logs könnten relevante Dokumente basierend auf dem Surf- und Abfrageverhalten anderer Nutzer identifiziert werden. Die Resultate könnten dann, ähnlich wie im Bereich e-Commerce, in einer Seitenleiste als Empfehlungen gelistet werden („Andere Nutzer lasen auch...“). 2. Schlagwort-Clustering Zur Empfehlung ähnlicher Suchbegriffe oder Rückgabe von Ergebnissen von ähnlichen Suchen könnten Stichwort- bzw. Schlagwort-Cluster gebildet werden. Diese könne man mit Punkt 1 kombinieren, um in der Seitenleiste verwandte Suchen und Vorschläge für weitere Suchvorgänge anzeigen zu können. 3. Empfehlungs-Mining Das Minieren der eigentlichen Empfehlungen selbst – entweder direkt der Suchergebnisse oder auch die der Seitenleiste – könnte eingesetzt werden, um die Seitenleistenergebnisse nach Bedarf einzuschränken oder zu erweitern und / oder ein Relevanzmodell aufzubauen, um bspw. einen Link nicht mehr anzuzeigen, wenn ihn nie jemand ausgewählt habe. 32 3.3. WEB-BASED EDUCATIONAL HYPERMEDIA 4. Intelligente Ergebnisse: Relevanzmodell Nicht jeder Nutzer habe das gleiche Vorwissen oder sei an der gleichen Detailtiefe interessiert. Aktuell spiegelten Suchergebnisse noch nicht wieder, ob ein Experte, der an genaueren Informationen und Details interessiert ist oder ein Anfänger, der sich zunächst eher einen Überblick verschaffen möchte, die Anfrage stelle. Ein Relevanzmodell solle hier Abhilfe schaffen. 5. Intelligente Knowledge Management Systeme Intelligente KMS könnten sich Nutzerprofile merken, das Nutzersurfverhalten analysieren und darauf basierend Empfehlungen der Art machen, wie „Letzte Woche suchten Sie nach... Es gibt inzwischen neue Einträge zu diesem Thema:...“ usw. 3.2.7 Schlussfolgerung Die Autoren schliessen mit der Feststellung, dass selbstgesteuertes E-Learning stetig wichtiger werde. Sie betonen, dass die aktuell noch vorhandenen Defizite mithilfe von WUM behoben und das Potential der existierenden Angebote noch deutlich besser genutzt werden könnte. 3.3 Web-based educational hypermedia Der Artikel „Web-based educational hypermedia“8 wurde von P. De Bra verfasst und 2006 im Buch „Data Mining in E-Learning“ von C. Romero und S. Ventura (Hrsg.) veröffentlicht9 . Das Ziel der Arbeit ist es aufzuzeigen, wie das Lernen mit elektronischen Lehrbüchern durch das Auswerten von Nutzerdaten verbessert werden könne und wie die Erstellung von Nutzerprofilen und die Inhaltsanpassung Hypermedia in der Bildung bereichern könnten. Zunächst beschreibt der Autor Probleme mit der „just-put-it-on-the-web“-Methode und erläutert dann zwei Hypertext-Referenzmodelle. Im Anschluss zeigt er an Beispielen inwiefern die Anpassung von Lehrmaterialien unter Berücksichtigung unterschiedlicher Wissensstände und Lernstile mithilfe einer Open-Source-Courseware umgesetzt werden könne. 3.3.1 Probleme mit der „just-put-it-on-the-web“-Variante Der Autor bot um 1993 herum erstmals einen Online-Kurs an und erkannte eine Reihe von Schwierigkeiten, denen die Studenten begegneten: 1. Orientierung Durch das Fehlen einer strikt hierarchischen Struktur blieben den Studenten viele Freiheiten was die Reihenfolge der Bearbeitung betreffe. Im Beispielkurs von 1993 gab es eine Liste von Hauptthemen, aber eine Vielzahl von Seiten gehörte zu mehreren Themen und 8 9 Web-basierte Hypermedien für die Bildung De BRA, P. (2006), S. 3-20. 33 3.3. WEB-BASED EDUCATIONAL HYPERMEDIA konnte auch von verschiedenen Seiten aus erreicht werden. Es gab also kein Inhaltsverzeichnis im eigentlichen Sinne, das die eigene aktuelle Position beim Lesen wie in einem Buch, das man von oben nach unten, von vorn nach hinten liest, angezeigt hätte. Die Studenten hätten also zu keiner Zeit einschätzen können, wo sie sich im Kurs befanden oder welchen Anteil des Kurses sie bereits bewältigt hatten und teilweise sogar, wo das noch fehlende Material zu finden gewesen wäre. 2. Verständnis Es sei schwer bis unmöglich, stellt De Bra fest, einen kompletten Kurs zu verfassen, bei dem jedes Kapitel ohne das Lesen mindestens eines anderen Kapitels auskomme. Wenn den Studenten die Lesereihenfolge aber frei stünde und sie sich quasi kreuz und quer durch den Stoff bewegten, kämen sie zwangsläufig an den Punkt, wo ihnen Grundlagenwissen fehle, um ein neues Thema zu verstehen. 3. Leistungseinschätzung Für das Ende des Kurses sei ein Multiple-Choice-Test für die Studenten bereitgestellt worden. Da es keine Struktur, bspw. in der Form von Kapiteln gab, sei es aber nicht möglich gewesen, Zwischenprüfungen anzubieten, um den Studenten eine Möglichkeit zu geben, frühzeitig zu erkennen, ob sie das Material in hinreichender Tiefe studierten oder nicht. Um diesen Problemen zu begegnen, könne man entweder eine klarere Struktur in Form von Kapiteln und Unterkapiteln vorschreiben oder eine Art automatisierte Führung durch den Stoff anbieten. Die Methoden und Werkzeuge von „Adaptive Hypermedia Systemen“ bieten die Möglichkeit, so viel Navigationsfreiheit wie möglich mit so viel strukturiertem Wissensaufbau (Grundlagen vor Aufbauwissen) wie nötig zu kombinieren. 3.3.2 Adaptive (Educational) Hypermedia Der Autor verweist auf die Arbeiten von Peter Brusilovsky10 ,11 , in denen dieser bereits Einführungen und Übersichten über das Feld „Adaptive Hypermedia“ vorgestellt habe und geht in diesem Abschnitt auf die speziellen Vorteile und Möglichkeiten von AH-Systemen im Bildungsbereich ein. Zu den Vorteilen gehöre die Vermeidung von Problemen, die durch das Lesen in einer suboptimalen Reihenfolge entstünden und die Tatsache, dass Studenten mit unterschiedlichem Vorwissen gleichermassen gut mit den Systemen arbeiten könnten. Durch die Analyse der Lesereihenfolge eines Studenten könnten folgende Anpassungen zur Laufzeit stattfinden: 10 Brusilovsky, P., Methods and techniques of adaptive hypermedia. User Modeling and User Adapted Interaction, 6(2-3), 1996. 11 Brusilovsky, P., Adaptive hypermedia. User Modeling and User Adapted Interaction, 11(1), 2001. 34 3.3. WEB-BASED EDUCATIONAL HYPERMEDIA 1. Angepasste Darstellung (Inhaltsanpassung) • prerequisite explanation: Bei Verweisen auf noch nicht gelesene Konzepte könne eine Kurzerklärung zu benötigtem Vorwissen eingeblendet werden. • additional explanation: Für Experten liessen sich zusätzliche Informationen einblenden, die bei Anfängern noch nicht sichtbar wären. • comparative explanation: Vergleiche zwischen zwei Konzepten könnten dann eingeblendet werden, wenn das jeweils zweite Konzept studiert werde. 2. Angepasste Navigation (Linkanpassung) • adaptive link sorting: Die Liste der weiterführenden / verfügbaren Links könne in der Form sortiert werden, dass die aktuell passendsten Seiten weiter oben geführt würden. • adaptive link removal: Links könnten zu unterschiedlichen Zeitpunkten verfügbar gemacht werden (ausblenden / einblenden). • link hiding u.ä.: Mit Style Sheets liessen sich Links bestimmte Zusatzbedeutungen verleihen, indem man sie mit Icons versähe, indem man sie durch die Darstellung wie Text quasi verstecke oder durch Farbcodierungen, die bestimmte Bedeutungen vermitteln könnten (grüne Links wären Leseempfehlungen, von den roten würde noch abgeraten etc.). • Ein Linkziel könne je nach Lernfortschritt unterschiedliche Inhalte haben. Für Kursentwickler sei es schwierig, zu entscheiden, wann welche Darstellungsform jeweils am geeignetsten wäre – hier kämen Möglichkeiten aus dem Bereich des Data Mining zum Einsatz. 3.3.3 AHAM - Adaptive Hypermedia Application Model De Bra, Houben und Wu entwickelten Ende der 90er Jahre ein Referenzmodell für „Adaptive Hypermedia“12 , das De Bra hier kurz erläutert. Die AHAM-Referenzarchitektur erweitere das sogenannte „Dexter Hypertext Reference Model“ (vgl. Abbildung 3.4). Das Dexter Modell bestehe aus drei Ebenen und zwei Schnittstellen, die jeweils unterschiedliche funktionale Aspekte eines Hypertextsystems übernehmen würden. Im Dexter-Modell werde der Hypermedia-Teil von der Benutzerschnittstelle (Browser) und der Datenbank / dem Dateisystem getrennt. Die Speicherschicht stelle einen Container für die Datenspeicherung dar. Sie fungiere als Datenbank, die sich aus einer Hierarchie von Datenbeinhaltenden Komponenten und Knoten zusammensetze, die durch Links verbunden seien. Die Komponenten enthielten Text, Bilder, Animationen usw. die den Inhalt im Hypertext-Netzwerk bildeten. Die Ebene innerhalb der Komponenten (Within-Component Layer) beschreibe die 12 De BRA, P., HOUBEN, G., WU, H. (1999), S. 147-156. 35 3.3. WEB-BASED EDUCATIONAL HYPERMEDIA Abbildung 3.4: Dexter Modell und AHAM Struktur der Knoten (Seiten) und Links. Jede Komponente verfüge über eine Reihe von Attributen, Darstellungsspezifikationen, Anker und Inhaltsangaben. De Bra erläutert, dass im AHAM die Speicherebene genauer spezifiziert wurde und sich aus drei Elementen zusammensetze. Ein Baustein sei das Lehrmodell (später Adaptionsmodell). Es verkörpere die Methoden, die genutzt würden, um den Lernenden durch die Informationsstruktur zu führen. Weitere Bestandteile seien das Domänenmodell – das im Grunde der Dexter Speicherschicht entspreche – es bilde die Strukturen der Information ab, und letztlich das Benutzerprofil, das zeige, wie der Nutzer mit den Informationen in Verbindung gebracht werde. Um einen Kurs zu entwickeln, müssen nun nur folgende Schritte berücksichtigt werden: 1. Aufführen von Konzepten und Themen, die im Kurs behandelt werden (inklusive einer Hierarchie von Themen und Unterthemen in Form von Kapiteln und Abschnitten) 2. Festlegen von Abhängigkeiten zwischen Konzepten 3. Übersetzen der Beziehungen zwischen den Konzepten mit den zuvor erwähnten Methoden (z.B. Link Annotation) in das Anpassungsverhalten und so generische Anpassungsregeln für jede Art von Beziehung definieren - alle Regeln zusammen bildeten das Lehrmodell bzw. Adaptionsmodell und setzten später die Benutzeraktionen in Benutzerprofilupdates um. Ein typisches Beispiel für eine Anpassungsregel wäre: Beim Öffnen einer Seite P, falls P empfohlener Lehrstoff ist, setze den Wissenswert von P auf 100. Es handele sich also um Ereignis–Bedingung–Aktion–Regeln, wobei das Ereignis in diesem Fall der Zugriff auf eine Seite P darstelle, die Bedingung sei, dass P zum empfohlenen Lehrmaterial gehöre und falls dies der Fall wäre, folge die Aktion in Form der Erhöhung des Wissensstandes um 100. In diesem Fall wäre das auslösende Ereignis ein Seitenzugriff, doch gäbe es noch eine ganze Reihe weiterer Trigger. Auch das Aktualisieren des Nutzerprofils als solches, könne weitere 36 3.3. WEB-BASED EDUCATIONAL HYPERMEDIA Abbildung 3.5: AHA! Architektur nach De Bra (2006) Schritte nach sich ziehen. Gehört beispielsweise die Seite P zu einem Kapitel C, so würde auch der Wert für den Wissensstand von C angepasst werden und gegebenenfalls änderten sich auch die empfohlenen Lehrmaterialien. Die Kursautoren müssten diese Regeln nicht kennen, betont De Bra, da sie auf Basis der Konzeptbeziehungen automatisch implementiert würden. 3.3.4 AHA! AHA! sei eine Open Source Webservererweiterung, die Anwendungen wie Onlinekurse um die Adaptationsfähigkeit erweitere, so De Bra. Der Autor erläutert, dass AHA! eine Vielzahl von Informationen im Benutzerprofil speichere und aktualisiere und ein Log der Nutzeraktionen führe, das als grossartige Basis für Data Mining Anwendungen dienen könne, um das Nutzerverhalten zu analysieren und potentielle Probleme zu entdecken. Das wichtigste Element sei die AHA! Engine, die durch Java Servlets implementiert werde, welche auf dem Webserver liefen und mit diesem kommunizierten. Auf dem Server befänden sich drei Arten von Informationen: - ein kombiniertes Domänen- und Adaptionsmodell (DM/AM), analog zu diesen Modellen im AHAM - ein Benutzerprofil (User Model, UM), das den Wissensstand des Nutzers zu den Konzepten und Seiten des Kurses vorhalte - Autoren- und Verwaltungswerkzeuge 37 3.3. WEB-BASED EDUCATIONAL HYPERMEDIA Abbildung 3.6: Anpassung in AHA! nach De Bra (2006) Externe Seiten von anderen Webservern könnten ebenfalls integriert werden. Dabei würden sie (möglicherweise) ebenso angepasst dargestellt wie lokale Seiten (vgl. Abbildung 3.5). Die Anpassung erfolge auf Basis des Benutzerprofils, welches zum größten Teil ein Overlay Model sei. Das Benutzerprofil beinhalte eine Reihe von Attributwerten für jedes Konzept, das der Kurs beinhalte, z.B. Wissen und Eignung. Die Summe der Wissensattributwerte von allen Konzepten ergebe beispielsweise ein detailliertes Bild über den Wissensstand des Lernenden in Bezug auf den gesamten Kurs. Der Eignungswert sage etwas darüber aus, ob ein Konzept empfohlen werde oder nicht. Die Konzeptstruktur von AHA! bestehe aus Konzepten, die (wahlweise) mit einer oder mehreren Ressourcen (bspw. Seiten) gekoppelt seien. Mit jedem Konzept sei zudem eine Reihe von Eigenschaften verbunden, jedes mit einer Anzahl von Adaptionsregeln. Jedes Konzept hat beispielsweise ein Attribut „Zugriff“ mit Adaptionsregeln, die ausgeführt werden, wenn auf das Konzept zugegriffen werde. Die Regeln funktionieren wie bereits oben beschrieben, auch was bspw. die kaskadierende Aktualisierung von Wissensständen betreffe. Seiten würden in AHA! als Ressourcen dargestellt, die mit Konzepten fest verknüpft seien. Sie könnten aber auch durch Regeln über ein Attribut namens „show-ability“ verbunden sein, das besage, ob und wie sie angezeigt würden und in Abhängigkeit von weiteren Regeln ggf. angepasst werden würden. Die Inhalte (Seiten) könnten auf zwei Arten angepasst werden (vgl. Abbildung 3.6): Zum einen könnten sie Fragmente oder Objekte, die an Anzeigebedingungen geknüpft seien, besitzen. Zum anderen liessen sich Links über die Auswertung des „Suitability“ bzw. „Desirability“ Attributs anpassen. Ist auf einer Seite ein Link enthalten, schaue die AHA! Engine, ob das Ziel aktuell 38 3.3. WEB-BASED EDUCATIONAL HYPERMEDIA empfohlen werde und gestalte den Link dann entsprechend farblich oder mit Icons. AHA! nutze ein Layout Modell, das beschreibe, wie die Inhalte dargestellt würden. Das Layout bestehe aus HTML-Frame-Strukturen, wobei immer ein Frame die aktuelle Seite zeige. Darüberhinaus könnten aber in anderen Bereichen weitere Inhalte angezeigt werden, z.B. ein Inhaltsverzeichnis, eine Liste von Konzepten, mit denen die aktuelle Seite zusammenhänge, Konzepte, die Vorwissen beinhalten (und deren aktueller Wissenslevel) usw. AHA! biete ferner zwei grosse Autorenwerkzeuge und einen Multiple-Choice Test-Editor. Mithilfe von „Graph Author“ liessen sich Konzeptstrukturen und –abhängigkeiten (Vorwissen) leicht und einfach implementieren. Die Software generiere dann automatisch auf Basis der Struktur die Adaptionsregeln für das Domänenmodell / Adaptionsmodell. Der „Concept Editor“ stelle eine zusätzliche Option für Fortgeschrittene Nutzer dar. 3.3.5 Fragen, Tests und Aufgaben Die grundlegende Idee bei der Anpassung basiere laut De Bra auf der Einschätzung des Nutzerwissens durch das System, daher sei es wichtig, dass das System einen guten Überblick über den Wissensstand des Lernenden habe. Das System könne aber lediglich Klicks registrieren, kein Scrolling und keine Augenbewegungen (Lesen). Hierzu meint De Bra, dass Fragen, Tests und Aufgaben dazu dienen könnten, den Wissensstand genauer abzufragen. Multiple-Choice-Tests seien dabei am beliebtesten, da sie sich einfach automatisch auswerten liessen. Zu den Möglichkeiten, die sich durch Tests bieten würden, gehörten: • Vorwissen einschätzen • vom System geschätzten Wissensstand verifizieren • Studenten Seiten, die (erneut) studiert werden sollten, vorschlagen • Feedback für den Kursautoren liefern, wenn Regelmässigkeiten was das Nichtverstehen bestimmter Passagen betreffe, erkannt würden 3.3.6 Anpassung an Lernstile Laut De Bra könne die Individualisierung noch erweitert werden, indem das System neben den unterschiedlichen Wissensständen auch verschiedene Lernstile berücksichtige. So könnte beim ersten Anmelden eines Nutzers gefragt werden, um welchen Lerntypen es sich bei ihm handelte oder aber bei der ersten Gelegenheit mehrere Medientypen (Text, Bilder, Video, Audio,..) zur Auswahl anbieten und die vom Nutzer getroffene Wahl als Präferenz speichern. Im weiteren Verlauf könnten dann auf Basis dieser Präferenz andere Medientypen ein- oder ausgeblendet werden. 39 3.4. A PERSONALIZED E-LEARNING MATERIAL RECOMMENDER SYSTEM Bei Kolb13 werden Lernende in sogenannte Reflektoren und Aktivisten eingeteilt. Erstere sammelten und analysierten Informationen, bevor sie aktiv werden, letztere würden gern experimentieren und werden durch Herausforderungen motiviert. De Bra meint, man könne die Kursinhalte mit einem Attribut versehen, das anzeige, ob es sich um ein Beispiel oder eine Aktivität handelte. Wenn nun ein Link angezeigt werden müsse, könne die Engine entscheiden, welches Ziel für welchen Nutzer am geeignetsten sei. 3.3.7 Fazit De Bra schliesst mit dem Fazit, dass mithilfe von Autorenwerkzeugen wie dem AHA!-System Kursautoren das Formulieren von Anpassungsregeln abgenommen werden könne. Des Weiteren wurden verschiedene Lernstile betrachtet, um zu sehen, wie sich das Lernerlebnis noch weiter individualisieren liesse. Aspekte wie die Berücksichtigung der konkreten Aufgaben eines Nutzers oder die Anpassungen von Suchergebnissen wären jedoch nicht betrachtet worden. 3.4 A Personalized e-Learning Material Recommender System 2004 veröffentlichte Jie Lu seinen Artikel „A Personalized e-Learning Material Recommender System“14 in den „Proceedings of the 2nd International Conference on Information Technology for Application“15 . Er stellt darin ein Framework für ein personalisiertes Lernempfehlungssystem vor, dessen Ziel es ist, Studenten dabei zu helfen, die Lernmaterialien herauszufinden, die in ihrer Situation am besten geeignet sind. Da immer mehr Lernmaterialien online verfügbar seien, falle es Lehrpersonal zunehmend schwerer, ihren Studenten die am besten geeigneten Materialien zu empfehlen. Gleichsam falle es Lernenden schwer, zu entscheiden, welche Materialien für sie am besten wären. Lu führt aus, dass Empfehlungssysteme zunächst für den E-Commerce-Bereich entwickelt worden seien, wo sie inzwischen auch erfolgreich eingesetzt werden würden. Sie ermittelten dort auf Basis verschiedener Grundlagen personalisierte Produktempfehlungen. Vorhandene Recommender Systeme im E-Commerce-Bereich könnten grob unterschieden werden in inhaltsorientierte und kooperationsorientierte Systeme (vgl. Tabelle 3.4). Im Bildungsbereich existierten noch deutlich weniger Studien zum Einsatz solcher Systeme, so Lu. Dabei könnten sie auch hier den natürlichen Prozess des Vertrauens auf Freunde, Klassenkameraden, Dozenten und andere Quellen was die Lernentscheidungen betreffe, unterstützen. 13 Kolb, D., Experiential learning experience as the source of learning and development. Prentice Hall, 1984 Ein personalisiertes E-Learning Materialempfehlungssystem 15 LU, J. (2004), S. 374-380. 14 40 3.4. A PERSONALIZED E-LEARNING MATERIAL RECOMMENDER SYSTEM inhaltsorientiert Datenbasis Produktbeschreibungen mit einer Vielzahl Attribute Erstellt Empfehlungen durch Vergleich der Kundenpräferenzen mit Produktinhalten Details zur Empfehlungsberechnung Kundenwünsche werden vorausberechnet durch die Analyse der Beziehungen zwischen Produktbewertungen und den zugehörigen Produkteigenschaften. Nachteile / Schwachstellen können nicht eingesetzt werden für: - neue Kunden, die nur wenig gekauft haben, - potentielle Kunden, die noch nichts gekauft haben - Kunden, die Produkte kaufen wollen, die nicht häufig gekauft werden kooperationsorientiert Daten einer Gruppe von Kunden, dienen dazu Empfehlungen für einzelne Mitglieder der Gruppe machen zu können Vergleich der Kundenbewertung für ein Produkt mit den Bewertungen anderer Kunden Kollaboratives Filtern: Kundengruppen, deren Interessen einem Kunden ähnlich sind („Nachbarn“) werden identifiziert und es werden dem Kunden Empfehlungen auf Basis der Vorlieben der anderen Kundengruppenmitglieder gemacht Sparsity-Problem / Erstbewerterproblem: - wenn Produkte nur wenige Bewertungen haben, ist kollaboratives Filtern schwierig - besonderes Problem: Markteintritt von neuen Produkten, die noch gar keine Bewertungen haben (Ermittlung der „Nachbarn“ dann nicht möglich) Tabelle 3.4: inhaltsorientierte und kooperationsorientierte Recommender-Systeme 3.4.1 Vorüberlegungen Im Rahmen dieser Studie stellt Lu ein Framework für personalisierte Lernempfehlungssysteme (Personalized Learning Recommender System, PLRS) vor. Dabei seien die wichtigsten Fragestellungen: - Wie identifiziert man akkurat den Bedarf eines Studenten? - Wie findet man die passenden Lernmaterialien zu diesem Bedarf? Dabei gelte es folgendes zu beachten: Die individuellen Bedürfnisse und Lernstile eines einzelnen Studenten sollten berücksichtigt werden. Ausserdem sollte sich die Lernumgebung zur Laufzeit weiter anpassen und ihr Verhalten auf Basis der Interaktionen mit dem Studenten verändern können, stellt Lu fest. Um solch eine Lernumgebung zu schaffen, müssten zunächst der 41 3.4. A PERSONALIZED E-LEARNING MATERIAL RECOMMENDER SYSTEM Hintergrund eines Studenten, sein bevorzugter Lernstil und sein Lernbedarf identifiziert werden. Was die ausgesprochenen Empfehlungen betreffe, so unterteilt Lu schlechte Empfehlungen in zwei Arten: falsch negative und falsch positive. Falsch negative Empfehlungen seien solche Materialien, die nicht empfohlen werden, obwohl sie von Interesse wären. Falsch positive hingegen sind diejenigen Materialien, die empfohlen werden, obwohl sie unnötig oder gar nicht geeignet wären. Lu betont, dass im Kontext einer Lernumgebung letztere auf jeden Fall zu vermeiden seien, da sie zu frustrierten Studenten führten, die die Seite nicht mehr besuchen würden. 3.4.2 Framework des PLRS Lus Framework hat vier Hauptbestandteile. Die Aufgaben der einzelnen Komponenten lauten: 1. Sammeln der Studenteninformationen 2. Identifizieren des Lernbedarfs der Studenten 3. Lernmaterialien-Vergleichsanalyse 4. Generierung von Empfehlungen Sobald eine Lernmaterialdatenbank oder eine Lernaktivitätendatenbank erstellt worden sei und Studentendaten eingeholt wurden, könne das PLRS computergestützte Analysemodelle benutzen, um den spezifischen Lernbedarf eines Studenten zu ermitteln und dann mithilfe von Matching Regeln Empfehlungen von Lernmaterialien oder –aktivitäten für den Studenten erstellen. Die vier Elemente sind verbunden mit einer Benutzerschnittstelle, einer Studentendatenbank und einer Lernmaterialdatenbank mit Baumstruktur. Ferner gäbe es ein Bedarfsmodell und MatchingRegeln (vgl. Abbildung 3.7). Der Ablauf sei dann wie folgt: Das System erhalte Studenteninformationen und speichere diese in der Studentendatenbank (Komponente 1). Dann werde der Lernbedarf des Studenten von der zweiten Komponente festgestellt. In der dritten Komponente finde der Vergleich der Lernmaterialien mit den Anforderungen statt und schliesslich würden in der vierten Komponente Empfehlungen für den Studenten generiert. 3.4.3 Definitionen Studenten würden als Vektoren dargestellt werden: X = (x1 , x2 ,..., xn ). Die Kriterien zur Evaluation des Lernbedarfs seien unabhängige Variablen und würden als Kriterienvektor notiert werden: C = (c1 , c2 ,...,cm ). Der Bedarf eines Studenten xi für Lernmaterial werde ebenfalls durch einen Vektor repräsentiert: Ril = (ril , fl ,...,fp ), l<=i<=n. ril sei dabei der Bedarf an Lernmaterial, fl ,...,fp seien Eigenschaften des notwendigen Lernmaterials, wie z.B. der Schwierigkeitsgrad. Die Empfehlungen für einen Studenten xi würden dann aus einem Lernmaterialsatz bestehen: Li = (li1 ,li2 ,...,lik ). Der Lernmaterialsatz Li stimme überein mit dem Studentenbedarf Ri (i=1,2,...,n) (nach fuzzy matching-Regeln). 42 3.4. A PERSONALIZED E-LEARNING MATERIAL RECOMMENDER SYSTEM Students Interface 1: Getting students information Student Database 2: Student requirement identification 3: Learning material matching analysis Multi-criteria student requirement analysis model Matching rules 4: Learning recommendation generation Learning material tree Learning material management Abbildung 3.7: PLRS Framework nach Lu (2004) 3.4.4 Komponentendetails 1. Erhalten der Studenteninformationen Die Informationen würden auf verschiedene Arten eingeholt: zum Einen von den Studenten selbst, insbesondere bei Neuanmeldungen. Weiterhin werde der Bedarf auf Basis der Lernhistorie der am häufigsten auftretenden Studentengruppen ermittelt. Die Datenbank speichere zudem die Ergebnisse des WUM der Klick Streams der Studenten. Durch die Analyse der Klick-Streams würden deutlich bessere Ergebnisse erzielt als durch die blosse Zugriffsauswertung. Ausserdem würden Assoziationsregeln aus dem Klick-Stream miniert, die interessante Beziehungen zwischen Lernmaterialien offenbarten. 2. Identifizierung des Lernbedarfs Diese Komponente untersuche verschiedene Informationsquellen und wende ein Multi-KriterienAnalyse-Modell des Studentenlernbedarfs an, um die Anforderungen einzelner Studenten zu ermitteln, erläutert Lu. In der Studentendatenbank liegen Aufzeichnungen über Lernstile, Lernmaterialzugriffe und Leistungen aller Studentengruppen. Diese Daten werden genutzt, um individuelle Präferenzen einzelner Studenten der Gruppe zu identifizieren. Die Studenten erhalten also Empfehlungen auf Basis von Materialien, die ihre Kommilitonen bevorzugten. 3. Lernmaterialvergleichsanalyse 43 3.5. OFF-TASK BEHAVIOUR IN THE COGNITIVE TUTOR CLASSROOM Database Subject Introduction ER-modeling Normalization Business rules Draw ER-model ER transformation Level 0 SQL Transaction Level 1 Level 2 L-224, 2, L-223, 3, L-222, L-221, 3, Level 3 Abbildung 3.8: Learning Material Tree nach Lu (2004) Die dritte Komponente nutze fuzzy matching Regeln, um Lernmaterialien zu finden, die den Studentenanforderungen entsprechen. Das Lernmaterial sei in einer Baumstruktur aufgebaut, die Materialien in verschiedenen Schwierigkeitsstufen klassifiziere und in unterschiedlichen Ebenen repräsentiere (vgl. Abbildung 3.8) Fuzzy Set Techniken könnten komplexe und unstete Beziehungen beschreiben und mit unbeständigen Klassifizierungen, umgehen. Fuzzy Sets, die auf Fuzzy Distance basierten, könnten aufgrund ihrer Dehnbarkeit den Vergleich von Anforderungen und Lernmaterialien verbessern. 4. Generierung von Empfehlungen Diese Komponente generiere eine Liste von Lernmaterialien, um sie dem Studenten zu präsentieren und sie gleichsam in der Studentendatenbank abzulegen. 3.4.5 Vorteile des Frameworks Inhaltsorientierte Empfehlungen und kooperationsorientierte Empfehlungen ergänzten sich gegenseitig. Dieses Framework integriere beide Ansätze, wodurch die Empfehlungsleistung insgesamt gesteigert worden sei. 3.5 Off-Task Behaviour in the Cognitive Tutor Classroom „Off-Task Behaviour in the Cognitive Tutor Classroom: When Students ’Game the System’“16 wurde von Ryan Baker, Albert Corbett, Kenneth Koedinger und Angela Wagner 2004 veröffentlicht17 . Die Autoren beschreiben in diesem Artikel Off-Task-Verhalten von Schülern beim Lernen mit ITS und den Einfluss dieser Verhaltensweisen auf den Lernerfolg. Off-Task-Verhalten definiert 16 17 Aufgabenfernes Verhalten im Tutorsystem: Wenn Studenten versuchen, das System zu überlisten BAKER, R. et al. (2004), S. 383-390. 44 3.5. OFF-TASK BEHAVIOUR IN THE COGNITIVE TUTOR CLASSROOM Baker, wäre zu beobachten, wenn ein Schüler sich komplett von der Lernumgebung ablöst und sich einer Tätigkeit zuwende, die ohne Bezug zur Aufgabe ist. Die Autoren stellen eine starke negative Beziehung zwischen dem Lernerfolg und einem Verhalten, das sie „Gaming the System“ nennen, fest. „Gaming the System“ bedeute, dass ein Schüler Funktionen der Software ausnutze, um vom System die richtigen Antworten zu erhalten und im Programm weiterzukommen, anstatt selbst über die Lösung nachzudenken. Beispiele seien: 1) schnelles und wiederholtes Fragen nach Hilfe, bis der Tutor die richtige Antwort gäbe 2) schnelles und systematisches Eingeben von willkürlichen Antworten oder das Auswählen jeder möglichen Checkbox, bis der Tutor eine richtige Antwort bestätige. Tatsächlich sei der Einfluss dieses Verhaltens auf das Lernergebnis genauso groß wie das Vorwissen und die allgemeine akademische Leistung eines Schülers. 3.5.1 Studienaufbau Die Autoren verweisen auf eine Hypothese von Caroll, genannt „Time-On-Task-Hypothese“ nach der eine Beziehung zwischen dem Verhalten im Klassenzimmer und Lernen der Art bestünde, dass je länger ein Student sich mit dem Lernmaterial beschäftige, er umso mehr Gelegenheit habe zu lernen. Diese These suggeriere, dass Off-Task-Verhalten das Lernen negativ beeinflusse. Die Verfasser beobachteten die Häufigkeit von verschiedenen Off-Task-Verhaltensmustern bei Schülern, während diese einen Cognitive Tutor verwendeten, um zu untersuchen, ob und inwiefern die verschiedenen Arten von Off-Task Verhalten unterschiedlich starken Einfluss auf das Lernen hätten. Untersucht wurden Kurse mit einer Mischung aus konzeptionellem Unterricht und ITS Kurseinheiten, wobei das ITS Problemlösungsaufgaben und Feedback auf Basis des entwickelten Profils des Schülers und seiner Fähigkeiten auswähle. Die Beobachtungen fanden in 5 Grundschulklassen mit insgesamt 70 Schülern zwischen 12 und 14 Jahren an zwei unterschiedlichen Schulen einer mittelgrossen Stadt im Nordosten der USA statt. Zunächst sahen die Schüler eine Power Point Präsentation mit übergelagerten gesprochenen Erklärungen. Darauf folgte ein erster Test, mit dem das vor der Tutoreinheit vorhandene Wissen gemessen wurde. Nach Absolvierung einer Tutoreinheit erfolgte dann ein Nachtest. Die Tests wurden danach bewertet, wie viele der notwendigen Schritte in einem Problemlösungsprozess richtig waren. Die Aufzeichnungen über das On- und Off-Task-Verhalten der Schüler wurden durch unauffällige 45 3.5. OFF-TASK BEHAVIOUR IN THE COGNITIVE TUTOR CLASSROOM (periphere) Beobachtung während der Tutoreinheit gesammelt. Jeder Observationsabschnitt dauerte 20 Sekunden. Aufgezeichnet wurde neben der Häufigkeit auch die Art des Verhaltens. Unterschieden wurde dabei zwischen: 1) On-Task, bei der Arbeit 2) On-Task, Unterhaltung zum Thema (bspw mit dem Lehrer oder einem anderen Schüler) 3) Off-Task, Unterhaltung (Unterhaltung über aufgabenferne Themen) 4) Off-Task, Beschäftigung allein (z.B. lesen, surfen,...) 5) Off-Task, Inaktivität (in den Raum starren oder Kopf auf Tisch für den gesamten 20 Sek. dauernden Observationsabschnitt) 6) Off-Task, „Gaming the System“ (systematisch und in schneller Folge falsche Antworten eingeben oder die Hilfefunktionen nutzen, mehrere dieser Aktionen innerhalb des 20-Sek. dauernden Observationsintervalls) So kodierten Baker und Wagner insgesamt 563 Beobachtungen, durchschnittlich also 8 pro Schüler. Wurden zwei unterschiedliche Verhalten beobachtet, wurde nur das jeweils erste notiert. Die Noten des Abschlusstests der Schüler wurden als Maßstab für die generelle akademische Leistung in die Auswertung einbezogen. 3.5.2 Ergebnisse Das durchschnittliche Vortestergebnis lag bei 40% und verbesserte sich auf 71% im Nachtest. Die Autoren beobachteten folgende Verhaltensweisen: 82% der Zeit beschäftigten sich die Schüler mit der Aufgabe (inkl. 4% themenbezogener Konversation). 11% der Zeit wurde mit Off-Task Unterhaltungen verbracht. Gaming the System fand in 3% der Zeit statt, ebensohäufig wurde Inaktivität beobachtet. Am seltensten, in nur 1% der Zeit, beschäftigten sich Schüler allein ohne Aufgabenbezug. Jedoch zeigten mehr Schüler das jeweilige Verhalten mindestens ein Mal, als die Häufigkeiten suggerieren: 41% der Schüler führten mindestens ein Mal eine themenfremde Unterhaltung. 24% der Schüler wurden mindestens ein Mal beim „Gaming the System“ beobachtet. Inaktivität wurde bei 21% der Schüler mindestens ein Mal festgestellt und 9% der Schüler beschäftigten sich mindestens ein Mal eigenständig mit themenfremdem Material. 100% der Schüler wurden mindestens ein Mal bei der konzentrierten Bearbeitung der Aufgabe beobachtet. 3.5.3 Die Beziehungen von Off-Task-Verhalten zum Lernerfolg Das Vorwissen (Vortestergebnis, r=0.32) und die allgemeine akademische Leistung (r=0.36) der Schüler seien für sich genommen gute Prädiktorwerte für die Nachtestergebnisse. Gemeinsam würden sie eine hohe Korrelation zum Nachtestergebnis aufweisen (r=0.61). 46 3.5. OFF-TASK BEHAVIOUR IN THE COGNITIVE TUTOR CLASSROOM Abbildung 3.9: zeitliche Verteilung der Verhaltensweisen in Prozent Fasse man alle Arten von Off-Task-Verhalten zusammen, erhalte man einen ziemlich guten Prädiktorwert für das Nachtestergebnis, mit einem Korrelationskoeffizienten r von -0.33. Dabei ermittelten die Verfasser signifikante Unterschiede zwischen den Korrelationskoeffizienten der verschiedenen Verhaltensweisen, „Gaming-the-System“ stelle jedoch das einzige Off-Task-Verhalten dar, das einen signifikanten negativen Einfluss auf das Nachtestergebnis habe (r=-0.38, zum Vergleich, Off-Task-Unterhaltungen hätten -0.19, die anderen Verhaltensweisen noch schwächere Korrelationskoeffizienten). Nachtestergebnis Vortestergebnis Allg. akademische Leistung Off-Task, „GamingtheSystem“ Off-Task, Unterhaltung Off-Task, Inaktivität Off-Task, Einzelbeschäftigung On-Task, Unterhaltung Geschlecht 0,32 0,36 -0,38 -0,19 -0,08 -0,08 -0,24 -0,08 Tabelle 3.5: Korrelationskoeffizienten verschiedener Verhaltensweisen zum Nachtestergebnis nach Baker et al. (2004) Erstaunlicherweise bestehe ebenfalls ein negativer Zusammenhang zwischen den On-Task Unterhaltungen und dem Nachtestergebnis. Da überwiegend die Schüler das Verhaltensmuster „Gaming the System“ zeigten, die ein niedriges Vortestergebnis hatten, könnte die Hypothese aufgestellt werden, dass die Schüler deshalb dieses Verhalten zeigten, weil sie ohnehin nicht so recht wüssten, wo sie anfangen sollten, und dass es keinen eigenen Effekt aufweise. Um dies zu untersuchen, betrachten die 47 3.5. OFF-TASK BEHAVIOUR IN THE COGNITIVE TUTOR CLASSROOM Abbildung 3.10: Anteil der Schüler, die die Verhaltensweisen mind. ein Mal zeigten Autoren diejenigen 8 Schüler, die dieses Verhalten am häufigsten zeigten und vergleichen sie mit den 24 Schülern, die das Verhalten nie zeigten und höchstens ein ebenso niedriges Vortestergebnis (maximal 17%) hatten (vgl. Tabelle 3.6). Häufiges „Gaming the System“-Verhalten Nie gezeigtes „Gaming-the-System“-Verhalten 8% 7% 44% 68% Durchschnittl. Vortestergebnis Durchschnittl. Nachtestergebnis Tabelle 3.6: Vergleich zwischen Gamern und Nicht-Gamern mit niedrigem Vorwissen Während sich die Gamer nur um durchschnittlich 36% verbesserten, betrug die Verbesserung bei der Vergleichsgruppe 61%. 3.5.4 Zusammenfassung Zusammenfassend könne gesagt werden, dass Schüler, zu deren Verhaltensweisen „Gaming the System“ gehöre, grundsätzlich schlechtere allgemeine akademische Leistungen und am wenigsten Vorwissen in dem relevanten Bereich hätten. Ferner würden Schüler, die diese Charakteristiken teilten, dieses Verhalten aber nicht an den Tag legten, im Vergleich deutlich mehr lernen. Eine andere Erkenntnis sei, dass die Art der Off-Task-Beschäftigung relevanter wäre als die absolute Häufigkeit, wobei „Gaming the System“ die stärkste negative Beziehung zeige. 48 3.5. OFF-TASK BEHAVIOUR IN THE COGNITIVE TUTOR CLASSROOM Abbildung 3.11: Einflussfaktoren auf das Nachtestergebnis Dies widerspreche der Time-On-Task-Hypothese. Weniger Zeit mit der Aufgabe zu verbringen scheine zu einem niedrigeren Lernerfolg zu führen, aber es sei wichtiger, wie der Schüler die Software nutze als die absolute Zeit, die er mit ihr verbringe. Ein moderater Anteil an Zeit, die mit Gaming-the-System verbraucht werde, scheine nachteiliger zu sein als ein moderater Anteil anderer Off-Task-Verhalten. Gaming-the-System könne ein Signal dafür sein, dass der Schüler mehr Interesse daran habe, gut abzuschneiden als etwas zu lernen, und dass es diese Leistungsorientierung wäre, die dem Lernen im Weg stehe. Eine andere These, die die Autoren vorschlagen ist, dass „Gaming-the-System“ Gemeinsamkeiten mit dem strategischen Verhalten von Schülern zeige, die Hilflosigkeit erlernt hätten, da sie ihre früheren Misserfolge (was allgemeinhin eine Folge von niedrigem Vorwissen ist, eine der Eigenschaften der Schüler, die in dieser Studie häufig das System ausnutzten) einer grundsätzlichen Minderbegabung zuschrieben und aktiv schwierige Herausforderungen meiden würden wodurch sie stets weniger lernten als die Schüler, die sich immer wieder bemühten. Welche dieser Thesen zutreffe könne auf Basis der Studienergebnisse nicht gesagt werden, die Autoren schließen jedoch mangelndes Interesse am konkreten Unterrichtsmaterial als Ursache für das Gaming-Verhalten aus. Wäre mangelndes Interesse eine Ursache, so argumentieren sie, würden die Gamer ebenso auch die anderen Off-Task-Verhaltensweisen häufiger zeigen, was sie nicht taten. Schüler, die das Gaming-the-System-Verhalten zeigten, widmeten sich mit der gleichen Häufigkeit den anderen Off-Task-Verhaltensweisen wie andere Schüler. 49 Kapitel 4 Eigene Anwendungsbeispiele 4.1 Zielstellung Mögliche Fragestellungen, die anhand von Datenbankeinträgen eines LMS untersucht werden könnten, lauten beispielsweise: 1. Welche Fragen in einem Test sind besonders einfach oder besonders schwer? 2. Gibt es Fragearten, die besonders häufig falsch bzw. mit nicht voller Punktzahl absolviert wurden? 3. Gibt es Fragenpaare oder -gruppen, die häufig gemeinsam falsch beantwortet wurden? (Wer Frage X nicht richtig beantworten konnte, kann auch Frage Y nicht richtig beantworten.) 4. Steht die Dauer der Aktivität eines Users in der ILIAS in Zusammenhang mit seinen Testergebnissen? 5. Gibt es falsche Antworten, die sehr populär sind, also überdurchschnittlich häufig ausgewählt wurden, obwohl sie ja falsch sind? 6. Gibt es Fragen, die nie (im ersten Durchgang) richtig beantwortet wurden? 7. Liessen sich anhand von Testergebnissen Studentengruppen mit ähnlichem Wissensstand bilden? 8. Gibt es einen Zusammenhang zwischen der Dauer, die jemand im Skript oder anderen Elementen des Lernmoduls verbracht hat und seinem Abschneiden im zugehörigen Test? 9. Gibt es einen Zusammenhang zwischen der Bearbeitungsdauer eines Tests und der Wahrscheinlichkeit einer guten Note? 10. Gibt es einen Zusammenhang zwischen Bearbeitungsdauer einer Frage und der Wahrscheinlichkeit einer korrekten Antwort? In den folgenden Abschnitten werden beispielhaft Fragen 1 bis 3 untersucht. 50 4.2. VORGEHENSWEISE Abbildung 4.1: Educational Data Mining Prozess 4.2 Vorgehensweise Romero und Ventura1 skizzieren den DM Prozess im Bildungsbereich wie folgt (vgl. Abbildung 4.1): Zunächst wird eine Hypothese gebildet, aus der Lernumgebung werden Rohdaten entnommen, diese werden vorverarbeitet. Mit den modifizierten Daten findet dann das eigentliche Data Mining statt. Die so gefundenen Modelle und Muster werden dann interpretiert und evaluiert. In Kapitel 4.3 wird beschrieben, welche Daten für dieses Kapitel herangezogen wurden. Der weitere Ablauf der Untersuchungen unterscheidet sich je nach Fragestellung und wird daher jeweils in den Abschnitten 4.4, 4.5 und 4.6 beschrieben. 4.3 4.3.1 Lernumgebung und Rohdaten ILIAS Die Universität Wismar, die unter dem Namen WINGS verschiedene Fernstudiengänge anbietet, ergänzt seit einigen Jahren ihre Lehrangebote vermehrt mit E-Learning-Materialien. Hierbei setzen sie sowohl im Präsenzstudium als auch im Fernstudium auf das Lernmanagementsystem ILIAS2 , kurz für „Integriertes Lern-, Informations- und Arbeitskooperations-System“. ILIAS ist eine plattformunabhängige, Open-Source Softwarelösung, die seit 2000 unter der GPL veröffentlicht wird. 2009 waren bereits über 2500 Referenzinstallationen bekannt, zu den größten zählen die der Bundesagentur für Arbeit mit über 100.000 Anwendern. Auch die NATO und die Bayrische Landespolizei setzen die ILIAS als Lernplattform ein.3 Eine Standardinstallation der ILIAS Version 5.0 besteht aus 861 Tabellen. Abbildung 4.2 zeigt einige Wesentliche davon. 4.3.2 Datensätze Zur Untersuchung der obigen Fragestellungen liegt ein Datenbankspeicherabzug der ILIASInstallation der Universität Wismar vor. Der Abzug umfasst knapp 8.000 bereits anonymisierte Nutzerdatensätze. 1 ROMERO, C., VENTURA, S. (2013), S. 12-27. ILIAS (2015). 3 WIKIPEDIA, Stichwort „ILIAS (Software)“ (2015). 2 51 4.4. WELCHE FRAGEN IN EINEM TEST SIND BESONDERS EINFACH ODER BESONDERS SCHWER? Abbildung 4.2: Beispieltabellen aus der ILIAS 4.4 Welche Fragen in einem Test sind besonders einfach oder besonders schwer? 4.4.1 Datenvorverarbeitung Eine detaillierte Beschreibung des Schrittes der Datenvorbereitung, findet sich bei Romero, Romero und Ventura4 (vgl. Kapitel 3.1 und insbesondere Abbildung 3.1). 1. Daten erfassen Die benötigen Informationen finden sich über zwei Tabellen verteilt. Die fragespezifischen Daten liegen in der Tabelle qpl_questions: Frage-ID, Frageart, Fragepool (Test), Titel und maximal erhältliche Punkte. Über die Tabelle tst_active können Testergebnisse einzelnen Nutzern und Testdurchgängen zugeordnet werden. In der Tabelle tst_test_result finden sich dann die je Frage und Nutzer erreichten Punkte. Beispielhaft wird im Folgenden eine Testklausur der Theoretischen Informatik (TI) betrachtet. 1 SELECT q p l q . q u e s t i o n _ i d , q p l q . q u e s t i o n _ t y p e _ f i , q p l q . o b j _ f i , q p l q . t i t l e , q p l q . p o i n t s as maxpoints , q p l q . q u e s t i o n _ t e x t , t a . a c t i v e _ i d , t a . u s e r _ f i , t a . t e s t _ f i , t t r . p o i n t s , t t r . p o i n t s / q p l q . p o i n t s ∗ 100 as prozent , i q . t e s t p r o z e n t FROM q p l _ q u e s t i o n s qplq , t s t _ a c t i v e ta , t s t _ t e s t _ r e s u l t t t r , 3 (SELECT t a . u s e r _ f i , SUM( t t r . p o i n t s ) /SUM( q p l q . p o i n t s ) ∗ 100 as t e s t p r o z e n t FROM q p l _ q u e s t i o n s qplq , t s t _ a c t i v e ta , t s t _ t e s t _ r e s u l t WHERE t a . a c t i v e _ i d = t t r . a c t i v e _ f i 5 4 Vgl. ROMERO, C., ROMERO, J., VENTURA, S. (2014), S. 29-64. 52 ttr 4.4. WELCHE FRAGEN IN EINEM TEST SIND BESONDERS EINFACH ODER BESONDERS SCHWER? AND q p l q . q u e s t i o n _ i d = t t r . q u e s t i o n _ f i GROUP BY t a . u s e r _ f i 7 ) iq 9 WHERE o b j _ f i = 58020 AND t t r . pass = 0 11 AND t a . a c t i v e _ i d = t t r . a c t i v e _ f i AND q p l q . q u e s t i o n _ i d = t t r . q u e s t i o n _ f i 13 AND t a . t e s t _ f i = 549 AND i q . u s e r _ f i = t a . u s e r _ f i Listing 4.1 : SQL Query 2. Datenaggregation und -integration Es werden keine weiteren Quellen berücksichtigt. Damit entfällt die Datenaggregation und -integration in diesem Fall. 3. Datenbereinigung Die Ergebnisse der SQL-Abfrage wurden in einer CSV-Datei gespeichert und zunächst mit Microsoft Excel eingehender betrachtet. Es wurden die Datensätze von unvollendeten Testdurchläufen ermittelt und verworfen. 4. Nutzer- und Sitzungsidentifizierung und Datenfilterung Die Nutzer- und Sitzungsidentifizierung fand bereits mithilfe der SQL-Abfrage statt. Es wurden lediglich die Tests „TI-Klausurfragen“ (obj_fi = 58020) und lediglich der Testdurchlauf (test_fi = 549) ausgewählt. 5. Attributauswahl und Datenumwandlung Auch die Attributauswahl und Datenumwandlung fand weitestgehend bereits mit der SQLAbfrage statt. Die erhaltenen Prozent je Test und Nutzer wurden bereits mit einer Hilfsabfrage ermittelt. Diese wurden dann in Microsoft Excel anhand des universitätsweit gültigen Notenschlüssels in Noten umgewandelt. Es wurde dann aus der CSV- eine ARFF-Datei gebildet, in die zu jeder User-ID die erhaltenen Punkte je Frage und die Gesamtnote des Tests aufgenommen wurden (vgl. Abbildung 4.3). 4.4.2 Data Mining und Evaluation Zur weiteren Untersuchung der nun vorbereiteten Daten wird die freie Software Knime, der Konstanz Information Miner, genutzt (vgl. Abbildung 4.4). „Die graphische Benutzeroberfläche ermöglicht das einfache und schnelle Aneinandersetzen von Modulen für die Datenvorverarbeitung, der Modellierung und Analyse und der Visualisierung.“5 5 WIKIPEDIA, Stichwort „KNIME“ (2015). 53 4.4. WELCHE FRAGEN IN EINEM TEST SIND BESONDERS EINFACH ODER BESONDERS SCHWER? Abbildung 4.3: Auszug aus einer ARFF-Datei Abbildung 4.4: Auszug aus einem KNIME Workflow Als erstes erfolgt das Einlesen der Datei mithilfe des Moduls ARFF Reader. Da die Daten schon vorbereitet wurden, können dann direkt verschiedene weitere Module angewendet werden. Um die Fragestellung zu beantworten, bietet sich die Visualisierung der Testergebnisse mithilfe des Moduls Scatter Plot an. Die Ergebnisse sind in Auszügen in Abbildung 4.5 zu sehen. Auf den ersten Blick lassen sich einige Auffälligkeiten ersehen. So schneiden nahezu alle Teilnehmer bei der Frage zu den Blättern eines Entscheidungsbaumes mit voller Punktzahl ab, bei der Frage zu den Themen der Theoretischen Informatik erhält jedoch kaum ein Nutzer einen Punkt. Die Frage zu den endlichen Automaten wurde sogar von keinem Studenten erfolgreich beantwortet. Hingegen ist die Punkteverteilung bei dem Fehlertext zur Turing-Maschine nahezu gleichmäßig. Diese Informationen erlauben interessante Rückschlüsse für den Dozenten. Welche Bereiche bereiten den Studenten am meisten Probleme? Was fällt ihnen besonders leicht? Welche Themen könnten stärker betont werden? Wie lassen sich die Ressourcen zum Beispiel in Form von Vorlesungszeit besser verteilen? Wo besteht zusätzlicher Bedarf an Materialien oder Beispielen? So könnte beispielsweise in diesem Fall der Dozent entscheiden, den Bereich im Skript, der sich mit endlichen Automaten beschäftigt zu vereinfachen oder um Beispiele zu erweitern. 54 4.5. GIBT ES FRAGEARTEN, DIE BESONDERS HÄUFIG FALSCH BZW MIT NICHT VOLLER PUNKTZAHL ABSOLVIERT WURDEN? Abbildung 4.5: Verteilung der erreichten Punkte Ferner lässt sich auf Basis der erstellten ARFF-Datei mithilfe des J48-Moduls ein Entscheidungsbaum zeichnen (vgl. Abbildung 4.6. Aus diesem wird ersichtlich, dass ein Großteil derer, die im Bereich Mengenoperationen 0 Punkte erhielten, die Testklausur mit der Note 5 abschlossen, also nicht bestehen konnten. Die Daten erlauben jedoch in diesem Fall keine eindeutige Klassifikation: so absolvierten nur 11 der 14 Studenten, die 0 Punkte für die Frage über Mengenoperationen erhielten, den Test mit der Note 5, drei erhielten andere Noten. Analog kann man im Baum auch die anderen Fehlerraten ersehen. Jedes Blatt zeigt als erstes das erreichte Testergebnis und in Klammern vor dem Schräger die Anzahl derer, für die die Klassifizierung gelten müsste und hinter dem Schräger die Teilmenge derer, für die sie nicht gilt. 4.5 Gibt es Fragearten, die besonders häufig falsch bzw mit nicht voller Punktzahl absolviert wurden? 4.5.1 Datenvorverarbeitung 1. Daten erfassen In der ILIAS können 15 verschiedene Fragearten unterschieden werden (Relation qpl_qst_type). Ferner sind die Informationen aus den Tabellen tst_test_result und qpl_questions hier relevant. Mithilfe von SQL werden so die Attribute Frage-ID, Frageart, erreichte Punkte, erreichbare Punkte, erreichte Prozent, Anzahl (Wie oft wurde die Frage beantwortet) und Objekt-ID (Zu welchem Test gehört die Frage?) ermittelt. Das Ergebnis wurde als CSV-Datei gespeichert. 55 4.5. GIBT ES FRAGEARTEN, DIE BESONDERS HÄUFIG FALSCH BZW MIT NICHT VOLLER PUNKTZAHL ABSOLVIERT WURDEN? Abbildung 4.6: J48-Entscheidungsbaum zur TI-Testklausur 2. Datenbereinigung Zunächst wurden die Fragen eliminiert, die weniger als 10 Mal beantwortet wurden, da diese Menge als statistisch nicht relevant eingestuft wurde. Einige Datensätze waren offensichtlich fehlerhaft, da die erreichten Punkte die maximal erreichbaren Punkte überstiegen (erreichte Prozent > 100). Auch die Datensätze zu diesen Fragen wurden verworfen. Mit zwei Fragen konnten jeweils maximal 0 Punkte erreicht werden, auch diese wurden gelöscht. Es verblieben 1746 unterschiedliche Frage-Datensätze. Da zu einigen Fragetypen nur wenige bzw. teilweise gar keine Daten vorhanden sind, wurden im weiteren Verlauf der Untersuchung ausschliesslich die 1740 Datensätze zu Fragen der übrigen 10 Typen berücksichtigt. Abbildung 4.7 zeigt den beschriebenen Workflow in Knime. 3. Nutzer- und Sitzungsidentifizierung Anhand der Objekt-ID können die Datensätze einzelnen Tests zugeordnet werden. Zur weiteren Analyse ausgesucht wurden die Tests „DB Fragenpool 2“, „OCP Assessmenttest“, „TI-Klausurfragen“ und „UF - Operative Planung und Kontrolle“. 4. Attributauswahl und Datenfilterung Zunächst werden die Attribute Fragetyp und erreichte Prozent in Beziehung gesetzt. 4.5.2 Data Mining und Evaluation Zur Analyse der Fragestellung wird das Modul Scatter Plot zum Zeichnen eines Streudiagramms mit den Achsen Fragetyp und (erreichte) Prozent benutzt. Über alle 1740 Datensätze ergibt sich das Bild 4.8. Es zeichnet sich ab, dass die Ergebnisverteilung bei den Fragetypen 1 (Single- 56 4.5. GIBT ES FRAGEARTEN, DIE BESONDERS HÄUFIG FALSCH BZW MIT NICHT VOLLER PUNKTZAHL ABSOLVIERT WURDEN? Abbildung 4.7: Datenbereinigung in Knime Choice), 2 (Multiple Choice), 3 (Lückentext), 4 (Zuordnung) und 5 (Sortierung) eher gleichmässig ist. Fragetyp 6 (Imagemap) hat überdurchschnittlich viele Antworten im oberen Viertel, bei den Fragetypen 8 (Textaufgabe), 9 (Fragen mit numerischen Antworten) und 10 (Lückentext mit vorgegebenen Antworten) hingegen, schneiden die Studenten überdurchschnittlich schlecht ab, mit den meisten Antworten in den unteren zwei Dritteln. Des Weiteren ist ersichtlich, dass die Fragetypen 1, 2 und 3 am häufigsten vertreten sind, Fragetyp 7 (Java Applet) gar nicht. Interessant ist auch die grafische Gegenüberstellung von Objekt-ID und Prozent. Sie zeigt die Ergebnisverteilung je Test. Wenngleich es einige wenige Tests gibt, deren Ergebnisse sich ausschliesslich in den oberen zwei Dritteln bewegen, so ist die Mehrheit der Testergebnisse doch sehr gleichmässig auf der Prozentachse verteilt (vgl. Abbildung 4.9). Weiterhin wurde untersucht, wie sich diese Verhältnisse in einzelnen Tests äussern. Es wurden vier Tests ausgewählt: 1. OCP Assessmenttest, 37 Fragen, 104 Teilnehmer, da es der Test mit den meisten Teilnehmern im Datenbestand ist. 2. TI Klausurfragen, 23 Fragen, 32 Teilnehmer, da dieser Test bereits in Kapitel 4.4 behandelt wurde. 3. DB Fragenpool 2, 84 Fragen, 32 Teilnehmer, da dieser Test aus überdurchschnittlich vielen Fragen besteht und von verhältnismässig vielen Teilnehmern absolviert wurde. 4. UF - Operative Planung und Kontrolle, 104 Fragen, 12 Teilnehmer, da es der Test mit den meisten Fragen ist. Der OCP Assessmenttest besteht nahezu ausschliesslich aus Single Choice Fragen. In der 57 4.5. GIBT ES FRAGEARTEN, DIE BESONDERS HÄUFIG FALSCH BZW MIT NICHT VOLLER PUNKTZAHL ABSOLVIERT WURDEN? Abbildung 4.8: Scatter Plot Fragetyp (X-Achse) und erreichte Prozent (Y-Achse) Abbildung 4.9: Scatter Plot: Test-ID (X-Achse) und erreichte Prozent (Y-Achse) überwiegenden Mehrheit der Fragen wurde im Durchschnitt ein Ergebnis im oberen Drittel erreicht. Bei allen 37 Fragen lag der durchschnittlich erreichte Prozentwert über 60%, bei 29 davon sogar bei oder über 75% (vgl. Abbildung 4.10-links). Die TI-Klausurfragen stellen den Test mit den meisten unterschiedlichen Fragetypen dar, allerdings wurden keine Single Choice Fragen verwendet. Stattdessen gibt es Multiple Choice Fragen (8), Lückentexte (3), Zuordnungsfragen (4), Sortierfragen (3), Imagemaps (2) und Textaufgaben (3), wobei Multiple Choice und Imagemap durchschnittlich die besten Ergebnisse produzierten mit minimal 62%. Die Textaufgaben erwiesen sich als am schwierigsten (mit 0, 9 und 28% im Durchschnitt). Zu erwähnen ist ferner, dass auch die übrigen drei Fragetypen vom Durchschnitt nicht bestanden werden konnten mit Ergebnissen zwischen 36 und 54% bei 9 der 10 Fragen und 64% bei einer Zuordnungsfrage. Die Verteilung der durchschnittlich erreichten Prozent je Fragetyp kann aus Grafik 4.11-links ersehen werden. Der DB-Fragenpool 2 besteht ausschliesslich aus Multiple Choice Fragen. Die ersten zwei Fragegruppen konnten durchschnittlich nicht bestanden werden, erst in der dritten Fragegruppe wurde eine relativ gleichmässige Verteilung der Ergebnisse auf der Prozentachse erreicht (vgl. Abbildung 4.10-Mitte). 58 4.6. GIBT ES FRAGENPAARE ODER -GRUPPEN, DIE HÄUFIG GEMEINSAM RICHTIG / FALSCH BEANTWORTET WURDEN? Abbildung 4.10: Scatter Plot: Frage (X-Achse) und durchschnittlich erreichte Prozent (Y-Achse) Abbildung 4.11: Scatter Plot: Fragetyp (X-Achse) und durchschnittlich erreichte Prozent (YAchse) Der Test zur Operativen Planung und Kontrolle setzt sich zusammen aus Fragen der Typen 1 (Single Choice, 3 Stück), 2 (Multiple Choice, 4 Stück), 3 (Lückentext, 87 Stück), 4 (Zuordnungsfragen, 9 Stück) und 8 (Textaufgabe, 1). Die gleichmässigste Leistungsverteilung erreichen dabei die Lückentextaufgaben, aber auch die anderen Fragen lassen keine klare Tendenz erkennen, wie auch in der Scatterplot-Ansicht von Fragen und durchschnittlich erreichten Prozentwerten deutlich wird (Abbildungen 4.11-rechts 4.10-rechts). 4.6 Gibt es Fragenpaare oder -gruppen, die häufig gemeinsam richtig / falsch beantwortet wurden? 4.6.1 Datenvorverarbeitung Der Workflow zur Analyse der Fragestellung ist in Abbildung 4.12 zusammengefasst dargestellt. Zunächst werden aus dem Datenbestand via SQL-Queries diejenigen Datensätze und Attribute ausgewählt, die für die Fragestellung relevant sind. In diesem Fall waren das diejenigen Testfragenergebnisse, bei denen (im ersten Durchgang) 0 bzw. 100% erreicht wurden. Des Weiteren wurde die Auswahl auf Fragen aus einem Test (dem OCP-Assessmenttest) beschränkt, da anzunehmen ist, dass Fragen aus verschiedenen Tests keinen starken Zusammenhang aufweisen würden. Diese Ergebnisse wurden nutzerspezifisch zugeordnet. Im Anschluss fand die Datenumwandlung der SQL-Ergebnisdatei in eine CSV-Datei statt. Dabei 59 4.6. GIBT ES FRAGENPAARE ODER -GRUPPEN, DIE HÄUFIG GEMEINSAM RICHTIG / FALSCH BEANTWORTET WURDEN? Abbildung 4.12: EDM-Workflow wurden die Zeilen nutzerspezifisch zu einer Zeile zusammengefasst. In Knime fand dann erneut eine Datenumwandlung (Bilden einer sogenannten Sammelspalte) und eine Datenbereinigung (Verwerfen der User, die nur eine Frage beantwortet hatten) statt. Dann konnte das Modul Association Rule Miner auf die vorbereiteten Daten angewendet werden. 4.6.2 Data Mining und Evaluation Im Fall der Fragestellung „Wer Frage X nicht beantworten kann, der kann auch Frage Y nicht beantworten“ konnten zahlreiche Regeln gefunden werden (die vier mit dem höchsten Support sind in Abbildung 4.13-oben aufgeführt), die vier stärksten wiesen einen Support von knapp 0,5 auf. Die Confidence-Werte dieser vier Regeln liegen zwischen etwa 0,7 und 0,9. Der Lift dieser Regeln liegt allerdings nur bei maximal 1,27. In 90% aller Fälle, in denen Frage 118677 falsch beantwortet wurde, wurde auch Frage 118680 falsch beantwortet und diese - also verhältnismässig sichere - Regel kann auf etwa die Hälfte der Datensätze angewendet werden. Der Lift-Wert zeigt an, wie viel wahrscheinlicher es ist, die Konsequenz (Frage 118680) zu 60 4.6. GIBT ES FRAGENPAARE ODER -GRUPPEN, DIE HÄUFIG GEMEINSAM RICHTIG / FALSCH BEANTWORTET WURDEN? Abbildung 4.13: Gefundene Assoziationsregeln finden, wenn die Prämisse (Frage 118677) erfüllt ist oder anders gesagt, der Confidence-Wert der Regel geteilt durch den Support-Wert der Konsequenz. Beträgt der Lift 1, spricht man von unabhängigen Werten. Je größer der Wert ist, desto stärker ist die Bindung zwischen Prämisse und Konsequenz. Die Regeln mit einem Lift von nur 1,27 können also nur bedingt als nützlich betrachtet werden. Für die Fragestellung „Wer Frage X korrekt beantworten kann, der kann auch Frage Y richtig beantworten“ wurden Regeln mit einem noch größeren Support gefunden, wie auch aus Abbildung 4.13-unten ersichtlich ist. Bei allen untersuchten Datensätzen wurden die Fragen 11866 und 11867 richtig beantwortet und in 100% dieser Fälle wurde auch Frage 11864 richtig beantwortet. Gleichzeitig muss betont werden, dass der Lift aller hier gefundenen Regeln lediglich 1 beträgt, die Abhängigkeit also nicht sehr stark ausgeprägt ist. Das heisst, auch Frage 11864 wurde in allen Fällen richtig beantwortet, ein Zusammenhang zur korrekten Beantwortung der in der Prämisse aufgeführten Fragen kann also nicht belegt werden. 61 Kapitel 5 Fazit Obwohl die Ergebnisse einzelner Studien und Untersuchungen sinnvolle und interessante Resultate produzieren, gibt es nach wie vor einige Schwachstellen und Risiken innerhalb des Fachgebiets EDM. So sagt Huebner1 , dass es ein großer Nachteil vieler Arbeiten sei, dass die Resultate nicht ohne Weiteres für andere Institutionen oder Bereiche zu verallgemeinern seien. Im Gegenteil seien die meisten Ergebnisse sehr spezifisch für eine Zeit und eine Institution. Er betont, dass es notwendig sei, allgemeinere Ergebnisse zu produzieren. Zur gleichen Thematik schreiben Romero und Ventura 2 bereits 2007, dass das Fehlen von Standards bei den Daten und die fehlende Standardisierung von Methoden eine große Schwachstelle darstellten. Die Möglichkeit der Wiederverwendung von Algorithmen, Techniken oder Werkzeugen wäre von großem Nutzen auch für andere Forscher statt nur für die Entwickler einer speziellen Studie. Dies betreffe neben den Daten insbesondere auch die Datenvorverarbeitung und Ergebnisaufbereitung. Scheuer und McLaren schreiben, dass es sinnvoll sei, Vorhersagemodelle auch in ursprungsfremden Umgebungen und Zusammenhängen zu validieren. Replikationsstudien seien wichtig, um die Generalisierbarkeit der jeweiligen Ergebnisse zu prüfen. Ein wichtiger Schritt sei daher die Bereitstellung öffentlicher Datenbestände in Repositories wie dem PSLC Data Shop, um den Austausch von Daten und Modellen zu fördern3 . Romero, Romero und Ventura bemerken hierzu, dass dieses Repository bislang das einzige seiner Art sei und es dort lediglich Daten aus ITS gäbe, es bestünde aber ebenso Bedarf an Daten aus anderen Quellen wie AIHS, LMS, MOOCs usw. 4 . Schon 2007 verlangten Romero und Ventura5 eine größere Fokussierung auf Ausbilder hinsichtlich der Entwicklung von EDM-Werkzeugen. Parameterfreie, weniger komplexe, intuitivere und einfachere Bedienschnittstellen seien vonnöten. Insbesonders Visualisierungsmöglichkeiten für die Ergebnisse wären wichtig. Dem schliesst sich auch Huebner an. Ein Schwachpunkt sei, so sagt er, die Tatsache, dass es keine einfach zu bedienenden Tools für Ausbilder gäbe, um 1 Vgl. HUEBNER, R. (2013), S. 1-13. Vgl. ROMERO, C., VENTURA, S. (2007), S. 135-146. 3 SCHEUER, O., McLAREN, B. (2012), S. 1075-1079. 4 Vgl. ROMERO, C., ROMERO, J., VENTURA, S. (2014), S. 29-64. 5 Vgl. ROMERO, C., VENTURA, S. (2007), S. 135-146. 2 62 selbst EDM-Methoden anzuwenden. Es bestehe die Notwendigkeit, Werkzeuge für Ausbilder zu gestalten, die es ihnen erlauben auch selbst kompliziertere Analysen in Datenbeständen durchzuführen, um verschiedene Aspekte des Lernprozesses zu untersuchen6 . Besonders anschaulich ist die SWOT-Analyse der EDM-Forschung von Papamitsiou und Economides7 (vgl. Tabelle 5.1). Romero und Ventura8 schlagen vor, die Data Mining Anwendungen und Werkzeuge in die E-Learning-Systeme als weiteres Authorentool zu integrieren. Alle Data Mining Aufgaben Datenvorverarbeitung, Data Mining und Ergebnisaufbereitung – sollten in einer einzigen Anwendung ausführbar sein. Die Ergebnisse könnten so direkt in die Umgebung integriert werden. Nach Ansicht des Verfassers würde dies den gesamten Prozess des EDM vereinfachen, denn das reine Vorhandensein grosser Datenmengen macht die Auswertung und Nutzbarkeit der Daten nicht einfacher. Im Gegenteil, die Datenaufbereitung, sprich die Vorverarbeitungsschritte, erfordern eine große Menge Zeit und Wissen. Auch mit Fortgeschrittenenkenntnissen ist es nicht immer trivial, Daten aus einem umfangreichen LMS in sinnvolle Formate umzuwandeln, um sie auswerten zu können. Hier besteht in jedem Fall Entwicklungsbedarf, um die Effizienz von EDM zu steigern und den Einsatzbereich zu vergrößern. 6 Vgl. HUEBNER, R. (2013), S. 1-13. PAPAMITSIOU, Z., ECONOMIDES, A. (2014), S. 49-64. 8 Vgl. ROMERO, C., VENTURA, S. (2007), S. 135-146. 7 63 64 - ethische Problemen - Datenschutz - Über-Analyse: die Analysen gehen immer tiefer und die Ergebnisse sind nicht verallgemeinerbar. Die „Übergranularität“ gefährdet das ganzheitliche Bild (den Baum untersuchen und den Wald übersehen) - Möglichkeit der Musterfehlklassifizierung - Vertrauen: gegensätzliche Erkenntnisse bei verschiedenen Implementationen Risiken - Fehlinterpretation der Ergebnisse - heterogene Datenquellen: kein einheitlich verwendetes Vokabular zur Beschreibung –>Datendarstellungsprobleme - überwiegend quantitative Untersuchungsergebnisse, qualitative Untersuchungen haben bislang noch keine signifikanten Resultate hervorgebracht - Informationsüberflutung - komplexe Systeme - Unsicherheit: bislang könnten nur besonders qualifizierte Ausbilder die Ergebnisse korrekt interpretieren Schwächen Tabelle 5.1: SWOT-Analyse der EDM-Forschung nach Papamitsiou & Economides (2014) Stärken - große Bestände an verfügbaren Bildungsdaten –>erhöhte Genauigkeit experimenteller Ergebnisse - bereits existente leistungsstarke und valide algorithmische Methoden - zahlreiche interpretierbare Visualisierungen, um Ausbilder zu unterstützen - genauere Nutzerprofile / Modelle zur Personalisierung von Systemen - kritische Momente und Muster beim Lernen können erkannt werden - Einsicht in Lernstrategien und -verhalten kann gewonnen werden Chancen - Nutzung öffentlicher verknüpfter Daten zur Datenstandardisierung und Kompatibilität zwischen verschiedenen Werkzeugen und Anwendungen –>zur Entwicklung einer allgemeinen Plattform - Multimodale und affektive Lernmöglichkeiten basierend auf hoch entwickelten Messgrößen - Selbstreflektion / Selbsterfahrung / Selbstlernen in intelligenten, autonomen und riesigen Systemen - maschinenlesbare Ergebnisse aus EDM-Verfahren können in andere Datenbetriebene Systeme eingelesen werden, um die Entscheidungsfindung zu verbessern - Akzeptanzmodelle: wahrgenommener Nutzen, Zielerwartungen, wahrgenommene Verspieltheit, Vertrauen, etc. Literaturverzeichnis [1] BAKER, RYAN, CORBETT, ALBERT, KOEDINGER, KENNETH, WAGNER, ANGELA (2004): Off-task behavior in the cognitive tutor classroom: When students „game the system.“, in: Proceedings of the ACM Conference on Human Factors in Computing Systems, ACM Press, S. 383-390. [2] BAKER, RYAN & YACEF, Kalina (2009): The State of Educational Data Mining in 2009 : A Review and Future Visions, in: Journal of Educational Data Mining, 2009, Vol. 1, S. 3-16. [3] BAKER, RYAN (2010): Data mining for education, in: WANG, J. (Ed.): International Encyclopedia of Education, 2010, Vol. 7, S. 112-118. [4] BAKER, RYAN & INVENTADO, PAUL (2014): Educational Data Mining and Learning Analytics, in: LARUSSON, JOHANN, WHITE, BRANDON (Ed.): Learning Analytics: From Research to Practice. Springer New York, 2014, S. 61-75. [5] BITKOM(2013): Presseinfo, URL: http://www.bitkom.org/files/documents/BITKOM_Presseinfo_E-Learning_ Unternehmen_18_02_2013.pdf, (Stand:18.02.2013, Abruf: 21.04.2015). [6] De BRA, PAUL, HOUBEN, GEERT-JAN, WU, HONGJING (1999): Aham: A dexter-based reference model for adaptive hypermedia, in: ACM Conference on Hypertext and Hypermedia, Darmstadt, Germany, 1999, S. 147–156 [7] De BRA, PAUL (2006): Web-based educational hypermedia, in: ROMERO, C., VENTURA, S. (Ed.): Data Mining in E-Learning, 2006, Boston, S. 3-20. [8] DESIKAN, PRASANNA, DeLONG, COLIN, BEEMANAPALLI, KALYAN, BOSE, AMIT, SRIVASTAVA, JAIDEEP (2006): Web Mining for Self-Directed E-learning, in: ROMERO, C., VENTURA, S. (Ed.): Data Mining in E-Learning, 2006, Boston, S. 21-40. 65 LITERATURVERZEICHNIS [9] DOLAN, BOB, BEHRENS, JOHN (2012): Five Aspirations for Educational Data Mining, in: YACEF, KALINA, ZAIANE, OSMAR, HERSHKOVITZ, ARNON, YUDELSON, MICHAEL, STAMPER, JOHN (Hrsg.): Proceedings of the Fifth International Conference on Educational Data Mining, 2012, S. 7. [10] HUEBNER, RICHARD (2013): A survey of educational data-mining research, in: Research in Higher Education Journal, H. 19, 2013, S. 1-13. [11] ILIAS, URL: http://www.ilias.de/, (Abruf: 03.06.2015). [12] INTERNATIONAL EDUCATIONAL DATA MINING SOCIETY, URL: http://www.educationaldatamining.org, (Abruf: 21.04.2015). [13] KULKARNI, SUHAS, RAMPURE, GANESH & YADAV, BHAGWAT (2013): Understanding Educational Data Mining (EDM), in: International Journal of Electronics and Computer Science Engineering, 2013, S. 773777. [14] LU, JIE (2004): A Personalized e-Learning Material Recommender System, in: Proceedings of the 2nd International Conference on Information Technology for Application (ICITA 2004), S. 374-380. [15] PAHL, CLAUS (2006): Data Mining for the Analysis of Content Interaction in Web-based Learning and Training Systems, in: ROMERO, C., VENTURA, S. (Ed.): Data Mining in E-Learning, 2006, Boston, S. 41-57. [16] PAPAMITSIOU, ZACHAROULA & ECONOMIDES, ANASTASIOS (2014): Learning analytics and educational data mining in practice: A systematic literature review of empirical evidence, in: Educational Technology and Society, 2014, Vol. 17, S. 49-64. [17] PSLC Data Shop, URL: https://pslcdatashop.web.cmu.edu/, (Abruf: 6.02.2015). [18] ROMERO, CRISTOBAL & VENTURA, SEBASTIAN (2007): Educational data mining: A survey from 1995 to 2005, in: Expert Systems with Applications, Vol. 33, 2007, S. 135-146. [19] ROMERO, CRISTOBAL & VENTURA, SEBASTIAN (2010): Educational data mining: A review of the state of the art, in: IEEE Transactions on Systems, Man, and Cybernetics, Part C: Applications and Reviews, 2010, Vol. 40, S. 601-618. [20] ROMERO, CRISTOBAL & VENTURA, SEBASTIAN (2013): Data mining in education, in: Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, Bd. 3, 2013, S. 12–27. 66 LITERATURVERZEICHNIS [21] ROMERO, CRISTOBAL, ROMERO, JOSE, VENTURA, SEBASTIAN (2014): A Survey on Pre-Processing Educational Data, in: PENA-AYALA, A. (Ed.), Educational Data Mining, Studies in Computational Intelligence 524, 2014, Springer International Publishing Switzerland, S. 29-64. [22] SCHEUER, OLIVER & McLAREN, BRUCE (2012): Educational Data Mining, in: SEEL, N. (Ed.): Encyclopedia of the Sciences of Learning, Springer US 2012, S. 10751079. [23] SIEMENS, GEORGE, BAKER, RYAN (2012): Learning analytics and educational data mining: towards communication and collaboration, in: Proceedings of the 2nd International Conference on Learning Analytics and Knowledge, 2012, S. 252 - 254. [24] WIKIPEDIA, Stichwort „ILIAS (Software)“, Version vom 23.05.2015, abrufbar unter: http://de.wikipedia.org/w/index.php?title=ILIAS_(Software)&oldid= 142395171.(Abruf: 02.06.2015). [25] WIKIPEDIA, Stichwort „KNIME)“, Version vom 30.07.2014, abrufbar unter: http://de.wikipedia.org/w/index.php?title=KNIME&oldid=132619038.(Abruf: 10.06.2015). 67 Ehrenwörtliche Erklärung Ich erkläre hiermit ehrenwörtlich, dass ich die vorliegende Arbeit selbstständig angefertigt habe. Die aus fremden Quellen direkt oder indirekt übernommenen Gedanken sind als solche kenntlich gemacht. Es wurden keine anderen als die angegebenen Stellen und Hinweise verwandt. Alle Quellen, die dem World Wide Web entnommen oder in einer sonstigen digitalen Form verwendet wurden, ohne allgemein zugänglich zu sein, sind der Arbeit beigefügt. Der Durchführung einer elektronischen Plagiatsprüfung stimme ich hiermit zu. Die eingereichte Datei entspricht der eingereichten Druckfassung. Die vorliegende Arbeit wurde bisher keiner anderen Prüfungsbehörde vorgelegt und auch noch nicht veröffentlicht. Bamberg, 16. Juni 2015 ......................................... 68
