User-Centered Software Evaluation Methodologies

Learning by explaining to oneself and to others.
Plötzner, R., Dillenbourg, P., Preier, M. & Traum, D. (1999). In P. Dillenbourg (Ed.), Collaborative learning Cognitive and computational approaches (pp. 103-121). Oxford: Elsevier Science Publishers.
1.
EINLEITUNG................................................................................................................................................ 1
2.
SICH SELBST ERKLÄREN ......................................................................................................................... 2
3.
2.1.
Selbst-Erklärungen entdecken............................................................................................................................. 2
2.2.
ein kognititives Simulationsmodell für die Konstruktion von Selbst-Erklärungen ........................................ 2
2.3.
Weitere Forschungen zum Thema Selbst-Erklärungen .................................................................................... 2
2.4.
Zusammenfassung ................................................................................................................................................ 3
ERKLÄRUNGEN FÜR ANDERE ................................................................................................................. 3
3.1.
Reciprocal Teaching ............................................................................................................................................. 3
3.2.
Weitere Forschungen zum Thema „Learning by teaching“ ............................................................................. 3
3.3.
Zusammenfassung ................................................................................................................................................ 4
4.
WARUM WURDEN KEINE WESENTLICHEN UNTERSCHIEDE ZWISCHEN SELBST-ERKLÄRUNG
UND ANDEREN-ERKLÄRUNG BEOBACHTET? .................................................................................................. 4
5.
FAZIT ........................................................................................................................................................... 4
Begriffsklärung:
Explainee: jemand, der etwas erklärt bekommt
1. Einleitung
Erklärungen (für andere oder sich selbst) kommen bei gemeinsamer Arbeit häufig vor; dabei können beide Seiten
profitieren:
der Erklärende je nach den kognitiven Aktivitäten, die zu Konstruktion und Präsentation einer
Erklärung notwendig sind
der Explainee je nach Relevanz, Verständlichkeit und Elaboriertheit der Erklärung
Dabei Unterscheidung von 5 Levels der Interaktivität:
(1) sich selbst erklären: geschieht entweder still oder durch Selbstgespräch
(2) einem passiven anonymen Zuhörer erklären: jemandem erklären, den man nicht kennt und der nix
sagt; was unterscheidet das vom Selbst-Erklären?
(3) einem passiven Zuhörer erklären: jemandem erklären, den man kennt und der nix sagt: welchen
Einfluss hat die Person auf die Erklärungen?
(4) Erklären mit beschränkten Reaktionen: jemandem erklären, der nur bestimmte Vorgegebene
Reaktionen zeigt (z.B. „ja/nein“): welchen Effekt haben welche Reaktionen auf die Erklärung?
(5) gegenseitiges Erklären: die „reale“ Situation, wechselseitiges Erklären und Erklärtbekommen
Welches Level die geeignetsten Erklärungen hervorbringt, ist nicht von vornherein klar.
Zielfragen dieser Studie:
wie findet Lernen im Prozess des Selbst-Erklärens statt?
was unterscheidet die Konstruktion von Selbsterklärungen von der Konstruktion von Erklärungen für
andere?
wie unterscheidet sich das Lernen bei Erklärendem und Explainee?
1
2. sich selbst erklären
2.1.
Selbst-Erklärungen entdecken
Wie lernt man, wenn man Texte liest, Beispiele betrachtet und Aufgaben löst?
 Experiment von Chi (1989): Vpn mussten Abschnitt aus physikalischem Lehrbuch lesen, danach drei
Beispiele betrachten und anschließend 25 Aufgaben lösen; dabei sollten sie „laut denken“, was aufgezeichnet
wurde. Dieses Protokoll wurde dann auf Unterschiede zwischen den 4 besten und den 4 schlechtesten Vpn (bzgl.
der Aufgaben) analysiert:
die besseren erklärten sich häufiger selbst Lösungsschritte
die besseren schätzten genauer ihr aktuelles Verständnis ein
die besseren zogen weniger häufig die Beispiele zu Rate, und wenn, dann nur gezielt Teile der Beispiele
Legt die Vermutung nahe, dass beim Selbst-Erklären bestehendes Wissen modifiziert und neues Wissen
konstruiert wird; funktioniert das auch bei Instruktion?
 Chi (1989): Vpn mussten Abschnitt aus Biologie-Lehrbuch lesen, danach Aufgaben lösen, die sich bezogen
auf
-
einzelne Informationen aus dem Text
mehre Infos aus dem Text, die kombiniert werden mussten
Induktion von Information, die nicht explizit im Text stand
Anwendung von Information, die nicht im Text stand
Versuchsgruppe wurde instruiert, den Text laut zu lesen und jeden Satz zu erklären (neue Information,
Einordnung, Fragen...); Kontrollgruppe nur 2x lesen Ergebnis: Versuchsgruppe hatte signifikant bessere
Leistungen bei den Aufgaben, besonders bei Induktion und Anwendung.
Fraglich hierbei: waren das wirklich Selbst-Erklärungen oder Erklärungen für den Experimentator? Unterschied
zwischen Selbst- und anderen-Erklärung bleibt unbestimmt.
2.2.
ein kognititives Simulationsmodell für die Konstruktion
von Selbst-Erklärungen
CASCADE: knowledge-basiertes System; wurde zunächst mit formalisiertem physikalischem Wissen gefüttert,
um 23 der 25 Aufgaben von Chi zu lösen. Zwei Hauptfähigkeiten: Beispiele erklären und Aufgaben lösen, auf
unterschiedlichen Performance-Leveln.
Beispiel erklären, high-score-level: CASCADE macht „formalen Beweis“, für jeden Schritt des Bsp
vollständige Ableitung aus KB möglich?
ja  nächster Schritt
nein  Vervollständigung der Ableitung durch Hintergrundwissen / Heuristiken möglich?
ja  Enkodieren des benutzten Wissens in KB,
nächster Schritt
nein  Enkodierung von Kontext und Lösung als neues
Wissen in der KB, nächster Schritt
Beispiel erklären, low-score-level: „Speichern“ jedes einzelnen Lösungsschritts.
Problemlösen läuft genauso ab; Unterschied: Rückgriff auf Beispiele. high-score: Benutzen der Ableitungen, die
beim Erklären des Beispiels gewonnen wurden; low-score: einfaches Einsetzen neuer Werte in das Beispiel.
high-score-CASCADE löst 23 Aufgaben, gewinnt 23 neue Wissenseinheiten; low-score-CASCADE löst nur 9
Aufgaben und gewinnt nur 3 neue Wissenseinheiten.
Modell legt nahe, dass ausführliche Beispiele, die man sich selbst erklärt, zu induktivem und deduktivem
Wissenserwerb führen können, der für späteres Problemlösen unerlässlich ist.
2.3.
Weitere Forschungen zum Thema Selbst-Erklärungen
Pirolli & Recker (1994): der Zusammenhang Konstruieren von Erklärungen  Lernerfolg ist nicht linear, d.h. bei
den ersten Erklärungen lernt man mehr als bei den letzten  trade-off, ab wann der Wechsel zur nächsten
Aufgabe effektiv ist.
Pirolli & Brown (1995): Selbsterklärungen konstruieren und Selbstkontrolle kann man lernen und trainieren;
Experiment mit LISP-Programmieren, Gruppe die das trainiert hatte, konnte nachher besser programmieren.
Beobachtung bei Experimenten von Chi: Gruppe, die Selbsterklärungen zum Text geben sollte, verbrachte mehr
Zeit mit dem Text; liegt der bessere Lernerfolg vielleicht daran? Renkl (1997) ließ deswegen 36 Vpn
2
unterschiedlich viele Beispiele zur Stochastik bearbeiten, alle hatten aber immer 25 Minuten Zeit. Ergebnis 1: die
Menge an Selbst-Erklärungen war signifikant positiv mit Lernerfolg korreliert (analog zu Chi); Ergebnis 2: die Vpn
konstruierten unterschiedliche Selbst-Erklärungen (z.B. dahinterliegende Prinzipien vs. Lösungsschritte), das
Konzept der Selbst-Erklärungen scheint also weniger homogen zu sein als von Chi dargestellt.
2.4.
Zusammenfassung
Selbst-Erklärungen machen konstruktive kognitive Prozesse aus, die häufig zum Erwerb neuen Wissens führen;
bei Selbst-Erklärungen werden einer Person eventuelle Wissens- und Verstehenslücken klar, die dann durch deund induktive Lernmechanismen geschlossen werden. Dabei gibt es unterschiedliche Arten von Selbst-Erklärung,
die von manchen Lernern systematisch bevorzugt werden.
3. Erklärungen für andere
Webb (1989): anderen Erklären kann sogar zu bessern Lernergebnissen führen als Selbst-Erklären; Grund: beim
der Explainee hat andere Wissenslücken als der Erklärende, stellt Fragen, deckt Inkonsistenzen auf, die den
Erklärenden zu weiteren wissensbildenden Prozessen veranlassen. Schwarz (1995) fand raus, dass bei
kollaborativem Lernen mehr abstraktes Wissen erworben wurde als bei individuellem Lernen.
Aber: Webb meint auch, dass nicht alle Erklärungen zu Lerneffekten führen; nur gut elaborierte Erklärungen
scheinen effektiv (ähnlich wie bei Selbst-Erklärungen).
3.1.
Reciprocal Teaching
Katze beißt sich in den Schwanz: Schüler mit Schwierigkeiten beim Problemlösen sind oft im Unterricht eher
passiv und lernen so auch weniger; könnte man sie zur Mitarbeit motivieren, würden sie dann bessere
Problemlöser?
 Palissar & Brown (1984): 4 Gruppen von Schülern, 20 Tage, bekamen Texte zu lesen; grundlegende Fähigkeit zum Textverständnis wurde vorher/nachher getestet. 2 Experimentalgruppen erhielten Unterricht, eine nach
„reciprocal teaching“-Methode (RT) und eine nach klassischerer „locating information“-Methode (LI); 1
Kontrollgruppe schrieb nur Textverständnis-Tests (NT) und eine machte gar nix (foul-pack-condition , FP)
Reciprocal Teaching: Erfahrender Lehrer und erfahrener Schüler „tauschen Rollen“; wählen Text, dann
entscheidet der Lehrer, wer für diesen Text Lehrer / Schüler ist. Zu Beginn macht der Lehrer die Lehraktivitäten
vor (Fragen stellen, Erklärungen, Zusammenfassungen formulieren...); ist für den Schüler am anfangs schwierig,
mit der Zeit wächst er auch in Lehrer-Rolle hinein  zwei „Partner“ statt Lehrer/Schüler.
Locating Information: Lehrer macht vor, wie man Informationen aus einem Text gewinnt (evtl. sogar mit
Zeilenangabe) und wie man verschiedene Informationen kombiniert. Richtige Antworten werden verstärkt.
Ergebnisse:
RT wies viel bessere Ergebnisse beim Textverständnis auf als LI
die Schüler in RT steigerten ihre „Lehrer“-Qualitäten
die Schüler in RT steigerten ihre Textverstehensleistung meist von 30% auf 80%, ihr Verständnis im
Klassenzimmer von 20% auf 60%
LI hatte ein bisschen bessere Ergebnisse als NT
Diese Effekte waren stabil und hielten lang an, selbst nach 8 Wochen noch kaum ein Abfall. Angenommene
Gründe: Reciprocal teaching beinhaltet ausführliches Demonstrieren der Aktivitäten, die vermittelt werden sollen
(„Lehrtätigkeit“); und dabei wird der Schüler gezwungen, Fragen zu stellen, Verständnislücken aufzudecken und
Erklärungen zu geben.
3.2.
Weitere Forschungen zum Thema „Learning by teaching“
Cloward (1967) ließ 240 10.-/11.-Klässlern, die Leseschwierigkeiten hatten, 5 Monate lang 4./5.-Klässler
(ebenfalls mit unterdurchschnittlichen Leseleistungen) im Lesen unterrichten. Ergebnis: Alle lernten dazu, am
meisten die „Lehrer“, ähnliche Befunde gab’s auch von anderen. Legt Schluss nahe, dass man vollständigeres
und besser organisiertes Wissen beim Lehren erwirbt. Aber wann genau, beim Vorbereiten, bei Vortragen oder
beim Beantworten der Fragen?
Bargh & Schul (1980) ließ zwei Gruppen von Schülern einen Text lernen, anschließend Test; Gruppe 1 wurde
gesagt, es gibt Geld für die Testergebnisse, Gruppe 2 wurde gesagt, sie müssten nach dem Lernen anderen
Schülern den Inhalt des Texts vermitteln, die würden dann einen Test schreiben, je bessere Noten, je mehr Geld.
Gruppe 2 wies signifikant bessere Ergebnisse im anschließenden Test auf.
Dayer (1996) liefert vergleichbare Effekte: 12 Paare von Schülern mussten Lernprogramm für Französisch
entwickeln, Prä- und Post-Tests machen; die 7 high-scorer-Paare bauten in ihre Programme mehr high-levelfeedback statt nur der richtigen Antwort ein. Passt zu Webb’s Annahme dass nur elaborierte Erklärungen Lernen
fördern; weitere Annahme: die Antizipation möglicher Fragen spielt eine ähnliche Rolle wie tatsächlich gestellte
Fragen.
3
Bargh & Schul (1980): 3 Gruppen von Schülern lernen Text, Gruppe 1 still, Gruppe 2 laut denkend, Gruppe 3
erklärt während dem Lesen den Text einem anderen Schüler. Keine signifikanten Unterschiede im Lernerfolg.
Ähnliche Ergebnisse bei Renkl (1995): zwei Gruppen von Schülern lesen Text und bearbeiten gelöste Aufgaben;
dann Paare bilden, einer von den zweien muss neue gelöste Aufgaben erklären, der andere hört zu und darf
fragen + kommentieren. Ergebnis: keine signifikanten Unterschiede im beim Lernerfolg, auch nicht bei
verschiedenen Arten von Fragen (neutral vs. nachhakend).
Preier (1996) fand sogar gar keine Lernunterschiede zwischen Gruppen, die nur lesen, lesen + selbst-erklären,
lesen + anderen erklären ohne Feedback, lesen + anderen erklären mit Feedback. Spielt also der Grad der
Interaktivität doch keine Rolle? Dass er es doch tut, besonders bei der Ausführung von Aufgaben, meinen
Kraus & Weinheimer (1964): Lehrer erklärt zwei Gruppen, wie man ein Tangram legt; Gruppe 1 darf Fragen
stellen, Gruppe 2 nicht. Gruppe 1 lieferte signifikant bessere Leistungen im Durchführen der Aufgabe.
3.3.
Zusammenfassung
Viele Forschungsergebnisse sprechen dafür, dass man durch Lehren und Erklären vollständigeres und besser
organisiertes Wissen erwirbt; erklärt wird dies mit der Entdeckung eigener Wissenslücken und der elaborationsfördernden Wirkung von Feedback, Fragen,... der Schüler. Jüngste Forschungsergebnisse sprechen jedoch
gegen die Effektivität von Erklären und Fragen beantworten selbst, sondern eher für die des Vorbereitens auf das
Lehren.
4. Warum wurden keine wesentlichen Unterschiede
zwischen Selbst-Erklärung und anderen-Erklärung
beobachtet?
, obwohl man dies intuitiv meinen könnte (s.o.)? Annahme: die bisherige Forschung hat nicht klar genug zwischen
beiden Bedingungen unterschieden! Verwischende Faktoren:
die Selbst-Erklärungen bei Chi waren eher Erklärungen für den Expermentator
Selbst-Erklärungen, die ein Experimentator hört, werden evtl. sorgfältiger konstruiert wegen dessen
Status
Selbst-Erklärungen wurden evtl. systematischer abgefragt als anderen-Erklärungen, und ein bestimmtes
Level wurde verlangt
Man weiß einerseits kaum, ob der Selbst-Erklärer einem imaginären Schüler erklärt, anderseits genauso
wenig, wie sehr ein Lehrer auf seinen Schüler eingeht.
mehr Sorgfältigkeit in der Methode könnte helfen; oder aber die beiden Erklärungsarten sind zu eng verstrickt
bzw. Effekte konfundiert:
bei der Selbst-Erklärung muss man Selbstbeobachtung bzgl. Konsistenz und Vollständigkeit der
Erklärung, mehr als bei Erklärung für andere  mehr kognitive Belastung. Deren Einfluss??
andererseits muss man beim Erklären für andere auch deren Situation in Betracht ziehen  wieder
mehr kognitive Belastung. Auswirkungen auf das Lernen?
Frage der „rekursiven Modellierung“: Lehrer hat Modell davon, wie das Modell seines Schülers
aussieht, das er von ihm hat, etc... findet effektives Lernen möglicherweise erst ab einer bestimmten
Tiefe dieser wechselseitigen Modellierung statt?
5. Fazit
Bisherige Forschungsergebnisse lassen keinen Schluss zu, ob Selbst- oder anderen-Erklären effektiver ist; das
war aber auch noch nicht expliziter Forschungsgegenstand. Exaktere Untersuchungen (s. Kap 4) wären
angebracht; möglicherweise gibt’s aber gar keine so großen Unterschiede.
4