Problemlösen und Wissenserwerb mit externen Repräsentationen Einflüsse der Visualisierungsform auf die Konstruktion mentaler Modelle beim Text- und Bildverstehen Bisherige Forschung zum Text- und Bildverstehen: - Menmonische Funtion von Textillustrationen - Rezeptives Lernen Menschlicher Wissenserwerb = konstruktiver Prozess bei dem das lernende Individuum aktiv nach relevanter Information sucht, dabei entscheidet, wann es auf Textinformation und wann es auf Bildinformation zugreift, und anhand der selegierten Information versucht, unter Rückgriff auf Vorwissen seine eigenen Wissenstrukturen so zu konstuieren, dass diese für die Bewältigung künftiger Anforderungen möglichs funktional sind. Theoretischer Hintergrund Zur Erklärung des besseren Behaltens von illustrierten Texten im Gegensatz zu nicht-illustrierten Texten wird meist auf die duale Kodierungstheorie von Paivio zurückgegriffen. Semiotische Aspekte Eine Repräsentation ist ein Objekt oder Ereignis, das für etwas anderes steht, es re-präsentiert. Texte und Bilder sind externe Formen der Repräsentation, die vom Individuum verstanden werden, indem es internale mentale Repräsentationen zur Bewältigung aktueller oder antizipierter Anforderungen konstruiert. Unterscheidung von Repräsentationen im - Informationsgehalt - Nutzungseigenschaften 2 Repräsentationen sind informationsäquivalent wenn jede Information, die der einen Repräsentation entnommen werden kann, auch der anderen entnommen werden kann, und umgekehrt. Im Hinblick auf eine Aufgabenklasse: Zwei Repräsentationen sind in diesem aufgabenspezifischen Sinn informationsäquivalent, wenn beide die Entnahme der zur Aufgabenbewältigung erforderlichen Information ermöglichen, auch wenn sie sich in anderer Hinsicht in ihrem Informationsgehalt unterscheiden. Beispiel zweier aufgabenspezifisch informationsäquivalenter Repräsentationen: Einteilung der Erde in Zeitzonen dargestellt als - Teppichbild - Kreisbild Bei beiden können Informationen über Zeit- und Datumsunterschiede zwischen den eingezeichneten Städten und Meridianen entnommen werden => bezüglich Aufgabenklasse informationsäquivalent. Aufgabenspezifische Nutzungseffizienz ist umso höher, je geringer der Aufwand zur Entnahme aufgabenrelevanter Information ist Zwei Repräsentationen sind dann nutzungsäquivalent, wenn diese Information der einen Repräsentation ebenso leicht und schnell entnommen werden kann wie der anderen Repräsentation. Texte und Bilder.. - verwenden verschiedene Arten von Zeichen - basieren auf unterschiedlichen Repräsentationsprinzipien - besitzen unterschiedliche Nutzungseigenschaften deskriptionale Repräsentation besteht aus Symbolen die einen Sachverhalt beschreiben Beispiel: Texte Depiktionale Repräsentationen Bestehen aus ikonsichen Zeichen, die mit dem Bezeichneten durch gemeinsame Strukturmerkmale verknüpft sind. Beispiel: realistische und logische Bilder bzw. Diagramme Sind den intrinsischen Repräsentationen zuzurechnen Deskriptionale und depiktionale Repräsentationen besitzen unterschiedliche Nutzungseigenschaften - deskript.R. höhere Ausdrucksmächtigkeit als depik.R. - depik.R. enthalten Gesamtheit einer bestimmten Informationsklasse Depiktionale Repräsentationen sind deshalb im allgemeinen besser geeignet, um Inferenzen zu vollziehen, da die gesuchte Information an der Repräsentation direkt abgelesen werden kann. Externe und interne Repräsentationen Beim lesen eines Textes werden multiple Repräsentationen konstruiert: - Ebene der Textoberfläche - Ebene der Textbasis - Modellebene - Kommunikationebene - Genreebene Beim Bildverstehen (ähnlich wie bei Text nur etwas andere Reihenfolge): - Oberflächenebene - Modellebene - Propositionsebene - Kommunikationsebene - Genreebene Repräsentationen der Textoberfläche, propositionale Repräsentationen, visuelle Vorstellungen und mentale Modelle können ebenfalls in deskriptionale und depiktionale Repräsentationen untergliedert werden. Mentale Repräsentation und propositionale Repräsentation sind interne Deskriptionen Propositionale Repräsentation -> extrinsische Repräsentation Visuelle Vorstellungen und mentale Modelle sind interne depiktionale Repräsentationen ... scheiß Abschnitt ... Ein integriertes Modell des Text- und Bildverstehens Modell des Text- und Bildverstehens von Mayer(1997): Es wird davon ausgegangen, dass verbale und piktoriale Informationen entsprechend der dualen Kodierungstheorie in unterschiedlichen kognitiven Subsystemen verarbeitet werden und zur parallelen Konstruktion unterschiedlicher mentaler Modelle führen Selektionsprozesse im - verbalen Arbeitsgedächtnis .. - imaginale Arbeitsgedächtnis ... alternatives Modell des Text- und Bildverstehens: siehe Abbildung 3 (Seite 222) Erklärung des Bildes: Beim Lesen und Verstehen eines Textes ... Mentale Repräsentation der Textoberflächenstruktur -> propositionale Repräsentation des semantische Gehalts > mentales Modell des semantischen Gehalts Selektions- und Organisationsfunktion - Verbale Organisationsprozesse - Konzeptuelle Organisationsprozesse Beim Betrachten und Verstehen eines Bildes ... Visuelle mentale Repräsentation des Bildes -> mentales Modell + propositionale Repräsentation des dargestellten Gegenstands -> visuelle Wahrnehmung des Bildes (in anderem Kontext auch als Vorstellung bezeichnet) -> mentales Modell des dargestellten Gegenstands (zum Verstehen notwendig) Das Bildverstehen ist demnach ein Prozeß der schemageleiteten analogen Strukturabbildung eines Systems von visuell-räumlichen Relationen auf ein System von semantischen Relationen. An einem mentalen Modell können durch Prozesse der Modellinspektion neue Informationen abgelesen werden. Fortlaufende Interaktion zw. Modellkonstruktions- und Modellinspektionsprozessen. Beim Textverstehen: Ausgangspunkt der Interaktion: propositionale Repräsentation -> Mentales Modell -> Informationen ablesen -> zur propositionalen Repräsentation hinzufügen Beim Bildverstehen: Ausgangspunkt der Interaktion: mentales Modell -> Ableseprozesse -> neue Propositionen Zwischen Formen der externen Darstellung und Formen der internen Repräsentation besteht keine 1 zu 1 Zuordnung. Fragestellung und Hypothesen Nutzung von Text und Bild als komplementäre Informationsquellen Aspekt der kognitiven Ökonomie Kognitiver Aufwand dürfte für Konstruktion eines mentalen Modells beim Verstehen eines Textes generell höher als beim Verstehen eines informationsäquivalenten Bildes sein. Entscheidung (Text, Bild) für Wissenserwerb durch subjektive Einschätzung des Konstruktions- und Nutzungsaufwands. Textverstehen: Verarbeitungsreihenfolge vorgegeben Bildverstehen: wenig festgelegt => Unterschätzung des Informationsgehalts Man merkt eher, dass man eine Text nicht versteht, als dass man ein Bild nicht versteht. Kognitiver Aufwand für die Konstruktion eines mentalen Modells durch - Interne Vearbeitungsbedingungen. o Lesefähigkeit und Wortschatz o Vertrautheit mit piktorialen Darstellungsformen o Usw. - externe Vearbeitungsbedingungen. o Text Verwendetes Vokabular Syntaktische Komplexität der Sätze Usw o Bild Komplexität der Darstellung Gestalteigenschaften der grafischen Konfigurationen Darstellungsperspektive Beispiel: Text über geografische Zeitunterschiede auf der Erde Kognitiver Aufwand zur mentalen Modellkonstruktion bei Kreisbildern höher als bei Teppichbildern Unterschiedliche Hypothesen: Untersucht nach: - Nutzung des Texts ohne Bilder - Nutzung des Texts mit Teppichbildern - Nutzung des Texts mit Kreisbildern - Nutzung der Teppichbilder - Nutzung der Kreisbilder Additionshypothese Ersetzungshypothese Stimulationshypothese Strukturabbildungsprozesse beim Bildverstehen Einluß der Form der Visualisierung auf die Struktureigenschaften beim entstehen eines mentalen Modells. Art der Bilder Sowohl auf Teppichbilder als auch auf Kreisbilder können folgende Aufgaben angewendet werden: - Zeitdifferenzaufgaben - Umkreisungsaufgaben Duale Kodierung Art der Bilder unberücksichtigt => keine Unterschiede in den Aufgaben Strukturabbildung Wenn mentale Modelle von bildhaften Vorstellungen völlig verschieden sind: Kein Unterschied Wenn mentale Modelle auch bildhafte Eigenschaften besitzen Unterschiedlich strukturierte mentale Modelle Wenn für verschiedene mentale Modelle gleiche Modellstrukturen zu erwarten sind: Kein Unterschied in der Nutzungseffizienz Bei unterschiedlichen Modellstrukturen Nutzungseffizienz unterschiedlich Die Nutzungseffizienz eines anhand von Teppichbildern konstruierten mentalen Modells für Zeitdifferenzaufgaben sollte demnach höher sein als die eines anhand von Kreisbildern konstruierten mentalen Modells. Umgekehrt sollte die Nutzungseffizienz eines anhand von Kreisbildern konstruierten mentalen Modells für Umkreisungsaufgaben höher sein als die eines anhand von Teppichbildern konstruierten mentalen Modells. Strukturaufbau versus Strukturinferenz Hinzufügen von Bilder zu einem Text sollte unterschiedliche Effekte hervorrufen. Duale Kodierung Texte mit Bilder: bessere Leistungen beim Wissensabruf und der Wissensanwendung Strukturaufbau Bilder bei Lernenden mit geringeren Lernvorraussetzugen: unterstützende Funktion Strukturinferenz Lernende mit höheren Lernvorraussetzungen: Hinzufügen von Bildern kein Leistungsgewinn Bei nicht aufgabenadäquat strukturierten Bildern: geringere Leistungen als bei einem Text ohne Bilder Ergebnisse Komplementarität des Text- und Bildverstehens Ergebnisse sprechen insgesamt gegen duale Kodierung Ergenisse lassen sich mit einer modifizierten Stimulationshypothese (Mischung von Stimulations- und Ersetzungshypthese) theoretisch gut erklären. Strukturabbildungsprozesse beim Bildverstehen Die Ergebnisse sützen vielmehr eindeutig die Strukturabbildungshypothese Insgesamt gesehen bieten Teppichbilder offenbar eine spezifische Unterstützung für Zeitdifferenzaufgaben, und die Kreisbilder eine spezifische Unterstützung für die Umkreisungsaufgaben. Strukturaufbau versus Strukturinterferenz Strukturinterferenzhypothese wird stark durch die Ergebnisse gestützt. Demnach interferierten in der Kreisbildgruppe die gezeigten Bilder bzw. die im Gedächtnis gespeicherte visuelle Kreisvorstellung mit dem bei den Zeitdifferenzaufgaben erforderlichen mentalen Teppichmodell. Umgekehrt interferieren in der Teppichgruppe die gezeigten Bilder bzw. die im Gedächtnis gespeicherte Teppichvorstellung mit dem bei den Umkreisungsaufgaben erforderlichen Kreismodell. Diskussion und Ausblick Traditionelle duale Kodierungstheorie keine geeignete Basis. Oben dargestelltes integratives Modell des Text- und Bildverstehens besser. Bilder mit Text: Können sich teilweise ersetzen aber auch teilweise stimulieren. Texte mit Bildern vor allem für schlechte Leser hilfreich Lernende mit geringem Vorwissen profitieren von Bildern in Texten Die Untersuchungen weisen darauf hin, dass bei der Gestaltung von Texten mit Bildern der jeweiligen Visualisierungsform besonderes Augenmerk geschenkt werden muß.