(I) Performanz und Kompetenz - Christian-Albrechts
Werbung
Psychologische Interventionsmaßnahmen (I) 23. April 2013 Sozialpsychologie und Politische Psychologie HBM6: Evaluation (051105) Psychologische Interventionsmaßnahmen: Was sollen sie bewirken können? (I) Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Psychologische Interventionsmaßnahmen (I) 23. April 2013 Lernziele: 1. Verständnis der Funktionen und Ansatzpunkte von psychologischen Interventionsmaßnahmen 2. Verständnis dafür, welche Bedeutung „Lernen“ und „Übung“ im Kontext psychologischer Interventionsmaßnahmen besitzen 3. Verständnis der Konstrukte „Wirkungen“ und „Wirksamkeit“ im Kontext psychologischer IM und ihre Unterscheidung 4. Kenntnis der möglichen Wirkungen von IM, ihrer Klassifikation und von Möglichkeiten ihrer empirischen Erfassung 5. Verständnis der Begriffe „Performanz“ und „Kompetenz“ und ihrer Unterscheidung 6. Kenntnis der zwei zentralen Gruppen von Wirkungsqualitäten für die Erfolgsevaluation psychologischer IM 7. Verständnis des Entwicklungsanschubs und seiner empirischen Erfassung Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Psychologische Interventionsmaßnahmen (I) 23. April 2013 Ziel • Präsentation von begrifflichen Differenzierungen und Überlegungen als Grundlage für die Beantwortung der Frage: „Was sollte denn im konkreten Einzelfall evaluiert werden?“ Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Psychologische Interventionsmaßnahmen (I) 23. April 2013 Überblick über heutige Sitzung Allgemeine Vorüberlegungen - Funktionen und Ansatzpunkte von Interventionsmaßnahmen - Bedeutung von Lernen und Übung - Instruktionspsychologie Wirkungen und Wirksamkeit - Wirkungen und Wirksamkeit - Programmgebundene Wirkungen - Interventionsgebundene Wirkungen - Netto- und Bruttowirkungen Performanz und Kompetenz - Begrifflichkeiten und Definitionen - kurz- und längerfristig verfügbare Kompetenzen - emp. Erfassung der kurz- und längerfristig verfügbaren Kompetenzen - Entwicklungsanschub der L-Kompetenzen und seine emp. Erfassung Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Psychologische Interventionsmaßnahmen (I) 23. April 2013 Allgemeine Vorüberlegungen Erwartung an Anwendungsfächer der Psychologie ⇒ Bereitstellung von systematischen Übungen, Anleitungen, Unterweisungen, Trainings und sonstigen Interventionsmaßnahmen, um Verhalten, Einstellungen, Fertigkeiten, Fähigkeiten oder Kompetenzen von Personen zu optimieren oder zumindest zu verbessern. Interventionsmaßnahme ⇒ jede Art von außengesteuerter, zielorientierter und systematischer Beeinflussung von Personen- und/oder Systemmerkmalen. Jede Interventionsmaßnahme besteht mindestens aus einer Menge von zu bearbeitenden Aufgaben bzw. Problemen und mindestens einer Methode der Instruktion. Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Psychologische Interventionsmaßnahmen (I) 23. April 2013 Funktionen und Ansatzpunkte psychologischer IM Funktionen 1. Entfaltung/allgemeine Förderung 2. Vorbeugung von künftig zu erwartenden/zu befürchtenden Defiziten 3. Behandlung von manifest gewordenen Defiziten 4. Wiederaufbau von verloren gegangen Fähigkeiten oder Fertigkeiten Allgemeine Änderungsrichtung: Aufbau von erwünschten Fertigkeiten, Fähigkeiten und Verhaltenstendenzen vs. Abbau von als hinderlich oder unerwünscht klassifizierten Verhaltens- und Erlebensweisen Ansatzpunkte Ebene der intrapersonellen Systeme Ebene der interpersonellen Systeme Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Psychologische Interventionsmaßnahmen (I) 23. April 2013 Bedeutung von Lernen und Übung Lernen: allgemeine Voraussetzung für das Erreichen angestrebter Veränderungen (Grundprozess aller Veränderungsprozesse) ⇒ Erwerb und Veränderung von Wissen und Fertigkeiten in Interaktion mit externen Instanzen zu Beginn einer Interventionsmaßnahme - Vermittlung von Wissen und Kenntnissen über die angestrebten Veränderungen sowie den Weg dorthin im Verlauf der Durchführung der Interventionsmaßnahme - Aneignung von Techniken, Prozeduren und Strategien, welche die Betroffenen grundsätzlich dazu befähigen, die Veränderungsziele (mit Unterstützung von außen) zu erreichen Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Psychologische Interventionsmaßnahmen (I) 23. April 2013 Bedeutung von Lernen und Übung Übung: Voraussetzung für das Lernen ⇒ Wiederholen derselben oder ähnlichen Handlung mit dem Ziel: a) b) Fokus: des Erwerbs einer anforderungsspezifischen Fertigkeit des Aufrechterhaltens eines erreichten Fertigkeitsniveaus auf der im Veränderungsprozess befindlichen Person (≠ Interventionsprogramm oder Intervenierende) Übung ist die wiederholte, aktive und lösungsorientierte Auseinandersetzung mit den Aufgaben einer Interventionsmaßnahme als Eigenleistung der Adressat_innen der Maßnahme. Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Psychologische Interventionsmaßnahmen (I) 23. April 2013 Instruktionspsychologie Theorien der Interventionsmethoden Bereitstellung von technologischem Wissen darüber, mit welchem Vorgehen angestrebte Wirkungen und Veränderungen mit hinreichender Verlässlichkeit bei unterschiedlichen Personen erreicht werden können Methoden, mittels derer die Inhalte (Aufgaben/Probleme) einer Interventionsmaßnahme beim jeweiligen Kenntnisstand „optimal“ vermittelt werden können Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Psychologische Interventionsmaßnahmen (I) 23. April 2013 Wirkungen und Wirksamkeit von IM Wirksamkeit Beobachtbare Performanzen oder Leistungen werden durch eine Interventionsmaßnahme in der von den Vertreter_innen des Programms behaupteten Weise beeinflusst. Nachweis der Wirksamkeit im Hinblick auf postulierte Ziele einer IM, wenn die theoriespezifisch vorhergesagten Verhaltensänderungen empirisch demonstriert werden ABER: Feststellbare Wirksamkeit kann auch auf anderen als den postulierten Wirkungen beruhen Wirkungen theoretisch angenommene Ursachen der beobachtbaren Verhaltensänderungen (theoretische Fundierung) Bei empirischem Nachweis der Wirksamkeit einer IM => kein zwingender Rückschluss auf das zugrunde liegende Wirkmodell Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Psychologische Interventionsmaßnahmen (I) 23. April 2013 Wirkungen und Wirksamkeit von IM Rückschluss von der festgestellten Wirksamkeit auf die zugrunde liegenden spezifischen Wirkungen nur, wenn: 1. die eingesetzten Kriteriumsmaße entweder per Nachweis oder per Konsens die intendierten programmspezifischen Veränderungen diagnostisch hinreichend valide erfassen 2. der Versuch hinreichend valide im Sinne herkömmlicher Validitätskonzeptionen ist Idealfall: Eine psychologische Interventionsmaßnahme besteht aus technologischen Regeln, die eine nomopragmatische Grundlage aufweisen, die ihrerseits in bewährten psychologischen Gesetzen fundiert ist. Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Psychologische Interventionsmaßnahmen (I) 23. April 2013 Wirkungen und Wirksamkeit von IM Welche Wirkungen von IM können grundsätzlich auftreten? 1. Programmgebundene Wirkungen als Folge der spezifischen Charakteristiken des durchgeführten Programms 2. Interventionsgebundene Wirkungen zurückführbar auf die bloße Tatsache, dass überhaupt eine Intervention stattgefunden hat 3. Interventionsunabhängige oder externe Wirkungen vom Programm und von der Intervention unabhängige Wirkung Wirkungsextensität: Gesamtheit aller Wirkungen in der Folge einer Interventionsmaßnahme Wirksamkeitsextensität: Gesamtheit aller empirisch feststellbaren Veränderungen in der Folge einer Interventionsmaßnahme Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Psychologische Interventionsmaßnahmen (I) 23. April 2013 1) Programmgebundene Wirkungen Spezifische Veränderungen (Wirkungen), die direkt auf das Programm und keine andere Ursache zurückzuführen sind formuliert in den (internen) spezifischen Zielen des Programms + Nebenwirkungen: Veränderungen, die auch auf das Programm zurückzuführen sind, aber nicht in unmittelbarer Verbindung mit den spezifischen Zielen stehen (positiv/nicht-schädlich vs. negativ/schädlich + Folgewirkungen: Konsequenzen der veränderten angestrebten Disposition oder Kompetenz (positiv/nicht-schädlich vs. negativ/schädlich) Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Psychologische Interventionsmaßnahmen (I) 23. April 2013 2) Interventionsgebundene Wirkungen Veränderungen (Wirkungen), die eine Folge der Tatsache darstellen, dass Personen überhaupt einer Intervention (unabhängig von der konkreten Interventionsmaßnahme) unterzogen werden. Jede Interventionssituation stellt eine besondere soziale Situation dar, in der verfahrensweisenübergreifende, unspezifische, allgemeine Faktoren wirksam werden können, wie z.B. besondere Zuwendung oder Aufmerksamkeit + Nebenwirkungen + Folgewirkungen Differenzierung zwischen programm- und interventionsgebunden Wirkungen (in der empirischen Evaluation von IM): => durch Berücksichtigung entsprechender Vergleichsgruppen Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Psychologische Interventionsmaßnahmen (I) 23. April 2013 3) Interventionsunabhängige oder externe Wirkungen Beobachtbare Veränderungen, die weder programm- noch interventionsgebunden sind Sequenzwirkungen oder „zwischenzeitliches Geschehen“ (z.B. Reifung) Kontrolle der interventionsunabhängigen Wirkungen (in der empirischen Evaluation von IM): => vorrangig durch Randomisierung Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Psychologische Interventionsmaßnahmen (I) 23. April 2013 Netto- und Bruttowirkungen Nettowirkung: alle Wirkungen, die auf das Programm selbst zurückzuführen sind (programmgebundenen Wirkungen inkl. Neben- und Folgewirkungen) empirische Erfassung: Vergleichsgruppe mit ähnlichen Randbedingungen, aber anderen Zielen = Kontrollgruppe Bruttowirkung im engeren Sinne: alle Wirkungen, die vom Programm und von der Interventionssituation ausgehen (programmund interventionsgebundene Wirkungen), einschließlich der Wirkungen, die auf Retestungen zurückführbar sind empirische Erfassung: Kontrolle der nicht erwünschten Wirkungen durch versuchsplanerische Konstanthaltung = Wartegruppe Bruttowirkung im weiteren Sinne: alle Wirkungen, die im Gefolge einer Intervention auftreten können (programmgebundene, interventionsgebundene und interventionsunabhängige Wirkungen) Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Psychologische Interventionsmaßnahmen (I) 23. April 2013 Performanz und Kompetenz Anforderung an Interventionsmaßnahmen: ⇒ Aufbau oder Verbesserung von Kompetenzen Kompetenzen: Verhaltensdispositionen oder -potenziale im Sinne von Fähigkeiten und Fertigkeiten (= Erklärungskonstrukt) Fähigkeiten: „… die zu einem bestimmten Zeitpunkt bei einem Individuum identifizierbaren kognitiven Voraussetzungen, unter bestimmten Bedingungen bestimmte Leistungen zu erreichen oder die dafür notwendigen Kenntnisse und Operationen zu lernen.“ (Weinert, 1974, S. 766) Fertigkeiten: spezifischer auf bestimmte Inhalte bezogen; größere Verhaltensnähe als Fähigkeiten Performanz: ausschließlich konkret beobachtbares Verhalten / die durch Beobachtung erfassbare Leistung von Personen beim Bearbeiten einer Anforderung (= Beschreibungskonstrukt) Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Psychologische Interventionsmaßnahmen (I) 23. April 2013 Performanz und Kompetenz Problem: nicht jeder nachweisbaren Performanzverbesserung liegt eine Steigerung der durch ein Programm fokussierten Kompetenz zugrunde Komponentenmodell der Testleistung (Pike, 1978): Die beobachtbare Testperformanz setzt sich zusammen aus: 1. Testspezifische Komponente: Test- oder Aufgabenvertrautheit 2. Testsituationsspezifische Komponente: aktuelle Motivation oder Anstrengungsbereitschaft der Personen in der Testsituation 3. Fähigkeitskomponente: Kompetenzen ABER: ⇒ empirische Trennung der Komponenten in beobachtbarer Leistung schwierig Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Psychologische Interventionsmaßnahmen (I) 23. April 2013 Performanz und Kompetenz ⇒ oft Verknüpfung des Nachweises einer Steigerung der durch IM fokussierten Kompetenzen mit Nachweis, dass die eingeübten Kompetenzen (Fähigkeiten bzw. Fertigkeiten): 1. längerfristig erhalten bleiben (= zeitlicher Transfer) und/oder 2. dass sie auch auf andere, nicht in der IM enthaltene Aufgabenanforderungen übertragen werden (= Anforderungstransfer) und/oder 3. dass sie auf andere Randbedingungen oder Kontexte als den der Intervention übertragen werden (= Situationstransfer) Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Psychologische Interventionsmaßnahmen (I) 23. April 2013 Performanz und Kompetenz da Kompetenzen ohne eine Art von zeitlichem Transfer nicht vorstellbar sind, wird lediglich zwischen: kurzfristig verfügbaren Kompetenzen (= K-Kompetenzen) und langfristig verfügbaren Kompetenzen (= L-Kompetenzen) unterschieden. K-Kompetenzen: kurzfristige Stabilisierung des durch ein Programm und die Interventionssituation Vermittelten (bis zu 1 Monat nach IM) L-Kompetenzen: längerfristige Aufrechterhaltung des durch ein Programm und die Interventionssituation Vermittelten (über 1 Monat nach IM hinausgehend) Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Psychologische Interventionsmaßnahmen (I) 23. April 2013 Performanz und Kompetenz theoretisch unterscheidbare Klassen von Kompetenzen: 1. Kompetenzen ohne Situations- und Anforderungstransfer und mit höchstens kurzfristigem zeitlichen Transfer (K-OT-Kompetenzen) 2. Kompetenzen mit geringem zeitlichen, aber mit Situationstransfer (K-ST-Kompetenzen) 3. Kompetenzen mit geringem zeitlichen, aber mit Anforderungstransfer (K-AT-Kompetenzen) 4. Kompetenzen mit geringem zeitlichen, aber mit Situations- und Anforderungstransfer (K-STAT-Kompetenzen) 5. Kompetenzen mit längerfristigem, aber ohne Situations- oder Anforderungstransfer (L-OT-Kompetenzen) 6. Kompetenzen mit längerfristigem und mit Situationstransfer (L-ST-Kompetenzen) 7. Kompetenzen mit längerfristigem und mit Anforderungstransfer (L-AT-Kompetenzen) 8. Kompetenzen mit längerfristigem und mit Situations- und Anforderungstransfer (L-STAT-Kompetenzen) Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Psychologische Interventionsmaßnahmen (I) 23. April 2013 Performanz und Kompetenz Größe eines Transfers? Zeitlicher Abstand zwischen Bearbeitung der Testaufgaben und dem Ende der Intervention (Dimension 1) Ähnlichkeit der Testaufgaben und/oder Testkontexte zu denen der Interventionsmaßnahme (Dimension 2) zwei Gruppen von grundlegenden Wirkungsqualitäten Hinweis auf empirische Erfassung von Transfer Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Psychologische Interventionsmaßnahmen (I) 23. April 2013 Performanz und Kompetenz Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Psychologische Interventionsmaßnahmen (I) 23. April 2013 Performanz und Kompetenz Empfehlung für alle Evaluationen: Vortest-Nachtest-Follow-Up-Vergleichsgruppen-Plan Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Psychologische Interventionsmaßnahmen (I) 23. April 2013 Performanz und Kompetenz Entwicklungsanschub der L-Kompetenzen = beschleunigte L-Kompetenzentwicklung (wünschenswertes, aber meist nur fakultatives Ziel einer IM) Empirische Erfassung eines Entwicklungsanschubs: - Vortest-Nachtest-Follow-Up-Vergleichsgruppen-Plan - Bestimmung der Veränderungen von Nachtest zum Follow Up in EG - Bestimmung der Veränderungen von Nachtest zum Follow Up in VG - Vergleich der Veränderungen in EG und VG (fällt der zugunsten der EG aus, kann auf einen Entwicklungsanschub geschlossen werden) Bewertung des Ausmaßes eines Entwicklungsanschubs: - in Abhängigkeit von der Distanz zwischen den Aufgaben bzw. Kontexten in der Intervention relativ zur Kriteriumserfassung - vom zeitlichen Abstand zwischen Nachtest und Follow-Up - von der Größe des erzielten Effekts Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Psychologische Interventionsmaßnahmen (I) 23. April 2013 Performanz und Kompetenz Entwicklungsanschub der L-Kompetenzen Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Psychologische Interventionsmaßnahmen (I) 23. April 2013 Performanz und Kompetenz Entwicklungsanschub der L-Kompetenzen Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Psychologische Interventionsmaßnahmen (I) 23. April 2013 Performanz und Kompetenz Entwicklungsanschub der L-Kompetenzen Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Psychologische Interventionsmaßnahmen (I) 23. April 2013 Performanz und Kompetenz Entwicklungsanschub der L-Kompetenzen Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann relevante Begriffe Psychologische Interventionsmaßnahmen (I) 23. April 2013 • (psychologische) Interventionsmaßnahmen • Lernen • Übung • Wirksamkeit • Wirkungen • Wirkungs- und Wirksamkeitsextensität • programmgebundene, interventionsgebunde und interventionsunabhängige Wirkungen • Netto- & Bruttowirkungen • Kompetenz • Performanz • Transfer (Zeit, Anforderungen, Situationen) • Entwicklungsanschub Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann
