Anwender(innen)bedürfnisse Theorie-Praxis-Probleme
Werbung
20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Sozialpsychologie und Politische Psychologie HBM6: Evaluation (051105) Anwender(innen)bedürfnisse Theorie-Praxis-Probleme Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann 1. Verständnis für die Spannungen zwischen Anwender_innen und den Evaluator_innen psychologischer Interventionsmaßnahmen 2. Kenntnis der Unterschiede zwischen theoretischen Grundlagen und praktischen Umsetzungen im Kontext von Evaluationen 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Lernziele: Verortung psychologischer Interventionsmaßnahmen Verständnis von Bunges Vorschlag zur Vermittlung zwischen Grundlagenwissen und technologischem Wissen 3. Kenntnis der grundsätzlichen Fragestellungen in der Evaluationsforschung 4. Verständnis des pädagogischen Takts Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Mögliche Anwender von (z.B. pädagogisch-psychologischen) Interventionsmaßnahmen: Eltern Erzieher(innen) 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Anwenderbedürfnisse (I) Lehrer(innen) Einsatz von Interventionsprogrammen abhängig von: rechtlichen Vorgaben personellen und finanziellen Ressourcen Qualifikationen der beteiligten Personen Problem: Fähigkeiten- und Kompetenzunterschiede Unterschiede im Interesse an wissenschaftlichen Begründungen und Absicherungen Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Gegenwärtige Situation (-): Misstrauen praktischer Anwender gegenüber Wissenschaft + Stolz auf eigenes Erfahrungswissen 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Anwenderbedürfnisse (II) Interventionsprogramme entwickeln oft Eigenleben finanzielle Gründe erschweren Einführung neuer oder zusätzlicher Interventionsprogramme neuerdings: viele Verfahren im Grenzbereich von Wissenschaft, Ideologie, Glaube und Geschäftsinteressen => Entscheidend für Einsatz von Trainingsprogrammen und anderen Interventionsmaßnahmen sind die subjektiven Theorien der Anwender (Gefahr unqualifizierter Hilfe) Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Wissenschaftliche Evaluation und Qualitätssicherung Qualitätselemente für psychologische Tätigkeitsgebiete (für psychotherapeutische Praxis): Validität diagnostischer und therapeutischer Verfahren 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Anwenderbedürfnisse (III) Problemgerechte Indikation des zur Anwendung kommenden Verfahrens (Aufrechterhaltung) der Qualifikation der Therapeut(inn)en Transparente Dokumentation des gesamten Interventionsverlaufs Fortlaufende Weiterentwicklung und Verbesserung der Dienstleistung Bereitstellung angemessener Arbeits- und Betriebsmittel => Wichtigkeit einer an wissenschaftlichen Standards ausgerichteten Evaluation Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Wünsche der an Qualitätssicherung orientierten Praktiker an Interventionsprogramme und deren Evaluation 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Anwenderbedürfnisse (IV) Entwicklung von Interventionsprogrammen = Bereitstellung angemessener Arbeitsmittel für fachlich qualifizierte Anwender (Angemessenheit dann, wenn möglichst viele der praktischen Bedürfnisse abgedeckt sind): Wünsche können unabhängig von den Evaluationsstandards sein Wünsche können die wissenschaftliche Evaluation erschweren Wünsche können nur durch Evaluation selbst erfüllt werden Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Praktische, von Evaluationsstandards unabhängige Wünsche Theoretische Plausibilität Praktische Plausibilität 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Anwenderbedürfnisse (V) Gestaltung der Materialien Transparenz Kooperation Ethik Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Praktische, die Evaluation erschwerende Wünsche Dilemma zwischen Bevorzugung eines aus der Perspektive des Einzelfalls auf den Einzelfall zugeschnittenen Vorgehens und eines für Evaluationsstudien notwendigen weitgehend standardisierten Vorgehens 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Anwenderbedürfnisse (VI) 1.) Interventionsmaßnahmen sollen mit anderen Maßnahmen und Lernzielen kombinierbar sein. 2.) Um den Transfer in Alltagssituationen zu erleichtern sollten Lernerfahrungen im Alltag das Training unterstützen. 3.) Praktiker bevorzugen Programme, die flexibel an Einzelsituationen angepasst werden können. Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Praktische Wünsche, die durch Beachtung von Effektivitätskriterien bei der Evaluation zu erfüllen sind a) Erreicht ein in Frage kommendes Programm seine Ziele? => Intensität vs. Extensität 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Anwenderbedürfnisse (VII) b) Halten die angestrebten Wirkungen über eine gewisse Zeit an? c) Sind die Wirkungen zielgruppenspezifisch und treten gegebenenfalls Wirkungen bei ursprünglich nicht vorgesehenen Zielgruppen auf? d) Hängen die Wirkungen vom Programm ab? => Pädagogischer Takt b) Wie ökonomisch ist das Programm im Vergleich zu anderen Interventionsmaßnahmen? c) Welche nicht geplanten positiven Nebenwirkungen treten auf? d) Welche ungünstigen Nebenwirkungen können auftreten? e) Wie robust (wirksam) ist das Programm gegenüber unterschiedlichen Interventionsbedingungen? Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Folgerungen Hohe Evaluationsstandards nützen Forschern und Praktikern 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Anwenderbedürfnisse (VIII) Verbesserung der Zusammenarbeit von Forschung und Praxis Fortlaufende Qualitätskontrolle Warnung von unsachgemäßen Interventionen, d.h. Benennung der Defizite pseudowissenschaftlicher Methoden Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Anwenderbedürfnisse / Theorie--Praxis-Probleme 20. April 2015 Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Interventionsmaßnahmen = Nahtstelle zwischen Theorie und Praxis Theorie-Praxis-Probleme sind allgegenwärtig: 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Theorie-Praxis-Probleme und Evaluation Orientiert sich die Praxis an Theorien? Enthalten Theorien Aussagen über die Praxis? Wissenschaftliche Fundierung? Herausforderungen in der Entwicklung von Interventionsprogrammen: Wie kann Wirksamkeit empirisch überprüft werden? Was sind Kriterien der Wirksamkeit? Wie kann aggregiertes einschlägiges Wissen erzeugt und beurteilt werden? Was charakterisiert Interventionsmethoden wesentlich? Sollen und können diese überhaupt wissenschaftlich evaluiert werden? Wie können Bezüge von praktischen Handlungsregeln zu Grundlagentheorien hergestellt werden? Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann = Aussagensystem, wobei es sich um Allaussagen handelt (Universalitätsbedingung), die empirisch bewährt sind • Aussagen (Gesetze) müssen implikative Form haben (wenn – dann) 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Theorie • Gesetze sind in Aussagensysteme (Theorien) eingebettet, wobei ein hierarchischer Zusammenhang zwischen den verschiedenen Elementen (Basissätzen, d.h. Aussagen, die sich auf ein bestimmtes Ereignis beziehen; Gesetze oder Gesetzeshyothesen; Theorien) besteht. • Die Gesetze erklären die Ereignisse (= E-Erklärung), die Theorien die Gesetze (= G-Erklärung), wobei es auch Theorien zweiter Ordnung geben kann. Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Wissenschaftliche Theorien - Systeme von mehr oder weniger empirisch bewährten Hypothesen und theoretischen Konstrukten - beruhen auf wissenschaftlicher (öffentlicher) Erfahrung 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Theorie Subjektive Theorien - gehören zum kognitiven System der betreffenden Person - nicht notwendiger Weise empirisch überprüft - beruhen auf privater Erfahrung Unterscheidung - Grundlegender Erfahrungstyp - Ausmaß der methodischen Kontrolle der Erfahrung Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Zwei Elemente für die Bestimmung: 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Praxis 1) Praxis = wenn durch gewisse Handlungen und Verhaltensweisen versucht wird, gewisse Ziele zu erreichen (= Problemlösung) 2) Praxis = auf Einzelfall gerichtet; erfordert immer wieder Entscheidungen, die sich an diesem Einzelfall orientieren Praxis erfolgt oft unabhängig von der Wissenschaft als Tätigkeit Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Anwenderbedürfnisse / Theorie--Praxis-Probleme 20. April 2015 Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Bedingungen der Handlungswirksamkeit wissenschaftlicher Aussagen: Basisproblem: Welche Merkmale besitzt jenes praktische Handeln, dass durch bestimmte Wissensbestandteile unterstützt werden soll? 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Nomologische und technologische Theorien (I) Zentralproblem: Was sind die konstituierenden Merkmale solcher handlungsrelevanter Wissensbestände, die Handlungsempfehlungen erlauben? (Evaluationsschwerpunkt) Folgeproblem: Was sind die Merkmale einer Methodologie zur Gewinnung handlungsrelevanter Wissensbestände? Einfache Umwandlung von Theorien oder gesetzesartigen Aussagen (nomologische Aussagen/nomologisches Wissen) in Handlungsanweisungen (praktisches bzw. technologisches Wissen/Aussagen) nicht möglich! Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Technologische Aussagen: Der Ansatz von Bunge Vermittlung zwischen Grundlagenwissen und technologischem Wissen: 1. Nomologische Aussagen „wenn x, dann y“ enthalten Hinweise auf Mittel (x) und Wirkung (y). Die Mittel (x) müssen zwei Bedingungen erfüllen: 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Nomologische und technologische Theorien (II) - Bezug auf konkrete Aktionen des Akteurs (Operationalisierungen von x = x*) - Die Mittel müssen vor der Wirkung (y) auftreten. Wirkung (y) muss dem Ziel der Intervention entsprechen und ebenfalls operationalisiert (von y zu y*) werden. Aussagen „wenn man x* tut, dann y*“ = nomopragmatische Aussagen 2. Nomopragmatische Regeln müssen in Handlungsregeln („technologische Regeln“) umformuliert werden. Zwei Arten technologischer Regeln: Regel 1: „y* durch x*“ oder „um y* zu erreichen, tue x*“ Regel 2: „Um y* zu vermeiden, tue nicht x*“ Aber: noch keine Garantie, dass es keine andere Wenn-Komponente xº gibt, welche zu y* führt. Deshalb folgen aus “wenn x*, dann y*” nur die Regeln “für y* ist x* eine Möglichkeit” (modifizierte Regel 1) und “um y* zu vermeiden, vermeide x* und vielleicht noch mehr” (modifizierte Regel 2) Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Technologische Aussagen: Der Ansatz von Bunge Vermittlung zwischen Grundlagenwissen und technologischem Wissen: 3. Da eine technologische Regel nicht logisch mit der zu Grunde liegenden nomologischen Aussage identisch ist, muss sie für sich selbst evaluiert werden. 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Nomologische und technologische Theorien (III) nomologische und nomopragmatische Aussagen = wahr oder falsch technologische Regeln = effektiv oder nicht effektiv Effektivität: Beziehung zwischen Aktion und Wirkung ist probabilistisch (y* durch x* mit Erfolgswahrscheinlichkeit p) und y* ist i.d.R. ordinal skaliert (mehr oder weniger erfolgreich) Ein Mittel x* ist effektiver als ein Mittel xº, wenn man mit größerer Wahrscheinlichkeit einen Erfolg in y* erreicht, wenn man x* einsetzt, als wenn man xº einsetzt. Erfolg kann auch für unterschiedliche Personen unterschiedlich sein oder wenn unterschiedliche Personen x* tun, etc. => Effektivität muss durch Evaluationsstudien demonstriert werden (und es muss untersucht werden, ob x* auch andere Wirkungen hat oder haben kann). Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Technologische Aussagen: Der Ansatz von Bunge Vermittlung zwischen Grundlagenwissen und technologischem Wissen: 4. In unterschiedlichen Situationen muss die Operationalisierung x* i.d.R. unterschiedlich sein. 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Nomologische und technologische Theorien (IV) => “Übersetzung” der technologischen Regeln in konkrete Handlungen 5. Über die Wirksamkeit technologischer Regeln kann man prüfbare Hypothesen aufstellen. Während technologische Regeln nur mehr oder weniger effektiv sind, aber keinen “Wahrheitswert” aufweisen, sind Aussagen vom Typ “Programm IP ist unter den Bedingungen c im Hinblick auf das Ziel z wirksam” prüfbar und die entsprechenden Aussagen können wahr oder falsch sein. = gesetzesartige Aussagen (Gesetzeshypothesen), die in bestimmten Operationalisierungen (Basissätzen) überprüft wurden oder werden können Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Fundierung technologischer Aussagen Technologische Theorie: Anwendung wissenschaftlicher Theorien auf beinah reale Situationen 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Nomologische und technologische Theorien (V) Evaluation technologischer Regeln auf Effektivität hin ist nicht ausreichend, sie müssen auch theoretisch fundiert werden. Dies ist allein schon für die „Übersetzung“ der Regel (Operationalisierung) in die Anwendungssituation nötig. Fundierung durch nomologische Theorien (G-Erklärung für technologischen Aussagen) Fundierung durch technologische Theorien (praktische Erklärung der technologischen Aussage) Unterschied zwischen nomologischen und technologischen Theorien: Berücksichtigung der Komplexität (Abstraktion und „Reinheit“ vs. Konkretheit und Kombination) Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Nomologische Theorie A G-Erklärung 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Zum Zusammenhang nomo- und technologische Theorien, Aussagen, Basissätzen… Technologische Theorie Fundierung Nomologische Aussage B-A Technologische Aussage (Regel) E-Erklärung Basissatz Evaluation Basissatz Evaluation SS 2015 Praktische Umsetzung („Übersetzung) praktische Handlung Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Beispiel: 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Zum Zusammenhang nomo- und technologische Theorien, Aussagen, Basissätzen… Nomologische Theorie: behavioristische Lerntheorie Nomologische Aussage: „Wenn ein Verhalten einen als aversiv antizipierten/erlebten Zustand (z.B. Angst, Zwang) verhindert, dann tritt das Verhalten in Zukunft häufiger auf.“ Basissätze: eine Person überquert keine Brücken; meidet enge, große, leere,… Räume/Plätze, … etc. eine Person verlässt ihr Haus nie; berührt nie etwas, … etc. Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Technologische Aussagen: Der Ansatz von Bunge Vermittlung zwischen Grundlagenwissen und technologischem Wissen: 1. Nomologische Aussagen „wenn x, dann y“ enthalten Hinweise auf Mittel (x) und Wirkung (y). Die Mittel (x) müssen zwei Bedingungen erfüllen: 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Nomologische und technologische Theorien (II) - Bezug auf konkrete Aktionen des Akteurs (Operationalisierungen von x = x*) - Die Mittel müssen vor der Wirkung (y) auftreten. Wirkung (y) muss mit dem Ziel der Intervention übereinstimmen und ebenfalls operationalisiert (von y zu y*) werden. Aussagen „wenn man x* tut, dann y*“ = nomopragmatische Aussagen 2. Nomopragmatische Regeln müssen in Handlungsregeln („technologische Regeln“) umformuliert werden. Zwei Arten technologischer Regeln: Regel 1: „y* durch x*“ oder „um y* zu erreichen, tue x*“ Regel 2: „Um y* zu vermeiden, tue nicht x*“ Aber: noch keine Garantie, dass es keine andere Wenn-Komponente xº gibt, welche zu y* führt. Deshalb folgen aus “wenn x*, dann y*” nur die Regeln “für y* ist x* eine Möglichkeit” (modifizierte Regel 1) und “um y* zu vermeiden, vermeide x* und vielleicht noch mehr” (modifizierte Regel 2) Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Beispiel: Technologische Theorie: 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Zum Zusammenhang nomo- und technologische Theorien, Aussagen, Basissätzen… instrumentelles Konditionieren Technologische Aussage: „Durch schrittweise Annäherung (systematische Desensibilisierung) an den angstauslösenden Reiz wird das Vermeidungsverhalten reduziert.“ modifizierte Regel 2: „…oder vielleicht auch durch direkte Konfrontation (Flooding bzw. Reizüberflutung) mit dem angstauslösenden Reiz“ Praktischen Handlungen: Evaluation SS 2015 mit niedrigen Brücken anfangen bzw. die höchsten sofort hernehmen sich für ein paar Minuten von Kaffeemaschine/Bügeleisen/Haus entfernen bzw. für lange Zeit weit weg fahren Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Bedingungen der Handlungswirksamkeit wissenschaftlicher Aussagen: Basisproblem: Welche Merkmale besitzt jenes praktische Handeln, dass durch bestimmte Wissensbestandteile unterstützt werden soll? 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Nomologische und technologische Theorien (I) Zentralproblem: Was sind die konstituierenden Merkmale solcher handlungsrelevanter Wissensbestände, die Handlungsempfehlungen erlauben? (Evaluationsschwerpunkt) Folgeproblem: Was sind die Merkmale einer Methodologie zur Gewinnung handlungsrelevanter Wissensbestände? Einfache Umwandlung von Theorien oder gesetzesartigen Aussagen (nomologische Aussagen/nomologisches Wissen) in Handlungsanweisungen (praktisches bzw. technologisches Wissen/Aussagen) nicht möglich! Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Nomologische Theorie A G-Erklärung 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Zum Zusammenhang nomo- und technologische Theorien, Aussagen, Basissätzen… Technologische Theorie Fundierung Nomologische Aussage B-A Technologische Aussage (Regel) Folgeproblem Zentralproblem E-Erklärung Basissatz Evaluation Basissatz Praktische Umsetzung („Übersetzung) praktische Handlung Basisproblem Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Fundierung technologischer Aussagen 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Nomologische und technologische Theorien (VI) Erklärung des modus operandi der in der technologischen Regel empfohlenen Interventionsmaßnahmen setzt Prozessuntersuchungen und hypothesenbezogene Programmvariationen voraus, in denen nachgewiesen wird, dass die durch das Programm ausgelösten Prozesse, die zum angestrebten Ziel führen, tatsächlich stattfinden. In Praxis: theoretische Begründung eines Programms nicht notwendig ⇒ Forderung nach theoretischer Fundierung wird ersetzt durch Forderung, ein Programm dürfe nicht inkompatibel mit dem aktuellen Stand der Wissenschaft sein ⇒ das bedeutet: Gewisse theoretische Vorstellungen über die Wirkungsweise eines Programms sollten vorhanden sein! Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Anwenderbedürfnisse / Theorie--Praxis-Probleme 20. April 2015 Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Fragen in Wirkungsforschung • ob ein Programm Wirkung hat oder nicht (Wirksamkeit) • ob festgestellt werden soll, warum es Wirkung zeigt (Wirkmodell) 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Fragestellungen in Evaluationsuntersuchungen Wirksamkeitsprüfung (ob?) Ist ein Programm im Hinblick auf seine Ziele wirksam? - Beobachtung von Veränderungen in abhängigen Variablen? - Sind diese auf die unabhängigen Variablen (Programm) zurückführbar? Theorie zum Programm nicht nötig, wohl aber Theorie über das erfasste Verhalten Wirkmodellprüfung (warum?) Warum wirkt ein Programm, wenn es wirkt? ⇒ Prüfung der zu Grunde liegenden Theorien ⇒ zwei Bereiche: Programmbereich vs. Personenbereich Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Wirkung Hat IM Wirkung? Wie groß? 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Fragestellungen in Evaluationsuntersuchungen Warum hat IM Wirkung? Wirksamkeit Wirkmodell Programm Kompetenz/ Disposition Wodurch? Wirkungskomponenten und Wirkungsweisen Personen Wirkmechanismen und Wirkprozesse Performanz (Verhalten) keine programmbezogene Theorie Evaluation SS 2015 programmbezogene Theorie Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Programmbereich Welche Programmbausteine und –maßnahmen haben bei den Teilnehmern welchen Einfluss? 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Fragestellungen in Evaluationsuntersuchungen => Untersuchung, ob theoretisch vorhergesagten Einflüsse auf Teilnehmer beim Weglassen oder Variieren der Programmkomponenten auch wirklich eintreffen Personenbereich Was passiert im Programmteilnehmer oder was passiert ihm/ihr? Zwei Bereiche: - Müssen Teilnehmer bestimmte Bedingungen erfüllen (wirkt Programm auf unterschiedliche Populationen unterschiedlich?) - Prozessuntersuchung: Welche unmittelbaren Auswirkungen haben Programmkomponenten auf Teilnehmer in Bezug auf relevante Variablen? Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Variablen, welche Programmwirkung wesentlich beeinflussen: • die zu trainierenden Response-Klassen, Fähigkeiten oder Strategien • die Interventionsmethode • Merkmale der durchführenden Person (Einfluss) 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Fragestellungen in Evaluationsuntersuchungen • Merkmale der zu Fördernden • Merkmale der Interventionssituation Globale Frage: Für welche Personen lassen sich durch welche Durchführenden welche Programmziele unter welchen Interventionsbedingungen mit welchen Interventionsmethoden am besten erreichen? Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Wirkungsebene: abhängige Variablen Programmziele: Unterscheidung verschiedener Zielebenen und Zielkonkretisierungen • Unterscheidung von Nah- und Fernzielen 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Fragestellungen in Evaluationsuntersuchungen • Sachgehalt von Zielformulierungen (quasitheoretische Begriffe vs. Beobachtungsbegriffe) • Datenquellen • direkte versus indirekte/komplexe Wirkungen => Folge- und Nebenwirkungen Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Evaluation von Wirksamkeit und Wirkmodell Wirksamkeitsprüfung: Notwendigkeit der Gegenüberstellung eines Vergleichsprogramms (= typisches Vergleichsgruppen-Design); Programmbehandlung als Paket 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Fragestellungen in Evaluationsuntersuchungen AV: Lernprodukte, die sich an deklarierten Zielen, sowie an Dauer- und Transferwirkungen orientieren Kriterien: - Plausible rivalisierende Hypothesen müssen antizipiert und durch entsprechende versuchsplanerische Vorkehrungen möglichst ausgeschlossen werden können (wie z.B. Hawthorne-Effekt) - Bedeutung der Validität der verschiedenen Elemente der Untersuchung, d.h. Validität der UV, Validität der AV und Validität des Designs (Kriterien gelten auch für Prüfungen des Wirkmodells) Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Evaluation von Wirksamkeit und Wirkmodell Prüfung des Wirkmodells: Vergleich von Variationen des Programms AV: Produktvariablen und Prozessvariablen (Variablen, die im Laufe des Programms erhoben werden) 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Fragestellungen in Evaluationsuntersuchungen - Untersuchung des Wirkmodells komplexer als Untersuchung der Wirksamkeit - i.d.R. können nur einzelne Theorieaspekte überprüft werden - Überprüfung des Wirkmodells als Forschungsprogramm Unterscheidung zwischen G- und C-Studien G-Studien: Generalisierbarkeitsstudien => Geltungsbereich der Aussagen C-Studien: conclusion-oriented studies => Entscheidung, ob eine Aussage grundsätzlich haltbar ist Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Praxis = zielorientiert und auf Einzelfall bezogen Handeln muss auf jeweilige Situationen angepasst werden => Allgemeinheits-Konkretheits-Dilemma: 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Von allgemeiner Regel zur konkreten Handlung „Entweder sind die Aussagen sehr allgemein, dann aber geben sie keine präzisen Angaben darüber, was in der einzelnen Situation geschieht, bzw. zu tun ist; oder aber sie sind sehr präzise und konkret, dann aber sind sie nur für wenige Fälle oder Situationen gültig.“ Brücke zwischen allgemeinen Prinzipien und konkretem Fall: => Pädagogischer Takt (Kompromiss zwischen theoretischer Vorgehensweise und Anpassung an jeweiligen Einzelfall = Notwendigkeit situationsangepasster Handlungsweisen) Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Handlungs-Takt-Modell (Patry, 1991) Zwei Typen von Beziehungen zwischen Verhalten und Auswirkungen a) Beziehungen vom Typ „je mehr, desto besser“ 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Von allgemeiner Regel zur konkreten Handlung b) Beziehungen vom Typ „nicht zuviel und nicht zuwenig“ (umgekehrt uförmig, es gibt ein Optimum; typisch für praktisches und soziales Verhalten, die Optima variieren von Situation zu Situation) Bedingungen für „taktvolles“ Handeln (Optimum finden) - Ausführenden müssen für relevanten Merkmale der Teilnehmer und der Situation sensibel sein - Sie müssen fähig sein, das Programm nach Bedarf zu ändern (Unterscheidung der zentralen unabhängigen Komponenten des Programms von den variablen, auf best. Personengruppen zuschneidbaren Komponenten) - Sie müssen über Wechselwirkungen zwischen variablen Komponenten und Personengruppen hinsichtlich der Programmziele und Nebenwirkungen Bescheid wissen Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Drei Wissensarten für „taktvolles Handeln“ nötig: 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Von der allgemeinen Regel zur konkreten Handlung - Wissen über die Programmwirksamkeit (Evaluationsbasiertes Wissen) - Wissen um das Wirkmodell (hier sehr praktisch relevant) - Wissen um die eigene Wirkung der Praktiker (und Wechselwirkung der Anwender mit Programmkomponenten) Pädagogischer Takt: Bei allem verfügbaren wissenschaftlichem Wissen muss jeder Praktiker aufgrund der jeweils gegebenen Wissensbasis entscheiden, ob das Optimum in einer bestimmten Situation liegt. Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann 1. Ziele und Methoden müssen ethisch legitimiert sein. 2. Theoretische Grundlagen des Programms dürfen mit bestehenden rationalen Korpus der sozialwissenschaftlichen Forschung nicht inkompatibel sein. 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Allgemeine Anforderungen an Interventionsprogramme: 3. Die Wirksamkeit eines Programms, d.h. seine Erfolgswahrscheinlichkeit, muss bekannt oder einschätzbar sein. 4. Die Kosten-Nutzen-Relation muss insgesamt positiv sein. 5. Wünschenswert ist zusätzlich, dass die Wirksamkeit eines Programms erklärt werden kann. Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann - Intensität vs. Extensität einer (Programm-)Wirkung - Theorie vs. Praxis - wissenschaftliche vs. subjektive Theorien 20. April 2015 Anwenderbedürfnisse / Theorie--Praxis-Probleme Relevante Begriffe - nomologische vs. technologische Aussagen - Wirkung - Wirksamkeit - Hawthorne-Effekt, John-Henry-Phänomen - Allgemeinheits-Konkretheits-Dilemma - Pädagogischer Takt Evaluation SS 2015 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann
