Evaluation
Werbung
Methoden der Wirkungsanalyse Eine Konzeption zur Evaluation von Programmwirkungen Prof. Dr. Reinhard Stockmann BiBB-AK “Evaluation” 12. Juni 2003 Aufbau des Vortrags 1. Mangel an Wirkungsanalysen 2. Funktionen von Evaluationen 3. Zielproblematik in der Entwicklungsforschung 4. Methodologische Paradigmen 5. Untersuchungsdesigns für die Evaluation von Wirkungen 6. Evaluationskonzeption: theoretisches Grundmodell 7. Methodische Konzeption 8. Erfahrungen mit der Evaluationskonzeption Prof. Dr. Stockmann, 12. Juni 2003 2 Funktionen von Evaluationen Erkenntnisfunktion Kontrollfunktion Evaluation Dialogfunktion Prof. Dr. Stockmann, 12. Juni 2003 Legitimitätsfunktion 3 Zielmodell der Evaluationsforschung Vorgehen: 1. Programmziele ermitteln 2. Ziele in messbare Indikatoren der Zielerreichung übersetzen 3. Daten sammeln 4. Daten mit Zielkriterien vergleichen Prof. Dr. Stockmann, 12. Juni 2003 4 Probleme des Zielmodells 1. Verschwommene Formulierungen 2. Kluft zwischen offiziellen und tatsächlichen Zielen 3. Veränderungen im Zeitverlauf 4. Unterschiedliche Ziele der Akteure 5. Vernachlässigung nicht-intendierter Effekte Prof. Dr. Stockmann, 12. Juni 2003 5 Dualität der Evaluationsforschung Teil des politischen Prozesses und Teil der empirischen Sozialforschung Prof. Dr. Stockmann, 12. Juni 2003 6 Methodologisches Kontinuum Methodologischer Rigorismus Handlungs- und Aktionsforschung Experimentelle Designs Emanzipatorisches Paradigma Prof. Dr. Stockmann, 12. Juni 2003 7 Konsequenzen aus dem handlungstheoretischen Paradigma Nicht Falsifikation – sondern Ermittlung von Handlungsalternativen zur Lösung von Problemen Trennung zwischen Evaluatoren und Evaluierten wird aufgehoben Nicht Forschungsfragen – sondern Informationsbedarfe der Zielgruppen im Vordergrund Nicht Wertneutralität – sondern Wertungen Gütekriterien nicht primär Validität, Reliabilität und Objektivität – sondern Kommunikation, Intervention, Relevanz. Prof. Dr. Stockmann, 12. Juni 2003 8 Zwei Hauptprobleme von Wirkungsevaluationen 1.Entdeckung und Messung von Wirkungen 2.Identifikation von Kausalzusammenhängen Prof. Dr. Stockmann, 12. Juni 2003 9 Typische Forschungsdesigns für Wirkungsanalysen Design Auswahl der Untersuchungseinheit Art der Kontrollgruppe Daten-erhebungszeitpunkt I. Experimente und Feldexperimente Randomisierung durch Forscher Randomisierte und stat. Kontrollen Zumeist vorher / nachher od. mehrere Messungen II.Quasi-Experimente Unkontrollierte Auswahl Konstruierte u/o stat. Kontrollen Zumeist vorher / nachher od. mehrere Messungen III. Pretest-Posttest Unters. Unkontrollierte Auswahl Reflexive Kontrollen Vorher/Nachher Messung IV. Retrospektive Vor/Nachher Unt. Unkontrollierte Auswahl Retrospektive reflexive Kontrollen Nachher Mess. mit retrospektven Mess. V. Panel Untersuchungen Unkontrollierte Auswahl Reflexive Kontrollen Mehr als zwei Mess. während Intervention VI. Zeitreihenanalysen Unkontrollierte Auswahl Reflexive Kontrollen Viele Mess. vor und nach der Intervention VII. Querschnittsanalysen Unkontrollierte Auswahl Statistische Kontrollen Nachher Messungen VIII. Gutachtenmodell Unkontrollierte Auswahl Generische u/o Schattenkontrollen Nachher Messungen Prof. Dr. Stockmann, 12. Juni 2003 10 Probleme experimenteller Designs 1. Zahl einzubeziehender, erklärender Faktoren unvollständig 2. Forschereinfluß (Interaktion) 3. Selbstselektion 4. Verzerrungen bei Messwiederholungen Prof. Dr. Stockmann, 12. Juni 2003 11 Prinzipielle Bedenken gegen experimentelle Designs 1. Analyse komplexer Phänomene nicht angemessen 2. Für die Erfassung von Wandel und Entwicklung nicht geeignet: ahistorisch 3. Dominante Orientierung an interner Validität 4. Professionelle Ethik und geltendes Recht Prof. Dr. Stockmann, 12. Juni 2003 12 Lebensverlaufsmodell Zeitachse Phasen t1 t2 t3 Projekt- ProjektAngebot antrag prüfung t4 t5a - t5n Auftrag t6 ProjektPhasen der Projektdurchführung überleitung Planung Implementation Förderphase tF Förderende tNF Nachbetreuung Projektstand nach 3-5 J. Wirkung/ Nachhaltigkeit Nach-Förderphase Legende: t = Zeitpunkt tF = Förderende tNF = Nach-Förderende Prof. Dr. Stockmann, 12. Juni 2003 13 Wirkungsmodell Umwelt Bildungs-/ Ausbildungssystem Beschäftigungssystem Träger Organisationsstruktur Politisches System Projekt Ziele Technologie Mitarbeiter Rechtssystem Finanzielle Ressourcen Soziokulturelles System Untersuchungsgegenstand Prof. Dr. Stockmann, 12. Juni 2003 14 Diffusionsmodell Spezifische Eigenschaften der Innovation - Relative Vorteilhaftigkeit - Vereinbarkeit - Komplexität - Erprobbarkeit - Beobachtbarkeit - Ausreifungsgrad Externe Variablen: Umweltfaktoren - Politisches System - Normen u. Werte - Arbeitsmarkt (Nachfrage) - Bildungs- u. Ausbildungssystem (Anbieter) - u.a. Diffusion: Verbreitung einer Innovation Interne Variablen Organisationselemente - Ziele - Mitarbeiter - Formelle Struktur - Technologie - Finanzielle Ressourcen Prof. Dr. Stockmann, 12. Juni 2003 15 Nachhaltigkeitdefinition Interne Nachhaltigkeit ist dann gegeben, wenn problemadäquate Strukturen aufgebaut wurden und die eigenständige Problemlösungskapazität so gesteigert werden konnte, daß eine permanente Anpassung an sich verändernde Umweltbedingungen stattfindet Externe Nachhaltigkeit ist dann gegeben, wenn über die unmittelbar betroffene Zielgruppe bzw. Partnerorganisation hinaus Diffusionswirkungen auch in anderen (externen) Umweltbereichen entstanden sind, die insgesamt zu verbesserten Problemlösungen geführt haben. Prof. Dr. Stockmann, 12. Juni 2003 16 Maßnahmen, um die Validität und Reliabilität der Ergebnisse zu erhöhen 1. Entwickelte theoretische Konzeption erleichtert die Überprüfung von Zusammenhängen und das Ausschließen von Störvariablen. 2. Verwendung mehrerer Datenerhebungsmethoden sichert die Befunde ab. 3. Kontrollgruppen erlauben Vergleiche zu Interventionsgruppen. 4. Komparative Analyse ermöglicht das Auffinden ähnlicher Entwicklungsmuster und UrsacheWirkungszuschreibungen. Prof. Dr. Stockmann, 12. Juni 2003 17 Indikatoren I. 1. 2. 3. 4. Indikatoren zur Bewertung der Qualität des Interventionsprozesses Qualität Qualität Qualität Qualität der der der der Planung des Interventionsprozesses Steuerung des Implementationsprozesses Projektüberleitung (Vorbereitung des Förderendes) Nachbetreuung II. Indikatoren zur Bewertung der internen Nachhaltigkeit 1. 2. 3. 4. 5. 6. Zielakzeptanz beim Führungspersonal des Projektträgers Qualifikationsniveau des Trägerpersonals Leistungsfähigkeit der Organisationsstruktur des Projektträgers Finanzielle Leistungsfähigkeit des Projektträgers Technische Ausstattungsqualität Angepaßtheit der Förderkonzeption an Zielgruppen III. Indikatoren zur Bewertung der externen Nachhaltigkeit 1. Grad der Diffusion innerhalb der Zielgruppe 2. Grad der Diffusion innerhalb des Zielsystems 3. Grad der Diffusion außerhalb des Zielsystems Prof. Dr. Stockmann, 12. Juni 2003 18 Design und Erhebungsmethoden Lebenszyklusphasen Planungs- und Implementationsphase Wirkungsphase Design Retrospektive Zeitreihenanalyse Querschnittsanalyse vor Ort Datenerhebungsmethoden • Dokumenten- und Aktenanalyse • Dokumentenanalyse • Retrospektive Intensivinterviews mit ehemaligen Projektbeteiligten Prof. Dr. Stockmann, 12. Juni 2003 • Beobachtungen • Intensivinterviews mit Experten • Standardisierte Interviews mit den Ziel- und Kontrollgruppen 19 Vielen Dank für Ihre Aufmerksamkeit Prof. Dr. Stockmann
