Allgemeine Standards - Christian-Albrechts
Werbung
Standards der Evaluationsforschung und -praxis 21. Mai 2013 Sozialpsychologie und Politische Psychologie HBM6: Evaluation (051105) Sitzung 7: Allgemeine Standards für die Evaluationsforschung und -praxis Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Lernziele: 1. Verständnis der Notwendigkeit von Evaluationsstandards 2. Verständnis der Herkunft der Standards für die Evaluationsforschung und -praxis 3. Kenntnis der Standards für Evaluationsforschung und -praxis 4. Verständnis des Nutzens von Standards für Evaluationen Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Überblick über heutige Sitzung Standards zur Qualitätsbeurteilung Grundlagen- vs. Evaluationsforschung Standards für Schritte im (Evaluations-)Forschungsprozess - die Konzeptualisierungsphase - Implementationsforschung - Wirkungsforschung (Standards für die Durchführung/Verwertung von Evaluationen) Standards in Anwendung auf die Evaluation lokaler Programme - Festlegung der Evaluationsziele - Planung der Evaluation - Durchführung der Evaluation - Auswertung - Evaluationsbericht und Publikation der Evaluationsergebnisse - weitere Standards Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Beurteilung der Qualität von Evaluationen (Vor-)Überlegungen - lokale Programme (regional) vs. flächendeckende Programme (überregional, national) - auf übergeordneter, abstrakter Ebene Formulierung von allgemein gültigen Standards trotzdem möglich - unabhängige Entwicklung von Evaluationsmethoden in vier unterschiedlichen Bereichen (mit unterschiedlichen Schwerpunkten) a) Evaluation sozialer Programme b) Curriculumevaluation (pädagogische Programme) c) Therapieforschung im klinischen Bereich d) Evaluation von betrieblichen/organisatorischen Maßnahmen - Entwicklung/Ableitung von Standards für die Evaluationsforschung aus Prinzipien der Grundlagenforschung Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Beurteilung der Qualität von Evaluationen a) Evaluation sozialer Programme ⇒ Optimierung flächendeckender Maßnahmen auf nationaler oder überregionaler Ebene z.B. Programme zur Einsparung von Energie oder zur Integration ausländischer ArbeitnehmerInnen Beispielfragestellungen der Evaluationsforschung: - Erreicht eine Kampagne die AdressatInnen? - Hat eine Kampagne die intendierten Verhaltensänderungen zur Folge? Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Beurteilung der Qualität von Evaluationen b) Curriculumevaluation ⇒ für bestimmte Altersgruppen und Schularten ausgearbeitete Sequenzen unterschiedlicher Maßnahmen und pädagogischer Einflussnahmen, denen jeweils abstrakte didaktische Konzepte, spezielle pädagogische Ansätze oder auch bildungspolitische Vorgaben zugrunde liegen Beispielfragestellungen der Evaluationsforschung: - Ist ein Konzept tragfähig? - Wurde ein Konzept konsistent umgesetzt? - Ist ein Konzept mit den Voraussetzungen der SchülerInnen kompatibel? - Werden die jeweiligen Bildungsziele erreicht? - Welche Probleme treten auf und wie können sie bewältigt werden? Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Beurteilung der Qualität von Evaluationen c) Therapieforschung im klinischen Bereich ⇒ Evaluation verschiedener Therapieformen geht zurück auf Streit zwischen psychoanalytischen und psychotherapeutischen Schulen Gesamtevaluation komplexer therapeutischer Programme Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Beurteilung der Qualität von Evaluationen d) Evaluation von betrieblichen/organisatorischen Maßnahmen ⇒ Bedingungen der Entwicklung, Implementation und Durchsetzung von IM auf Prozesse der Entscheidungsfindung und der Realisierung von Konsequenzen Beispielfragestellungen der Evaluationsforschung: - Als wie effektiv erweisen sich bestimmte Maßnahmen? - In welchem Verhältnis stehen Kosten und Nutzen einer Maßnahme? - Unter welchen Bedingungen sind welche Maßnahmen sinnvoll? Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Beurteilung der Qualität von Evaluationen (Vor-)Überlegungen Frage: Gibt es bezüglich der methodischen Standards prinzipielle Unterschiede zwischen Evaluationsforschung und Grundlagenforschung? Beurteilung der Qualität von Grundlagenforschung? = implizite Standards, - die sich aus den anerkannten Wissenschaftstheorien für die Formulierung von Forschungsfragen ergeben, - der Literaturrecherche und der Einbettung der eigenen Arbeit in einschlägige und konkurrierende Theorien - der „deduktiven Logik“ bei der Ableitung von Hypothesen - der Versuchsplanung, Operationalisierung, Messtheorie, Testtheorie, Datenanalyse und Signifikanzprüfung, - der Transparenz der Interpretation Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Beurteilung der Qualität von Evaluationen (Vor-)Überlegungen Übertragung der impliziten Standards der Grundlagenforschung auf Evaluationsforschung möglich? ⇒ wesentliche Unterschiede der Grundlagen- und Evaluationsforschung ergeben sich aus der Unterschiedlichkeit ihres jeweiligen Untersuchungsgegenstandes ⇒ dieselben Grundprinzipien empirischer Forschung erfahren in Grundlagen- und Evaluationsforschung unterschiedliche methodische Ausgestaltung Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Grundlagen- vs. Evaluationsforschung Grundlagenforschung Evaluationsforschung Forschungsfrage in Form einer aus Theorie abgeleiteten Hypothese Produkt (IM) komplexes, vorgefertigtes Etwas (Forschungshypothese, die eine Beziehung zwischen mindestens zwei Variablen theoretischen Konstrukten herstellt) (Resultat eines Entwicklungsprozesses, der zunächst ohne Rücksicht auf die Evaluierbarkeit des Produzierten abläuft) Ausgangspunkt der empirischen Arbeit Forschungshypothese Hypothese zur Wirksamkeit des Produkts untersuchte Beziehung zwischen zwei theoretischen Konstrukten Untersuchungsgegenstand => bestimmt Auswahl und Operationalisierung der Variablen Vorlesung: Evaluation SS 2013 => der Entwicklung der unabhängigen Variablen nachgeschaltet zwischen technologischem Produkt (Wissen) und einer theoretischen Variablen (Effektivitätskriterium) Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Grundlagen- vs. Evaluationsforschung Bedeutung des Unterschieds zwischen Hypothese und Produkt als Forschungsgegenstand? Prinzipien empirischer Forschung: - Prinzip des analytischen Vorgehens - Prinzip der Konstanthaltung von Störbedingungen - Güte der Operationalisierung - Prinzip des Zufalls/der Randomisierung - Prinzip der Repräsentativität Evaluationsforschung => systematische Anwendung sozialwissenschaftlicher Forschungsmethoden zur Beurteilung der Konzeption, Ausgestaltung, Umsetzung und des Nutzens sozialer Interventionsprogramme Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Grundlagen- vs. Evaluationsforschung Grundlagenforschung Konzeptualisierung Formulierung und Präzisierung der zugrunde liegenden Theorie, Ableitung von Hypothesen, Berücksichtigung bisheriger Forschungsergebnisse Implementation Evaluationsforschung Überprüfung der theoretischen Fundierung von Maßnahmen Operationalisierung der Kontrolle der Realisierung Variablen, Konstruktion des der Maßnahme Forschungsdesigns, Realisierung der UV Wirkungsforschung Maßnahmen zur Sicherstellung der Erfassung von Wirkungen (Kontrolle, Reliabilität, Validität) Vorlesung: Evaluation SS 2013 Kontrolle der postulierten Wirkungen der Maßnahme Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Schritte im Forschungsprozess Die Konzeptualisierungsphase Chen & Rossi (1983): Theory-Driven Approach ⇒ jede zu evaluierende Maßnahme muss eine Konzeption aufweisen (die ggf. erst zu rekonstruieren ist) ⇒ psychologische Konstrukte und Prozesse, die Wirkungen entfalten sollen, müssen theoretisch expliziert und zur Planung einer Evaluation und Interpretation der Ergebnisse herangezogen werden können Standard 1: Konzeptualisierung Die theoretischen Grundlagen der zu evaluierenden Maßnahmen oder Maßnahmenbündel sind hinsichtlich der folgenden Aspekte zu rekonstruieren: - Wovon geht die Wirkung aus? - Worin besteht der postulierte Prozess, in dem sich die Wirkung entfaltet? - In welchen Bereichen finden Wirkungen statt? Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Schritte im Forschungsprozess Die Konzeptualisierungsphase Standard 2: Fragestellungen und Hypothesen Die konzeptionellen Grundlagen sind mit der zu evaluierenden Maßnahme in Form von Forschungsfragen und Hypothesen zu verknüpfen, die mit Hilfe eines realisierbaren Evaluationsdesigns empirisch geprüft werden können. Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Schritte im Forschungsprozess Implementationsforschung Frage: Auf welche Art und Weise ist die zu evaluierende Maßnahme überhaupt realisiert oder implementiert? häufig Schwerpunkt in Evaluationsstudien Potenziell untersuchbare Fragestellungen: - Wie intensiv ist die Maßnahme realisiert? - Wie sind die RezipientInnen räumlich, zeitlich und situativ verteilt? - Wie ist die Akzeptanz in verschiedenen Gruppen? - Wie motiviert und qualifiziert sind die VermittlerInnen? - Sind die zur Verfügung stehenden finanziellen Mittel ausreichend? Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Schritte im Forschungsprozess Implementationsforschung Standard 3: Implementationskontrolle Im Rahmen einer Kontrolle der Implementation einer Maßnahme sollte untersucht werden, - inwieweit die Realisierung der Maßnahme ihrer Konzeption entspricht, - wie intensiv die zu untersuchenden Einflüsse sind und - ob andere Einflüsse eine mögliche Wirkung der Maßnahme begünstigen oder behindern ⇒ Max-Kon-Min-Prinzip von Kerlinger (1970, 1978) in Grundlagenforschung Beim Entwerfen eines experimentellen Designs sollte die experimentelle Varianz maximiert, die Störvarianz kontrolliert und die Fehlervarianz minimiert werden. Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Schritte im Forschungsprozess Wirkungsforschung Untersuchung der Wirkung einer Maßnahme -> eigentliche Aufgabe der Evaluationsforschung -> in methodischen Grundlagen engste Bezüge zur Grundlagenforschung ⇒ Anpassung der methodischen Prinzipien, die in der Grundlagenforschung den Nachweis von Wirkungen absichern sollen, an Gegebenheiten und Restriktionen von Evaluationsstudien Generalisierbarkeit (=>Zufallsstichproben) Kausalinterpretation (=> Randomisierung) Variation der unabhängigen Variablen (=> Kontrollgruppendesigns) Kontrolle von Drittvariablen Beschreibung der Effektgrößen Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Schritte im Forschungsprozess Wirkungsforschung zur Generalisierbarkeit: In Evaluationsstudien sind Untersuchungsstichproben meist weder Zufallsstichproben noch ist es möglich, die Teilnehmer randomisiert auf die verschiedenen Versuchsbedingungen aufzuteilen Standard 4: Übertragbarkeit von Ergebnissen Im Fall, dass die Ziehung einer Zufallsstichprobe nicht möglich ist, sollte die untersuchte Stichprobe möglichst detailliert beschrieben und damit die Frage der Übertragbarkeit beantwortet werden. Gegebenenfalls können gruppenspezifische Datenanalysen zusätzlich absichern, auf welche Personengruppen die Befunde übertragbar sind. Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Schritte im Forschungsprozess Wirkungsforschung zur Kausalinterpretation Prinzip der Randomisierung => Absicherung einer Kausalinterpretation von Wirkungen der UV auf die AV Ein statistisch nachgewiesener Effekt ist nur dann kausal interpretierbar, wenn er unter allen Valenzen aller Drittvariablen invariant ist, d.h. wenn es keine (weiteren) Moderatorvariablen gibt. Funktion der Randomisierung: Gewährleistung, dass alle potenziellen Moderatorvariablen gleiche Erwartungswerte in den Versuchsgruppen aufweisen und somit „kontrolliert“ werden. Standard 5: Kausalinterpretationen Um beobachtete Effekte als Wirkungen einer evaluierten Maßnahme interpretieren zu können, sollten sie hinsichtlich ihrer Abhängigkeit von möglichen Moderatorvariablen analysiert werden. Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Schritte im Forschungsprozess Wirkungsforschung zur Variation der unabhängigen Variablen (Kontrollgruppen) Kontrollgruppendesign in experimenteller Grundlagenforschung einer der wichtigsten Standards Funktion von Kontrollgruppen: Herstellung eines Vergleichsmaßstabs für die in der Evaluationsgruppe gefundenen Werte der abhängigen Variablen Kontrollgruppendesign bewirkt, dass die UV überhaupt variiert. Standard 6: Kontrollgruppen Um einen sinnvollen Vergleichsmaßstab für die Interpretation von Wirkungen zur Verfügung zu haben, muss die zu evaluierende Maßnahme variiert werden, sei es - hinsichtlich ihrer Dosis, durch den Vergleich verschiedener Kombinationen ihrer Komponenten oder durch Vergleich mit einer Kontrollgruppe, die sich in theoretisch beschreibbaren Merkmalen von der Evaluationsgruppe unterscheidet Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Schritte im Forschungsprozess Wirkungsforschung zur Kontrolle von Drittvariablen Evaluationsforschung: meist Feldforschung mit allen assoziierten Problemen der Kontrolle von Störeinflüssen auf die AV => Statistische Kontrolle von Drittvariablen (setzt Erhebung potenzieller Störvariablen voraus) Standard 7: statistische Kontrolle Die eingeschränkten Möglichkeiten der Kontrolle von Drittvariablen, deren Wirkungen mit denen der zu evaluierenden Maßnahme möglicherweise konfundiert sind, erfordern es, solche Variablen zu benennen, zu erheben und bei der Datenanalyse statistisch zu berücksichtigen Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Schritte im Forschungsprozess Wirkungsforschung zur Beschreibung von Effektgrößen Standard 8: Effektgrößen Zum Nachweis der Wirkung einer Maßnahme sollten sowohl die statistische Signifikanz gefundener Unterschiede oder Zusammenhänge angegeben werden als auch geeignete Maße der Effektgröße. Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Evaluationspraxis Standards für Durchführung und Verwertung von Evaluationsstudien ⇒ praktische Tätigkeit des Evaluierens Relevante Institutionen und Publikationen: Joint Committee on Standards for Educational Evaluation (JCSEE) JCSEE (Eds.) (2011): The Program Evaluation Standards. A Guide for Evaluators and Evaluation Users, 3rd edition, Sage. Deutsche Gesellschaft für Evaluation (DeGEval) DeGEval – Gesellschaft für Evaluation e.V. (2008) (Hg.): Standards für Evaluation, 4. unveränderte Auflage, Mainz. Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Evaluationspraxis Überblick Standards des JCSEE (2011) und der DeGEval (2008) für EvaluatorInnen: => Richtlinien, in dem sie festlegen, was von ihnen geleistet werden sollte für AuftraggeberInnen und NutzerInnen: => Hinweise darauf, was sie von einer Evaluation erwarten können (sollten) Definition des Begriffes „Standard“ (JCSEE) „…a principle mutually agreed to by people engaged in the professional practice of evaluation, that, if met, will enhance the quality and fairness of an evaluation“ Entwicklung der Standards eher für flächendeckende, überregionale soziale Programme => Achtung bei Übertragung auf lokale Programme Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Evaluationspraxis Gruppen von Standards (Eigenschaften von Evaluationen): 1.) Nutzen-Standards („Utility“, U) JCSEE Nützlichkeit (N) DeGEval 2.) Machbarkeits- oder Durchführbarkeits-Standards („Feasibility“, F) JCSEE Durchführbarkeit (D) DeGEval 3.) Standards für Anstand und ethisches Vorgehen („Propriety“, P) JCSEE Fairness (F) DeGEval 4.) Genauigkeits-Standards („Accuracy“, A) Genauigkeit (G) DeGEval Vorlesung: Evaluation SS 2013 JCSEE Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Evaluationspraxis 1) Nutzen-Standards (U) JCSEE Befriedigt eine Evaluation die Bedürfnisse des Publikums nach praktisch verwertbarer Information? Evaluationen sollen: => informativ sein => rechtzeitig sein Die gewonnenen Informationen sollen dabei so aufbereitet werden, dass die potenziellen Nutzer_innen davon profitieren können (nur so können Evaluationsergebnisse Einfluss ausüben). Nützlichkeit (N) DeGEval Die Nützlichkeitsstandards sollen sicherstellen, dass die Evaluation sich an den geklärten Evaluationszwecken sowie am Informationsbedarf der vorgesehenen Nutzer und Nutzerinnen ausrichtet. Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Evaluationspraxis 2) Durchführbarkeits-Standards (F) JCSEE Tatsache: Durchführung der meisten Evaluationen im Feld Anpassung der Maßnahmen, insbesondere die Erstellung eines Evaluations- oder Versuchsplans an diesen Umstand => Planung und Durchführung einer Evaluation stets in Abstimmung mit realen Gegebenheiten und unter Berücksichtigung ökonomischer Aspekte Durchführbarkeit (D) DeGEval Die Durchführbarkeitsstandards sollen sicherstellen, dass eine Evaluation realistisch, gut durchdacht, diplomatisch und kostenbewusst geplant und ausgeführt wird. Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Evaluationspraxis 3) Anstand und Ethisches Vorgehen (P) JCSEE sollen den Schutz individueller Rechte garantieren sollen helfen, die Sensibilität der Beteiligten für die Bedürfnisse und Rechte der jeweiligen anderen zu erhöhen sollen die Durchführung unethischer und ungesetzmäßiger Evaluationen verhindern Fairness (F) DeGEval Die Fairnessstandards sollen sicherstellen, dass in einer Evaluation respektvoll und fair mit den betroffenen Personen und Gruppen umgegangen wird. Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Evaluationspraxis 4) Genauigkeits-Standards (A) JCSEE Sicherstellung, dass Evaluation verwertbare Informationen erbringt: - umfassende Evaluation mit Bezug auf so viele ProgrammMerkmale wie möglich, aber vorrangig solche, die für den Wert des Programms entscheidend sind - Informationen sollen „technisch adäqat“ und „methodisch sauber“ sein und Bewertungen müssen sich einwandfrei auf diese Informationen beziehen Genauigkeit (G) DeGEval Die Genauigkeitsstandards sollen sicherstellen, dass eine Evaluation gültige Informationen und Ergebnisse zu dem jeweiligen Evaluationsgegenstand und den Evaluationsfragestellungen hervorbringt und vermittelt. Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Evaluationspraxis Standards in Anwendung auf die Evaluation von lokalen Programmen in Anlehnung an Ablauf einer Evaluation mit den Phasen: 1) Festlegung der Evaluationsziele 2) Planung der Evaluation 3) Durchführung 4) Auswertung 5) Publikation der Evaluationsergebnisse Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Evaluationspraxis Standards in Anwendung auf die Evaluation von lokalen Programmen 1. Festlegung der Evaluationsziele Programmziele vs. Evaluationsziele Evaluationsziele: Feststellung der Wirksamkeit von Programme(n) - wer gehört zu den möglichen Nutznießern der Ergebnisse - wer könnte von der Untersuchung noch betroffen sein ⇒ Forderung nach der Identifikation betroffener Personen („stakeholders“) Utility-Standard 1, U1 ⇒ Frage nach den jeweiligen Bedürfnissen (nur bei Offenlegung können sie bei Planung und Durchführung der Evaluation berücksichtigt werden) Achtung: zwischen verschiedenen Institutionen und/oder Personengruppen könnten Interessenkonflikte bestehen (Propriety-Standard 7, P7), die ebenfalls bei Planung und Durchführung von Evaluationen berücksichtigt werden müssen Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Evaluationspraxis Standards in Anwendung auf die Evaluation von lokalen Programmen 1. Festlegung der Evaluationsziele Nach Klärung der betroffenen Personen und eventueller Interessenkonflikte ⇒ Ausführliche Beschreibung der Absichten und Vorgehensweisen der Evaluation, die sich aus Zielen und intendierten Nutzen der Evaluation ergeben (Accuracy-Standard 3, A3) Voraussetzung erfolgreicher Evaluationen = KONSENS zwischen AuftraggeberInnen, AdressatInnen und EvaluatorInnen Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Evaluationspraxis Standards in Anwendung auf die Evaluation von lokalen Programmen Auszug aus DeGEval – Gesellschaft für Evaluation e.V. (2008), S. 40 Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Evaluationspraxis Standards in Anwendung auf die Evaluation von lokalen Programmen 2. Planung der Evaluation Gewährleistung der praktischen Durchführbarkeit einer Evaluation „Practical Procedures“ (Feasibility-Standard 1, F1) ⇒ Realistische Planung der Vorgehensweise unter Berücksichtigung von Budget, Anzahl MitarbeiterInnen, Anzahl TeilnehmerInnen, zeitlicher Rahmen, etc. ⇒ Klärung der Rahmenbedingungen im Feld – Analyse der Rahmenbedingungen des Programms (A2) = u.a. Prüfung, inwieweit der Kontext, für den das Programm entwickelt wurde, demjenigen, in dem es evaluiert wird, entspricht Festlegung der Art und Weise, in der das konkret ausgewählte und auszuführende Programm mit demjenigen übereinstimmt, dass eigentlich untersucht werden soll => werden Änderungen vorgenommen? => Treatment-Repräsentativität (das tatsächlich ausgeführte Programm ist repräsentativ für dasjenige, für das Aussagen angestrebt werden) Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Evaluationspraxis Standards in Anwendung auf die Evaluation von lokalen Programmen Auszug aus DeGEval – Gesellschaft für Evaluation e.V. (2008), S. 40 Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Evaluationspraxis Standards in Anwendung auf die Evaluation von lokalen Programmen 3. Durchführung - Ordnungsgemäße(r) Ausführung bzw. Einsatz des vorgesehenen Programms sowie der zur Erfolgskontrolle ausgewählten Maße/Testverfahren (A5: Validität der Informationen, A6: Reliabilität der Informationen) ⇒ Qualität der Programmimplementation oder Programmausführung = Ausführungsintegrität - Auswirkungen der Evaluation (U7) zur Vergrößerung der Wahrscheinlichkeit, dass die Ergebnisse der Evaluation auch genutzt werden (gute, in benutzerfreundlicher Weise beschriebene Planung und Durchführung der Evaluation) - zur Aufrechterhaltung des Interesses der an der Evaluation beteiligten Personen => Rückmeldung über bisherigen Verlauf und bisherige Ergebnisse zu geeigneten Zeitpunkten (U6) Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Evaluationspraxis Standards in Anwendung auf die Evaluation von lokalen Programmen Auszug aus DeGEval – Gesellschaft für Evaluation e.V. (2008), S. 41 Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Evaluationspraxis Standards in Anwendung auf die Evaluation von lokalen Programmen 4. Auswertung drei Gruppen von Informationen: • im Hinblick auf Interventions- und Evaluationsziele erhobene Daten (z.B. Test- oder Fragebogenergebnisse) • (halb-)standardisierte Verfahren zur Erfassung der Programmdurchführung (z.B. Sitzungsprotokolle) • formelle/informelle Mitteilungen der an der Evaluation Beteiligten Zur Nutzung der Informationen: Berücksichtigung der Accuracy-Standards - Ausführliche Beschreibung/Begründung der Informationsquellen (A4) - Validität und Reliabilität der Informationen (A5, A6) - systematische Kontrolle der Informationen auf Fehlerhaftigkeit (A7) - Analyse quantitativer und qualitativer Informationen (A8, A9) Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Evaluationspraxis Standards in Anwendung auf die Evaluation von lokalen Programmen Auszug aus DeGEval – Gesellschaft für Evaluation e.V. (2008), S. 41 Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Evaluationspraxis Standards in Anwendung auf die Evaluation von lokalen Programmen 5. Evaluationsbericht und Publikation Wichtigkeit der genauen Beschreibung und Dokumentation: A1: hinreichend genaue Beschreibung und Dokumentation des Programms und seiner Durchführung A2: ausführliche und genaue Beschreibung des Programmkontextes (Ort, Zeit, Art der Durchführung, Qualifikation der Durchführenden, konkurrierende Aktivitäten, soziales Klima, etc.) A3: ausführliche Beschreibung der Evaluationsziele, der Evaluationsabsichten und Vorgehensweisen A10: explizite Begründung von Schlussfolgerungen, die aus der Evaluation gezogen werden A11: Schutz der Aufzeichnungen vor Verzerrungen, so dass Berichte die Evaluationsergebnisse fair wiedergeben A12: Evaluation der Evaluation Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Evaluationspraxis Standards in Anwendung auf die Evaluation von lokalen Programmen Auszug aus DeGEval – Gesellschaft für Evaluation e.V. (2008), S. 41/42 Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Evaluationspraxis Transformationstabelle für JCSEE und DeGEval Standards (Auszug) Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Standards für die Evaluationspraxis Nutzen der Anwendung der Standards für EvaluatorInnen: - Grundlage zur kritischen Reflexion des eigenen Handelns - in jeder Phase der Evaluation Hilfen zur Durchführung und Planung - Grundlage, anhand derer das eigene Vorgehen nach außen hin vertretbar wird (bei Rechtfertigungsdruck) Für betroffene Personen: - Standards bieten Informationen darüber, was von einer Evaluation und dem Bericht darüber eigentlich erwartet werden sollte oder kann Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Standards der Evaluationsforschung und -praxis 21. Mai 2013 Relevante Begriffe - Standards für die Evaluationsforschung - theory-driven approach - Standards für die Evaluationspraxis - Evaluationsziele - Treatment-Repräsentativität - Ausführungsintegrität Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann
