Rahmenkonzept - Christian-Albrechts
Werbung
Sitzung 6: 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen Sozialpsychologie und Politische Psychologie HBM6: Evaluation (051105) Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Evaluationsrelevante Begriffe - Evaluation und Evaluationsforschung - Interventions- und Programmarten - Programmwirksamkeit und Programmwirkung 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen Überblick über heutige Sitzung - Formative und Summative Evaluation Rahmenkonzept zur Evaluation - Evaluation der Programmkonzeption - Formative Evaluation - Evaluation der Programmdurchführung - Evaluation der Programmwirksamkeit - Evaluation der Programmeffizienz Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann 1. Kenntnis und Differenzierungsfähigkeit evaluationsrelevanter Begriffe 2. Kenntnis und Verständnis der unterschiedlichen Evaluationsarten (Typen, Vorgehen, Schlussfolgerungen, etc.) 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen Lernziele: Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Evaluation von psychologischen Interventionsmaßnahmen als ⇒ konstituierender Bestandteil der Programmentwicklung und ⇒ grundlegende Voraussetzung ihrer Vermarktung 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen Forderung Vorschlag: Heuristisches Rahmenkonzept zur Programmevaluation (Unterscheidung zwischen fünf Arten von Evaluationen) ⟩ mögliche Ziele von Evaluationen (≠ Programmziele) Programmziele – mit Programm verbunden o. von außen mit ihnen assoziiert Evaluationsziele – von EvaluatorInnen festgelegt und auf Erreichungsgrad der (internen oder extern bestimmten) Ziele ausgerichtet, d.h. ob Programm wirksam ist Evaluationsuntersuchungen im engeren Sinne: Feststellung der relativen Wirksamkeit oder Effektivität Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Evaluation = ziel- und zweckorientierter Prozess zur Bewertung eines Evaluationsobjektes Evaluationsobjekte (Gegenstandsbereich von Evaluationen) 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen Evaluationsrelevante Begriffe = prinzipiell alles: Personen, Produkte, Techniken, Methoden, Zielvorgaben, Projekte und Programme, Systeme und Strukturen, Forschungsarbeiten, Umweltfaktoren und selbst Evaluationen Wissenschaftliche Evaluation = Bewertung eines Objektes stützt sich auf empirische Daten, die mit wissenschaftlichen Methoden beigebracht worden sind; = die wissenschaftlichen Methoden dienen vor allem dazu, Irrtümer und Fehler zu vermeiden, die bei fehlender wissenschaftlicher Kontrolle auftreten können Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Evaluationsforschung = wissenschaftlich fundierte, empirische und hypothesenorientierte Forschung unter systematischer Anwendung sozialwissenschaftlicher Forschungsmethoden 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen Evaluationsrelevante Begriffe = Ergebnisse der Evaluationsforschung bilden wesentliche Grundlage der wissenschaftlichen Evaluation oder Bewertung der Konzeption, Ausgestaltung, Umsetzung und des Nutzens sozialer und psychologischer Interventionsprogramme Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Interventions- und Programmarten Bereiche: pädagogisch-psychologisch, arbeits- und organisationspsychologisch oder klinisch-psychologisch 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen Evaluationsrelevante Begriffe Zielvorstellungen allgemeine Förderung und Entfaltung der seelischen und körperlichen Gesundheit (über das Erreichen von Teilzielen wie z.B. der Förderung bestimmter kognitiver, emotionaler u/o motivationaler Funktionsbereiche) präventive Interventionen zur Vorbeugung bestimmter Störungen in spezifischen Bereichen psychotherapeutische Interventionsmaßnahmen bei Vorliegen bereits manifester Störungen in bestimmten Funktionsbereichen zur Verminderung oder Beseitigung dieser Störungen klinisch-psychologische Rehabilitation zur Wiederherstellung psychischer Funktionen oder Vermeidung von Rückfällen in alte Störungsmuster Umfang flächendeckender Einsatz (z.B. Gesundheitsprogramme) vs. lokaler Einsatz (z.B. individuelle oder Kleingruppeninterventionen) Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Programmwirksamkeit und Programmwirkung Zentrale Aufgabe der Evaluationsforschung ⇒ empirischer Nachweis der Wirksamkeit von Programmen (≠ ≠ der Wirksamkeit liegen die postulierten Wirkungen zugrunde) 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen Evaluationsrelevante Begriffe Begriff der „Wirkung“ eher Oberbegriff oder übergeordnetes Konstrukt Evaluation der Programmwirkung => zwei Fragen: (1) Frage nach der Wirksamkeit eines Programmes: „Ist die angestrebte Wirkung aufgetreten? („Ob und in welchem Ausmaß?) = primäres Ziel der Evaluationsforschung (2) Frage nach dem zu Grunde liegenden Wirkmodell mit seinen angenommenen oder tatsächlichen Komponenten, Prinzipien, Mechanismen und Prozessen: „Warum ist die Wirkung eingetreten?“ Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Formative und Summative Evaluation Formative Evaluation (Scriven, 1967, 1972, 1991) Durchführung während der Entwicklung, Ausgestaltung und Erprobung eines Programmes bzw. einer Programmkonzeption 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen Evaluationsrelevante Begriffe Funktion(en): 1. Verbesserung und Optimierung eines Programmes unter den vorgesehenen Praxisbedingungen 2. Elaboration und (Weiter)entwicklung der zugrundeliegenden Programmkonzeption => oft mehrmalige Durchführung von den ProgrammautorInnen selbst (intern) ⇒ Aufzeigen von Schwächen des Programms ⇒ wissenschaftliche, besonders quantitative, Methoden eher unwichtig ⇒ eher informelle Evaluation Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Formative und Summative Evaluation Summative Evaluation (Scriven, 1967, 1972, 1991) Planung und Durchführung vornehmlich nach der Fertigstellung von Programmen, d.h. wenn: - Entwicklung des Programmes abgeschlossen ist 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen Evaluationsrelevante Begriffe - das Programm als Ganzes vorliegt und eingesetzt werden soll bzw. bereits implementiert ist Ziel: • Beantwortung von Fragen hinsichtlich der Wirksamkeit sowie ggf. des Nutzens von Programmen • Funktion der Antworten/Ergebnisse: 1) Begründung des Einsatzes eines best. Programmes gegenüber der Öffentlichkeit und dem Träger 2) Grundlage zur Entscheidungsfindung (z.B. Einführung eines Programmes in größerem Rahmen; Weiterführung eines Programmes, Auswahl von Alternativprogrammen) Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Formative und Summative Evaluation Summative Evaluation (Scriven, 1967, 1972, 1991) Empfehlung/Folgerung: ⇒ externe Durchführung 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen Evaluationsrelevante Begriffe ⇒ zentrale Rolle von wissenschaftlichen, besonders quantitativen, Methoden ⇒ eher formelle Evaluation ACHTUNG: keine Gleichsetzung von summativer Evaluation mit Ergebnisevaluation • Ergebnisevaluationen können summativ u/o formativ durchgeführt werden. • Summative Evaluationen können global oder analytisch angelegt werden. Globale Evaluationen bewerten ein Programm als Ganzes im Hinblick auf seine grundsätzliche Wirksamkeit oder Durchführbarkeit. Analytische Evaluationen unterziehen die einzelnen Komponenten oder Bestandteile eines Programms einer detaillierten Überprüfung Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann 5 Evaluationsarten (in verschiedenen zeitlichen Phasen) A) Evaluation der Programmkonzeption - vor der Erprobung eines Programms 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen Rahmenkonzept zur Evaluation psychologischer IM => Bewertung der Ausarbeitung und Gestaltung der geplanten Maßnahmen sowie der Konzeption des Programmes vor dem Hintergrund der technologischen Modellvorstellungen => Abschätzung der Wahrscheinlichkeit seiner Wirksamkeit (antizipatorische oder prospektive Evaluation) Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann 5 Evaluationsarten (in verschiedenen zeitlichen Phasen) B) Formative Evaluation - Erprobungs- und Testphase (fortlaufende Evaluation) 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen Rahmenkonzept zur Evaluation psychologischer IM => Optimierung des Programms als Ganzes und/oder seiner Komponenten im Hinblick auf Zielsetzung, Anwendbarkeit und Wirksamkeit => unter Umständen Einschluss von Modifikationen der ursprünglichen Programmkonzeption und deren erneuter Prüfung Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann 5 Evaluationsarten (in verschiedenen zeitlichen Phasen) C) Evaluation der Programmdurchführung 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen Rahmenkonzept zur Evaluation psychologischer IM => Kontrolle und Bewertung der Umsetzung und Ausführung der Maßnahmen im alltagspraktischen Einsatz (= Implementationsgüte) - Aufdeckung und Beseitigung von Problemen, die aus Durchführung des Programmes unter Alltagsbedingungen resultieren und möglicherweise die Zielsetzung und Wirksamkeit des Programmes gefährden können Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann 5 Evaluationsarten (in verschiedenen zeitlichen Phasen) D) 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen Rahmenkonzept zur Evaluation psychologischer IM Evaluation der Programmwirksamkeit (zwei Aspekte) 1) Veränderungen auf Seiten der Zielpersonen im Verlauf der Intervention, denen im Rahmen einer Prozessevaluation nachgegangen wird 2) Veränderungen nach der Durchführung des Programms = Erfolgs- oder Ergebnisevaluationen => Feststellung der Wirksamkeit eines Programms => Feststellung der Art der Wirkungen hinsichtlich Intensität und Extensität, sowie möglicher Neben- und Folgewirkungen - oft rein summativ, können aber auch formativ durchgeführt werden Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann 5 Evaluationsarten (in verschiedenen zeitlichen Phasen) E) Evaluation der Programmeffizienz - Bewertung von Programmen unter Ökonomiegesichtspunkten 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen Rahmenkonzept zur Evaluation psychologischer IM => Gegenüberstellung der Kosten und Wirkungen von Programmen (setzt Nachweis der Programmwirksamkeit voraus) - Kosten-Nutzen-Analyse - Kosten-Effektivitätsanalyse Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen Rahmenkonzept zur Evaluation psychologischer IM Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Zentrale Arbeitsschritte und Aufgaben A1 Problembestimmung und Entscheidung über den Bereich der Intervention A2 Zielbestimmung 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen A) Evaluation der Programmkonzeption Überführung allgemeiner Zielvorstellungen in Operationsziele Formulierung weiterer spezifischer Ziele ggf. Festlegung einer spezifischen Zielgruppe A3 Konzeption und Gestaltung des Programms, hinsichtlich Art und Inhalt der Vermittlungsmethoden und -strategien der Vermittlungspersonen A4 Auswahl geeigneter diagnostischer Methoden und Verfahren zur Ermittlung des angestrebten Programmerfolges zur Erfassung der spezifischen Zielgruppe A5 Zusammenfassende Bewertung der Programmkonzeption, in Hinblick auf ihre theoretisch-wissenschaftliche Fundierung die Tragfähigkeit und Bewährtheit des zugrunde gelegten Wirkmodells die Durchführbarkeit, Angemessenheit und Akzeptanz im vorgesehenen Praxisfeld Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Zentrale Arbeitsschritte und Aufgaben B1 Bewertung der Programmimplementation Durchführbarkeit der Interventionsmaßnahme Akzeptanz seitens der Programmvermittler(innen) und Programmteilnehmer(innen) 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen B) Formative Evaluation B2 Bewertung der Zielsetzung des Programms Wirksamkeit und Neben- sowie Folgewirkungen (soweit möglich) B3 Bewertung der Effizienz des Programms Aufwand des Programmes in Relation zur Wirksamkeit (Kosten-EffektivitätsRelation) darauf aufbauend weitere Schritte: Elaboration und Weiterentwicklung des Programmes Ggf. Modifikation der ursprünglichen Programmkonzeption und weitere formative Evaluation Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Zentrale Aufgaben und Arbeitsschritte der Evaluation der Programmdurchführung Kontrolle der Programmausführung Kontrolle der Programmreichweite C1 Supervision und Überwachung der Programmausführung 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen C) Evaluation der Programmdurchführung Im Hinblick auf Form, Inhalt und Vermittlungsstrategie der Maßnahme laut Programmvorgaben ggf. Nachschulung und/oder Motivierung der Programmvermittler(innen) zur Optimierung der Programmausführung C2 Bewertung der Durchführbarkeit unter alltagspraktischen Bedingungen (formativer Aspekt) ggf. Modifikation der Maßnahme durch Anpassung an die vorliegenden Rahmenbedingungen oder Veränderung der Rahmenbedingungen (Beseitigung von Hindernissen) Vorlesung: Evaluation SS 2013 C3 Feststellung von Verzerrungen in der Programmreichweite C4 Vergleich von Programmteilnehmer(inne)n und Abbrecher(inne)n ggf. zusätzliche Motivierung der Programmteilnehmer(innen) zur Verringerung der Schwund- und Ausfallquote Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen D) Evaluation der Programmwirksamkeit Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Zentrale Arbeitsschritte und Aufgaben summativer Wirksamkeitsevaluationen Global: D1 Steigerung von K-Kompetenzen 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen D) Evaluation der Programmwirksamkeit 1) Isolierte Evaluation mit der Zielgruppe zur Ermittlung von kurzfristig verfügbaren oder K-Kompetenzen (Nachtest im unmittelbaren Anschluss an das Ende der Intervention erlaubt die Ermittlung von K-Kompetenzen; hierbei erfolgt auch die Feststellung der Intensität der Wirksamkeit). 2) Isolierte Evaluation mit der Zielgruppe zur Ermittlung der Steigerung von KKompetenzen bei programmfernen Kriteriumsmaßen und/oder in interventionsfernen Kontexten (fakultativ zusätzlich Feststellung der Intensität der Transferarten) 3) Überprüfung der kurzfristigen Neben- und Folgewirkungen und ihrer Intensität 4) Isolierte Evaluation zur Prüfung der Wirksamkeit einzelner Komponenten des Programmes (analytische Komponentenevaluation) zur Identifikation der wirksamen und unwirksamen Programmkomponenten Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Zentrale Arbeitsschritte und Aufgaben summativer Wirksamkeitsevaluationen Global: D2 Steigerung von L-Kompetenzen 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen D) Evaluation der Programmwirksamkeit 1) Isolierte Evaluation mit der Zielgruppe zur Ermittlung von längerfristig verfügbaren oder L-Kompetenzen, also bestimmten Dauerwirkungen, zunächst bei programmnahen Kriteriumsaufgaben und Erhebungskontexten (Feststellung des zeitlichen Transfers und ggf. der Transferintensität). 2) Isolierte Evaluation mit der Zielgruppe zur Ermittlung der Verbesserung von L-Kompetenzen bei programmfernen Kriteriumsmaßen) 3) Überprüfung der längerfristigen Neben- und Folgewirkungen und ihrer Intensität 4) Isolierte Evaluation mit der Zielgruppe zur Prüfung spezieller Hypothesen über Wirkungen, Transfer usw. (fakultativer Arbeitsschritt) Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Zentrale Arbeitsschritte und Aufgaben summativer Wirksamkeitsevaluationen Global: D3 Transfer auf Alltagsbereiche 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen D) Evaluation der Programmwirksamkeit Isolierte Evaluation mit der Zielgruppe zur Ermittlung des Ausmaßes von Transfer auf programmzielrelevante Alltagssituationen und -probleme Feststellung eines speziellen Anforderungs- und eines speziellen Situationstransfers Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Zentrale Arbeitsschritte und Aufgaben summativer Wirksamkeitsevaluationen Analytisch: D4 Merkmale der Programmvermittler(innen) und der Zielpersonen 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen D) Evaluation der Programmwirksamkeit 1) Isolierte Evaluation zur Feststellung der Verlässlichkeit des Programmes gegenüber verschiedenen Vermittlungspersonen und der Robustheit unter unterschiedlichen Rahmenbedingungen. 2) Isolierte Evaluation zur Überprüfung differenzieller Programmwirkungen in verschiedenen Zielgruppen 3) Untersuchung der Wirksamkeit sowohl für ganzen Personengruppen („Gruppenanalysen“ ) als auch für Einzelpersonen („Einzelfallanalysen“) zur Feststellung der „Responder“ und der „Nonresponder“ Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Zentrale Arbeitsschritte und Aufgaben summativer Wirksamkeitsevaluationen Analytisch: D5 Art der Wirkungen des Programmes 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen D) Evaluation der Programmwirksamkeit 1) Isolierte Evaluation zur Prüfung der Art der Wirkungen des gesamten Programmes. 2) Isolierte Evaluation zur Prüfung der Art der Wirkungen einzelner Komponenten des Programmes (analytische Komponentenevaluation). Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Zentrale Arbeitsschritte und Aufgaben summativer Wirksamkeitsevaluationen Global/Analytisch: D6 Weitere Fragestellungen und Hypothesen 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen D) Evaluation der Programmwirksamkeit Prüfung weiterer Hypothesen, die sich entweder auf die Wirkungen und/oder die Wirksamkeit oder auf andere wichtig erscheinende Aspekte des Programmes sowie auf Randbedingungen seiner Anwendung beziehen (fakultativer Arbeitsschritt) Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Zentrale Arbeitsschritte und Aufgaben summativer Wirksamkeitsevaluationen D7 Meta-Evaluation bisheriger Evaluationen 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen D) Evaluation der Programmwirksamkeit Metaanalysen bisheriger Evaluationen dienen der Feststellung der Wirksamkeit und der Wirkungen unter den verschiedenen untersuchten Bedingungen (obligatorischer Arbeitsschritt, sofern eine hinreichende Anzahl von Einzelstudien vorhanden ist) Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen Aufgaben und Arbeitsschritte im Rahmen von Wirksamkeitsanalysen Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Frage: Ist ein Programm auch unter dem Gesichtspunkt der damit verbundenen Kosten positiv zu bewerten und wenn ja, inwiefern? Beantwortung mit Hilfe von Kosten-Effizienz-Analysen 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen E) Evaluation der Programmeffizienz (auch bezeichnet als Kosten-Analysen oder Effizienz-Analysen) ⇒ Wichtige Bewertungsgrundlage für Entscheidungsprozesse als Begründung oder Rechtfertigung für die Anwendung, Weiterführung oder Einstellung von Programmen als Kriterium für die Auswahl zwischen verschiedenen Alternativprogrammen Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Zwei Grundformen der Kosten-Effizienz-Analyse Kosten-Effektivitäts-Analyse 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen E) Evaluation der Programmeffizienz Betrachtung der Programmkosten im Verhältnis zu den erzielten Veränderungen in den Zielindikatoren Programmwirkungen werden in Maßeinheiten der untersuchten Zielvariable oder durch zuvor festgelegte Kriterien der Zielerreichung ausgedrückt, aber nicht als monetäre Einheit ⇒ nur bei solchen Programmen geeignet, bei denen sich die Programmwirkungen nicht in Geldeinheiten überführen lassen ⇒ die so ermittelte Kosten-Effektivität ist nur dann aussagekräftig, wenn mind. 2 Programme mit gleicher Zielsetzung und gleichen Kriteriumsmaßen miteinander verglichen werden (= nur bei vergleichenden Evaluationen anwendbar) Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Zwei Grundformen der Kosten-Effizienz-Analyse Kosten-Nutzen-Analyse 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen E) Evaluation der Programmeffizienz Betrachtung der Programmkosten im Verhältnis zu den erzielten Programmwirkungen (vor allem erzielte Veränderungen in den Zielindikatoren) ⇒ erfordern, dass neben den Programmkosten auch die Programmwirkungen in monetäre Einheiten überführt werden ⇒ können auch bei isolierten Evaluationen einzelner Programme durchgeführt werden Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen E) Evaluation der Programmeffizienz Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Zentrale Arbeitsschritte und Aufgaben E1 Erfassung aller Programmkosten und Programmwirkungen 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen E) Evaluation der Programmeffizienz Erstellung einer möglichst vollständigen Liste aller Aufwendungen und Wirkungen, die im Zusammenhang mit der Anwendung eines Programmes aufgetreten oder zu erwarten sind. Als Programmkosten und -aufwendungen gelten alle zur Durchführung des Programms notwendigen Leistungen und Ressourcen (wie z.B. Personal-, Betriebs- und Materialkosten) Programmkosten werden i.A. in Geldbeträgen ausgedrückt. (=> Arbeitsschritt E2 – Bestimmung der Gesamtkosten in Geldeinheiten) auf Seiten der Programmwirkungen: neben erzielten oder zu erwartenden Wirkungen auch Berücksichtigung von u.U. vorkommenden Neben- und Folgewirkungen Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Zentrale Arbeitsschritte und Aufgaben Kosten-Nutzen-Analysen 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen E) Evaluation der Programmeffizienz ⇒ Programmwirkungen werden in monetäre Einheiten überführt ⇒ zur Berechnung des Gesamtnutzens werden Nutzen durch Kosteneinsparung und Nutzen durch Zugewinn veranschlagt = Arbeitsschritt E3a – Bestimmung des Gesamtnutzens in Geldeinheiten Kosten-Effektivitäts-Analysen ⇒ nur Programmkosten werden in monetäre Einheiten überführt ⇒ Programmwirkungen werden in Maßeinheiten der Zielvariablen oder durch zuvor festgelegte Kriterien der Zielerreichung ausgedrückt = Arbeitsschritt E3b – Bestimmung der Gesamtwirkung in Zieleinheiten Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Zentrale Arbeitsschritte und Aufgaben E4 Bestimmung der Programmeffizienz Kosten-Nutzen-Analysen 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen E) Evaluation der Programmeffizienz ⇒ Gesamtkosten und Gesamtnutzen werden gegenüber gestellt und anschließend zu einem Gesamtwert verrechnet ⇒ je nachdem, ob isolierte oder vergleichende Evaluationen beabsichtigt sind, können… berechnet werden: Netto-Nutzen Nutzen-Kosten-Quote Profitrate Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Zentrale Arbeitsschritte und Aufgaben E4 Bestimmung der Programmeffizienz Netto-Nutzen 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen E) Evaluation der Programmeffizienz ⇒ Differenz zwischen Nutzen des Programms und seinen Kosten Beispiel: Programm EP verursacht pro Person 400,-€ Kosten, aber sein Nutzen pro Person beträgt 3000,-€. Netto-Nutzen: 3.000,-€ - 400,- € = 2.600,- € Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Zentrale Arbeitsschritte und Aufgaben E4 Bestimmung der Programmeffizienz Netto-Nutzen-Quote (oder Nutzen-Kosten-Quote) 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen E) Evaluation der Programmeffizienz ⇒ Verhältnis von Netto-Nutzen und Kosten ⇒ besonders geeignet für vergleichende Evaluationen Beispiel: Programm EP verursacht pro Person 400,-€ Kosten, aber sein Nutzen pro Person beträgt 3000,-€. Netto-Nutzen: 3.000,-€ - 400,- € = 2.600,- € Netto-Nutzen-Quote: 2.600,- € / 400,-€ = 6,5 Wert kann verglichen werden mit Netto-Nutzen-Quote eines zweiten Programms AP, das 600,-€ Kosten verursacht, aber 4.000,-€ Nutzen hervorbringt. Die Nutzen-Kosten-Quote von AP = 3.400,-€ / 600,-€ = 5,6 Programm AP: höherer absoluter Nutzen, aber geringerer relativer Nutzen Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Zentrale Arbeitsschritte und Aufgaben E4 Bestimmung der Programmeffizienz Profitrate 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen E) Evaluation der Programmeffizienz ⇒ Verhältnis von Netto-Nutzen (Gesamtnutzen minus Gesamtkosten) und Gesamtnutzen ⇒ besonders geeignet für vergleichende Evaluationen - bei Profitrate > 0 => Programm erbringt einen Gewinn - bei Profitrate = 0 => Gesamtkosten und Gesamtnutzen sind gleich - bei Profitrate < 0 => Zuschussgeschäft, Kosten sind größer als Nutzen Beispiel: Für EP: Profitrate: 2.600,- € / 3000,-€ = 0,87 Für AP: Profitrate: 3.400.-€ / 4.000,-€ = 0,85 Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Zentrale Arbeitsschritte und Aufgaben E4 Bestimmung der Programmeffizienz Kosten-Effektivitäts-Analysen 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen E) Evaluation der Programmeffizienz ⇒ nur Programmkosten werden in monetäre Einheiten überführt ⇒ Programmwirkungen werden in Maßeinheiten der Zielvariablen oder durch zuvor festgelegte Kriterien der Zielerreichung ausgedrückt ⇒ nur bei vergleichenden Evaluationen sinnvoll Kosten je Messeinheit in der Zielvariablen Kosten pro erfolgreich behandelter Zielperson Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Zentrale Arbeitsschritte und Aufgaben E4 Bestimmung der Programmeffizienz Kosten je Messeinheit in Zielvariablen 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen E) Evaluation der Programmeffizienz Beispiel Programm EP: Kosten pro behandelter Person 400,-€ mittlerer Zuwachs in Zielgruppe von 10 Testpunkten in Kriteriumsvariable Programmkosten je Wirkungseinheit (Testwert): 400,-€ / 10 Pkt = 40,-€ Wert allein nicht aussagekräftig im Hinblick auf Effizienz; nur wenn ein alternatives Programm AP (mit gleicher Zielsetzung und gleichen Kriteriumsvariablen) mit EP im Rahmen einer vergleichenden Evaluation verglichen wird. Programm AP: Kosten pro behandelter Person: 600,-€ mittlerer Zuwachs in Zielgruppe von 20 Testpunkten in KV Programmkosten je Wirkungseinheit: 600,-€ / 20 Pkt. = 30,-€ Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Zentrale Arbeitsschritte und Aufgaben E4 Bestimmung der Programmeffizienz Kosten pro erfolgreich behandelter Zielperson 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen E) Evaluation der Programmeffizienz => nur möglich bei Festlegung klarer Kriterien, durch die ein Programmerfolg eindeutig definiert ist Beispiel Programm EP: Erfolgsquote von 40% Programm AP: Erfolgsquote von 80% (=> höherer Zuwachs in Kriteriumsvariablen) Kosten für eine durch Programm EP erfolgreich behandelte Person = 1000,-€ (400,-€ Kosten / 0,4 (40% Erfolgsquote) Kosten für eine durch Programm AP erfolgreich behandelte Person = 750,- € (600,-€ Kosten / 0,8 Erfolgsquote) Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann • Evaluation und Evaluationsforschung • Programmwirksamkeit und Programmwirkung • Formative und Summative Evaluation 14. Mai 2013 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen Relevante Begriffe • antizipatorische oder prospektive Evaluation • Prozess- , Erfolgs- oder Ergebnisevaluation • Globale vs. Analytische Evaluation • Programmeffizienz • Kosten-Nutzen-Analysen • Kosten-Effektivitätsanalysen Vorlesung: Evaluation SS 2013 Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann
