Anspruch an und Wirklichkeit von Evaluationen im Bereich von
Werbung
Anspruch an und Wirklichkeit von Evaluationen im Bereich von Gesundheitsförderung und Prävention Dagmar Starke, Günter Tempel Ausgangslage: Was ist das Problem? zeitlich begrenzte Projekte die Regel Aufbau nachhaltiger Strukturen sowie umfassende Evaluationen mit systematischen Effektmessungen die Ausnahme (ex post) Befragung zur Zufriedenheit von Teilnehmern und Akteuren die Regel Angemessene und – damit oft auch komplexe – Evaluationsdesigns überfordern die allermeisten Projekte fachlich und finanziell die Ausnahme 2 63. wissenschaftlicher Kongress des ÖGD | Berlin 25.-27.04.2013 | D Starke, G Tempel 4/27/2013 Was bedeutet Evaluation? Evaluation wird definiert als „die umfassende wissenschaftliche Beurteilung des Nutzens und zunehmend häufig der Kosten interner und externer Wirkungen von Produkten, Verfahren, Projekten, Modelle, Einrichtungen oder Programmen […].“ (Bitzer et al. 2012, 1124). 3 63. wissenschaftlicher Kongress des ÖGD | Berlin 25.-27.04.2013 | D Starke, G Tempel 4/27/2013 Was heißt wissenschaftsbasiert? Verwendung von wissenschaftlichen Methoden (z.B. der empirischen Sozialforschung) Definition des Untersuchungsgegenstandes keine Evaluation ohne Präzisierung Formulierung falsifizierbarer Erfolgsparameter Bewertung erzielter Ergebnisse 4 63. wissenschaftlicher Kongress des ÖGD | Berlin 25.-27.04.2013 | D Starke, G Tempel 4/27/2013 Formen der Evaluation /1 summativ und formativ (Scriven 1980) formative Evaluation Strukturen und Prozesse stehen im Vordergrund Korrekturen und Veränderungen können vorgenommen werden summative Evaluation 5 zielt darauf ab, zusammenfassend die Wirkung eines Programms, Projektes zu beurteilen, d.h. einschließlich negativer und unvorhergesehener Effekte 63. wissenschaftlicher Kongress des ÖGD | Berlin 25.-27.04.2013 | D Starke, G Tempel 4/27/2013 Formen der Evaluation /2 Selbst- und Fremdevaluation beschreibt die Beziehung zwischen Evaluator/innen und Evaluationsgegenstand „…Selbstevaluation meint entsprechend die Bewertung des eigenen Handelns, Fremdevaluation die Bewertung des Handelns anderer“ (Kolip et al. 2012, 178) 6 63. wissenschaftlicher Kongress des ÖGD | Berlin 25.-27.04.2013 | D Starke, G Tempel 4/27/2013 Formen der Evalution /3 intern und extern Intern: Evaluation aus der Organisation heraus Extern: Evaluation von Organisationen/Personen außerhalb des Systems 7 63. wissenschaftlicher Kongress des ÖGD | Berlin 25.-27.04.2013 | D Starke, G Tempel 4/27/2013 Formen der Evaluation /4 Planung, Prozess, Ergebnis Planungsevaluation Bewertung der Planung einer Intervention Prozessevaluation Überprüfung der Realisation und Durchführung einer Intervention Ergebnisevaluation Wirksamkeits- bzw. Nutzenbewertung (Rossi, Freeman 1993) 8 63. wissenschaftlicher Kongress des ÖGD | Berlin 25.-27.04.2013 | D Starke, G Tempel 4/27/2013 9 63. wissenschaftlicher Kongress des ÖGD | Berlin 25.-27.04.2013 | D Starke, G Tempel 4/27/2013 Warum überhaupt Evaluation? Ressourcenknappheit Sparzwänge der öffentlichen Hand, deshalb… Rationale Entscheidungsgrundlage: nachweisbarer Nutzen bzw. ausgebliebender Erfolg mehr Verteilungsgerechtigkeit, denn… Umfassendes Wissen über Projektergebnisse erschwert die Durchsetzung von Partikularinteressen Evaluation kein Verfahren für ethische oder moralische Entscheidungen 10 63. wissenschaftlicher Kongress des ÖGD | Berlin 25.-27.04.2013 | D Starke, G Tempel 4/27/2013 Evaluation als Teil des Qualitätsmanagements Qualitätssicherung/-management Gewährleisten/Optimieren der Qualität von Produkten, Dienstleistungen, Maßnahmen Ist-Soll-Abgleich zwischen wissenschaftlich festgelegten, evidenzbasierten Kriterien und beobachteter Ausprägung Bewertung Evaluationen unterstützen Qualitätssicherung 11 63. wissenschaftlicher Kongress des ÖGD | Berlin 25.-27.04.2013 | D Starke, G Tempel 4/27/2013 Qualitätsdimensionen (nach Donabedian 1980) Planungs-/Konzeptqualität Strukturqualität Prozessqualität Ergebnisqualität - höherer Grad an Qualitätssicherung bei Planung und Umsetzung - strukturgebender Charakter für formative Evaluation - Erhöhung von Effektivität und Effizienz 12 63. wissenschaftlicher Kongress des ÖGD | Berlin 25.-27.04.2013 | D Starke, G Tempel 4/27/2013 Instrumente zur Qualitätssicherung und Evaluation – Bund 13 63. wissenschaftlicher Kongress des ÖGD | Berlin 25.-27.04.2013 | D Starke, G Tempel 4/27/2013 Instrumente zur Qualitätssicherung und Evaluation – NRW 14 63. wissenschaftlicher Kongress des ÖGD | Berlin 25.-27.04.2013 | D Starke, G Tempel 4/27/2013 Instrumente zur Qualitätssicherung und Evaluation – externes Wissen 15 63. wissenschaftlicher Kongress des ÖGD | Berlin 25.27.04.2013 | D Starke, G Tempel 4/27/2013 Umsetzung Evaluationsroutinen Idealiter Teil des Projektkonzeptes Konsequente Orientierung an Projektmanagementmethoden als Teil der Qualitätssicherung Formative Evaluation wichtige Informationen zur Verbesserung von Abläufen und zur effektiveren Allokation von Ressourcen Summative Evaluation erzielter Nutzen, ausgebliebener Erfolg Projekt-Transfer 16 63. wissenschaftlicher Kongress des ÖGD | Berlin 25.-27.04.2013 | D Starke, G Tempel 4/27/2013 Vielen Dank! Dr. phil. Dagmar Starke Akademie für öffentliches Gesundheitswesen Kanzlerstr. 4, 40472 Düsseldorf Tel. 0211.31096-33 [email protected] www.akademie-oegw.de Dr. Günter Tempel Gesundheitsamt Bremen Horner Straße 60-70, 28203 Bremen Tel. 0421.361-15921 [email protected] http://www.gesundheitsamt.bremen.de/detail.php?gsid=bremen125.c.2 006.de 17 63. wissenschaftlicher Kongress des ÖGD | Berlin 25.-27.04.2013 | D Starke, G Tempel 4/27/2013
