Anspruch an und Wirklichkeit von Evaluationen im Bereich von

Anspruch an und Wirklichkeit von
Evaluationen im Bereich von
Gesundheitsförderung und Prävention
Dagmar Starke, Günter Tempel
Ausgangslage: Was ist das Problem?

zeitlich begrenzte Projekte  die Regel

Aufbau nachhaltiger Strukturen sowie umfassende
Evaluationen mit systematischen Effektmessungen
 die Ausnahme

(ex post) Befragung zur Zufriedenheit von Teilnehmern
und Akteuren  die Regel

Angemessene und – damit oft auch komplexe –
Evaluationsdesigns überfordern die allermeisten Projekte
fachlich und finanziell  die Ausnahme
2
63. wissenschaftlicher Kongress des ÖGD | Berlin 25.-27.04.2013 |
D Starke, G Tempel
4/27/2013
Was bedeutet Evaluation?
Evaluation wird definiert als „die umfassende
wissenschaftliche Beurteilung des Nutzens und
zunehmend häufig der Kosten interner und externer
Wirkungen von Produkten, Verfahren, Projekten,
Modelle, Einrichtungen oder Programmen […].“
(Bitzer et al. 2012, 1124).

3
63. wissenschaftlicher Kongress des ÖGD | Berlin 25.-27.04.2013 |
D Starke, G Tempel
4/27/2013
Was heißt wissenschaftsbasiert?

Verwendung von wissenschaftlichen Methoden
(z.B. der empirischen Sozialforschung)

Definition des Untersuchungsgegenstandes
 keine Evaluation ohne Präzisierung

Formulierung falsifizierbarer Erfolgsparameter
 Bewertung erzielter Ergebnisse
4
63. wissenschaftlicher Kongress des ÖGD | Berlin 25.-27.04.2013 |
D Starke, G Tempel
4/27/2013
Formen der Evaluation /1
summativ und formativ (Scriven 1980)
formative Evaluation



Strukturen und Prozesse stehen im Vordergrund
Korrekturen und Veränderungen können
vorgenommen werden
summative Evaluation


5
zielt darauf ab, zusammenfassend die Wirkung
eines Programms, Projektes zu beurteilen, d.h.
einschließlich negativer und unvorhergesehener
Effekte
63. wissenschaftlicher Kongress des ÖGD | Berlin 25.-27.04.2013 |
D Starke, G Tempel
4/27/2013
Formen der Evaluation /2
Selbst- und Fremdevaluation

beschreibt die Beziehung zwischen
Evaluator/innen und Evaluationsgegenstand

„…Selbstevaluation meint entsprechend die
Bewertung des eigenen Handelns,
Fremdevaluation die Bewertung des Handelns
anderer“ (Kolip et al. 2012, 178)
6
63. wissenschaftlicher Kongress des ÖGD | Berlin 25.-27.04.2013 |
D Starke, G Tempel
4/27/2013
Formen der Evalution /3
intern und extern

Intern: Evaluation aus der Organisation heraus

Extern: Evaluation von Organisationen/Personen
außerhalb des Systems
7
63. wissenschaftlicher Kongress des ÖGD | Berlin 25.-27.04.2013 |
D Starke, G Tempel
4/27/2013
Formen der Evaluation /4
Planung, Prozess, Ergebnis
Planungsevaluation


Bewertung der Planung einer Intervention
Prozessevaluation


Überprüfung der Realisation und Durchführung
einer Intervention
Ergebnisevaluation


Wirksamkeits- bzw. Nutzenbewertung
(Rossi, Freeman 1993)
8
63. wissenschaftlicher Kongress des ÖGD | Berlin 25.-27.04.2013 |
D Starke, G Tempel
4/27/2013
9
63. wissenschaftlicher Kongress des ÖGD | Berlin 25.-27.04.2013 |
D Starke, G Tempel
4/27/2013
Warum überhaupt Evaluation?

Ressourcenknappheit  Sparzwänge der
öffentlichen Hand, deshalb…

Rationale Entscheidungsgrundlage: nachweisbarer
Nutzen bzw. ausgebliebender Erfolg  mehr
Verteilungsgerechtigkeit, denn…

Umfassendes Wissen über Projektergebnisse
 erschwert die Durchsetzung von
Partikularinteressen

Evaluation  kein Verfahren für ethische oder
moralische Entscheidungen
10
63. wissenschaftlicher Kongress des ÖGD | Berlin 25.-27.04.2013 |
D Starke, G Tempel
4/27/2013
Evaluation als Teil des
Qualitätsmanagements

Qualitätssicherung/-management 
Gewährleisten/Optimieren der Qualität von
Produkten, Dienstleistungen, Maßnahmen

Ist-Soll-Abgleich zwischen wissenschaftlich
festgelegten, evidenzbasierten Kriterien und
beobachteter Ausprägung  Bewertung

Evaluationen  unterstützen Qualitätssicherung
11
63. wissenschaftlicher Kongress des ÖGD | Berlin 25.-27.04.2013 |
D Starke, G Tempel
4/27/2013
Qualitätsdimensionen (nach Donabedian 1980)
Planungs-/Konzeptqualität
Strukturqualität
Prozessqualität
Ergebnisqualität
- höherer Grad an Qualitätssicherung bei
Planung und Umsetzung
- strukturgebender Charakter für formative
Evaluation
- Erhöhung von Effektivität und Effizienz
12
63. wissenschaftlicher Kongress des ÖGD | Berlin 25.-27.04.2013 |
D Starke, G Tempel
4/27/2013
Instrumente zur Qualitätssicherung und
Evaluation – Bund
13
63. wissenschaftlicher Kongress des ÖGD |
Berlin 25.-27.04.2013 | D Starke, G Tempel
4/27/2013
Instrumente zur Qualitätssicherung und
Evaluation – NRW
14
63. wissenschaftlicher Kongress des ÖGD |
Berlin 25.-27.04.2013 | D Starke, G Tempel
4/27/2013
Instrumente zur Qualitätssicherung und
Evaluation – externes Wissen
15
63. wissenschaftlicher Kongress des ÖGD | Berlin 25.27.04.2013 | D Starke, G Tempel
4/27/2013
Umsetzung

Evaluationsroutinen  Idealiter Teil des
Projektkonzeptes

Konsequente Orientierung an
Projektmanagementmethoden als Teil der
Qualitätssicherung

Formative Evaluation  wichtige Informationen zur
Verbesserung von Abläufen und zur effektiveren
Allokation von Ressourcen

Summative Evaluation  erzielter Nutzen,
ausgebliebener Erfolg

Projekt-Transfer
16
63. wissenschaftlicher Kongress des ÖGD | Berlin 25.-27.04.2013 |
D Starke, G Tempel
4/27/2013
Vielen Dank!
Dr. phil. Dagmar Starke
Akademie für öffentliches Gesundheitswesen
Kanzlerstr. 4, 40472 Düsseldorf
Tel. 0211.31096-33
[email protected]
www.akademie-oegw.de
Dr. Günter Tempel
Gesundheitsamt Bremen
Horner Straße 60-70, 28203 Bremen
Tel. 0421.361-15921
[email protected]
http://www.gesundheitsamt.bremen.de/detail.php?gsid=bremen125.c.2
006.de
17
63. wissenschaftlicher Kongress des ÖGD | Berlin 25.-27.04.2013 |
D Starke, G Tempel
4/27/2013