Qualität von Humandienstleistungen
Werbung
Hildegard Müller-Kohlenberg Klaus Münstermann (Hrsg.) Qualität von Humandienstleistungen Evaluation und Qualitätsmanagement in Sozialer Arbeit und Gesundheitswesen Leske + Budrich, Opladen 2000 Inhalt Vorwort 15 Beiträge zu Methoden, Standards und Nutzen von Evaluation und Qualitätsmanagement Helmut Kromrey Die Bewertung von Humandienstleistungen. Fallstricke bei der Implementations- und Wirkungsforschung sowie methodische Alternativen 1 2 2.1 2.2 2.3 2.4 2.5 3 3.1 3.1.1 3.1.2 3.1.3 3.1.4 3.2 3.2.1 3.2.2 Vorbemerkung: Dilemmata einer Aufgabenkombination Evaluation, Innovationen, Dienstleistungen Die Vielfalt von Evaluationen: eine grobe Klassifikation Das „Forschungsparadigma" der Evaluation Das „Kontrollparadigma" der Evaluation Das „Entwicklungsparadigma" der Evaluation Welches „Paradigma" ist das zur Evaluation von Humandienstleistungen geeignetste? Zur „Theorie der Evaluation" Das Leitkonzept für das Forschungs- und das Kontrollparadigma der Evaluation: Programmforschung Begriffsexplikation Implementations- oder Wirkungsforschung: Was wird evaluiert? Summative oder formative Evaluation: Wann wird evaluiert? .... Externe oder interne Evaluation: Wo ist die Evaluation angesiedelt? Instanzen der Evaluierung: Wer beurteilt nach welchen Kriterien? Methoden der Programmforschung Ziel-und Maßnahmenanalyse Konzipierung der Wirkungen (Modell des Wirkungsfeldes) 19 19 25 25 26 26 27 29 30 30 32 32 33 33 34 36 40 6 Inhalt 3.2.3 Das Feldexperiment als Referenzdesign für die Programmforschung 3.3 Alternativen zum Experimentaldesign 3.3.1 Alternativen im Forschungsparadigma: „ex-post-facto-Design", theoriebasierte Evaluation; Meta-Analyse 3.3.2 Alternativen im Kontrollparadigma: Indikatorenmodelle, Bewertung durch Betroffene 4 Das Leitkonzept für das Entwicklungsparadigma der Evaluation: Das „Helfer- und Beraterlnnenmodell" der Evaluation Christopher Pollitt Qualitätsmanagement und Evaluation in Europa: Strategien der Innovation oder der Legitimation? 1 2 3 4 5 6 Generelle Perspektive Zielsetzungen dieses Beitrags Modelle von Evaluation und Qualitätsmanagement: - Einige Ähnlichkeiten Modelle von Evaluation und Qualitätsmanagement: - Einige Unterschiede Evaluations- und Qualitätsmanagementmodelle: - Variationen innerhalb beider Aktivitäten Die Beziehung(en) zwischen Evaluation und Qualitätsmanagement Thomas Widmer Kontext, Inhalt und Funktion der „Standards für die Evaluation von Programmen" 1 2 2.1 2.2 2.3 2.4 3 3.1 3.2 3.3 3.4 4 4.1 Die Entstehung der Standards Interaktionstheoretisches Modell und Konsequenzen für die Evaluationsgestaltung Interaktion Politik/Verwaltung - Evaluation Interaktion Wissenschaft - Evaluation Interaktion Öffentlichkeit - Evaluation Zusammenfassung Inhalt der „Standards für die Evaluation von Programmen" Nützlichkeit Durchführbarkeit Korrektheit Genauigkeit Funktionen der „Standards für die Evaluation von Programmen" Handlungsanleitung bei der Planung und Ausführung von Evaluationen 43 47 47 52 55 59 59 61 62 65 68 69 77 77 79 80 81 81 82 82 83 83 83 83 85 85 Inhalt 4.2 4.3 4.4 4.5 4.6 4.7 7 Didaktisches Instrument in Aus- und Weiterbildung für (angehende) Evaluatorlnnen Instrument zur systematischen Selbstreflexion im Evaluationsprozess Bewertungsgrundlage in Meta-Evaluationen Bestandteil von Evaluationskontrakten, Reglementen, Weisungen, Handbüchern u.ä Identitätsstiftende Grundlage der Evaluationsgemeinde Zum Abschluss: Dysfunktionalitäten 85 86 86 86 86 87 Reinhard Stockmann Methoden der Wirkungs- und Nachhaltigkeitsanalyse: Zur Konzeption und praktischen Umsetzung 89 1 2 3 3.1 3.2 90 94 96 96 97 Elemente des theoretischen Grundmodells Das Analyseraster Nützlichkeit Nützlichkeit des Ansatzes für die Anwenderinnen Nützlichkeit der Ergebnisse für die Auftraggeberinnen Hildegard Müller-Kohlenberg, Cornelia Kammann Die Nutzerinnenperspektive in der Evaluationsforschung: Innovationsquelle oder opportunistische Falle? 1 1.1 1.2 2 2.1 2.2 2.2.1 2.2.2 2.2.3 2.2.4 2.3 Wie beurteilen Menschen mit psychischen Problemen ihre Behandlung und Therapie? Forschungsmethodischer Rückblick: Der Weg zur qualitativen Forschung Erträge der quantitativen Forschung Wie erleben Kinder mit kognitiven Behinderungen ihre Situation in der Sonderschule bzw. in Integrationsklassen? Befragungsinstrument: Das konsekutive Interview Datenerhebung und Befragungsergebnisse Wie schätzen nichtbehinderte Schülerinnen aus Integrationsklassen ihre behinderten Mitschülerinnen ein? - (Das Fremdbild) Wie bewerten behinderte Schülerinnen aus den verschiedenen Einrichtungen ihre Pause? Lassen sich Stigmatisierungssituationen in Integrationsklassen aufzeigen? Vergleich mit früheren Untersuchungsergebnissen Die Bedeutung der Nutzerinnenperspektive für die Sonderpädagogik 99 100 100 105 106 107 107 108 110 111 113 114 8 3 3.1 3.2 3.2.1 3.2.2 3.3 3.3.1 3.3.2 3.3.3 4 Inhalt Die Sicht der Nutzerinnen: Eine komplementäre Perspektive zur Bewertung von Humandienstleistungen Welche Forderungen sind an die Erforschung der Nutzerinnenperspektive zu richten? Welche innovativen Hinweise können durch die Erforschung der Nutzerinnenperspektive gewonnen werden? (Einige Beispiele) .. Unerwartetes Unbewusstes oder Abgewehrtes Welche „Fallen" können sich bei der Erforschung und Interpretation der Nutzerinnenperspektive sowie der praktischen Verwendung der Ergebnisse auftun? Das Kundinnenkonzept Nutzerinnenperspektive und Entscheidungen für die Zukunft Das Problem repräsentativer Stichproben Nutzerinnenbefragung und professionelle Standards 114 114 115 115 116 117 117 118 119 120 Uta Stockbauer Was macht Evaluationen nützlich? Überblick zum Forschungsstand - Ergebnisse von Fallstudien 121 1 2 121 126 Überblick zum Forschungsstand Ergebnisse aus Fallstudien Qualität im Gesundheitswesen: Patientinnenerwartungen, fachliche Standards und der soziale Kontext Alison Kitson Evaluation und Qualitätsmanagement im Bereich der Gesundheitswissenschaften: Reise in das Unbekannte 1 2 3 4 4.1 4.2 4.3 5 6 7 Einführung Arten der Urteilsbildung über die Qualität von Dienstleistungen Schlüsselelemente innerhalb des Prozesses der Evaluation im Pflegebereich Rahmenvorschläge für die praktische Umsetzung von Forschung Die Art der Evidenz Art des Kontextes Facilitation oder Veränderungs-Management Das Verhältnis zwischen Evidenz, Kontext und Facilitation (bei hoher Evidenz) Testen des Schemas Die Bedeutung des Schemas in Bezug auf die Entwicklung von Evaluations- und Qualitätsverbesserungsmethoden 131 131 133 136 137 138 139 140 141 143 146 Inhalt 9 Martin Moers, Doris Schiemann Das Projekt „Pflegediagnostik" im Universitätsspital Zürich. Ergebnisse einer externen Evaluation zur Projekteinführung, -durchführung und -Steuerung 1 2 3 4 5 6 6.1 6.2 6.3 7 7.1 7.2 7.3 7.4 7.5 7.6 7.7 7.8 7.9 Einführung Ausgangslage der Pflegewissenschaft im deutschsprachigen Raum Einordnung des Projekts Evaluationsauftrag Datenbasis und methodisches Vorgehen Ergebnisdarstellung Struktur Prozess Ergebnis Wissenschaftlicher Ertrag Strukturen Projektgruppenarbeit vor Ort Schulungskonzept Projektbegleitung/Pflegeentwicklung durch Pflegeexpertinnen .. Mentorinnenmodell Handlungsspielräume der Mitarbeiterinnen Pflegediagnostik Pflegeprozessmethode Evaluation Klaus Eichler, Marc-Anton Hochreutener Die Patientinnenperspektive im Gesundheitswesen. Messung der Ergebnisqualität im Kanton Zürich 1 2 2.1 2.2 2.3 3 4 Stellenwert der Outcome-Messung bei leistungsorientierter Finanzierung Leistungsorientierte Ressourcenallokation im Spitalbereich (Kanton Zürich) Das LORAS-Teilprojekt Outcome 1 Projekt „Outcome 98" im Überblick Evolution der Outcome-Messung Die bisherigen Resultate und Erkenntnisse Verankerungsprozess der Outcome-Messung im Kanton Zürich 149 149 149 150 151 152 153 153 155 158 162 162 163 163 163 163 164 164 164 164 165 165 166 166 168 169 170 172 10 Inhalt Ursula Reck-Hog Kundinnenorientierung in der ambulanten Pflege 173 1 2 3 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9 3.10 4 173 175 176 176 177 177 178 178 179 179 179 180 180 181 Qualitätsanforderungen Prüfinstrumente Kundinnenerwartungen an ambulante Pflegedienste Freundlichkeit Achtung der Person Hilfsbereitschaft Kontinuität Information/Beratung Verlässlichkeit Einhalten der vereinbarten Betreuungszeiten Fachliches Können/Gewissenhaftigkeit Vertraulichkeit Ernstnehmen der individuellen Wünsche und Bedürfnisse Bewertungsverfahren Gabriele Müller-Mundt, Ulrike Höhmann, Brigitte Schulz, Hubert Anton Anforderungen an das Qualitätsmanagement in der Gesundheitsversorgung aus der Sicht der Patientinnen. Ergebnisse aus dem Hessischen Modellprojekt zur kooperativen Qualitätssicherung 183 1 2 2.1 3 4 5 Anliegen und Konzeption des Modellprojektes zur kooperativen Qualitätssicherung Zur Ausgangssituation: Probleme der Versorgungssituation pflegebedürftiger Menschen Ein Fallbeispiel Perspektivenabgleich und Anforderungen an die Versorgungsqualität Maßnahmen zur Verbesserung der Versorgungsqualität Zur Evaluation und Nachhaltigkeit der Projektinitiative 183 185 185 188 190 192 Christian Thomeczek Stand der Diskussion um Leitlinien im Gesundheitswesen 195 1 2 3 3.1 3.2 3.3 4 5 195 196 197 197 198 198 200 201 Leitlinien: Definition, Merkmale, Ziele Leitlinien, Richtlinien, Standards Leitlinienentwicklung im internationalen Vergleich Vereinigte Staaten Schottland, Neuseeland, Holland Deutschland Qualitätskriterien von Leitlinien Leitlinien Clearingverfahren Inhalt 11 Innovation, Evaluation und Qualitätsmanagement in Sozialer Arbeit und Supervision Maja Heiner Interne Evaluation zwischen institutioneller Steuerung und pädagogischer Reflexion - Sieben Thesen Warum interne Evaluation? 1 Interne Evaluation ist ein zentrales Medium der Qualitätsentwicklung und institutionellen Steuerung lernender Organisationen über Wissensmanagement 2 Interne Evaluation setzt Qualitätsmanagement voraus, unterstützt es und führt zugleich entscheidend darüber hinaus. ... 3 Ohne Verknüpfung mit der pädagogischen Reflexion bleibt die institutionelle Steuerung global, die Evaluation oberflächlich. ... 4 Zwischen institutioneller Steuerung und pädagogischer Reflexion besteht ein Spannungsverhältnis, keine grundsätzliche Unvereinbarkeit 5 Das Spannungsverhältnis von institutioneller Steuerung und pädagogischer Reflexion beruht auch auf einem prinzipiellen Unterschied des Erkenntnisinteresses von Leitung und Mitarbeiterinnen. Es kann am ehesten durch kasuistische, qualitative Evaluationen überbrückt werden 6 Die Verknüpfung von institutioneller Steuerung und pädagogischer Reflexion verlangt eine gezielte Kombination stark vorstrukturierter, zentraler Evaluationen mit autonomen, dezentralen Vorhaben von unterschiedlichem Detaillierungsgrad 7 Die Verknüpfung von institutioneller Steuerung und pädagogischer Reflexion legt experimentierende Evaluationsansätze nahe Zusammenfassung Burkhard Müller Evaluationskompetenz und Innovationskompetenz. Oder: Interne Evaluation als Ziel, externe Evaluation als Mittel 1 2 3 4 5 Qualität der Kontrollverfahren und Selbstevaluation Selbstevaluation und Fremdevaluation Selbststeuerung als professionelle Qualität und die Wirkung von Evaluationsinstrumenten Evaluation als integraler Teil professioneller Arbeit Evaluationsberaterinnen und Innovationsagentinnen 207 208 209 211 213 215 218 222 225 227 227 228 229 230 231 12 Inhalt Eckhard Hansen Rahmenbedingungen nationaler Qualitätsdiskurse im Bereich personenbezogener Sozialer Dienstleistungen am Beispiel der Länder England und Deutschland 1 2 3 4 5 Die Frage der Qualität personenbezogener Sozialer Dienstleistungen Rahmenbedingungen der Reformdurchsetzung Ideologisch-politische Rahmenbedingungen Weitere den Diskurs bestimmende Rahmenbedingungen Ergebnisse des Paradigmenwechsels Edgar Baumgartner Evaluationen für wen? Meta-evaluative Anmerkungen zu Evaluationssettings in der Sozialen Arbeit 1 2 3 4 Funktionen der Evaluationsforschung in der Sozialen Arbeit Evaluationssettings in der Sozialen Arbeit und deren Leistungsfähigkeit Kooperation als Modus der Erkenntnisproduktion Abschließende Bemerkungen Angelika Stötzel, Michael Appel Das WANJA-Instrumentarium zur Qualitätsentwicklung in der Offenen Kinder- und Jugendarbeit 1 1.1 1.2 1.3 2 3 3.1 3.2 3.3 3.3.1 3.3.2 3.3.3 3.3.4 3.3.5 3.3.6 Ziele und Prinzipien des Forschungs- und Entwicklungsprojektes Fachlichkeit Nutzerorientierung Diskursivität Besonderheiten des methodischen Vorgehens bei der Entwicklung des WANJA-Instrumentariums Qualitätskriterien und Indikatoren als Grundlage und Einstieg in die Selbstevaluation Qualitätskriterien Indikatoren Methodische Anmerkungen zur Arbeit mit den Kriterien- und Indikatoren-Katalogen Auswahl des Evaluationsbereiches Unterschiedliche Settings Diskussion der Inhalte Bewertungen und Kommentare in Einzelarbeit Einrichtungsbezogener Vergleich der Einzelbewertungen Stärke-Schwäche-Beschreibung und Identifizierung von Veränderungsbedarfen 233 233 235 236 237 239 241 241 243 245 246 249 249 250 250 251 251 253 253 254 255 255 255 255 256 256 256 Inhalt 13 3.4 Hinweis auf die unberücksichtigt gebliebenen Ergebnisse unseres Projektes 3.4.1 Responsive Evaluationsprojekte 3.4.2 Einbringung der internen Qualitätsarbeit in den kommunalen Wirksamkeitsdialog 257 257 257 Christine Spreyermann, Monica Tschanz, Susanna Wälti, Raffaela Vedova Werkatelier für Frauen. Qualifizierende und qualifizierte Interventionen durch systematische Gespräche 259 1 2 3 4 5 6 7 8 8.1 8.2 8.3 9 10 Projektziele Das Angebot Logic Model Die Selbst-Evaluation Definition der Projektwirkungsziele/Operationalisierung Entwicklung selbst-evaluationsgeeigneter Datenerhebungsinstrumente Interventions- und Datenerhebungsinstrument „Leitfaden für die regelmäßigen Mitarbeiterinnen- und Ziel Vereinbarungsgespräche" Erste Ergebnisse Kritische Rückmeldungen der Teilnehmerinnen Positive Erfahrungen auf Seiten der Team-Frauen Kritische Erfahrungen auf Seiten der Team-Frauen Ausblick Anhang 259 260 260 261 261 263 264 267 267 268 268 268 270 Thomas Beer, Günther Gediga Empirische Supervisionsforschung durch Evaluation von Supervision .. 275 1 2 3 3.1 3.2 4 4.1 4.2 4.3 5 275 275 276 276 278 279 279 279 280 284 Einleitung Untersuchungsziele Darstellung der Untersuchung Design und Instrumente Ablauf und Umfang der Evaluationsstudie Darstellung der Ergebnisse Empirische Stichprobenbeschreibung Ergebnisse: Reliabilitäts- und Validitätsbestimmung Ergebnisse: Hypothesenprüfung Diskussion der Ergebnisse 14 Inhalt Wolfgang Kühl Bewerten und Beraten - Qualität Sozialer Arbeit durch Evaluation und Supervision 1 2 3 4 Inwiefern macht die Qualitätsentwicklung Sozialer Arbeit eine Kooperation von Evaluation und Supervision erforderlich? Weshalb ist bislang eine Kooperation unterblieben? Welche konzeptionellen Vorarbeiten sind notwendig aber auch lohnend, um Anschlussstellen für eine Kooperation zwischen der Fremdevaluation und der Supervision zu schaffen? Welche konzeptionellen Anknüpfungspunkte zwischen Selbstevaluation und Supervision gibt es? 287 287 290 291 293 Literatur 295 Mitarbeiterinnen dieses Bandes 311