Evaluation als Dialog Mag.a Christa Bauer, Bakk.a Elisabeth Amtmann Evalitas KG Projekttag für Comenius- und Grundtvig-Partnerschaften 30. September 2010 Christa Bauer, Elisabeth Amtmann Überblick Input • Evaluation im Allgemeinen • Selbstevaluation im Speziellen – – – – – Begriffe Grundsätze Anforderungen an die Akteurinnen und Akteure Instrumente Ablauf Weiterführende Links und Literatur Training Christa Bauer, Elisabeth Amtmann Evaluation in internationalen Projekten – wozu? Weiterentwicklung der Projektarbeit Qualitätssicherung Ständige Bewegung sichert Stabilität! Christa Bauer, Elisabeth Amtmann Evaluation im Allgemeinen „Evaluation bedeutet ganz allgemein, Erfahrungen der pädagogischen Praxis wahrzunehmen, zu reflektieren, zu bewerten und zu nutzen.“ (Hackl 2005, S. 168). Professionelles Handeln Alltagsroutine Interaktion EVALUATION Christa Bauer, Elisabeth Amtmann Zirkel der Alltagsroutine Christa Bauer, Elisabeth Amtmann Selbstevaluation im Besonderen „Selbstevaluation in der Ausbildung und/oder von Lernen ist der Prozess des systematischen Einholens, der Analyse und des Austausches von Daten, die Bildungsprozesse von Einzelpersonen, Gruppen oder Organisationen (Institutionen, usw.) betreffen, um das Lernen zwischen allen betroffenen Parteien voranzutreiben, so dass Beurteilungen und Entscheidungen auf Daten beruhen und nicht auf Annahmen.“ (Tilkin/Kerkhofs 2005, S. 8). Christa Bauer, Elisabeth Amtmann Wer oder was verbirgt sich hinter dem Selbst? Sämtliche, in Bildungsprozesse involvierte Ebenen und Einheiten (Einzelpersonen, Lehrende und Lernende, Arbeitsgruppen, Abteilungen, gesamte Institutionen oder Organisationen) können also ihre eigenen Rollen und ihre eigene Arbeit evaluieren und reflektieren. Christa Bauer, Elisabeth Amtmann Selbstevaluation ist … … selbst bestimmte Evaluation in Trainings- und Organisationsentwicklungsprozessen. Zeit, Ort, Planung, Themen, Instrumente, Konsequenzen … die Untersuchung einer Situation anhand vorher (gemeinsam?) formulierter Standards Christa Bauer, Elisabeth Amtmann Die 3 Grundsätze von Selbstevaluation Selbstevaluation als Dialog Selbstevaluation als Lernprozess Selbstevaluation als Reflexion Christa Bauer, Elisabeth Amtmann Selbstevaluation als Dialog Selbstevaluation - ein interner Dialog zwischen Trainer/innen zwischen Trainer/innen und Teilnehmer/innen zwischen Management und Mitarbeiter/innen Selbstevaluation – ein externer Dialog zwischen Trainer/innen und Geldgebern zwischen Trainer/innen und Institutionen zwischen einer Organisation und der öffentlichen Hand Christa Bauer, Elisabeth Amtmann Auf dem Weg zu einem veränderten Lernverständnis Input Output Input Prozesse Output Christa Bauer, Elisabeth Amtmann Selbstevaluation als Lernprozess Lernprozesse sind … nicht linear, sondern wechselseitig … immer auch soziale Prozesse … sie involvieren Emotionen Christa Bauer, Elisabeth Amtmann Lernen ist identitätsstiftend Lernen = Verändern = Verbessern „Wenn ich etwas gelernt habe, dann bin ich anders als vorher.“ Konstruktion von Wirklichkeit Erweiterung der Handlungsmöglichkeiten Christa Bauer, Selbstevaluation Formel für erfolgreiches Lernen DxVxF>R D = Dissatisfaction V= Vision F= First Steps R= Resistance Dannemiller Typon Ass. 2000 Christa Bauer, Selbstevaluation Zwecke von Selbstevaluation Selbstevaluation als Reflexion „…die Suche nach der zum Teil verborgenen Wirklichkeit erfordert die Bereitschaft, aus der «eigenen Situation» herauszutreten und diese kritisch zu hinterfragen“ (Altrichter 1994, zit.n. Holenstein 1999, S. 48). Durch das Einholen von Feedback aus unterschiedlichen Quellen wird versucht, ein über das Subjekt hinausgehendes Verständnis sowohl der eigenen Rolle als auch des Kontextes zu sammeln und aufzubauen (vgl. Tilkin/Kerkhofs 2005, S. 14). Christa Bauer, Elisabeth Amtmann Anforderungen an die Akteurinnen und Akteure • Bereitschaft zur Reflexion Bewusst werden eigener Gefühle, Haltungen und Werte – mit Fakten verbinden (Inhalt, Kontext, Prozess, Situationen) – in sinnvollen Zusammenhang stellen • Beobachten und nicht interpretieren Die beobachtende Person ist immer Teil der beobachteten Situation! • Konstruktive Feedback-Kultur Christa Bauer, Elisabeth Amtmann Qualität der interkulturellen Kommunikation vorgeschriebene / empfohlene Bereiche Ökonomie: Umgang mit Ressourcen Projekttreffen: Organisation, Produktivität, Zufriedenheit persönlich empfundene, zu klärende Probleme Wohin können wir schauen? StärkenSchwächen analyse Christa Bauer, Elisabeth Amtmann Konflikte Themen eines Qualitätsevaluationsmodells Zielerreichung Die Wahl der passenden Instrumente Input Prozess Output Ausstattung, Ressourcen, Vorgaben Interaktion, Aktivitäten, Kommunikation Ergebnisse, Zufriedenheit, Image Christa Bauer, Elisabeth Amtmann statische Instrumente dynamische, interaktive Instrumente statische Instrumente Instrumente können sein… individuell Bericht, Sprechblasen Fotos, Video Mindmaps, Fokusgruppen… Fragebogen Interview Selbstevaluationsprofil reaktiv produktiv Gruppeninterview Raumdiagonale 4-Ecken Zielscheibe, Diagramme… Postkarten Sketch Fotolanguage Weltcafé Zukunftsszenario kollektiv Christa Bauer, Elisabeth Amtmann Kreative Instrumente/ Feedbackformen Schwarzes Brett Mind Map Themenaufstellung Brief Sketch Postkarten Fotolanguage Objekte → Symbole Geschichten Skulpturen Videoaufnahme Raumdiagonale Post itNotizen Feedback/ Bilanzkonferenz Spielkarten Comics 4-Ecken Wandzeitung Feedbackstern Blitzlicht Szenario Evaluationszielscheibe Zukunftsszenario Fotos Christa Bauer, Elisabeth Amtmann Evaluations-Planungszyklus WER? evaluiert • WEN oder WAS? • WANN? • WO? • WOZU? • mit welchen MITTELN? • unter welchen BEDINGUNGEN? Ablauf des SE-Prozesses • Gegenstand (Situation, Handlung, Person, Institution, Programm) • Anspruch / Ziel / Standard • Informationen einholen / Daten sammeln • Beobachten oder Feedback • Informationen verdichten / Daten auswerten • Interpretieren / Bewerten • Konsequenzen ziehen • Dokumentieren Christa Bauer, Elisabeth Amtmann Warum gerade Selbstevaluation? Selbstevaluation ist … motivierend … Kompetenz orientiert … unterstützt Lernprozesse … interaktiv … reflexiv … dialogisch … fördert konstruktive Prozesse der Weiterentwicklung aller Beteiligten Christa Bauer, Selbstevaluation Wertvolle Links und Literatur Selbstevaluation in internationaler Projektarbeit – www.mice-t.net Selbstevaluation in Schulen – www.i-probenet.eu Selbstevaluation in der Erwachsenenbildung – www.sealll.eu Projektmanagement und Projektmonitoring – http://qas.programkontoret.se DeGEval (2004): Empfehlungen zur Anwendung der Standards für Evaluation im Handlungsfeld der Selbstevaluation. Mainz: Eigenverlag Deutsche Gesellschaft für Evaluation e.V. Heiner, Maja (1988): Von der forschungsorientierten zur praxisorientierten Selbstevaluation. Entwurf eines Konzeptes. In: Heiner, Maja (Hrsg.): Selbstevalua-tion in der sozialen Arbeit. Fallbeispiele zur Dokumentation und Reflexion beruflichen Handelns. Freiburg im Breisgau: Lambertus-Verlag, S. 7 – 40. Holenstein, Hildegard (1999): Fähig werden zur Selbstevaluation: Erfahrungsberichte und Orientierungshilfen; nationales Forschungsprogramm 33, Wirksamkeit unserer Bildungssysteme. Zürich: Verlag Ruegger. Spiegel, Hiltrud von (1993): Aus Erfahrung lernen: Qualifizierung durch Selbstevaluation. Münster: Votum-Verlag. Tilkin, Guy/Kerkhofs, Lies (2005): Handbuch SEALLL. In: http://www.sealll.eu/docs/manual/Sealll01_DE.pdf [15.03.2009]. Christa Bauer, Selbstevaluation