Folien: Evaluation

Evaluation – einige Ideen und Vorschläge
Elke Wild
University of Bielefeld
Informationen zur Person
 Pädagogische Psychologin
 eigene
Forschungsinteressen:
Motivation,
Selbstgesteuertes Lernen,
Didaktik
 als Mitglied der nationalen
Beratergruppe in PISA
2004
 Prorektorin für
Organisationsentwicklung
Evaluation - Definition



In der Praxis gibt es grosse Vorbehalte gegenüber Evaluation weil diese häufig
zur Rechtfertigung von Kürzungen herangezogen wird
Der Zweck von Evaluation im Includeme-Projekt sollte jedoch meines
Erachtens sein:
 den Effect der Mobiltiätsmassnahme festzustellen (Beobachtung) und
 diese durch Rückgriff auf Qualitätsstandards zu bewerten (hierbei kann auf
eine kriteriale, temporäre oder soziale Bezugs-norm rekurriert werden;
verbreitet sind soziale Vergleiche mit gematchten Kontrollgruppen)
Evaluation ist dann ein Mittel
 um (zugeschriebene oder selbst definierte) Standards zu erreichen und zu
erhalten („Qualitätssicherung“)
 und um Rückmeldungen zu bekommen, die zur Optimierung einer
Massnahme genutzt werden können.
Traditionelle vs. „innovative“ Formen von Evaluation


forschungsorientierte Feldstudien dienen der dokumentation von
(Miß-)erfolg um Aufschluss über die Haltbarkeit theoretischer Annahmen
zu bekommen
„Kooperative Innovation“ ist eine alternative (und aus meiner Sicht
praktisch relevantere) Form der Evaluation; hier kommt Praktikern eine
zentrale Rolle bei
 der Definition von Zielen (Konstrukten) und Festlegung von Kriterien
(empirischen Indikatoren)
 bei der konzeptuellen Entwicklung (von Handanweisungen,
Materialien und diagnostischen Instrumenten)
 der Implementation von Massnahmen (hier: Mobilitätsmassnahmen)
 und der Festlegung der Evaluationszielen (Entscheidungen über die
Zentralität von Zielen und die Investition von Ressourcen für die
Erreichung verschiedener Ziele)
In dem Projektantrag wurden zwei Formen der Evaluation
angekündigt:


formative Evaluation als ein fortlaufender
diagnostischer Prozess, der qualitatives feedback
im Verlauf des Projekts liefert
-> Evaluation ist eine Art von Beratung oder
coaching mit dem Ziel, das Vorgehen sukzessive
zu optimieren
summative Evaluation meint die abschliessende
Erhebung der erzielten Effekte um zu einer
endgültigen Bewertung der Nützlichkeit eines
Projekts zu kommen („Produktorientierte
Evaluation“)
Fragen, die es zu klären gilt




Häufigkeit und Zeitpunkt der Erhebungen: Vor Projektbeginn (Erwartungen)?
nach der ersten Phase (Aufschluss über Probleme und Herausforderungen)?
nach jeder Phase (Aufschluss über Fortschritte und neue Ziele?) und/oder am
Ende (Klärung der Nachhaltigkeit der Effekte, der Generalisierbarkeit des
Vorgehens auf andere Standorte, Fächer usw.; Verbreitung)?
Zentralität der angestrebten Inhalte/Dimensionen: Wissen (Erweiterung der
eigenen didaktischen Kompetenz und Fremdsprachenkenntnisse), Einstellungen
(Bewusstsein für die „european dimension“; Sensitivität für soziale und
polititsche Fragen), Veränderungen im Selbstkonzept/professionellen
Selbstverständnis und der Motivation, über das Projekt hinaus
Auslandsaufenthalte anzustreben, intra- und interdisziplinären Austausch
voranzutreiben, Neue Medien zu nutzen....
Häufigkeit der Rückmeldung: 3. und 6. Treffen (laut Antrag)?
Auswahl der Interviewpartner: was sind exemplarisch ausgewählte Standorte?
Sollte man Standorte mit möglichst divergierenden Ausgangsbedingungen
untersuchen?
Klärung (der Unterstützung) der Zielpersonen / Zielgruppen







Leitungsteam
Mentoren,
Kollegium in den Ausbildungseinrichtungen und Schulen,
Gastfamilien,
Studierende (Refrendare),
Schüler,
an Mobilitätsprojekten interessierte Dritte (z.B. Lehrer, für die
Lehreraus- und –fortbildung zuständige Personen
Klärung der Materialien / Strategien:
 a) die für Problemlösungen hilfreich sind
 b) die den Austausch zwischen den INCLUDEMETeilnehmern fördern (z.B. Nützlichkeit der domain,
homepages, des INTERWISE conference systems)
 c) die der Verbreitung der Erfahrungen /Handreichungen
dienen (handouts / reports / „survival kids“; instruments for
ongoing self-evaluation; marketing strategies)
 d) die auf eine Erhöhung der Akzeptanz von
Mobilitätsmassnahmen abzielen (Identifizierung von
notwendigen, hinreichenden und fakultativen Aspekten und
Rahmenbedingungen),
Methodische Vorgehensweisen




Einsatz von Fragebögen (paper-pencil Fragebögen, online Fragebögen,
Tagebücher, Portfolios) um
a) Informationen über Ähnlichkeiten und Unterschiede im Vorgehen
herauszufinden (Frage der Generalisierbarkeit)
b) die Wirkung auf die beteiligten Personen abzuschätzen (Vergleich mit
Gruppen von Schülern, Referendaren und/oder Lehrern die nicht teilnehmen)
c) die Nachhaltigkeit eines solchen Projekts zu prüfen (Änderungen in den
Einstellungen von Kollegen, Kommilitonen etc.)
Interviews (halbstrukturiert mit ausgewählten Personen(-gruppen) um
Hinweis auf kritische und moderierende Faktoren zu bekommen
Expertenratings (um den pädagogischen Nutzen der multimedialen
Lernumgebung zu beurteilen und die Nützlichkeit der erstellten
Handreichungen, Instrumente etc. für nachfolgende Interessenten
ergänzende (zu?) aufwendige Methoden: Tests (zur objektiven Erfassung von
Kompetenzen)? Beobachtungen (z.B. videographierte Interaktionen
zwischen Refrendaren und Mentoren)? Akten / offizielle Unterlagen
(Zeugnisse etc.) zur Prüfung der Representativität / Beschreibung der
Stichprobe
abschliessender Hinweis


die erste Evaluation wurde bereits von zwei externen
Experten durchgeführt (s. Gutachten)
Kritik an (noch) wenig präzisen Ausführungen zur
Sicherung der Nachhaltigkeit und Verbreitung von
Mobilitätsmassnahmen
 wir kann man Kollegen, Kommilitonen, Schüler mit
der eigenen Begeisterung anstecken?
 wie kann Verbreitung der gewonnenen Einsichten
gefördert werden? (marketing)