Hand_out_Methoden_IE

Evaluation an Bayerns Schulen
Quelle: Qualitätsagentur, Oktober 2012
Welche Instrumente und Methoden gibt es?
Für schulinterne Evaluationsmaßnahmen stehen inzwischen eine Vielzahl von Instrumenten
und Methoden zur Informationssammlung zur Verfügung. Nicht jede Schule muss also eigene
Instrumente und Techniken entwickeln. Allerdings ist aber auch nicht jeder aus dem Internet
heruntergeladene Fragebogen geeignet, schulspezifische Untersuchungsbereiche zu erfassen.
In der Regel sollten deshalb bei internen Evaluationsmaßnahmen an bayerischen Schulen die
von der Qualitätsagentur am Staatsinstitut für Schulqualität und Bildungsforschung entwickelten
Instrumente zum Einsatz kommen, die dem Stand der Forschung zur Qualität von Schule und
Unterricht entsprechen. Sie sind auch einsetzbar, wenn eine Schule nach einem bestimmten
Modell zur Qualitätssicherung, z. B. nach QmbS, Q2E oder EFQM vorgehen will.
Manchmal wird auch die Konstruktion eigener Erhebungsinstrumente sinnvoll sein. Zeit, die in
die Auswahl der geeigneten Erhebungsinstrumente investiert wird, ist selten verlorene Zeit,
denn nur durch „passgenaue“ und gut handhabbare Instrumente lässt es sich vermeiden, dass
viel Engagement und Arbeitszeit in Evaluationsmaßnahmen investiert wird, die möglicherweise
wenig bringen.
Gütekriterien
Gute Messinstrumente sollten zum einen genau das erfassen, was man erfassen will und sie
sollten dies zuverlässig tun.
Sie sollten zum anderen an grundlegenden ethischen Prinzipien orientiert sein: Niemand darf
als Person bloßgestellt werden; Diskretion muss einen hohen Stellenwert haben. Es geht ja
nicht darum, spektakuläre Ergebnisse zu erzielen, sondern darum, die Beteiligten längerfristig in
die Weiterentwicklung der Schule einzubinden.
Schließlich sollten auch rein pragmatische Überlegungen eine Rolle spielen: Schulinterne
Evaluation ist kein wissenschaftliches Forschungsvorhaben, sondern eine Analyse der eigenen
Praxis. Schulen sollten sich deshalb auch am Kriterium Praktikabilität orientieren und sich
Fragen stellen wie:



Wofür haben wir Kompetenzen in den eigenen Reihen?
Welche Informationen sind für unsere Zwecke wirklich notwendig?
Wofür reichen unsere personellen und zeitlichen Ressourcen?
Nachfolgend stellen wir die gebräuchlichsten Methoden, die auch im Rahmen der externen
Evaluation Verwendung finden, vor:




Analyse vorhandener Daten
Standardisierte Befragung
Strukturierte Beobachtung
Systematische Selbstreflexion
Analyse vorhandener Daten
Für die Evaluation bestimmter Bereiche ist es gar nicht nötig, neue Daten zu erheben, sondern
ausreichend, die an der Schule ohnehin vorhandenen zu nutzen. Die systematische Analyse
von Schulstruktur- und Schülerleistungsdaten, von Übertrittszahlen, Wiederholer- und
Abbrecherquoten kann für manche Evaluationszwecke ergiebiger sein als eine zeitaufwändige
Fragebogenerhebung.
Auch der Vergleich der Ergebnisse von Vergleichsarbeiten oder Abschlussprüfungen mit den
Ergebnissen anderer Schulen, die unter ähnlichen Rahmenbedingungen arbeiten, kann
wertvolle Hinweise für Ansatzpunkte zur Qualitätsentwicklung geben. Geeignet hierfür sind z. B.
die in der Bildungsberichterstattung der Qualitätsagentur veröffentlichten Daten.
Bei der Analyse der einzelnen Daten können Fragen wie diese hilfreich sein:
• Schulstrukturdaten
o Wie werden sich die Schülerzahlen in den nächsten Jahren
entwickeln?
o Gibt es bei der Fächerwahl Auffälligkeiten, Veränderungen,
besondere Gewichtungen?
• Pädagogische und organisatorische Vereinbarungen
o Berücksichtigt der Geschäftsverteilungsplan / der Aufgabenplan
die Kompetenzen der Mitarbeiter?
o Berücksichtigt der Fortbildungsplan den Bedarf der Kolleginnen
und Kollegen und der Schule?
o Gibt es Vereinbarungen zum Umgang mit Leistungserhebungen?
• Schülerleistungsdaten
o Gibt es bei den Wiederholerquoten, bei den Ergebnissen
von Leistungserhebungen, Vergleichsarbeiten oder Abschlussprüfungen
Auffälligkeiten?
o Gibt es Fächer oder Jahrgangsstufen, bei denen Besonderheiten
erkennbar sind?
Standardisierte Befragung
Standardisierte Fragebogen mit geschlossenen Antwortmöglichkeiten (hier muss durch
Ankreuzen eine Auswahl unter vorgegebenen Antworten getroffen werden) eignen sich
besonders für umfassende Bestandsaufnahmen. Mit ihrer Hilfe lassen sich Einstellungen,
Meinungen und Bedürfnisse relativ vieler Personen in vergleichsweise kurzer Zeit erfassen.
Sie sind zudem gut geeignet für Wiederholungsuntersuchungen. Mit ihrer Hilfe lässt sich nach
einer gewissen Zeit ohne allzu großen Aufwand überprüfen, ob durchgeführte Maßnahmen zu
einer Veränderung der Einschätzung der Befragten geführt haben.
Interpretation der Ergebnisse von Wiederholungsbefragungen
Bei der Interpretation der Ergebnisse von Wiederholungsbefragungen ist allerdings zu
berücksichtigen, dass die Einschätzungen häufig nicht so positiv ausfallen, wie man erwarten
könnte, nachdem ja vorher Maßnahmen zur Qualitätsentwicklung durchgeführt worden sind.
Dies hängt damit zusammen, dass eben durch diese Maßnahmen in der Regel auch die
Erwartungen der Beteiligten gestiegen sind. Da bei standardisierten Befragungen immer vor
dem Hintergrund des jeweils bestehenden Erwartungshorizonts gemessen wird und dieser sich
verändern kann, ist es ratsam, insbesondere bei wiederholten Evaluationen auch andere
Methoden (z. B. Datenanalyse, strukturierte Beobachtung) einzusetzen, um die angestrebte
Bestandsaufnahme zu objektivieren.
Was gilt es bei der Planung von Befragungen zu beachten?
Grundsätzliches
1. Die Aussagekraft von Daten ist am höchsten, wenn sie bei den unmittelbar an einem
Geschehen Beteiligten erhoben werden. Informationen über die Darstellung der
Unterrichtsgegenstände wird man also besser bei den Lehrkräften und Schülern als bei
den Eltern erfragen.
2. Die Befragten sollten (sofern dies nicht unmittelbar mündlich erfolgen kann) in einem
Anschreiben über die Zielsetzung der Befragung, über den Abgabetermin für die
Fragebogen und über den Zeitpunkt und die geplante Art der Ergebnisrückmeldung
informiert werden.
3. Wenn den Befragten Anonymität zugesichert wird, ist diese unbedingt zu gewährleisten.
4. Alle Befragten haben das Recht, über die Ergebnisse der Befragung zeitnah informiert zu
werden.
5. Die Teilnahme an einer Befragung ist freiwillig. Niemand darf dazu gezwungen werden.
Umfang von Befragungen
Standardisierte Befragungen lassen sich dann relativ einfach durchführen, wenn
Datenerfassung und -auswertung online vorgenommen werden können. Beides ist in
diesem Evaluationsportal sowohl mit den Fragebogen der externen Evaluation als auch
mit selbst konstruierten Fragebogen möglich. Steht an einer Schule dafür keine
ausreichende Zahl an Onlinearbeitsplätzen zur Verfügung, sodass eine Erhebung in
Papierform nötig ist, oder plant man eine Befragung von Eltern, bei denen ein
Internetanschluss zu Hause nicht selbstverständlich vorausgesetzt werden kann, dann
sollte man sich an größeren Schulen (mit mehr als 200 Schülern) für die Ziehung einer
Zufallsstichprobe von 20 Prozent entscheiden, um die Anzahl der Befragten
überschaubar zu halten. Man sollte im Vorfeld einer Befragung nicht unterschätzen, wie
zeitaufwändig es ist, eine große Zahl von Daten per Scanner oder gar per Handeingabe
zu erfassen.
Beispiel für die Befragung einer Zufallsstichprobe:
An einer Schule mit 400 Schülern soll eine Elternbefragung durchgeführt werden. Hier ist
es durchaus ausreichend, nur an die Eltern jedes fünften Schülers, also an 80 Eltern,
einen Fragebogen auszugeben, um ein aussagekräftiges Ergebnis zu bekommen. Die
Befragung ist freiwillig, über eine entsprechende Motivierung der Befragten kann man die
Rücklaufquote erhöhen. Es ist wichtig, möglichst viele der verteilten Fragebogen
ausgefüllt wieder zurückzubekommen.
Die Stichprobe der befragten Eltern sollte allerdings wirklich zufällig gezogen werden,
wenn das Ergebnis repräsentativ sein soll. Dies könnte etwa folgendermaßen
geschehen: Jeder Klassenleiter bestimmt per Zufall (z. B. durch Würfeln) einen der
ersten sechs Schüler auf der Klassenliste und wählt dann, ausgehend von diesem
Schüler, jeden fünften auf der Liste aus. Nur die Eltern der Schüler dieser Stichprobe
bekommen einen Fragebogen.
Anm.:
Eine Abwandlung der standardisierten Befragung stellt das kriteriengeleitete Interview
dar. Nach vorher festgesetzten Fragen (z.B. entsprechend der Indikatoren entwickelte
Fragen) werden ausgewählte Personen interviewt.
Strukturierte Beobachtung
Strukturierte Beobachtungen von Verhaltensweisen nach vorab definierten Kriterien und
Indikatoren sind ein weiteres verbreitetes Evaluationsinstrument. Sie eignen sich besonders zur
Erfassung verschiedener Interaktionsprozesse im Unterricht und im Schulleben. Zwar kann man
mit Hilfe strukturierter Beobachtungen der Komplexität eines Geschehens nie voll gerecht
werden, sie ermöglichen aber doch - wenn die Indikatoren klar festgelegt sind - eine
differenzierte Einschätzung des beobachteten Verhaltens. Allerdings ist die Herstellung
brauchbarer Beobachtungsraster nicht ganz einfach und erfordert einen gewissen Zeitaufwand.
Anm.:
Ein Beispiel ist die Unterrichtsbeobachtung durch Kollegen oder Schüler. Vorlagen hierfür sind
ebenfalls auf der QA-Seite des ISB unter dem Stichwort „Evaluation“ zu finden.
Systematische Selbstreflektion
Systematische Selbstreflexion ist eine gute Annäherung an Evaluation, vor allem für Lehrkräfte, die
damit noch keine Erfahrung und deshalb entsprechende Zweifel und Ängste haben. Sie kann ein erster
wichtiger Schritt sein, die eigene Arbeit systematisch zu analysieren.
Regelmäßige schriftliche Aufzeichnungen nach dem Unterricht in Form von Gedächtnisprotokollen über
Schülerverhalten und/oder eigenes Verhalten in einer Art Unterrichtstagebuch führen mitunter zu neuen
Erkenntnissen und Einsichten. Sie können Alltagsroutinen aufzeigen, deren man sich nicht bewusst war,
und Anstoß für gezielte Verhaltensänderungen sein.
Ähnliches gilt für den Einsatz von Selbsteinschätzungsbogen, die relativ einfach anhand definierter
Qualitätskriterien selbst zu konstruieren sind. Sie eignen sich sowohl für die Erfassung grundsätzlicher
Qualitätsmerkmale professionellen Lehrerhandelns als auch für die Analyse von Detailbereichen, etwa
von bestimmten Qualitätsaspekten des eigenen Unterrichts.
Eine andere Vorstufe von Evaluation besteht darin, sich – z. B. von Schülern über Merkmale des eigenen
Lehrerhandelns – Feedback geben zu lassen und dies dann als Anregung für Verhaltensänderungen zu
nutzen.
Anm.: Bögen für die systematische Selbstreflektion finden sich ebenfalls auf der oben
genannten Seite.