Qualitätsentwicklung im E-Learning
Werbung
Qualitätsentwicklung im E-Learning – Ansätze, Herausforderungen und Perspektiven Patricia Arnold, [email protected] Aus- und Weiterbildung wird zunehmend durch vielfältige Formen des E-Learnings unterstützt. Die Qualitätsdiskussion in der Weiterbildung umfasst daher auch die Frage, was Qualität im E-Learning bedeutet. Auch unabhängig von dieser Diskussion beschäftigt das Thema Qualität die Akteure im E-Learning. Bildungsverantwortliche in Unternehmen und in Bildungsinstitutionen, Entwicklerinnen und Entwickler von E-Learning-Angeboten, Forscherinnen und Forscher und nicht zuletzt die Lernenden selbst thematisieren die Frage nach Qualität und Qualitätsentwicklung im E-Learning. Qualität gilt als entscheidender Erfolgsfaktor, insbesondere nachdem die anfängliche Euphorie für das Lehren und Lernen mit digitalen Medien zurzeit von einer Phase der Ernüchterung und der kritisch-distanzierten Analyse abgelöst ist. Aber was macht Qualität im E-Learning aus und wie kann sie systematisch entwickelt werden? Wie sind Qualitätsstandards zu definieren, um eine Qualitätssicherung für E-LearningAngebote in der Weiterbildung zu erreichen? Der Beitrag greift das Spektrum dieser Fragen auf und gibt einen Überblick über gegenwärtige Ansätze, die speziellen Herausforderungen und die Perspektiven der Qualitätsentwicklung im E-Learning. Im Mittelpunkt stehen dabei die Fragen, inwieweit die Besonderheiten des ELearnings spezielle Anforderungen an einen Qualitätsbegriff mit sich bringen, inwieweit die Besonderheiten speziell auf E-Learning zugeschnittene Konzepte zur Qualitätsentwicklung notwendig machen, ob bestehende Ansätze ergänzt oder unproblematisch übernommen werden können. Dazu wird zunächst der Qualitätsbegriff im E-Learning vor dem Hintergrund der Spezifika des E-Learnings in seinen unterschiedlichen Facetten und seiner Anwendung in der Weiterbildungspraxis skizziert. In diesem Abschnitt wird weiterhin geklärt, wie in diesem Text ELearning verstanden wird sowie wie hier Qualitätsmanagement, -sicherung und -entwicklung voneinander abgegrenzt werden. In einem zweiten Schritt werden gegenwärtig eingesetzte Qualitätsansätze im E-Learning skizziert und ein relativ neues Konzept vorgestellt, das speziell für die Aus- und Weiterbildung unter besonderer Berücksichtigung von E-Learning entwickelt wurde (DIN 2004). Evaluation als zentrales Instrument in der Qualitätsentwicklung im E-Learning wird im nächsten Schritt thematisiert. Auch hier steht die Frage im Mittelpunkt, wie Evaluation gestaltet werden sollte, um den Besonderheiten des E-Learnings gerecht zu werden. Praxiserfahrungen mit der Qualitätsentwicklung werden im vierten Abschnitt anhand des Fallbeispiels „Virtuelle Fachhochschule für Technik, Informatik und Wirtschaft“ beschrieben und kritisch reflektiert. Sie helfen die konzeptuellen Impulse mit den Herausforderungen der Praxis zu kontrastieren und ermöglichen somit einen ganzheitlicheren Blick auf die Thematik. Abgerundet wird das Kapitel, indem bereits begonnene Initiativen zur Verbesserung der Qualitätsentwicklung im E-Learning dargestellt und notwendige Weiterentwicklungen aufgezeigt werden. 1 Qualität beim E-Learning – worum geht es? 1.1 Qualität als vielschichtiges Konzept im Bildungsbereich Zunächst einmal kann man zwischen der Qualitätsdebatte in der Weiterbildung allgemein und im E-Learning zahlreiche Gemeinsamkeiten feststellen. Qualität ist in beiden Fachdiskursen ein relevantes, viel diskutiertes Konzept – worauf sich Qualität aber jeweils genau bezieht, bleibt oft unklar. Qualität im E-Learning ist ebenso wie in der Weiterbildung allgemein ein vielschichtiges Konzept. Der Begriff wird mit ganz unterschiedlichen Bedeutungen belegt. 1 Qualität im E-Learning kann sich auf die Einhaltung bzw. das Übertreffen von Standards beziehen oder einen Zustand der Fehlerlosigkeit beschreiben. Qualität wird aber auch als Zweckmäßigkeit verstanden und bezieht sich dann auf den Grad der Nützlichkeit. Qualität als angemessener Gegenwert wiederum zielt auf die Kosten-Nutzen-Relation. Qualität als Transformation bezieht sich auf den Kompetenzzuwachs als Ergebnis eines Lernprozesses, fokussiert also den Lernerfolg (vgl. EHLERS 2004). Eine Befragung von E-Learning-Akteuren - Entscheider, Autoren, Medienentwickler, TeleTutoren und Lernende - im Rahmen der Studie „Nutzung und Verbreitung von Qualitätsansätzen im europäischen E-Learning“ zeigt, dass alle aufgeführten Qualitätsverständnisse in der Praxis vorkommen (EHLERS, GOERTZ, HILDEBRANDT & PAWLOWSKI 2005). Zusätzlich wurde noch Qualität als Marketing-Instrument genannt. Deutlich dominiert aber das Verständnis von Qualität im Sinne von Transformation: Qualität im E-Learning wird an der Güte der Lernergebnisse gemessen: 50% der Befragten gaben diese Charakterisierung als ihr persönliches Verständnis von Qualität im E-Learning an. Demgegenüber bezeichnet Qualität für jeweils 19% der Befragten etwas, dass die Standardanforderungen erfüllt bzw. etwas, das von besonderer Güte ist. Andere Nennungen bleiben unter 5%. Damit deckt sich das Ergebnis der Befragung mit der zunehmend verbreiteten Erkenntnis, dass E-Learning nur nachhaltig im Bildungssektor verankert werden kann, wenn es aufgrund von geeigneten didaktischen Konzepten erfolgreiches Lernen ermöglicht (vgl. ARNOLD, KILIAN, THILLOSEN & ZIMMER 2004). Neben den unterschiedlichen Qualitätsverständnissen existieren verschiedene Akteursperspektiven zu Qualität im E-Learning: Die Realisierung von E-Learning-Angeboten erfolgt in der Regel hochgradig arbeitsteilig; zahlreiche unterschiedliche Berufsgruppen sind beteiligt. Teletutoren, die Teilnehmende in einem E-Learning-Angebot internetgestützt betreuen, haben ggf. eine andere Perspektive auf die Qualität eines Angebots als Softwareentwicklerinnen und -entwickler oder mediendidaktische Fachleute. Hinzu kommt die Perspektive der Bildungsverantwortlichen in Weiterbildungsinstitutionen und last but not least werden die Teilnehmenden selbst die Qualität eines E-Learning-Angebots wiederum an anderen Punkten festmachen als die zuvor genannten Akteure. Zusätzlich gibt es unterschiedliche Qualitätsebenen wie in Bildungsprozessen allgemein: Qualität kann sich auf Input-, Durchführungs- und Output-Aspekte eines E-LearningAngebots beziehen (vgl. auch ARNOLD 1997; BALLI, KREKEL & SAUTER 2002): Input-Aspekte betreffen die eingesetzten Ressourcen, die Organisation, die Rahmenbedingungen etc. als strukturelle Voraussetzungen, Durchführungs-Aspekte beziehen sich auf das didaktisch-methodische Vorgehen, die Lernberatung, die Lernszenarien, das Lernklima sowie auf die Steuerung des Erstellungsprozesses, Output-Aspekte thematisieren die Ergebnisse wie den Handlungskompetenzzuwachs bei den Teilnehmenden, die Abschlussquoten, Prüfungserfolg, Zufriedenheit, Persönlichkeitsentwicklung etc. Die Frage, was Qualität beim E-Learning ausmacht, lässt sich also nicht eindeutig und für alle Anwendungskontexte einheitlich beantworten. Vielmehr muss das jeweilige Qualitätsverständnis in Bezug zu den aufgezeigten Dimensionen (Bedeutungen, Akteursperspektiven und Qualitätsebenen) stets neu von den Beteiligten festgelegt werden. Qualität muss kontextualsiert werden. Die Aussage, die KÜCHLER (2000, 277) für die Weiterbildung allgemein macht, trifft genauso für E-Learning zu : „Was als Qualität verstanden wird, ergibt sich immer erst im Verhältnis von Erwartungen verschiedener Akteure bzw. stakeholder und den konkreten Leistungen der Weiterbildungseinrichtungen. Über Qualität der Weiterbildung lässt sich also nicht abstrakt, sondern nur in einem definierten Kontext verhandeln.“ 2 Entsprechend abstrakt definiert das Deutsche Institut für Normung (DIN) Qualität in der weit verbreiteten Norm zum Qualitätsmanagement DIN EN ISO 9000: 2000, die branchen- und produktneutral ist. Qualität wird hier als „Vermögen einer Gesamtheit inhärenter Merkmale eines Produkts, eines Systems oder eines Prozesses zur Erfüllung von Forderungen von Kunden und anderen interessierten Parteien" festgelegt (DIN EN ISO 9000: 2000). Mit der angesprochenen Kundenorientierung in der Definition ist eine weitere Problematik des Qualitätsbegriffs im Weiterbildungsbereich angesprochen, die sich noch verstärkt bei der Integration von E-Learning in Weiterbildungsmaßnahmen auswirkt. Im Gegensatz zum Bereich der industriellen Produktherstellung gibt es im Bildungsbereich kein einfaches Anbieter-Kunde-Verhältnis. Vielmehr handelt es sich um ein Ko-ProduzentenVerhältnis (vgl. EHLERS 2002): Qualität wird „erst im Prozess des Lernens von den Lernenden selbst hergestellt“ (ZIMMER & PSARALIDIS 2000, 265). Die Wortschöpfung Prosumer als Kunstwort aus „producer“ (Produzent) und „consumer“ (Konsument) bringt diesen Sachverhalt ebenfalls treffend zum Ausdruck. Aus diesen Überlegungen resultiert, dass die Lernenden selbst im Mittelpunkt jeder Qualitätsentwicklung stehen sollten. 1.2 Besondere Situation im E-Learning Warum hat diese Aussage für das E-Learning noch größere Bedeutung als in der Weiterbildung generell, auch ohne den Einsatz digitaler Medien? Was sind die Spezifika des ELearnings, die dazu führen, dass Lernende eine immer stärkere Definitionsmacht für Qualität bekommen (ZIMMER & PSARALIDIS 2000, EHLERS 2002)? Um sich der Beantwortung dieser Fragen anzunähern, lohnt sich ein Blick auf die spezifischen Potenziale des E-Learnings. ELearning wird hier dabei als weit gefasster Oberbegriff für Lehr- und Lernformen verwendet, die Informatik und Telekommunikationstechniken, insbesondere das Internet, wesentlich zu ihrer Unterstützung nutzen (für eine genauere Begriffsdiskussion vgl. ARNOLD ET AL. 2004, 15/16). Als spezifische Potenziale des E-Learning lassen sich - kurz skizziert - die folgenden Punkte identifizieren (vgl. ausführlich ARNOLD ET AL. 2004, 37ff): 1 Orts- und Zeitflexibilität beim Lernen und Lehren Lernen wird zeitlich flexibilisiert und zunehmend ortsungebunden. Durch E-Learning wird die „prinzipielle Unmittelbarkeit und Gleichzeitigkeit des Lehrens und Lernens“ aufgehoben (ZIMMER 2000, 103). Teilnehmende und Weiterbildende gewinnen damit bei der Gestaltung ihrer Lern- und Lehrhandlungen neue Freiheitsgrade. Berufsbegleitende Weiterbildung und arbeitsplatznahes Lernen wird erleichtert; Gastexperten aus der Ferne können beispielsweise in ein E-Learning-Angebot einbezogen werden. 2 Vielfalt von Lernressourcen und Zugängen zum Lerngegenstand Durch Internettechnologien wird das Auffinden zusätzlicher Lernmaterialien extrem vereinfacht und beschleunigt. Es kann zu Experten weltweit Kontakt aufgenommen werden. FachCommunities und themenspezifische Weblogs bieten beispielsweise weitere Zugänge zum Lerngegenstand. Auch speziell für das Selbstlernen hergestellte Lernmodule aus anderen Kontexten stehen zunehmend frei zur Verfügung. 3 Differenzierungen von Lern- und Lehrhandlungen E-Learning-Angebote können in besonderem Maße individualisierte Zugänge zum Lerngegenstand und selbst bestimmte Lernwege ermöglichen. Teilnehmende können Bearbeitungsschritte und -geschwindigkeit für sich und in Abstimmung mit Kooperationspartnern festlegen. Durch eine eigenständige Auswahl ergänzender Lernmaterialien und das leichte Veröffentlichen eigener Lernergebnisse können Lernende vermehrt ihre Präferenzen einbringen und an ihren Interessen anknüpfen. 3 Damit ist auch eine Ausdifferenzierung der Lehrhandlungen verbunden: Lehren beim ELearning besteht nicht mehr primär in der Präsentation und didaktischen Aufbereitung des Lerngegenstands, sondern vielmehr in der Betreuung der Teilnehmenden bei der Bewältigung von Lernaufgaben und der zugehörigen Erschließung ergänzender Lernressourcen. Die Moderation von Fachdiskussionen im virtuellen Raum gehört ebenso zu dem neuen Aufgabenportfolio wie die Kommunikation mit Multimedia-Entwicklern aufgrund der wesentlich größeren Arbeitsteilung bei der Erstellung von E-Learning-Angeboten. 4 Neue soziale Kontexte und Kooperationsformen Gleichzeitig entstehen neue Formen der Kooperation, die auch selbst organisiertes und informelles Lernen fördern können: Online-Communities, Weblogs oder Wikis sind hier die Kristallisationspunkte der Veränderung. Zu diversen Themen sind Online-Communities entstanden, in denen Wissensaustausch und erzeugung stattfindet, oft mit starkem Anwendungs- und Praxisbezug. Weblogs als diskursorientierte persönliche Publikationssysteme helfen, Wissen zu kontextualisieren und den Prozesscharakter des Lernens transparenter zu machen. Mit ihren persönlichen Reflexionen sind sie gleichermaßen geeignet, Lernkompetenz aufzubauen und nach außen zu dokumentieren. Dabei stellen sie oft genug auch noch eine geeignete Lernressource für andere dar. Durch ihre Vernetzung fördern sie weiterhin den Fachdiskurs. Potenzielle Stärken können aber auch zu Schwächen werden Die spezifischen Potenziale führen aber nicht automatisch zu Vorteilen des E-Learnings gegenüber anderen Lernformen, insbesondere nicht zu besseren Lernerfolgen. Ohne eine entsprechende Gestaltung der Lernszenarien, der virtuellen Lernräume und der multimedial aufbereiteten Lernmedien können sie ebenfalls nachteilige Konsequenzen haben. Ohne durchdachte Einsatzkonzepte, die insbesondere die zum Lernen notwendige „Eigenzeit“ ZIMMER 2002) berücksichtigen, verwandelt sich die Flexibilität schnell in einen gravierenden Nachteil des Lernens mit E-Learning-Angeboten: zu unregelmäßige, zerrissene oder gar keine Lernzeiten können resultieren. Die Vielfalt an Lernressourcen erfordert Orientierungs- und Erschließungshilfen, wenn sie nicht handlungsunfähig machen soll. Die Differenzierung der Lehr- und Lernhandlungen erzeugt zunächst Unsicherheit und benötigt adäquate Angebote, die notwendigen Kompetenzen - auf Seiten der Lernenden wie der Lehrenden - zu erwerben. Erweiterte Kommunikations- und Kooperationsmöglichkeiten müssen darüber hinaus im Gesamtkonzept eines E-Learning-Angebots verankert sein– sonst drohen „leere virtuelle Foren“ und der Verlust von Dialog und Diskurs (ARNOLD ET AL. 2004) Die Spezifika des E-Learnings führen dazu, dass Ausgangslage, Lernvoraussetzungen und interessen sowie zeitliche und örtliche Rahmenbedingungen der Teilnehmenden an Weiterbildungen zunehmend heterogener werden. Die hohe Individualisierung und Differenzierung verstärken damit zusätzlich die zentrale Rolle, die die Lernenden bei der Qualitätsentwicklung einnehmen sollten. Lernende als Grundkategorie bei der Qualitätsentwicklung im E-Learning einzuführen, hat vier wichtige Konsequenzen (vgl. EHLERS 2002, 9f): 1. Anwenderorientierung statt Technologieorientierung: Nicht das technologisch Mögliche entscheidet über konkrete Lernarrangements, sondern die optimale Unterstützung der Lernenden und ihrer möglichen Lernsituationen. 2. Lernerorientierung bei Lerninhalten: E-Learning-Kurse orientieren sich daran, welche Handlungskompetenzen Lernende aktuell und zukünftig für eine vollständige Handlungsfähigkeit in ihren Tätigkeiten brauchen. 4 3. Priorität Qualitätsentwicklung: der Mythos, Qualität einseitig und punktuell durch ein Bildungsangebot erzeugen zu können, wird aufgegeben. Stattdessen werden ELearning-Angebote kontinuierlich verbessert und optimiert, d.h. immer stärker an die Lernarten, -formen und die Kompetenzengpässe der Lernenden angepasst - unter Berücksichtigung des jeweiligen Kontextes und der Möglichkeiten der Lehrenden und Teletutoren. 4. Forschung zu Qualität aus Sicht der Lernenden: Weitere Forschung zu Qualität im ELearning sollte subjektiv bedeutsame Qualitätskriterien ermitteln, die Lernende als Anforderungen an E-Learning-Maßnahmen stellen. 1.3 Qualitätsentwicklung, Qualitätsmanagement oder Qualitätssicherung? Der Begriff Qualitätsentwicklung wird hier als umfassender Begriff für prozess- und produktorientierte Qualitätskonzepte verwandt und soll ein lernerorientiertes Grundverständnis auch sprachlich zum Ausdruck bringen. Qualitätsentwicklung im E-Learning steht für den Ansatz, statt einer punktuellen Qualitätsüberprüfung am Ende des Erstellungsprozesses den gesamten Lebenszyklus eines E-Learning-Angebots (von der Ermittlung der Anforderungen, der Analyse der Rahmenbedingungen, über die Konzeption, die Produktion, die Einführung, die Durchführung bis hin zur Evaluation) mit der Aufmerksamkeitsrichtung „Wie entsteht in dieser Phase Qualität?“ zu begleiten. Diese Sichtweise von Qualitätsentwicklung gewinnt zunehmend an Bedeutung. Da E-Learning-Angebote häufig mit aufwändigen Medienproduktionen verbunden sind, dominierte lange Zeit der stärker produktbezogene Qualitätssicherungsansatz: ein E-LearningAngebot wird von Experten darauf hin geprüft, ob Mindeststandards realisiert wurden. Qualitätssichernde Maßnahmen in diesem Sinne erfüllen auch aktuell noch eine wichtige Funktion, reichen aber zur Entwicklung von lernerorientierter Qualität im E-Learning nicht aus (darauf wird im Zusammenhang mit der Evaluation von E-Learning in Abschnitt 3 noch genauer eingegangen). Qualitätsmanagement bezeichnet im Gegensatz zu Qualitätssicherung einen stärker prozessorientierten Ansatz. Qualitätsmanagement fokussiert die Strukturen und Arbeitsabläufe bei der Entwicklung eines E-Learning-Angebots und versucht diese zu optimieren, z.B. die klare Zuordnung von Verantwortlichkeiten und die Regelung von Schnittstellen im hochgradig arbeitsteiligen Erstellungsprozess eines E-Learning Angebots. Qualitätsmanagement als Führungsaufgabe basiert auf der Annahme, dass mit kontinuierlich verbesserten Strukturen und Prozessen auch die Ergebnisqualität systematisch gesteigert werden kann. In der Praxis verschwinden die Unterschiede zwischen Qualitätsentwicklung und Qualitätsmanagement. Beide Begriffe werden häufig auch synonym verwendet. Der Begriff Qualitätsentwicklung drückt aber am besten aus, dass Qualität im E-Learning von allen Beteiligten gemeinsam in einem kontinuierlichem Prozess der Aushandlung entwickelt wird und weder technokratisch „gemanagt“ noch in einem fiktiven Endzustand „gesichert“ werden kann. Um die Frage zu beantworten, ob für die Qualitätsentwicklung im E-Learning bestehende Vorgehensmodelle eingesetzt werden können oder ob man eigens auf die Weiterbildung mit E-Learning zugeschnittene Qualitätsansätze benötigt, werden im Folgenden gängige Vorgehensmodelle zur Qualitätsentwicklung in der Weiterbildung betrachtet. Eingeschätzt werden soll dabei, inwieweit die Modelle die Spezifika des E-Learnings berücksichtigen bzw. wie groß ein entsprechender Anpassungsbedarf ist. 5 2 Ansätze zur Qualitätsentwicklung im E-Learning Systematische Qualitätsentwicklung wird von E-Learning-Akteuren jetzt und für die Zukunft als hoch bedeutsam eingeschätzt – so zeigen es die Ergebnisse der bereits erwähnten Befragung auf europäischer Ebene (EHLERS ET AL. 2005, 29ff). Die Befragung zeigt weiterhin, dass zwischen der Einsicht in die Bedeutung und der Umsetzung in die Praxis zum Teil noch eine Lücke klafft. Systematische Qualitätsstrategien setzen 61% der Befragten ein, die übrigen haben keine explizite Qualitätsstrategie in ihrer Organisation verankert. Die verwendeten systematischen Qualitätsstrategien teilen sich dabei in zwei Gruppen auf: die erste Gruppe nutzt Ansätze, die außerhalb der eigenen Organisation entwickelt wurden und passt diese an. Die zweite Gruppe setzt auf ein „Hauskonzept“ mit selbst entwickelten Richtlinien und Instrumenten zur Qualitätsentwicklung im E-Learning. Innerhalb der Gruppe derer, die sich an bereits etablierten Verfahrensmodellen orientieren, kann man wiederum zwischen denjenigen unterscheiden, die überwiegend produktorientierte Ansätze nutzen und denjenigen, die sich an überwiegend prozessorientierten Ansätzen orientieren. 2.1 Produktorientierte Ansätze Expertenbeurteilung mittels Kriterienkatalogen Produktorientierte Qualitätsansätze beruhen in ihrer Mehrzahl auf normativ-statischen Kriterienkatalogen und Checklisten. In ihnen sind Qualitätskriterien zusammengestellt, anhand derer ein E-Learning-Angebot oder eine einzelne Komponente eines Angebots bewertet oder ausgewählt werden kann. Erste Kriterienkataloge entstanden in Anlehnung an Verfahren der Softwareevaluation und fokussierten die eingesetzte Lernsoftware (z.B. die Kriterienkataloge AKAB oder MEDA 1997, vgl. MEIER 2000). Sie stellten die ersten Instrumente zur Qualitätsentwicklung im E-Learning bereit und dominierten die Qualitätsentwicklung, als computerunterstützte Lernformen aufkamen. Kriterienkataloge werden heute in unterschiedlicher Form fortgeschrieben und zur Sicherung von Mindeststandards, also im Rahmen der Qualitätssicherung, eingesetzt. Ebenso kommen sie bei Auswahlentscheidungen zum Einsatz, z.B. bei der Auswahl eines Learning Management Systems (vgl. die Studien von BAUMGARTNER, HÄFELE & MEYER-HÄFELE 2002 und SCHULMEISTER 2003) oder bei der Auswahl eines Kursangebots aus Lernersicht (STIFTUNG WARENTEST 2001). Wettbewerbe Unter produktorientierte Ansätze der Qualitätsentwicklung fällt weiterhin die Teilnahme an Qualitätswettbewerben. Im Hochschulbereich wird beispielsweise jährlich ein Preis für eine gelungene mediendidaktische Konzeption vergeben (Medida-Prix, vgl. BRAKE, TOPPER & WEDEKIND 2004). Auch hier liegt ein kriteriengeleitetes Auswahlverfahren zugrunde, das sich allerdings von vielen anderen Expertenevaluierungsverfahren mit Kriterienkatalogen im Grundsatz unterscheidet (Verfahren der Qualitativen versus der Numerischen Gewichtung und Summierung, vgl. BAUMGARTNER & FRANK 2000) ZFU-Zertifizierung Die Zertifizierung durch die Staatliche Zentralstelle für den Fernunterricht (ZFU) im Rahmen des Fernunterrichtsschutzgesetz (FernUSG) kann ebenfalls als produktorientierte Maßnahme der Qualitätsentwicklung gesehen werden, auch wenn es sich hier um den gesetzlich geregelten Bereich handelt. Unter das FernUSG fallen alle Formen des entgeltlichen Fernunterrichts unabhängig von den eingesetzten Medien, sofern mehr als 50% der Unterrichtszeit mit räumlicher Trennung von Lehrenden und Lernenden erfolgt und der Fernunterricht durch Lehrende 6 betreut bzw. kontrolliert wird. Die Qualitätsüberprüfung durch die ZFU erfolgt ebenfalls kriteriengeleitet. Allerdings steht auch die Zertifizierung durch die ZFU durch die wachsende Anzahl an ELearning-Angeboten auf dem Fernunterrichtsmarkt vor großen Herausforderungen: Die Regelungen des FernUSG sind seit 1976 nur minimal geändert worden. Die durch E-LearningAngebote prinzipiell größere Möglichkeit der Teilnehmerorientierung im Fernunterricht, insbesondere durch die Erweiterung der Lernressourcen, der Vielfalt an Zugängen zum Lerngegenstand und zu integrierender diskursiver Aushandlungsprozesse sind mit den bestehenden Regelungen eines vorab festgelegten Curriculums nur schwer in Einklang zu bringen. Die Grenzen der Qualitätssicherung durch eine Zertifizierung der ZFU werden andererseits auch deutlich, wenn man bedenkt, dass eine einzelne Lernplattform ebenfalls eine ZFU-Zulassung erhalten kann. 2.2 Prozessorientierte Qualitätsansätze Prozessorientierte Qualitätsansätze wie die DIN EN ISO 9000ff:2000 oder das Qualitätsmanagementmodell der European Foundation for Quality Management (EFQM) setzen auf der Managementebene einer Organisation an. Beide Ansätze werden für die Qualitätsentwicklung im E-Learning verwendet. Sie sind aber branchen- und produktneutral, d.h. sie müssen jeweils an den eigenen Kontext und die eigene Organisation angepasst werden. Darüber hinaus kommt die speziell für den Bildungssektor entwickelte „Lernerorientierte Qualitätstestierung in der Weiterbildung“ (ZECH 2003) zum Einsatz (vgl. auch Beitrag XXX in diesem Band). DIN EN ISO 9000ff:2000 Die Normenreihe DIN EN ISO 9000ff:2000 beschreibt die Grundzüge eines Qualitätsmanagementsystems und katalogisiert Forderungen zum Aufbau. Sie legt Standards fest, anhand derer man überprüfen kann, ob ein Qualitätsmanagementsystem die Forderungen der Norm erfüllt. Mit einer Zertifizierung kann die Erfüllung der Anforderungen nach außen dokumentiert werden. Die Standards werden dabei abstrakt für die Prozesse des Qualitätsmanagements definiert, nicht für die Güte des Produkts, der Dienstleistung oder des E-Learning-Angebots selbst. In der Fassung aus dem Jahr 2000 wird die Prozessorientierung von Qualitätsmanagement in den Mittelpunkt gestellt, Kundenorientierung ist ein Leitprinzip und Qualitätsmanagement wird als kontinuierlicher Verbesserungsprozess aufgefasst. In der Verantwortung der Leitung liegen die ersten zentralen Schritte, im Folgenden müssen entsprechende Ressourcen bereitgestellt werden und die Prozesse zur Dienstleistungserbringung festgelegt und auf Optimierungspotenzial hin überprüft werden. Auf einem höheren Niveau setzt sich so der Kreislauf von Planung, Durchführung, Überprüfung und Verbesserung (Plan-Do-Check-Act) zur Erfüllung der Forderungen aller interessierten Parteien fort. Qualitätsmodell der European Foundation for Quality Management Das Qualitätsmodell der European Foundation for Quality Management (EFQM) basiert auf den drei Grundgedanken des umfassenden Qualitätsmanagements (Total Quality Management): alle Ebenen einer Organisation sollen kontinuierlich die Qualität von Prozessen und Ergebnissen erhöhen, Kosten senken und Kundenbedürfnisse befriedigen, Qualität kann durch zielgerichtetes Handeln gesteuert werden, jede Organisation braucht definierte Prozesse, um die Verbesserung der Qualität ihrer Leistungen zu steuern. 7 Im EFQM-Modell soll die enge Verknüpfung von Qualitätsmanagement und industrieller Produktion durch das Konzept des „erfolgreichen Unternehmens“ (Business Excellence) aufgehoben werden. Es werden neun gewichtete Faktoren aufgeführt, die ein erfolgreiches Unternehmen ausmachen. Die Faktoren wiederum sind in die zwei Gruppen Befähiger (Führung der Organisation, Mitarbeiterorientierung, Politik und Strategie der Organisation, Umgang mit Partnerschaften und Ressourcen, Prozessorientierung) und Ergebnisse (Mitarbeiterzufriedenheit, Kundenzufriedenheit, gesellschaftsbezogene Ergebnisse und die Ergebnisse der Schlüsselleistungen) aufgeteilt. Das EFQM-Modell gilt insgesamt als umfassender als das ISO 9000ff Modell. Der Aufbau eines Systems entsprechend der ISO 9000ff Norm wird oft als der erste Schritt auf dem Weg zu einem EFQM-Modell gesehen (DOERR & ORRU 2000). Lernerorientierte Qualitätstestierung in der Weiterbildung (LQW 2) Ein Modell, das speziell für den Bildungsbereich entwickelt wurde und die Lernenden konsequent in den Mittelpunkt der Qualitätsentwicklung rückt, ist das lernerorientierte Qualitätsmodell für Weiterbildungsorganisationen (ZECH 2003). Es bietet sich daher besonders für eine Adaption im E-Learning an. Es geht davon aus, dass im Mittelpunkt von Qualitätsentwicklung im Bildungsbereich gelingendes, erfolgreiches Lernen stehen muss. Erst danach kommen Lehre, Infrastruktur und Organisation hinzu: Das Modell definiert die folgenden elf Qualitätsbereiche und legt für diese Mindestanforderungen fest: Abbildung 1: Qualitätsentwicklungs- und Testierungsmodell (aus: ZECH 2003, 9) Darüber hinaus kann jede Organisation weitere optionale Qualitätsbereiche bestimmen, die bei virtuellen Bildungsangeboten beispielsweise die Gestaltung der örtlichen und zeitlichen Flexibilisierung sein könnten. Einschätzung der Eignung der prozessorientierten Modelle für das E-Learning Für die Anwendung aller drei Modelle im E-Learning Bereich liegen kaum veröffentlichte Erfahrungsberichte vor. Alle Modelle geben als Managementmodelle Orientierung für die Führungsaufgaben, enthalten aber weder normative Elemente, die helfen Mindeststandards für die eigenen E-Learning-Angebote festzulegen, noch gibt es Hilfen für die Prozessmodellierung bei der Weiterbildung mit E-Learning. Die Modelle fordern nur, dass ein Qualitätsverständnis und kontextspezifische Qualitätsstandards (verstanden als Mindeststandards) festgelegt werden. 8 Bei der Anwendung des EFQM-Modells im Kooperationsverbund „Hochschulen für Gesundheit“ werden die Impulse für die Organisationsentwicklung gerade für „virtuelle Organisationen“ wie Hochschulverbünde betont, die virtuelle Studienmodule für die Aus- und Weiterbildung entwickeln. Ebenso erwähnt wird die höhere Aufmerksamkeit für wissenstützende Strukturen wie beispielsweise die Verfügbarkeit und der Service von Bibliotheken und Prozesse in der Verwaltung (JOHNS 2001). Diese Strukturen laufen oft Gefahr vernachlässigt zu werden. Mit dem umfassenden EFQM-Ansatz geraten sie eher wieder in den Blick. Insgesamt ist der Nutzen der Ansätze für die Qualitätsentwicklung im E-Learning hochgradig davon abhängig, wie es einer Weiterbildungsorganisation gelingt, die Modelle auf die Spezifika der Erstellung und Durchführung von E-Learning-Angeboten hin anzupassen und zu „übersetzen“. Dafür muss ein partizipativer Prozess aller Beteiligten gestaltet werden. Gelingt dies nicht, besteht die Gefahr aufwändig formalisierter und dokumentierter Prozesse, die nicht die tatsächlichen Arbeitsabläufe abbilden und deren Optimierung auch nicht die Qualität der Angebote erhöht. Auch wenn das Modell LQW 2 bereits eine hohe Lernerorientierung aufweist, sind auch hier Anpassungsleistungen für den E-Learning-Bereich existenziell. Mit dem expliziten Qualitätsbereich der Definition gelungenen Lernens besteht aber bereits ein guter Anknüpfungspunkt. Ebenso wie in den branchenunabhängigen Qualitätsmanagement-Modellen müssen aber auch hier Prozessmodelle entwickelt werden, die an die Entwicklung der eigenen E-LearningFormen angepasst sind. Ebenso müssen eigene Qualitätsstandards zur Qualitätssicherung festgelegt werden. 2.3 Hauskonzepte Aber auch ohne Orientierung an einem bestehenden Modell zum Qualitätsmanagement lassen sich in einem „Hauskonzept“ zur Qualitätsentwicklung Prozesse, Verfahren und Instrumente festlegen, die die jeweiligen organisationsspezifischen Bedingungen, Voraussetzungen und Ziele in besonderem Maße berücksichtigen können (vgl. auch KÜCHLER 2000). Im Bereich der Weiterbildung ergab eine Studie des Bundesinstituts für berufliche Bildung (BIBB) aus dem Jahr 2002, dass 54% der befragten Weiterbildungsanbieter die Selbstevaluation einsetzen und eigene Konzepte zur Qualitätsentwicklung einsetzen (BÖTEL & KREKEL 2004). Die Studie zur Qualitätsentwicklung im europäischen E-Learning-Kontext weist einen ähnlichen Trend auf: von 61 % der Befragten, die im E-Learning eine systematische Qualitätsstrategie verfolgen, orientieren sich 26% an etablierten Qualitätsmodellen wie DIN EN ISO 9000ff oder EFQM, 34% entwickeln ein Hauskonzept. Die komplette eigene Entwicklung hat einerseits den Vorteil, dass das Konzept eine hohe Passung für die eigene Organisation aufweist und organisch „mitwachsen“ kann. Unter Umständen sind auch die Chancen einer gelingenden partizipativen Entwicklung mit allen Beteiligten höher. Es resultiert dann eher ein Qualitätsmanagementsystem, das „lebt“. Hauskonzepte erfordern aber andererseits eine sehr hohe Gestaltungskompetenz in Hinblick auf Qualität (vgl. EHLERS ET AL. 2005 sowie zu potenziellen Nachteilen auch das Fallbeispiel in Abschnitt 4). Hauskonzepte können prozessbezogene wie auch produktbezogene Komponenten enthalten. Ähnlich wie bei der Anwendung etablierter Modelle stehen Weiterbildungsorganisationen auch bei diesem Weg vor der Aufgabe, ein angemessenes Prozessmodell zu entwickeln und Qualitätskriterien für die eigenen E-Learning-Angebote festzulegen. 2.4 PAS 1032-1/2 Mit der Veröffentlichung der PAS 1032-1/2 mit den zwei Teilen 9 PAS 1032-1: „Aus- und Weiterbildung unter besonderer Berücksichtigung von eLearning - Referenzmodell für Qualitätsmanagement und Qualitätssicherung“ und PAS 1032-2: „Aus- und Weiterbildung unter besonderer Berücksichtigung von eLearning - Didaktisches Objektmodell – Modellierung und Beschreibung didaktischer Szenarien“ liegt erstmalig ein Referenzmodell vor, das E-Learning-Akteure unmittelbar unterstützen und einige der skizzierten Lücken schließen kann (DIN 2004). PAS steht für Publicly Available Specification und bezeichnet einen öffentlich verfügbaren Diskussionsentwurf einer Spezifikation, der im Rahmen der Entwicklungsbegleitenden Normung des Deutschen Instituts für Normung e.V entstanden ist. Er kann ein erster Schritt bei der Entstehung einer neuen Norm zur Qualitätsentwicklung im E-Learning sein. Die PAS 1032-1/2 beinhaltet kein komplettes Qualitätsmanagementmodell wie die zuvor beschriebenen prozessorientierten Qualitätsansätze, sondern enthält ein speziell auf den Lebenszyklus eines E-Learning-Angebotes zugeschnittenes Referenzprozessmodell mit einem zugehörigen Beschreibungsschema. Das Prozessmodell identifiziert und beschreibt zentrale Prozesse der Planung, Entwicklung, Durchführung und Evaluation von Bildungsprozessen. Es unterscheidet sieben Hauptprozesse, die wiederum in Teilprozesse aufgegliedert sind: Abbildung 2: Prozessmodell der PAS 1032-1 (DIN 2004) Mit den Prozessen Anforderungsermittlung, Rahmenbedingungen, Konzeption, Produktion, Einführung, Durchführung und Evaluation gibt es wertvolle Vorgaben für eine eigene Prozessmodellierung. Diese Prozesse sind zwar allgemein für die Aus- und Weiterbildung zu verwenden, aber die spezifische Anpassung auf den Einsatz digitaler Medien für differenzierte Lehr- und Lernhandlungen ist deutlich zu erkennen. Auch wenn man dieses Modell ver10 wendet, ist es selbstverständlich noch an den eigenen Kontext anzupassen. Das Referenzmodell erleichtert aber mit seinen Empfehlungen und Beschreibungsformaten diese Arbeit substantiell. In einem weiteren Teil stellt die PAS 1032-1 zusätzlich Kriterien zur Prüfung der Qualität von E-Learning-Angeboten zur Verfügung. Dieser umfangreiche Kriterienkatalog für die Produktprüfung, aus der je nach Beschaffenheit des eigenen E-Learning-Angebots eine Teilmenge von Qualitätskriterien ausgewählt werden kann, ist eine der aktuellsten Kriteriensammlungen zum E-Learning. Seine Anwendung ist allerdings noch nicht weiter operationalisiert. Der Kriterienkatalog setzt auf den Kriterien der Norm zur Software-Ergonomie ISO 9241 auf und umfasst die sieben Bereiche Rahmenbedingungen Technische Aspekte Datenspeicherung und -verarbeitung Funktionalitäten (Lern)Theoretische Aspekte Kodierung der Information Formate und Gestaltung Er enthält weiterhin auch Kriterien, die sich aus Regelungen und Gesetzen ergeben, die auf ELearning-Angebote zutreffen können. Es sind dies: die Datenschutzgesetze (9 Kriterien) das Grundschutzhandbuch des Bundesamtes für Sicherheit in der Informationstechnik (24 Kriterien) das Fernunterrichtsschutzgesetz (3 Kriterien) die Barrierefreie-Informationstechnik-Verordnung (18 Kriterien) der Learning Object Metadata-Standard (24 Kriterien) Die PAS 1032-2 enthält ein Beschreibungsmodell für didaktische Konzepte, Szenarien und Methoden unter besonderer Berücksichtigung des E-Learnings. Mit diesem Modell werden die Standardisierungsbemühungen im E-Learning ebenfalls einen wichtigen Schritt weiter gebracht (zur Standardisierungsdebatte und -problematik aus didaktischer Sicht vgl. auch ARNOLD ET AL. 217ff.) Als Diskussionsentwurf soll die PAS 1032-1/2 durch vielfältige Rückmeldungen aus der Praxis unter möglichst breiter Beteiligung aller Akteure im E-Learning in der kommenden Zeit weiter entwickelt werden und ggf. in einer neuen Norm aufgehen. Wie tragfähig sowohl das Referenzmodell als auch die Kriteriensammlung für die Qualitätsentwicklung im E-Learning ist, wird sich also erst in Zukunft genauer bestimmen lassen. In jedem Fall gibt die PAS 10321/2 für die Anpassung etablierter Systeme oder die Erstellung eines Hauskonzeptes gute Orientierung, da hier die Spezifika des E-Learnings bereits berücksichtigt sind. Von Vorteil ist weiterhin, dass in der PAS 1032-1 bereits prozess- und produktorientierte normative Elemente integriert sind. 3 Evaluation als zentrales Element der Qualitätsentwicklung Evaluation ist in allen Ansätzen zur Qualitätsentwicklung ein zentraler Prozess. Im Referenzmodell der PAS 1032-1 ist der Evaluationsprozess in die Teilprozesse Planung, Durchführung, Auswertung und Optimierung aufgeteilt. Mit dem Teilprozess Optimierung ist damit 11 bereits eine wichtige Funktion der Evaluation im Rahmen der Qualitätsentwicklung angesprochen: Evaluationsergebnisse sollten genutzt werden, um ein bestehendes E-Learning Angebot zu verbessern. Für die Qualitätsentwicklung sollte formative, d.h. prozess- und entwicklungsbegleitende Evaluation zur Verbesserung des Angebots daher Vorrang gegenüber summativer Evaluation haben, die bilanzierend am Ende eines E-Learning-Projekts stehen kann. Für Evaluationen im E-Learning wurden eine Reihe spezieller Evaluationsmethoden entwickelt (vgl. SCHENKEL, TERGAN & LOTTMANN 2000). Grundsätzlich kann zwischen ExpertenBeurteilungsverfahren (Kriterienkataloge, Expertenratings) und empirischen Verfahren (Befragungen / Beobachtungen / Dokumentenanalyse) unterschieden werden. 3.1 Experten-Beurteilungsverfahren mit Kriterienkatalogen Die Vorteile von Experten-Beurteilungsverfahren und insbesondere der Einsatz von Kriterienkatalogen liegen auf der Hand: Im Vergleich zu empirischen Verfahren, die die tatsächliche Nutzungssituation der Lernenden in den Mittelpunkt stellen, sind Expertenevaluationen Zeit und Kosten sparend, scheinen leicht handhabbar und „vermitteln die Vorstellung eines vollständigen, objektiven und validen Bewertungsinstrumentariums.“ (TERGAN 2000, 330) Diesen (scheinbaren) Vorzügen stehen zahlreiche gravierende Nachteile gegenüber. Expertenevaluationen vernachlässigen den konkreten Anwendungskontext, die Lernsituation mit ihren Spezifika, und insbesondere den Lernprozess der Lernenden selbst. Problematisch erscheinen vor allem die folgenden Punkte (zur Kritik an Kriterienkatalogen als Evaluationsmethode im E-Learning vgl. ausführlich FRICKE 2000 und BAUMGARTNER 1997): (1) Mangelnde Beurteilerübereinstimmung Werden Kriterienkataloge angewandt, gibt es oft große Abweichungen der Gutachtermeinungen, insbesondere wenn Qualitätskriterien bepunktet werden. Es fehlen standardisierte Angaben, wann ein bestimmtes Kriterium als erfüllt oder als teilweise erfüllt gewertet werden soll. (2) Geringe praktische Signifikanz der Qualitätskriterien In vielen Kriterienkatalogen sind technische Merkmale des E-Learning-Angebots zu stark gewichtet (BIFFI 2002). Sie lassen sich zwar häufig gut operationalisieren, sagen aber wenig über den zu erwartenden Lernerfolg aus (z. B Vorhandensein einer Hilfefunktion im Lernmodul). Generell sollten als Qualitätskriterien nur diejenigen Merkmale in Kataloge aufgenommen werden, die nachweislich den Lernprozess signifikant beeinflussen. Für die allermeisten Kriterien fehlt bislang aber ein solcher Nachweis in einer wissenschaftlichen Validitätsstudie. In der Praxis wird ein Merkmal bereits als Qualitätsmerkmal bezeichnet und in Prüflisten aufgenommen, „wenn lediglich Vermutungen über die Lernwirksamkeit eines Programmmerkmals vorliegen“. (FRICKE 2000, 75). (3) Nichtberücksichtigung des Einsatzkontexts eines E-Learning-Angebots Mit Kriterienkatalogen kann in der Regel das reale Einsatzszenario des E-Learning-Angebots nicht erfasst werden. Faktoren wie die zeitliche und räumliche Organisation oder die betriebliche Lernkultur werden nicht berücksichtigt. Damit wird die Passung eines E-LearningAngebots auf Faktoren wie Lernziele, Zielgruppe und Rahmenbedingungen nicht in die Bewertung aufgenommen. Experten-Evaluationen anhand von Kriterienkatalogen sollten daher nur einen Teil einer Evaluation ausmachen, da sie alleine der Komplexität und den hoch differenzierten Lernsituationen im E-Learning kaum gerecht werden können. 3.2 Empirische Evaluationsverfahren im E-Learning 12 Sie sollten ergänzt werden durch empirische Verfahren, insbesondere durch Ansätze, die die Lernhandlungen der Teilnehmenden im jeweiligen Kontext in den Mittelpunkt des Evaluationskonzepts stellen und in Anlehnung an die Handlungsforschung vorgehen (ZIMMER & PSARALIDIS 2000; MAYRING & HURST 2004). Vor allem qualitative Untersuchungsmethoden versprechen in einem derart komplexen und von ständigen Veränderungen gekennzeichneten Feld besondere Erträge (BAUMGARTNER 1997a). Prinzipiell können alle bekannten Methoden der empirischen Sozialforschung (v.a. Beobachtungen, Befragungen, Dokumentenanalyse und Tests) für die Evaluation von E-Learning in diesem Sinne eingesetzt werden (vgl. TERGAN 2000). Online-Erhebungen und LogfileAnalysen ergänzen als neue Möglichkeiten das Methodenspektrum. Ein Vorteil von Online-Befragungen ist der oft geringere Aufwand für die Beteiligten sowie die größere zeitliche und örtliche Flexibilität. Insbesondere bei Interviews und Diskussionen entfällt für die Evaluierenden die häufig mühsame Transkription. Auch kann eine Auswertung zeitnah erfolgen und die Ergebnisse können den Befragten unmittelbar zurückgespiegelt werden. Prozesse der kommunikativen Validierung (KVALE 1996, 246ff) werden so ebenfalls erleichtert. Nachteile bestehen in der Schwierigkeit, Datensicherheit sowie Datenanonymität zu erreichen. Datensicherheit bedeutet hier, dass nur die zu Befragenden wirklich befragt werden und die Fragen auch nur einmal beantworten. Datenanonymität heißt, dass die Beantwortung keine Spuren hinterlässt, die es erlauben, die Antwort gebende Person zu identifizieren. Problematisch ist in diesem Zusammenhang oft, dass Lernende sich in das Learning Management System in der Regel mit persönlicher Kennung anmelden. Zusätzlich werden Online-Befragungen auch häufig als unpersönlich und weniger verbindlich empfunden. Unter Umständen eignen sie sich auch aufgrund des knapper gehaltenen Kommunikationsstils in der asynchronen Kommunikation weniger für eine qualitative Auswertung (MAYRING & HURST 2004). Durch die Subskription von Mailinglisten oder Diskussionsforen werden auch OnlineBeobachtungen möglich. Im Gegensatz zur teilnehmenden Beobachtung herkömmlicher Art ergibt sich hier die Möglichkeit einer teilnehmenden Beobachtung ohne Interaktion mit dem Feld. Sie kann vollständig unbemerkt bleiben und damit nicht auf das Feld zurück wirken. Sie wird auch als passiv teilnehmende Beobachtung („lurking observation“) bezeichnet (vgl. HOFMANN 1998, 179). Bei der teilnehmenden Beobachtung von Mailinglisten und Diskussionsforen sind besondere ethische Fragen der Zustimmung der Teilnehmenden zu beachten. Aufgrund der spezifischen Form der nicht zu bemerkenden Beobachtung trifft einerseits die sonst übliche Unterscheidung zwischen offener und verdeckter Beobachtung nicht mehr zu. Andererseits ist eine explizite Einverständniserklärung aller Teilnehmenden häufig nicht zu erreichen. Logfile-Analysen sind Auswertungen der Daten, die bei einem E-Learning-Angebot automatisch auf dem Webserver oder dem individuellen Rechner gespeichert werden. Diese Daten sollten sorgfältig geprüft und vorsichtig interpretiert werden. Aufgrund von besonderen technischen Konstellationen kann es zu Verzerrungen kommen: der gleiche Benutzer kann unter verschiedenen Rechneradressen auf das Angebot zugreifen (z.B. zuhause oder bei der Arbeit); in anderen Fällen melden sich unterschiedliche Personen unter der gleichen Rechneradresse an. Gleichzeitig sind die Zeitprotokolle mit größter Vorsicht auszuwerten: ob eine Seite nur aufgerufen wurde, der Lernende sich dann aber einer anderen Tätigkeiten (telefonieren, Tee trinken etc. ) zugewandt hat, lässt sich den Daten nicht ansehen. Berücksichtigt man diese Einschränkungen, können Log-Files aber dennoch wichtige Hinweise liefern. Es lassen sich Tendenzen erkennen, welche Bereiche des Angebots besonders in13 tensiv genutzt oder vielleicht nie aufgerufen wurden. Es lassen sich - im begrenzten Umfang – Schlüsse auf Muster bei den Lernzeiten und der Intensität der Nutzung des Angebots ziehen. 4 Fallbeispiel Qualitätsentwicklung in der Virtuellen Fachhochschule 4.1 Kontext Im Projekt „Virtuelle Fachhochschule für Technik, Informatik und Wirtschaft“ (VFH) wurden innerhalb von fünf Jahren zwei virtuelle Fachhochschulstudiengänge eingerichtet: Medieninformatik und Wirtschaftsingenieurwesen. Projektpartner waren zwölf norddeutsche Fachhochschulen, zwei Universitäten und Partner aus der Wirtschaft. Das Studium erfolgt zu ca. 80% als E-Learning-Angebot mit virtuellen Studienmodulen, ca. 20% eines Lernangebots finden in Präsenz statt. Organisatorisch war der Aufbau komplex, da die Forschungs- und Entwicklungsaktivitäten im Rahmen des Projektes stattfanden, die eigentliche Durchführung des Studienbetriebs aber in den Händen eines Durchführungsverbunds mehrerer Hochschulen liegt. Eingesetzt wird das Learning Management System Blackboard, Mentoren betreuen als Teletutoren die virtuellen Studienphasen. Die Studienmodule wurden auf der Grundlage eines aufgabenorientierten didaktischen Ansatzes entwickelt (vgl. ARNOLD ET AL. 2004). 4.2 Hauskonzept zur Qualitätsentwicklung Überlegungen zur Einführung eines Qualitätsmanagementsystems fanden in der VFH parallel zur Entwicklung des virtuellen Studienangebotes statt. Aufgrund des Charakters als Forschungs- und Entwicklungsprojekt, der Verbundstruktur innerhalb des Projektes und beim durchführenden Hochschulverbund schien es weder sinnvoll noch durchführbar, existierende, generische Qualitätsmodelle für die eigenen Zwecke anzupassen. Stattdessen wurden einzelne, an die spezifischen Gegebenheiten im Projekt angepasste, Maßnahmen der Qualitätsentwicklung im Sinne eines Hauskonzepts geschaffen. Der Schwerpunkt lag dabei auf den Durchführungs- bzw. Prozessaspekten, insbesondere bei den didaktischen Konzepten sowie den Konzepten der Studienunterstützung und -betreuung. Der Schwerpunkt wurde auf diese Konzepte gelegt, da sie zentral und konstitutiv für das ELearning sind. Hinzu kamen Maßnahmen zur Sicherung der Qualität der virtuellen Studienmodule aus softwareergonomischer Sicht. Die wesentlichen Instrumente der Qualitätsentwicklung waren die Bereitstellung von didaktischen Leitlinien für die Entwicklung von Studienmodulen, Schulungen für die Tele-Tutoren und Tutorinnen sowie eine kontinuierliche formative Evaluation und ein Styleguide mit Entwicklungsvorgaben für die virtuellen Studienmodule. Der Styleguide enthielt schwerpunktmäßig softwareergonomische Kriterien, aber auch Kriterien entsprechend der didaktischen Leitlinien. Zur Qualitätssicherung wurde ein gestufter Reviewprozess zu drei Zeitpunkten angeboten: nach der Entwicklung des berufsfeldbezogenen Leitbildes für das Studienmodul in der Konzeptionsphase, nach der Konzeptualisierung von Aufgaben und Informationsbasis, ggf. mit ersten prototypischen Aufgaben, in einer fortgeschrittenen Entwicklungsphase anhand (prototypischer) Ausschnitte aus dem Gesamtmodul. 14 Abbildung 3: Reviewprozess bei der Produktion virtueller Studienmodule nach HARTWIG, TRIEBE & HERCZEK (2002) Die Reviews aus didaktisch-methodischer Perspektive orientierten sich in Form und Intensität an dem Bedarf der Entwicklerinnen und Entwickler. Da Inhalte und zu erwerbende Handlungskompetenzen in allen Studienmodulen unterschiedlich waren, gab es keine standardisierten Checklisten. In den softwareergonomischen Reviews war es eher möglich, den Grad der Styleguide-Konformität anhand standardisierter Kriterienkataloge festzustellen (HARTWIG, TRIEBE & HERCZEG 2002). Die Einführung eines stärker standardisierten, einheitlichen Reviewprozesses wurde diskutiert, aber weitgehend verworfen. Ein solcher Prozess hat sich nur dort etabliert, wo zahlreiche Module unter ähnlichen Rahmenbedingungen in einem stark arbeitsteiligen Vorgehen produziert wurden. An vielen der beteiligten Hochschulen gab es aber nur kleine Entwicklungsteams. Im Gegensatz zu Qualitätsmanagementansätzen mit einem höheren Formalisierungsgrad erschien es daher im Kontext der VFH sinnvoller, die vorhandenen Ressourcen in Einzelfallberatungen und Workshops für die Entwicklerinnen und Entwickler zu investieren, um diese direkt zu befähigen, ihre jeweiligen Studienmodule den didaktischen Leitlinien entsprechend umzusetzen. Der Styleguide wurde wie die didaktischen Leitlinien im Projektverlauf auf der Basis der Ergebnisse formativer Evaluationen kontinuierlich fortgeschrieben. Formative Evaluationen wurden als zentrales Instrument der Qualitätsentwicklung zu verschiedenen Zeitpunkten und mit unterschiedlichen Schwerpunkten eingesetzt. Schwerpunkte der Evaluationen waren aus didaktisch-methodischer Sicht die Lernraumnutzung, die Betreuung (vor allem während der Online-Lernphasen), die Aufgabenstellungen in den virtuellen Studienmodulen sowie die virtuelle Kooperation. Die Evaluation unter softwareergonomischen Aspekten stellte die Bedienerfreundlichkeit und Lernunterstützung in den Mittelpunkt der Betrachtung. Das Evaluationsdesign kombinierte verschiedene Erhebungsmethoden. Je nach Evaluationsgegenstand wurden Studierende sowie Mentoren mittels Fragebö15 gen (mit geschlossenen und offenen Fragen) und qualitativen Interviews befragt und Usability-Tests sowie eine Kommunikationsanalyse der asynchronen Kommunikation im Lernraum durchgeführt. 4.3 Kritische Reflexion Das Vorgehen nach einem solchen Hauskonzept hat sich prinzipiell bewährt, da die Maßnahmen unter hoher Beteiligung der Akteure passgenau für die bestehenden Strukturen und Ressourcen entwickelt wurden und „organisch mitwuchsen“. Nichtsdestotrotz gab es auch einige problematische Punkte (vgl. ausführlich ARNOLD ET AL. 2004): Der fehlende zeitliche Vorlauf für die Entwicklung der Qualitätsentwicklungsmaßnahmen hat zum Teil zu Verunsicherung sowie zu Dopplungen und Überschneidungen in der Entwicklungsarbeit geführt. Teilweise war es aufgrund der komplexen Organisationsstruktur schwer, Evaluationsergebnisse rechtzeitig zu erhalten und zu verbreiten, sodass sie optimalen Nutzen bringen konnten. Die Ergebnisse der Evaluationen der Pilotphasen lagen zwar zeitig vor, waren aber in ihrer Aussagekraft begrenzt, da die Studienbedingungen nicht denen des realen Studienbetriebes entsprachen. Die Rückkopplung der aussagekräftigeren Evaluationsergebnisse des realen Studienbetriebes war mit den gegebenen Ressourcen nicht so zeitnah möglich, wie es wünschenswert gewesen wäre. Darüber hinaus war es teilweise schwierig, den durchführenden Hochschulen das Evaluationskonzept hinreichend greifbar zu vermitteln: Obwohl der Evaluationszweck eindeutig in der Verbesserung des Studienbetriebs lag, befürchteten sowohl Dekanate als auch Mentoren häufig zunächst eine Bewertung der eigenen Hochschule bzw. der eigenen Betreuungsarbeit. Evaluation wurde hier traditionell mit Kontrolle konnotiert, die Skepsis und die Frage nach dem Mandat auslöste. Ein auf Führungsebene verankertes etabliertes Qualitätsmanagementsystem hätte diese Reibungspunkte möglicherweise reduzieren können. 5 Fazit und Perspektiven Qualitätsentwicklung im E-Learning ist ähnlich wie die Qualitätsentwicklung in der Weiterbildung allgemein ein zentrales Thema. In der Weiterbildungspraxis werden zurzeit etablierte Qualitätsmanagement-Modelle für das E-Learning angepasst oder organisationsspezifische Hauskonzepte entwickelt. Die besondere Herausforderung ist dabei, eine Kombination aus prozess- und produktorientierten Ansätzen zu finden, die der hohen Individualisierung und Differenzierung im E-Learning gerecht wird und die Lernenden in den Mittelpunkt stellt. Ebenso müssen angemessene Designs für formative Evaluationen gefunden werden, die die Teilnehmenden und deren Lernsituationen ins Zentrum rücken. Mit der PAS 1032-1 liegt erstmals ein mit Blick auf die Besonderheiten des E-Learnings spezialisiertes Prozessmodell vor ebenso wie eine umfangreiche, aktuelle Sammlung von Qualitätskriterien. Die Sammlung kann normative Orientierung bei der Entwicklung qualitätssichernder Maßnahmen bieten. Beide Elemente der PAS 1032-1 können die Entwicklung angemessener Ansätze zur Qualitätsentwicklung in der Weiterbildung mit digitalen Medien unterstützen. Welche Modifikationen in dem Prozessmodell oder bei der Kriteriensammlung noch notwendig sein werden, wird der Einsatz in der Praxis zeigen. Der Diskussions- und Weiterentwicklungsprozess der PAS 1032-1/2 steht prinzipiell allen Akteuren im E-Learning offen; wünschenswert wäre es auch insbesondere Lernende an diesem Diskussionsprozess zu beteiligen. Als zentrale Leitlinien für die Weiterentwicklung von lernerorientierten Verfahren und Standards, um Qualität im E-Learning zu erreichen, können die folgenden festgehalten werden: 16 Qualitätsentwicklung als zyklischen und iterativen Prozess mit unterschiedlichen Phasen planen und durchführen, Eher produktbezogene Qualitätssicherung und eher prozessbezogenes Qualitätsmanagement innerhalb eines umfassenden Konzepts integrieren, Formativen Evaluationen mit empirischen Verfahren, die die Lernenden in ihren Lernsituationen fokussieren, als zentrale Instrumente der Qualitätsentwicklung verankern Qualitätsstandards auf allen Qualitätsebenen festlegen, zentral sind dabei aufgrund der Besonderheiten des E-Learnings didaktische Konzepte mit a. Lernaufgaben, die es Studierenden ermöglichen Handlungskompetenzdefizite festzustellen und zu überwinden b. Wahlmöglichkeiten bezogen auf Lerninhalte und Bearbeitungsschritte und reihenfolgen c. Reflexionshilfen d. Dialogmöglichkeiten mit Lehrenden und anderen Studierenden e. Tutorieller Betreuung f. Unterstützung der Teilnehmenden bei der Entwicklung von Lern- und Medienkompetenzen (vgl. ausführlich ARNOLD ET AL 2004) Im Rahmen des vom Bundesministerium für Wirtschaft und Arbeit geförderten Projektes Qualitätsinitiative E-Learning in Deutschland (www.qed-info.de ) wird zurzeit mit ähnlichen Ansatzpunkten an der Weiterentwicklung von Qualitätsmodellen im E-Learning gearbeitet. Angestrebt wird, auf der Grundlage bestehender Qualitätsmodelle und der PAS 1032-1 ein harmonisiertes und integratives Modell zu erarbeiten sowie Softwarewerkzeuge, die die zugehörigen Entscheidungs- und Dokumentationsprozesse unterstützen können. Die Ergebnisse dieser Initiative können die Qualitätsentwicklung im E-Learning erneut einen Schritt voran bringen und damit Weiterbildungsorganisationen in einem zentralen Teilbereich ihrer Arbeit unterstützen. 17 Literatur Arnold, Patricia; Kilian, Lars; Thillosen, Anne & Zimmer, Gerhard (2004): E-Learning. Handbuch für Hochschulen und Bildungszentren. Didaktik – Organisation - Qualität. Nürnberg: Bildung und Wissen. Arnold, Rolf (1997): Qualität durch Professionalität – zur Durchmischung von Utilität und Zweckfreiheit in der Qualität betrieblicher Weiterbildung. In: Arnold, Rolf (Hrsg.): Qualitätssicherung in der Erwachsenenbildung. Opladen: Leske und Budrich, 51-61. Balli, Christel; Krekel, Elisabeth M. & Sauter , Edgar (2002): Qualitätsentwicklung in der Weiterbildung aus der Sicht von Bildungsanbietern – Diskussionsstand, Verfahren, Entwicklungstendenzen. In: Balli, Christel; Krekel, Elisabeth M. & Sauter, Edgar (Hrsg.): Qualitätsentwicklung in der Weiterbildung. Zum Stand der Anwendung von Qualitätssicherungs- und Qualitätsmanagementverfahren bei Weiterbildungsanbietern. Bonn: Bundesinstitut für Berufsbildung, 5-24. Baumgartner, Peter & Frank, Stefan (2000): Der Mediendidaktische Hochschulpreis (MedidaPrix) – Idee und Realisierung. In: Scheuermann, Friedrich (Hrsg.): Campus 2000 – Lernen in neuen Organisationsformen. Münster: Waxmann, 63-81. Baumgartner, Peter (1997): Didaktische Anforderungen an (multimediale) Lernsoftware. In: Issing, Ludwig I. & Klimsa, Paul (Hrsg.): Information und Lernen mit Multimedia. Weinheim: Psychologie-Verl.-Union: 241-252. Baumgartner, Peter (1997a): Evaluation vernetzten Lernens: 4 Thesen. In: Simon, Hartmut (Hrsg.): Virtueller Campus. Forschung und Entwicklung für neues Lehren und Lernen. Münster u.a.: Waxmann, 131-146. Baumgartner, Peter; Häfele, Hartmut & Meyer-Häfele, Kornelia (2002): E-Learning Praxishandbuch. Auswahl von Lernplattformen. Innsbruck: StudienVerlag. Biffi, Cornelia (2002): Evaluation von Bildungssoftware im Spannungsfeld von Objektivität und praktischer Anwendung. MedienPädagogik 8.5.2002; www.medienpaed.com/021/biffi1.pdf (zuletzt abgerufen: 02.09.2005). Bötel, Christina; Krekel, Elisabeth M. (2004): Trends und Strukturen der Qualitätsentwicklung bei Bildungsträgern. In: Balli, Christel; Krekel, Elisabeth M; Sauter, Edgar (Hrsg.): Qualitätsentwicklung in der Weiterbildung – Wo steht die Praxis? Bonn: BIBB, 19-40. Brake, Christoph; Topper, Monika & Wedekind, Joachim (Hrsg.) (2004): Der Medida-Prix. Nachhaltigkeit durch Wettbewerb. Münster: Waxmann. DIN (Hrsg.) (2004): PAS 1032-1/2: Aus- und Weiterbildung unter besonderer Berücksichtigung von e-Learning - Teil 1: Referenzmodell für Qualitätsmanagement und Qualitätssicherung; Planung, Entwicklung, Durchführung und Evaluation von Bildungsprozessen und Bildungsangeboten; Teil 2: Didaktisches Objektmodell; Modellierung und Beschreibung didaktischer Szenarien (kostenloser Download unter www.mybeuth.de). Doerr, Klaus & Orru, Andreas (2000): Zwischenbilanz zum Qualitätsmanagement. In: Grundlagen der Weiterbildung, 11. Jg., Heft 2, 82-84. Ehlers, Ulf (2002): Qualität beim E-Learning: Der Lernende als Grundkategorie bei der Qualitätssicherung. In: MedienPädagogik, www.medienpaed.com/02-1/ehlers1.pdf (zuletzt abgerufen: 02.09.2005). Ehlers, Ulf (2004): Qualität im E-Learning aus Lernersicht. Grundlagen, Empirie und Modellkonzeption subjektiver Qualität. Wiesbaden: VS Verlag für Sozialwissenschaften 18 Ehlers, Ulf; Goertz, Lutz; Hildebrandt, Barbara; Pawlowski, Jan M. (2005): Qualität im eLearning. Nutzung und Verbreitung von Qualitätsansätzen im europäischen ELearning. Eine Studie des European Quality Observatory. Luxemburg: Amt für amtliche Veröffentlichungen der Europäischen Gemeinschaften. Fricke, Reiner (2000): Qualitätsbeurteilung durch Kriterienkataloge. Auf der Suche nach validen Vorhersagemodellen. In: Schenkel, Peter; Tergan, Sigmar-Olaf & Lottmann, Alfred (Hrsg.): Qualitätsbeurteilung multimedialer Lern- und Informationssysteme. Evaluationsmethoden auf dem Prüfstand. Nürnberg: Verlag Bildung und Wissen, 75-88. Hartwig, Ronald; Triebe, Johannes & Herczeg, Michael (2002): Usability Engineering as an Important Part of Quality Management for a Virtual University. In: Proceedings, World Congress Networked Learning in a Global Environment, Challenges and Solutions for Virtual Education. Technical University of Berlin, May 1-4, 2002: Canada / Netherlands: ICSC-NAISO Academic Press, Abstract on p. 92 [Fullpaper on CDROM]. Hofmann, Jeannette (1998): "Let A Thousand Proposals Bloom" - Mailinglisten als Forschungsquelle. In: Batinic, Bernad; Werner, Andreas; Gräf, Lorenz & Bandilla, Wolfgang (Hrsg.) (1998): Online Research. Methoden, Anwendungen und Ergebnisse. Göttingen u.a.: Hogrefe Verlag für Psychologie, 179-199. Johns, Henry (2001): Qualitätsmanagement im Kooperationsverbund „Hochschulen für Gesundheit“. In: Wagner, Erwin & Kindt, Michael (Hrsg.): Virtueller Campus. Szenarien – Strategien – Studium. Münster u.a.: Waxmann (Medien in der Wissenschaft, Bd. 14), 285-292. Küchler, Felicitas von (2000): Worin besteht die Qualität eines pädagogischen Produkts? In: Grundlagen der Weiterbildung, 11. Jg., Heft 6, 277-280. Kvale, Steinar (1996): InterViews. An introduction to qualitative research interviewing. Thousand Oaks u.a.: Sage. Mayring, Philipp & Hurst, Alfred (2004): Zur Evaluation der akademischen Medienkompetenz. In: Vogel, Rose (Hrsg.): Didaktische Konzepte der netzbasierten Hochschullehre – Ergebnisse des Verbundprojekts „Virtualisierung im Bildungsbereich“. Münster u.a.: Waxmann, 33-54. Meier, Anne (2000): MEDA und AKAB: Zwei Kriterienkataloge auf dem Prüfstand. In: Schenkel, Peter; Tergan, Sigmar-Olaf & Lottmann, Alfred (Hrsg.): Qualitätsbeurteilung multimedialer Lern- und Informationssysteme. Evaluationsmethoden auf dem Prüfstand. Nürnberg: Verlag Bildung und Wissen, 164-189. Schenkel, Peter; Tergan, Sigmar-Olaf & Lottmann, Alfred (Hrsg.) (2000): Qualitätsbeurteilung multimedialer Lern- und Informationssysteme. Evaluationsmethoden auf dem Prüfstand. Nürnberg: BW Bildung und Wissen. Schulmeister, Rolf (2003): Lernplattformen für das virtuelle Lernen. Oldenbourg: München, Wien. Stiftung Warentest (2001): Checkliste der Stiftung Warentest zur Auswahl eines Onlinekurses. http://www.stiftungwarentest.de/online/bildung_soziales/weiterbildung/infodok/1131805/1131805.html ((zuletzt abgerufen: 02.09.2005) Tergan, Sigmar-Olaf (2000). Vergleichende Bewertung von Methoden zur Beurteilung der Qualität von Lern- und Informationssystemen. Fazit eines Methodenvergleichs. In: Schenkel, Peter; Tergan, Sigmar-Olaf & Lottmann, Alfred (Hrsg.): Qualitätsbeurteilung multimedialer Lern- und Informationssysteme. Evaluationsmethoden auf dem Prüfstand. Nürnberg: BW Bildung und Wissen, 329-347. 19 Zech, Rainer (2003): Lernerorientierte Qualitätstestierung in der Weiterbildung. LQW2. Das Handbuch. Hannover: Express. Zimmer, Gerhard (2000): Konzeptualisierung der Pädagogischen Infrastruktur für die telematischen Lehr- und Lernformen an der „Virtuellen Fachhochschule“. In: de Cuvry, Andrea; Haeberlin, Friedrich; Michl, Werner & Breß, Hartmut (Hrsg.): Erlebnis Erwachsenenbildung. Zur Aktualität handlungsorientierter Pädagogik. Neuwied u.a.: Luchterhand, 98-109. Zimmer, Gerhard (2002): E-Learning führt zu einer anderen Kultur des Lehrens und Lernens. Folgen für die didaktische Gestaltung. In: Zimmer, G. (Hrsg.): High Tech or High Teach. Lernen in Netzen zwischen Aktualität und Potenzialität. Dokumentation der Beiträge im Workshop 7 der Hochschultage Berufliche Bildung 2002 an der Universität zu Köln. Bielefeld: W. Bertelsmann, 5-17. Zimmer, Gerhard & Psaralidis, Elena (2000): "Der Lernerfolg bestimmt die Qualität einer Lernsoftware!". Evaluation von Lernerfolg als logische Rekonstruktion von Handlungen. In: Schenkel, Peter; Tergan, Sigmar-Olaf & Lottmann, Alfred (Hrsg.): Evaluation von Bildungssoftware. Nürnberg (BW Bildung und Wissenschaft), 262-303. Angaben zur Autorin: Patricia Arnold, Dr. phil., Wissenschaftliche Mitarbeiterin Mediendidaktik am Zentrum für Hochschul- und Weiterbildung der Universität Hamburg, Lehrbeauftragte am Fachbereich Pädagogik an der Helmut-Schmidt-Universität, Universität der Bundeswehr Hamburg. Forschungsschwerpunkte Qualitätsentwicklung im E-Learning, Computer Supported Coperative Learning (CSCL), Communities of Practice und Wissensmanagement. e-mail: [email protected] 20
