4. E-Assessment 4.3 E-Assessment mathematischer Beweise Maurice Müller Gründe für den Einsatz von Computerunterstützung Effizienz und Zeitersparnis Integrierbarkeit in Lernmanagementsysteme Objektivere Bewertung Bekannte Verfahren 1 Gliederung 1. Einleitung 2. Verfahren für mathematische Fragestellungen Computeralgebrasysteme Freiform-Textabgleich Formalüberprüfung Theorembeweiser 3. Systeme und Vergleichsmöglichkeiten Aufbau und Gestaltungsmöglichkeiten Vergleich von zwei Systemen 4. Fazit und Ausblick 2 Computeralgebrasysteme Verbreitete Systeme Schnell und effektiv Industriell erprobt Schnittstellen häufig vorhanden 3 Computeralgebrasysteme - Probleme Keine Bedingungsüberprüfung X=0? Keine Beweisführung; reine Termersetzung 4 Freiform-Textabgleich Problemfall digitalisierte Prüfungen b. Induktionsanfang: FUr m = 1 ist L?=o i • 2i = 0 und (1 - 2) • 21 + 2 = o identisch. o ' Z A" 2 A ~ IJ ,,00 Geeignet für beliebige Texteingaben 5 Freiform-Textabgleich II Eigenschaften richtiger Lösungen Variablen Werte/Konstanten Aufbau/Form Bildung von Pattern Z. B. Regular Expressions 6 Pattern Beispiel Induktionsanfang Eingabe: „Für m=1 sum(i=0;0;i*2^i)=0“ Pattern: „m=([\d]*).*=(\d*)[^\d]*$“ Eine beliebige Zahl Weiterer Text Pattern passt auf Eingabe 1 Pattern pro Beweisschritt 7 Zahl Vor Ende der Zeile keine weiteren Zahlen Freiform-Textabgleich - Probleme Spezifischere Pattern passen nicht immer Heuristische Ansätze Korrektur durch Lehrer Validitätsproblem Offenlegung der Bewertung Kontrolle von Werten ggf. mit CAS 8 Formalüberprüfung Verwendung eines sog. Parsers Ausgangstext Schrittweise Übersetzung in eine Baumdarstellung Lexikalische Analyse Token Syntaktische Analyse Baum 9 Formalüberprüfung II Rückschlüsse Formalabbildung → Beweisschritt Formalabbildung → zur Überprüfung geeignetes System Beweisschritt → zur Überprüfung geeignetes System Kombinationsmöglichkeiten CAS zur Überprüfung einfacher Berechnungen Theorembeweiser für Verfahrensweisen 10 Formalüberprüfung - Probleme Unflexibel bei syntaktischen Fehlern Verschachtelte Beweise → Systemzuordnung Weitere Anpassung für Beweise erforderlich Heuristik zur Bestimmung ähnlicher Terme Baumsuche über mehrere Bäume 11 Theorembeweiser Definition Theorem: „A [well-formed-formula] that is proved or provable. Axioms are special cases of theorems.” (Quelle: http://www.earlham.edu/~peters/courses/logsys/glossary.htm) „Notice […] that theorem provers prove theorems rather than make conjectures or do calculations[…]“ (zit. aus Adams, Gottliebsen, Linton, Martin) Theoreme bauen aufeinander auf Theorembeweiser führen diesen Aufbau aus Interaktiv Automatisch 12 Theorembeweiser - Probleme Anpassung an Aufgabenstellung Theoreme Logik Ggf. spezielle Systeme Komplexität Algebraische Rechnungen 13 Theorembeweiser - Lösungsansatz → Integration von Theorembeweisern und CAS Ausstattung von CAS mit Beweistechniken (Tactics) Problem: Ungeprüfte Operationen vs. Komplexität Berechnungen durch CAS in Theorembeweisern Problem: Komplizierte Beweisführung und Syntax vs. Prüfung Notwendigkeit Kompromiss 14 Vergleich der Verfahren Sichtweisen Anwendersicht Systementwicklersicht Kriterien Bedienung (Anwendersicht) Bewertung (Anwendersicht) Aufwand (Systementwicklersicht) 15 Vergleichsübersicht Mehr Sterne = Besser 16 Gliederung 1. Einleitung 2. Verfahren für mathematische Fragestellungen Computeralgebrasysteme Freiform-Textabgleich Formalüberprüfung Theorembeweiser 3. Systeme und Vergleichsmöglichkeiten Aufbau und Gestaltungsmöglichkeiten Vergleich von zwei Systemen 4. Fazit und Ausblick 17 Systemgestaltungsmöglichkeiten Ziel: Vergleichsrahmen mathemat. E-Assessentsysteme Vorgehen Imaginäres „optimales“ System Betrachtung von Komponenten Untersuchung wünschenswerter Eigenschaften Vernachlässigung von Integrationsaspekten 18 Systemübersicht 19 Benutzeroberfläche Formeleditor Grafisch Linear Formblatt Fix Variabel Regelangabe 20 Beweisüberprüfung und Berichtigung von Beweisen Beweistypen Direkt Indirekt Induktion Fallunterscheidung Limes Nebenbedingungen Ergänzung fehlender Schritte Regeleinsetzung Hilfestellungen 21 Bewertung Differenzierung Rechenfehler/Tippfehler Umformungsfehler Falscher Ansatz Offenlegung Delegation kritischer Fälle 22 Regelbasis & Fragenkatalog Vollständigkeit & Erweiterbarkeit Standardisierung Daten Metadaten Aufgabenbasis und Möglichkeiten zum Erwerb Lösungshinweise 23 AiM (Assessment in Mathematics) Entwickelt zur Begleitung des Unterrichts Integration von Maple Verbotene Ausdrücke Liste von bekannten Fehlerquellen Nicht für Beweise konzipiert 24 AiM – Beispiel I •Eingabe von Aufgaben: 25 AiM – Beispiel II •Eingabe von Lösungen: 26 EASy Beweisüberprüfung durch Eigenentwicklung Konzipiert für Anwendungsfälle in Informatik II Fallunterscheidungen Induktion (Aufwands-)Abschätzungen Umformung von Theoremen Strategische Operationen Regeln 27 EASy – Beispiel I •Übersichtsfenster: 28 EASy – Beispiel II •Subtheorembearbeitung und markierung: 29 Vergleichsübersicht I 30 Vergleichsübersicht II 31 Vergleichsübersicht III 32 Fazit und Ausblick Kein überragendes Verfahren Nur Theorembeweiser bieten notw. Validität für Prüfung Entwicklung: Integrierte Verfahren mit Theorembew. AiM nicht für Beweise konzipiert EASy noch in der Entwicklung Bewertung z.B. über automatischen Theorembeweiser Automatische Regelauswahl Einsetzung fehlender Regeln Hilfestellungen und Erkennung falscher Ansätze 33