Biosignale und Benutzerschnittstellen

Biosignale und Benutzerschnittstellen – Statistik
Vorlesung WS 2012/2013
Biosignale und Benutzerschnittstellen
Statistik und Versuchsplanung
Prof. Dr. Tanja Schultz
Dipl. Math. Michael Wand
1 / 76
Fragestellung dieser Vorlesung
Biosignale und Benutzerschnittstellen – Statistik
Folgende Themen haben wir bisher behandelt:
• Biologische Grundlagen und Entstehung der
verschiedenen Biosignale
• Ableitung/Messung von Signalen
• Algorithmische Grundlagen der
Biosignalverarbeitung
Jetzt nehmen wir an, wir haben diese Kenntnisse benutzt, um ein Experiment durchzuführen.
• Wir haben eine Reihe von Daten aufgenommen.
• Wir haben diese Daten nach einer gewissen
Methode klassifiziert und haben beispielsweise
Zahlenreihen von Erkennungsergebnissen o. ä.
vorliegen.
Was ist nun der nächste Schritt?
2 / 76
Auswertung eines Versuchs
Biosignale und Benutzerschnittstellen – Statistik
Wir sollten die Ergebnisse unseres Experiments statistisch auswerten!
• Ist unser Erkennungsergebnis signifikant besser als ein
Zufallsergebnis, bzw. besser als schon bekannte Verfahren?
• Welche Aussagen können wir über die Genauigkeit unserer Ergebnisse
treffen?
• Was können wir aus den Ergebnissen schließen?
• Können wir Aussagen über die Generalisierbarkeit der Ergebnisse
treffen?
3 / 76
Biosignale und Benutzerschnittstellen – Statistik
Statistik und Versuchsplanung
Die Beantwortung dieser Fragen ist Gegenstand der Statistik. In dieser
Vorlesung wollen wir:
• eine kurze Einführung in die Statistik geben
• Fragestellungen der Statistik erläutern
• einen statistischen Test vorstellen
• ein Rechenbeispiel durchrechnen.
• Außerdem: Wie muss ein Versuch aufgebaut werden, um auch gültige
Ergebnisse liefern zu können? Welche Entscheidungen muss man vor
Beginn des Versuchs treffen?
4 / 76
Biosignale und Benutzerschnittstellen – Statistik
Literatur
Jürgen Bortz: Statistik für Human- und Sozialwissenschaftler. 6. Auflage
Springer Verlag, 2005
http://en.wikipedia.org/wiki/Statistical_hypothesis_testing
Gute Einführung in das Thema, mit Hintergrundinformationen und auch
Methodenkritik.
5 / 76
Übersicht
Biosignale und Benutzerschnittstellen – Statistik
• Erinnerung: Elemente der Wahrscheinlichkeitstheorie
• Stichproben und Konfidenzintervalle
• Der t-Test
• Der Kolmogorov-Smirnov-Test
• Bemerkungen zur Versuchsplanung
6 / 76
Biosignale und Benutzerschnittstellen – Statistik
Zufallsexperimente
Betrachten wir ein Zufallsexperiment, etwa den Wurf einer Münze. Der
Wahrscheinlichkeitsraum der möglichen Ausgänge dieses Experiments ist
der Raum Ω = {Kopf, Zahl}.
Auf Ω existiert eine Wahrscheinlichkeitsverteilung, die
Wahrscheinlichkeiten der möglichen Ausgänge des Zufallsexperiments
beschreibt. Bei einer fairen Münze gilt etwa
P(∅) = 0
P({Kopf}) = P({Zahl}) = 1/2
P(Ω) = 1.
Eine Wahrscheinlichkeitsverteilung ordnet jeder Teilmenge des
Wahrscheinlichkeitsraumes eine Wahrscheinlichkeit zwischen 0 und 1 zu.
7 / 76
Biosignale und Benutzerschnittstellen – Statistik
Zufallsvariablen
Eine Zufallsvariable (ZV) X ordnet den Ausgängen eines
Zufallsexperiments reelle Zahlen (oder auch Vektoren des Rn ) zu. Beispiel:
Jemand wettet um einen Euro, dass eine geworfene Münze “Kopf” zeigt.
Dann wäre eine nützliche Zufallsvariable gegeben durch
X :Ω→R
Kopf 7→ 1
Zahl 7→ −1,
also durch den Gewinn in Euro bei dem entsprechenden Ereignis. Die
Verteilung auf Ω überträgt sich auf R.
8 / 76
Diskete und kontinuierliche Zufallsvariablen
Biosignale und Benutzerschnittstellen – Statistik
Die Verteilung einer ZV X kann
• diskret sein, dann ist die Wahrscheinlichkeitsmasse auf höchstens
abzählbar unendlich viele Punkte x1 , x2 , . . . des Rn verteilt
• kontinuierlich sein, dann ist die Wahrscheinlichkeitsmasse auf ein
ganzes Intervall verteilt.
Im ersten Fall kann die Verteilung durch die Wahrscheinlichkeiten der
einzelnen Punkte charakterisiert werden, also P(xi ) = pi , im zweiten Fall
kann man (oft) eine Dichtefunktion p angeben, dann gilt für A ⊂ R:
Z
P(A) =
p(x)dx
A
9 / 76
Erwartungswert
Biosignale und Benutzerschnittstellen – Statistik
Der Erwartungswert einer Zufallsvariablen ist folgendermaßen definiert:
• Im diskreten Fall, wenn X die Werte xi mit Wahrscheinlichkeiten pi
annimmt:
X
X
xi P(X = xi )
µ = E (X ) =
xi pi =
i
i
• Im kontinuierlichen Fall:
Z
x · p(x)dx.
µ = E (X ) =
R
Ist X die Summe von Zufallsvariablen Xi , so ist der Erwartungswert von X
auch P
die Summe der Erwartungswerten
der einzelnen Xi :
P
X = i Xi ⇒ E (X ) = i E (Xi ).
10 / 76
Schätzung des Erwartungswerts aus einer Stichprobe
Biosignale und Benutzerschnittstellen – Statistik
• Betrachten wir eine Stichprobe x1 , x2 , . . . , xN .
• Wir nehmen an, dass alle diese Werte xi unabhängige Realisationen
einer gewissen Zufallsvariablen X sind!
• Wie können wir aus dieser Stichprobe eine möglichst genaue
Approximation (Schätzung) des Erwartungswertes von X gewinnen?
• Welches Kriterium soll ein solcher Schätzer überhaupt erfüllen?
11 / 76
Schätzung des Erwartungswerts aus einer Stichprobe
Biosignale und Benutzerschnittstellen – Statistik
Man kann zeigen: Der Stichprobenmittelwert
N
1 X
x̄ =
xi
N
i=1
der Stichprobe ist eine sehr nützliche Schätzung des Erwartungswertes:
• Dies ist der Maximum-Likelihood-Schätzer: Diese Wahl des
Stichprobenmittelwerts maximiert die Wahrscheinlichkeit der
beobachteteten Daten (also der Stichprobe).
• Diese Schätzung ist erwartungstreu: Im Mittel wird der “echte”
Erwartungswert weder über- noch unterschätzt.
• Die Schätzung ist auch konsistent: Das Gesetz der großen Zahlen sichert in
vielen Fällen zu, dass der Stichprobenmittelwert bei wachsender
Stichprobengröße gegen den Erwartungswert konvergiert.
Wir werden der Mittelwertsschätzung wieder begegnen, wenn wir
Konfidenzintervalle betrachten.
12 / 76
Biosignale und Benutzerschnittstellen – Statistik
Varianz
Ist µ = E (X ) der Erwartungswert einer reellen Zufallsvariablen, so ist die
Varianz durch
σ 2 = Var (X ) = E ((x − µ)2 )
definiert. Direkte Formeln lassen sich wieder für den kontinuierlichen und
den diskreten Fall angeben:
X
σ 2 = Var (X ) =
(xi − µ)2 pi
bzw.
σ 2 = Var (X ) =
Zi
(x − µ)2 p(x)dx.
R
13 / 76
Varianz
Biosignale und Benutzerschnittstellen – Statistik
Die Varianz gibt die “Streuung” einer Zufallsvariablen an.
Das Bild zeigt zwei
Gaussdichtefunktionen mit
unterschiedlichen Varianzen. Die
Form der Verteilungen bleibt gleich,
aber die grün eingezeichnete
Verteilung ist viel “ausgebreiteter”.
Die Quadratwurzel der Varianz heißt Standardabweichung:
p
σX = Var (X ).
14 / 76
Biosignale und Benutzerschnittstellen – Statistik
Varianzschätzung
Auch die Varianz einer Verteilung kann man aus einer Stichprobe
abschätzen.
Die naheliegende Formel
σ̂X2 ,ML
N
1 X
=
(xn − x̄)2
N
n=1
ist zwar der Maximum-Likelihood-Schätzer, führt aber dazu, dass die
echte Varianz unterschätzt wird.
Das heißt, dieser Schätzer ist nicht erwartungstreu, das heißt, dass sein
Erwartungswert nicht gleich der (wahren) Varianz der Population ist,
sondern davon abweicht (Bias). (Trotzdem kann man ihn für gewisse
Zwecke verwenden.)
15 / 76
Biosignale und Benutzerschnittstellen – Statistik
Varianzschätzung
Um die Varianz erwartungstreu zu beheben, muss das Ergebnis noch mit
N
N−1 multipliziert werden, das heißt, der übliche Schätzer für die Varianz
einer ZV ist die korrigierte Stichprobenvarianz
N
σ̂X2
1 X
=
(xn − x̄)2 .
N −1
n=1
Wir haben also gelernt: Korrektes Schätzen ist nichttrivial, es gibt
unterschiedliche Ansätze mit unterschiedlichen Vor- und Nachteilen!
16 / 76
Biosignale und Benutzerschnittstellen – Statistik
Typische Verteilungen
Als nächstes besprechen wir einige häufig auftretende
Wahrscheinlichkeitsverteilungen, die in der Statistik eine Rolle spielen,
nämlich die:
• Gleichverteilung
• Normalverteilung
Außerdem besprechen wir Verteilungen, die im Wesentlichen bei
Hypothesentests verwendet werden:
• χ2 -Verteilung
• t-Verteilung
17 / 76
Biosignale und Benutzerschnittstellen – Statistik
Die Gleichverteilung
Die Gleichverteilung kann sowohl eine diskrete als auch eine
kontinuierliche Verteilung sein.
Im diskreten Fall haben alle (endlich vielen) möglichen Ergebnisse
x1 , . . . , xN des Zufallsexperiments die gleiche Wahrscheinlichkeit, also
pi = P(xi ) = 1/N, im kontinuierlichen Fall ist die Dichtefunktion auf
einem endlich großen Intervall konstant.
Die Grundidee der Gleichverteilung ist es, dass es keine “Präferenz” für ein
gewisses Ergebnis eines Experiments gibt.
18 / 76
Biosignale und Benutzerschnittstellen – Statistik
Die Normalverteilung
Die Normalverteilung kennen wir aus sehr vielen Anwendungsgebieten. Sie
ist eine kontinuierliche Verteilung. Im eindimensionalen Fall hat sie die
Dichtefunktion
!
1 x −µ 2
1
.
f (x) = √ exp −
2
σ
σ 2π
Ihre besondere Bedeutung für die Statistik kommt vom zentralen
Grenzwertsatz, der besagt, dass der Mittelwert bzw. die Summe von vielen
unabhängigen, identisch verteilten Zufallsvariablen annähernd
standardnormalverteilt ist.
Zwei Normalverteilungen sind in der Grafik
abgebilet.
19 / 76
Biosignale und Benutzerschnittstellen – Statistik
Die Normalverteilung
Ein Hilfsmittel zur Veranschaulichung
der Normalverteilung und des zentralen
Grenzwertsatzes ist das Galtonsche Nagelbrett.
Man sieht auf dem Bild, wie Kugeln in sieben
Trichter rollen. Auf dem Weg wird jede Kugel
von sechs Nägeln zufällig nach rechts oder
links abgelenkt. Wenn die Trichter von links nach
rechts mit 0, 1, . . . , 6 =: k durchnummeriert
sind, so fällt eine Kugel genau dann in Trichter
`, wenn sie `-mal nach rechts und 6 − `-mal
nach links abgelenkt wurde.
20 / 76
Biosignale und Benutzerschnittstellen – Statistik
Die Normalverteilung
Durch Abzählen sieht man, dass die
Wahrscheinlichkeit, dass eine Kugel in Trichter
`, 0 ≤ ` ≤ k fällt, sich ergibt zu
k
1
p` =
· k.
`
2
Eine solche diskrete Verteilung heißt
Binomialverteilung.
Können Sie erkennen, dass die “Form” der
Binomialverteilung einer Normalverteilung
ähnelt? Je mehr Trichter (und Nagelreihen)
man verwendet, desto größer wird die Ähnlichkeit
21 / 76
Biosignale und Benutzerschnittstellen – Statistik
Die Normalverteilung
Es gibt auch ein Argument, warum die Verteilung
der Kugeln auf die Trichter annähernd eine
Normalverteilung ist.
Seien Xi (i = 1, . . . , 6) ZVen, die den Wert
0[1] annehmen, wenn eine Kugel in Nagelreihe
i nach links[rechts] abgelenkt wurde (an
welchem der Nägel genau, ist völlig egal). Sind
die Nägel immer zentriert angebracht, so ist
P(Xi = 0) = P(Xi = 1) = 0.5.
22 / 76
Biosignale und Benutzerschnittstellen – Statistik
Die Normalverteilung
Ist Y eine ZV, die die Nummer des Trichters
angibt, in den eine Kugel fällt, so ist Y die
Summe der (voneinander unabhängigen, identisch
verteilten) Xi :
Y = X1 + . . . + Xk
und somit annähernd normalverteilt.
Je mehr Xi (also je mehr Trichter und
Nagelreihen) man hat, desto genauer wird
die Normalverteilung approximiert.
23 / 76
Biosignale und Benutzerschnittstellen – Statistik
Eigenschaften der Normalverteilung
• Die Normalverteilung wird durch Mittelwert µ und Varianz σ 2
vollständig beschrieben. Man schreibt für eine normalverteilte
Zufallsvariable X :
X ∼ N (µ, σ 2 ).
• Eine Normalverteilung mit Mittelwert 0 und Varianz 1 nennt man
auch Standardnormalverteilung.
• Für eine standardnormalverteilte ZV verwendet man oft das Symbol
z: Also
z ∼ N (0, 1).
• Jede normalverteilte ZV X lässt sich durch Normierung in eine
standardnormalverteilte ZV z überführen (z-Transformation):
z=
X −µ
σx
24 / 76
Die Chi-Quadrat-Verteilung
Biosignale und Benutzerschnittstellen – Statistik
Ist z eine standardnormalverteilte ZV, so ist ihr Quadrat χ21 -verteilt:
χ21 = z 2
Die Zahl 1 gibt die Anzahl der Freiheitsgrade (df, degree of freedom) der
Chi-Quadrat-Verteilung an.
Summieren wir die Quadrate von df
unabhängigen, standardnormalverteilten
Zufallsvariablen auf, erhalten wir eine
χ2 -verteilte ZV mit df Freiheitsgraden:
χ2df =
df
X
zn2
n=1
Die rechte Grafik zeigt die Form der Chi-Quadrat-Verteilung für
verschiedene Freiheitsgrade.
25 / 76
Biosignale und Benutzerschnittstellen – Statistik
Die t-Verteilung
Aus einer standardnormalverteilten ZV wird ein z-Wert gezogen, und aus
einer hiervon unabhängigen χ2df -verteilten ZV wird ein χ2df -Wert gezogen.
Der folgende Quotient definiert einen
tdf -Wert:
z
tdf = q
χ2df /df
Die Verteilung dieser ZV heißt
t-Verteilung mit df Freiheitsgraden.
Die t-Verteilung wird uns später bei der Definition des t-Tests wieder
begegnen.
26 / 76
Übersicht
Biosignale und Benutzerschnittstellen – Statistik
• Erinnerung: Elemente der Wahrscheinlichkeitstheorie
• Stichproben und Konfidenzintervalle
• Der t-Test
• Der Kolmogorov-Smirnov-Test
• Bemerkungen zur Versuchsplanung
27 / 76
Biosignale und Benutzerschnittstellen – Statistik
Stichproben
Nehmen wir nun an, wir haben eine Population von beliebigen Objekten,
die alle ein Merkmal x aufweisen. Wir wollen der Einfachheit halber davon
ausgehen, dass sich dieses Merkmal als einzige reelle Zahl beschreiben
lässt. Dabei kann diese Zahl sowohl kontinuierliche als auch diskrete
Werte annehmen.
Beispiele:
• Das monatliche Einkommen von Bevölkerungsgruppen
(kontinuierlich)
• Die Wirksamkeit eines Medikaments (diskret – entweder 0 oder 1)
• Die Fehlerrate bei einem Biosignalexperiment am CSL (kann
kontinuierlich oder diskret sein)
Wir wollen nun den Mittelwert dieses Merkmals bezogen auf die gesamte
Population bestimmen. Warum ist das schwierig?
28 / 76
Biosignale und Benutzerschnittstellen – Statistik
Stichproben
Warum können wir den Mittelwert eines Merkmals nicht einfach
ausrechnen?
I Weil viel zu viele Daten zu betrachten sind.
Beispiel: Wirksamkeit eines Medikaments, sagen wir, gegen Bluthochdruck
• In D ca. 15 Mio. Menschen betroffen
(http://de.wikipedia.org/wiki/Arterielle_Hypertonie)
• Diese 15 Mio. Menschen bilden die Population
• Medikament an jedem einzelnen ausprobieren???
29 / 76
Stichproben
Biosignale und Benutzerschnittstellen – Statistik
Noch ein Beispiel: Fehlerrate eines Spracherkenners
• Wie viele mögliche Sprachäußerungen gibt es eigentlich?
• Nehmen wir eine Vorverarbeitung mit 13 Cepstralkoeffizienten, 100
Frames/Sekunde, jeder Koeffizient möge 256 verschiedene Werte
annehmen können
• Bei Äußerungen von 5 Sekunden Dauer 25613·100·5 unterschiedliche
Tokenfolgen???!
Auf jeden Fall kann man nicht jedes einzelne Experiment durchführen.
Man ist also auf eine Stichprobe angewiesen.
30 / 76
Stichproben
Biosignale und Benutzerschnittstellen – Statistik
Eine Stichprobe sollte die Population möglichst gut repräsentieren.
• Medizin: Möglichst große Bandbreite der Probanden z.B. bezüglich
Vorerkrankungen, Alter etc.
• In der Spracherkennung: Möglichst viele verschiedene
Sprachaufnahmen, unterschiedliche Sprecher, ... (“Zufallsstichprobe”)
• Nehmen wir also an, wir haben eine zufällige Stichprobe der Größe N
aus der Population gezogen. Dann haben wir die N Merkmalswerte
x1 , . . . , xN . Wir interessieren uns für den Mittelwert µ des Merkmals
innerhalb der Gesamtpopulation.
31 / 76
Biosignale und Benutzerschnittstellen – Statistik
Stichproben
Auf unserer Stichprobe können wir nun den Mittelwert x̄ =
Merkmals ausrechnen:
Noch einmal zur Erinnerung:
1
N
PN
i=1 xi
des
• µ = Mittelwert des Merkmals in der Gesamtpopulation
• x̄ = Mittelwert des Merkmals in der Stichprobe
Wie stehen µ und x̄ in Beziehung? Um diese Frage zu beantworten,
machen wir ein Gedankenexperiment und ziehen noch eine weitere
gleichgroße Zufallsstichprobe.
Dann erhalten wir einen neuen Mittelwert x̄ 0 , der wahrscheinlich etwas von
x̄ abweicht, aber doch auch mit x̄ und µ zusammenhängt.
32 / 76
Biosignale und Benutzerschnittstellen – Statistik
Die Stichprobenkennwerteverteilung
Die entscheidende Beobachtung:
Das Ziehen einer (Zufalls-)Stichprobe ist selbst ein Zufallsexperiment!
Folglich ist der Stichprobenmittelwert x̄, der durch die Gleichung
N
1 X
x̄ =
xi
N
i=1
geschätzt wird, eine Realisierung einer ZV X̄ !
Die Stichprobenkennwerteverteilung ist die (theoretische) Verteilung, die
sich ergibt, wenn man Stichproben fester Größe aus der Population zieht
und jedes Mal den Kennwert (hier Stichprobenmittelwert) berechnet.
33 / 76
Die Stichprobenkennwerteverteilung
Biosignale und Benutzerschnittstellen – Statistik
Welche Verteilung hat X̄ ?
• Man kann zeigen: Der Erwartungswert von X̄ entspricht genau dem
Mittelwert µ des Merkmals x in der Gesamtpopulation.
• Die Schätzung von µ durch die Gleichung oben ist also
erwartungstreu.
Welche weiteren Eigenschaften hat X̄ ?
• Die Standardabweichung σx̄ von X̄ verringert sich mit zunehmendem
Stichprobenumfang (wer weiß, warum?).
• Außerdem ist σx̄ offenbar von der (möglicherweise unbekannten)
Streuung σ des Merkmals x in der Gesamtpopulation abhängig.
34 / 76
Biosignale und Benutzerschnittstellen – Statistik
Die Stichprobenkennwerteverteilung
Die Standardabweichung von X̄ lässt sich berechnen durch
r
σ2
.
σx̄ =
N
Dabei ist σ die Standardabweichung des Merkmals in der
Gesamtpopulation. Das heißt, die Streuung von σx̄ nimmt mit der
Quadratwurzel der Stichprobengröße ab.
Wenn σ unbekanntPist, kann man es ebenfalls abschätzen (hatten wir
N
1
2
vorhin: σ̂ 2 = N−1
i=1 (xi − x̄) ), und wir erhalten schließlich für σx̄ die
Abschätzung
sP
N
2
i=1 (xi − x̄)
σ̂x̄ =
.
N · (N − 1)
35 / 76
Biosignale und Benutzerschnittstellen – Statistik
Die Stichprobenkennwerteverteilung
Wie genau sieht die Verteilung von X̄ denn nun aus? Der zentrale
Grenzwertsatz der Wahrscheinlichkeitstheorie besagt, dass sich die
Verteilung von X̄ bei genügender Größe der Stichprobe (etwa N > 30) der
Normalverteilung annähert!
Beispiel (Applet zum selberausprobieren) für den zentralen Grenzwertsatz:
http://www.fernuni.de/newstatistics/applets/ZentralerGWS/
ZentralerGWS.htm.
36 / 76
Biosignale und Benutzerschnittstellen – Statistik
Die Stichprobenkennwerteverteilung
Noch einmal zusammengefasst: Für genügend große Stichproben ist der
Stichprobenmittelwert normalverteilt mit Mittelwert µ und
Standardabweichung
r
σ2
.
σx̄ =
N
Diese Verteilung ist ein Beispiel einer Stichprobenkennwerteverteilung für
den Mittelwert als Kennwert einer Stichprobe.
Noch ein Hinweis: Bei dieser Verteilung handelt es sich um ein
theoretisches Konstrukt. Auf den nächsten Folien werden wir sehen,
welche praktischen Informationen und Methoden daraus ableitbar sind.
37 / 76
Punktschätzung und Intervallschätzung
Biosignale und Benutzerschnittstellen – Statistik
Was schließen wir aus der Verteilung des Stichprobenmittelwerts?
• Wenn wir nur eine Stichprobe haben
PNund einen einzigen Schätzwert
für µ angeben wollen, bleibt x̄ = i=1 xi die bestmögliche
Schätzung (erwartungstreu, minimaler quadratischer Fehler). Eine
solche Schätzung nennt man Punktschätzung.
• Problem bei der Punktschätzung: Es gibt keine Information darüber,
wie verlässlich der angegebene Wert eigentlich ist.
• Wir können aber auch ein Intervall für µ angeben
(Intervallschätzung ). Darin reflektiert sich, dass unsere Schätzung
immer etwas ungenau sein wird.
• Die Wahrscheinlichkeitstheorie erlaubt uns aber, anzugeben, wie
ungenau diese Schätzung ist. Damit hat man eine
wahrscheinlichkeitstheoretisch verlässliche Aussage.
38 / 76
Biosignale und Benutzerschnittstellen – Statistik
Konfidenzintervalle
Der Bereich, in dem sich ein gewisser (hoher) Prozentsatz aller möglichen Mittelwerte eines Populationsmerkmals befinden, die einen
gewissen Stichprobenmittelwert erzeugt haben können, heißt Konfidenzintervall.
Üblicherweise wird als Genauigkeit eines Konfidenzintervalls 95% oder
99% festgelegt.
Dies bedeutet: Wenn wir einen Stichprobenmittelwert x̄ haben und ein
Konfidenzintervall für den Mittelwert µ auf der Gesamtpopulation
angeben, dann ist die Wahrscheinlichkeit, dass µ wirklich innerhalb dieses
Intervalls liegt, 95% bzw. 99%.
39 / 76
Biosignale und Benutzerschnittstellen – Statistik
Berechnung des Konfidenzintervalls
Nehmen wir an, wir haben eine genügend große Stichprobe für ein
Populationsmerkmal. Dann ist X̄ normalverteilt mit Mittelwert µ und
Standardabweichung σx̄ . Wir können von X̄ den Mittelwert abziehen und
durch den Standardfehler dividieren, dann erhalten wir sogar eine
standardnormalverteilte Zufallsvariable Z :
Z=
X̄ − µ
σx̄
Dieses Z kennen wir bereits als die z-Transformierte von X̄ .
40 / 76
Biosignale und Benutzerschnittstellen – Statistik
Berechnung des Konfidenzintervalls
Wir wollen das Konfidenzintervall zur Genauigkeit 95% berechnen.
Eine Tabelle der Standardnormalverteilung liefert uns die Information, dass
sich zwischen z± = ±1.96 95% der Gesamtwahrscheinlichkeitsmasse dieser
Verteilung befinden. Das heißt, eine Realisierung z der oben definierten
Zufallsvariablen Z liegt mit 95% Wahrscheinlichkeit im Bereich [z− , z+ ].
41 / 76
Biosignale und Benutzerschnittstellen – Statistik
Berechnung des Konfidenzintervalls
Eine Realisierung z der oben definierten Zufallsvariablen Z liegt mit 95%
Wahrscheinlichkeit im Bereich [z− , z+ ].
ergibt sich, dass dann eine
Durch Einsetzen in die Gleichung z = X̄σ−µ
x̄
Realisierung x̄ von X̄ mit 95% Wahrscheinlichkeit im Bereich [x̄− , x̄+ ] mit
x̄± = µ ± 1.96 · σx̄ liegt!
Also: Wenn wir eine Stichprobe mit der oben festgelegten Größe ziehen
und auf dieser Basis den empirischen Mittelwert x̄ berechnen, dann liegt
dieser Wert mit 95% Wahrscheinlichkeit nicht weiter als 1.96 · σx̄ vom
echten Mittelwert µ entfernt!
42 / 76
Biosignale und Benutzerschnittstellen – Statistik
Berechnung des Konfidenzintervalls
Das Intervall Iγ der Breite 2 · c(γ) · σx̄ um den Mittelwert x̄ einer
Stichprobe nennt man Konfidenzintervall für den Parameter µ zum
Konfidenzniveau γ.
Der Wert von c ergibt sich aus dem gewünschten γ - für γ = 0.95 ist
c = 1.96.
Damit haben wir eine Möglichkeit gefunden, die Lage des unbekannten
Populationsmittelwertes stochastisch zu beschreiben: Für geeignetes c und
eine geeignet große Stichprobe liegt des wahre Populationsmittelwert µ
mit Wahrscheinlichkeit γ innerhalb des Intervalls Iγ .
43 / 76
Biosignale und Benutzerschnittstellen – Statistik
Beispielrechnung Konfidenzintervall
Eine Beispielrechnung: Bei einer Wahlumfrage geben 400 von 1000
Personen an, Partei A wählen zu wollen. Welchen Anteil der Stimmen wird
Partei A in der Wahl bekommen?
Wir betrachten die Zufallsvariable
(
0 Ein Wähler wählt Partei A nicht
X =
1 Ein Wähler wählt Partei A.
Wir wollen eine Aussage über den Erwartungswert von X treffen. Die 1000
befragten Personen stellen eine Stichprobe dar, aus der wir ein
Konfidenzintervall für µ = E (X ) ableiten wollen.
44 / 76
Biosignale und Benutzerschnittstellen – Statistik
Beispielrechnung Konfidenzintervall
Unsere Stichproben seien x1 , . . . , x1000 . Als Punktschätzung für µ ergibt
sich
1000
400
1 X
xi =
= 0.4.
x̄ =
1000
1000
i=1
Wir erinnern uns: x̄ ist eine Realisierung der Zufallsvariablen X̄ . Aufgrund
der Stichprobengröße können wir davon ausgehen, dass X̄ normalverteilt
ist.
45 / 76
Biosignale und Benutzerschnittstellen – Statistik
Beispielrechnung Konfidenzintervall
Wir haben jetzt eine Schätzung für µ = E (X ), nämlich µ = x̄ = 0.4. Die
Populationsvarianz σ 2 können wir auch aus der Stichprobe abschätzen,
der Schätzwert σ̂ 2 ist
σ̂ 2 =
1000
1
1 X
(xi − x̄)2 =
(400 ∗ 0.62 + 600 ∗ 0.42 )
1000
1000
i=1
2
= 0.4 ∗ 0.6 + 0.6 ∗ 0.42 = 0.24.
Alternativ verwende die Formel Var (X ) = E (X 2 ) − (EX )2 .
Da die xi voneinander unabhängig sind, gilt für die Varianz von X̄ :
σX̄2 = Var (X̄ ) =
σ2
1
=
· Var (Xi ) = 0.00024,
N
1000
also σX̄ ≈ 0.0155.
46 / 76
Biosignale und Benutzerschnittstellen – Statistik
Beispielrechnung Konfidenzintervall
Das Konfidenzintervall zur Genauigkeit 95% ergibt sich mit diesen
Abschätzungen zu
I95% = [E (X̄ ) − 1.96 · σX̄ , E (X̄ ) + 1.96 · σX̄ ]
= [0.4 − 1.96 · 0.0155, 0.4 + 1.96 · 0.0155] = [0.37, 0.43].
Die Partei A wird also mit 95% Wahrscheinlichkeit zwischen 37% und
43% der Stimmen erhalten. Möchte man eine höhere Genauigkeit, muss
man mehr Personen befragen.
47 / 76
Zusammenfassung dieses Abschnitts
Biosignale und Benutzerschnittstellen – Statistik
Wir haben im Abschnitt “Konfidenzintervall”
• festgestellt, dass der Mittelwert einer Stichprobe selbst eine
Zufallsvariable ist
• die darüber hinaus einer ganz bestimmten Verteilung, nämlich der
Normalverteilung, folgt (wenn die Population groß genug ist)
• Auf dieser Basis konnten wir ein Intervall angeben, das eine 95%
sichere Schätzung eines Populationsmittelwerts erlaubt.
48 / 76
Übersicht
Biosignale und Benutzerschnittstellen – Statistik
• Erinnerung: Elemente der Wahrscheinlichkeitstheorie
• Stichproben und Konfidenzintervalle
• Der t-Test
• Der Kolmogorov-Smirnov-Test
• Bemerkungen zur Versuchsplanung
49 / 76
Biosignale und Benutzerschnittstellen – Statistik
Statistische Tests
Das Konfidenzintervall liefert uns eine Aussage darüber, wo sich ein
bestimmter Populationsparameter (typischerweise der Mittelwert)
befindet. Jetzt wollen wir noch einen Schritt weitergehen und eine
Wahrscheinlichkeitsangabe dafür fordern, dass eine gewisse konkrete
Aussage wahr ist. In der Medizin könnte die Hypothese lauten:
Ein neues Medikament A wirkt besser als ein klassisches
Vergleichspräparat B.
Solche Aussagen bezeichnet man als Hypothesen. Damit ist also die
Argumentationsrichtung anders als bei Punkt- oder Intervallschätzung:
• Beim Schätzen schließen wir aus in einer Stichprobe erhobenen Daten
(Empirie) auf Eigenschaften der Population (Theorie).
• Bei einen statistischen Test beginnen wir mit einer Hypothese über
die Population, die überprüft werden soll.
50 / 76
Biosignale und Benutzerschnittstellen – Statistik
Die wissenschaftliche Hypothese
Bei der Formulierung einer Hypothese gibt es verschiedene Ansätze, die
hier aus Zeitgründen nicht vollständig behandelt werden.
Man unterscheidet typischerweise Unterschiedshypothesen und
Zusammenhangshypothesen. Eine typische Unterschiedhypothese
spezifiziert einen Unterschied, etwa wie im Beispiel oben:
Ein neues Medikament A wirkt besser als ein klassisches
Vergleichspräparat B.
Dies ist sogar eine gerichtete Hypothese, die die Richtung des Unterschied
angibt. Für diese kleine Mühe, die Richtung zu spezifizieren, werden wir
mit einer einfacheren statistischen Beweisführung “belohnt”.
51 / 76
Biosignale und Benutzerschnittstellen – Statistik
Die statistische Hypothese
Die wissenschaftliche Hypothese muss nun in eine mathematisch
formulierbare statistische Hypothese H1 überführt werden. Im obigen
Beispiel könnte rx die Heilungsrate der Patienten bei Anwendung eines
Medikaments sein, dann wäre die statistische Hypothese
rA > rB
Aber vielleicht ist die Heilungsrate nicht der optimale Parameter? Es gibt
oft verschiedene Möglichkeiten, eine statistische Hypothese zu formulieren!
Es wird weiterhin eine konkurrierende oder inverse Hypothese aufgestellt,
die man als Nullhypothese H0 bezeichnet:
rA ≤ rB
bzw.
A wirkt maximal so gut wie B.
52 / 76
Biosignale und Benutzerschnittstellen – Statistik
Durchführung eines statistischen Tests
Der eigentliche Test besteht nun darin, mit statistischen Methoden die
Unwahrscheinlichkeit der Nullhypothese zu zeigen, um dann im
Umkehrschluss auf die Richtigkeit der Alternativhypothese zu schließen.
Nur wenn die Realität (gegeben durch die Stichprobe) “praktisch” nicht
mit der Nullhypothese zu erklären ist, darf die Nullhypothese zugunsten
der Alternativhypothese verworfen werden.
Merkregel: Die Nullhypothese stellt die Basis dar, von der aus entschieden wird, ob die Alternativhypothese akzeptiert werden kann
oder nicht.
53 / 76
Biosignale und Benutzerschnittstellen – Statistik
Fehler bei statistischen Entscheidungen
Jeder statistische Test kann eine falsche Aussage liefern, da er von der
zufällig gewählten Stichprobe abhängt.
Man unterscheidet Fehler 1. Art (α) und Fehler 2. Art (β).
In der Population gilt die
Entscheidung aufgrund
Stichprobe zugunsten:
H0
H1
H0
OK
α-Fehler
H1
β-Fehler
OK
Ein β-Fehler bedeutet also, dass die neue Hypothese irrtümlich verworfen
wird, ein α-Fehler bedeutet, dass die alte Hypothese irrtümlich verworfen
wird. Je nach Aufgabenstellung muss man entscheiden, welcher Fehler die
gravierenderen Konsequenzen hat und eher vermieden werden muss.
54 / 76
Biosignale und Benutzerschnittstellen – Statistik
Der t-Test
Als Beispiel für einen statistischen Test wollen wir den t-Test behandeln,
der auf der t-Verteilung beruht.
Die typische Anwendung dieses Tests ist der Vergleich zweier
Stichprobenmittelwerte. Dies bedeutet, dass wir untersuchen wollen, ob
zwei Populationen identische Mittelwerte haben.
Beispielhypothesen:
• Sportliche Menschen sind kognitiv leistungsfähiger als unsportliche
Menschen.
• Ein Medikament A heilt mehr Menschen (prozentual) als ein
Standardmedikament B.
• Ein neuer Algorithmus klassifiziert mehr Samples korrekt als ein
klassischer Vergleichsalgorithmus.
In jedem Fall werden zwei Stichproben gebildet und Mittelwerte µ1 und µ2
der zu untersuchenden Größe abgeschätzt.
55 / 76
Biosignale und Benutzerschnittstellen – Statistik
Der t-Test
Zunächst sollten wir die wissenschaftliche Hypothese in eine statistische
Hypothese überführen. Allgemein betrachten wir also als statistische
Hypothese:
H1 :
µ1 − µ2 6= 0.
Die zugehörige Nullhypothese ist dann
H0 :
µ1 − µ2 = 0.
Wir stehen nun wieder vor einem ähnlichen Problem wie bei der Angabe
eines Konfidenzintervalls: Die Mittelwerte µ1 und µ2 müssen durch
Stichprobenmittelwerte abgeschätzt werden. In der Regel werden diese
Stichprobenmittelwerte nicht identisch sein, aber wie unterschiedlich
müssen sie sein, um aussagen zu können, dass auch µ1 und µ2 verschieden
sind?
56 / 76
Biosignale und Benutzerschnittstellen – Statistik
Das Signifikanzniveau
Klar: Eine statistische Aussage kann man immer nur mit einer gewissen
Wahrscheinlichkeit treffen.
Diese Wahrscheinlichkeit (Signifikanzniveau) muss man vor dem Test
festlegen. Üblicherweise verwendet man ein Signifikanzniveau von α = 5%
oder α = 1%. Dieser Wert beschreibt die Irrtumswahrscheinlichkeit für
einen α-Fehler, also die Irrtumswahrscheinlichkeit, falls wir aufgrund der
Stichprobe H0 verwerfen und H1 akzeptieren.
57 / 76
Biosignale und Benutzerschnittstellen – Statistik
Der t-Test
Betrachten wir wieder die Stichprobenmittelwerte x̄1 und x̄2 als
Realisiationen von Zufallsvariablen X̄1 und X̄2 . Die Größen der Stichproben
sollen n1 bzw. n2 sein. Der Standardfehler dieser Differenz ergibt sich zu
s
σ12 σ22
+
σx̄1 −x̄2 =
n1
n2
Dieser Standardfehler kann auch auf Basis der Stichproben abgeschätzt
werden.
58 / 76
Der t-Test
Biosignale und Benutzerschnittstellen – Statistik
Es ergibt sich eine Testgröße
t=
(x̄1 − x̄2 ) − (µ1 − µ2 )
σ̂(x̄1 −x̄2 )
Setzt man entsprechend der Nullhypothese (µ1 − µ2 ) = 0, so erhält man
die Form
(x̄1 − x̄2 )
t=
σ̂(x̄1 −x̄2 )
Wir normieren also die Differenz der Mittelwerte an ihrer Streuung. Was
können wir über diese Zufallsvariable aussagen?
59 / 76
Der t-Test
Biosignale und Benutzerschnittstellen – Statistik
Betrachte
t=
(x̄1 − x̄2 )
σ̂(x̄1 −x̄2 )
Man kann zeigen: Falls die Nullhypothese zutrifft,
• hat t Mittelwert 0 und Standardfehler 1.
• ist t t-verteilt mit n1 + n2 − 2 Freiheitsgraden.
Die t-Verteilung ist ähnlich wie die Standardnormalverteilung tabelliert.
Jetzt können wir prüfen, welche Fläche der ausgerechnete t-Wert von der
t-Verteilung abschneidet, ähnlich wie wir es bei der Berechnung des
Konfidenzintervalls getan haben. Ist t so sehr von Null verschieden, dass
dieses Ergebnise bei Gültigkeit der Nullhypothese sehr unwahrscheinlich
ist?
60 / 76
Biosignale und Benutzerschnittstellen – Statistik
Der t-Test
Wir schauen, welcher Anteil der Fläche unter der t-Dichtefunktion mit
n1 + n2 − 2 Freiheitsgraden vom empirischen t-Wert abgeschnitten wird.
Bei einer ungerichteten Hypothese muss der ermittelte Wert p(t) noch
verdoppelt werden. Heraus kommt die Wahrscheinlichkeit, mit der wir uns
irren, wenn wir H0 zugunsten von H1 ablehnen.
Ist dieser Wert geringer als 0.05, so sagen wir, die Hypothese H1 trifft auf
einem Signifikanzniveau von 0.05 zu – dies bedeutet, dass µ1 6= µ2 .
Die Nullhypothese kann also nur dann abgelehnt werden, wenn der Wert
der Testgröße t eine kritische Schwelle überschreitet, die man einer
entsprechenden Tabelle entnehmen kann.
61 / 76
Biosignale und Benutzerschnittstellen – Statistik
Voraussetzungen
• Sind die Stichproben klein (jeweils n1 , n2 ≤ 30), so muss
vorausgesetzt werden, dass der zu untersuchende Parameter in der
Population normalverteilt ist.
• Die Varianzen der beiden Stichproben müssen (annähernd) gleich
sein.
• Die Stichproben müssen voneinander unabhängig sein. Ist dies nicht
der Fall, wird der t-Test für abhängige Stichproben verwendet.
62 / 76
Biosignale und Benutzerschnittstellen – Statistik
t-Test: Rechenbeispiel
Ein kleines Rechenbeispiel für den t-Test (aus Bortz: Statistik für Humanund Sozialwissenschaftler, 6. Auflage, Seite 138):
• Man hat ermittelt, dass Ratten im Durchschnitt 170s benötigen, um
einen bestimmten Mechanismus zu bedienen.
• Diese Zeiten sind annähernd normalverteilt mit einer Streuung von
σ̂ = 12.
• Es soll überprüft werden, ob Ratten, deren Eltern bereits
konditioniert (trainiert) waren, diese Aufgabe schneller ausführen
können (einseitiger Test, Signifikanzniveau α = 5%).
• 20 Ratten mit konditionierten Eltern erzielen eine Durchschnittszeit
von 163s.
63 / 76
Biosignale und Benutzerschnittstellen – Statistik
t-Test: Rechenbeispiel
In diesem Problem sind der Stichprobenmittelwert x̄ = 163, der
Populationsmittelwert µ0 = 170 und
√ die Streuung der
Stichprobenmittelwerts σ̂x̄ = 12/ 20 ≈ 2.68.
Der t-Wert ergibt sich zu
t=
(x̄1 − x̄2 )
163 − 170
=
≈ −2.61.
σ̂x̄
2.68
Der kritische Wert in der t-Verteilung mit 19 Freiheitsgraden, der von
einer Seite der Verteilung 5% abschneidet, ist t5% = −1.73. Wegen
|t| > |t5% | ist das gefundene Ergebnis also signifikant: Ratten, deren
Eltern schon konditioniert waren, lernen schneller als Ratten mit nicht
konditionierten Eltern.
Jetzt könnte man noch Konfidenzintervalle berechnen, um das Ergebnis
noch genauer zu quantifizieren.
64 / 76
Biosignale und Benutzerschnittstellen – Statistik
Der t-Test für abhängige Stichproben
Eine kleine Variante des t-Tests: Wir betrachten Stichproben, deren
Objekte paarweise verbunden sind.
Beispiele für solche Stichproben:
• (Irgendwelche) Eigenschaften von Ehemann und Ehefrau.
• Medikamentenstudien an Paaren von Personen, die einander
möglichst ähnlich sind.
• Messwiederholungen: Eine Messung wird vor und nach einer
bestimmten Handlung (etwa medikamentöse Behandlung)
durchgeführt, oder die Ergebnisse zweier Klassifikationsalgorithmen
auf demselben Datensatz werden verglichen (kommt am CSL sehr
häufig vor).
In einem solchen Fall betrachtet man nicht die Differenz von Mittelwerten,
sondern man nimmt die Messwertdifferenz für jedes einzelne Sample und
betrachtet die Verteilung dieser Differenzen.
65 / 76
t-Test für abh. Stichproben: Durchführung
Biosignale und Benutzerschnittstellen – Statistik
(1)
Wir nehmen an, wir haben eine Reihe von Messwerten xi
i = 1, . . . , N.
(2)
und xi ,
• Für jedes Messwertpaar bilden wir nun die Differenz der Messwerte
(1)
(2)
di = xi − xi .
• Wir berechnen das arithmetische Mittel aller di -Werte
PN
di
x̄d = i=1 .
N
• Der Standardfehler der Verteilung der Differenzmittelwerte ist wie
gehabt
σ̂d
σ̂x̄d = √
n
wobei σ̂d wie üblich eine Abschätzung der Varianz der Differenzen σd
ist.
66 / 76
t-Test für abh. Stichproben: Durchführung
Biosignale und Benutzerschnittstellen – Statistik
Aus der durchschnittlichen Differenz berechnen wir wieder eine t-Testgröße
t=
x̄d − µd
σ̂x̄d
die sich vereinfacht, wenn wir die Nullhypothese annehmen:
t=
x̄d
σ̂x̄d
Dieser Wert wird (z.B. anhand einer Tabelle) mit dem kritischen t-Wert
verglichen, der vom gewünschten Signifikanzniveau und von der Anzahl
der Freiheitsgrade abhängt.
67 / 76
Übersicht
Biosignale und Benutzerschnittstellen – Statistik
• Erinnerung: Elemente der Wahrscheinlichkeitstheorie
• Stichproben und Konfidenzintervalle
• Der t-Test
• Der Kolmogorov-Smirnov-Test
• Bemerkungen zur Versuchsplanung
68 / 76
Biosignale und Benutzerschnittstellen – Statistik
Der Kolmogorov-Smirnov-Test
Zur Vervollständigung machen wir noch ein weiteres Beispiel: Den
Kolmogorov-Smirnov-Test.
Dieser Test kann verwendet werden, um
1. zu prüfen, ob zwei Verteilungen von irgendwelchen Merkmalen
übereinstimmen
2. ob ein Merkmal eine angenommene Verteilung hat.
Beispiel: Viele Tests (u.a. der t-Test) erfordern, dass das
Populationsmerkmal eine gewisse Verteilung hat (z.B. Normalverteilung).
Beachte: Gerade für die Normalverteilung gibt es auch bessere Tests!
69 / 76
Biosignale und Benutzerschnittstellen – Statistik
Der Kolmogorov-Smirnov-Test
Betrachten wir den zweiten Fall: Wie haben eine Datenmenge x1 , . . . , xN ,
und wir wollen feststellen, ob sie einer gewissen Verteilung folgt.
Wie testet man so etwas? Nehmen wir an, die angenommene Verteilung
hat eine Verteilungsfunktion F0 , wenn f0 die Dichte ist, ist also
Z x
F0 (x) =
f0 (ξ)d ξ.
−∞
Für die Datenreihe nehmen wir dementsprechend die empirische
Verteilungsfunktion
X
FX (x) =
I (xi ≤ x)
xi
mit
(
1 wenn y ≤ x
I (y ≤ x) =
0 sonst.
70 / 76
Der Kolmogorov-Smirnov-Test
Biosignale und Benutzerschnittstellen – Statistik
Die Nullhypothese soll sein:
H0 : F0 = FX
mit der Alternativhypothese
H1 : F0 6= FX
Man kann zeigen: Falls die Nullhypothese gilt, so geht bei zunehmender Anzahl
von Samples FX gegen F0 , und zwar gleichmäßig. Daher ist der maximale
Anstand von F0 und FX ein gutes Testkriterium:
d = maxx∈R |FX (x) − F0 (x)| = ||FX − F0 ||∞
d ist die Realisierung einer Zufallsvariablen D, die der Kolmogorov -Verteilung
folgt. Diese ist ebenso wie die t-Verteilung tabelliert (bzw. in
Statistikprogrammen enthalten).
Nun muss man also nur d ausrechen - wenn d einen gewissen Schwellwert
überschreitet, wird H0 verworfen.
71 / 76
Biosignale und Benutzerschnittstellen – Statistik
Zusammenfassung: Tests
Damit haben wir den Abschnitt “Statistische Tests” abgeschlossen.
Wichtig war uns nicht so sehr die konkrete Anwendung (dazu müssten wir
viel mehr Tests betrachten, sowie ihre Stärken, Schwächen, und
Voraussetzungen), sondern die grundlegenden Ideen:
• Wie funktioniert ein statistischer Test
• Zwei Beispiele, was man so alles testen kann
• Aufstellung der Hypothese
Weitere Details überlassen wir den Lehrbüchern.
72 / 76
Übersicht
Biosignale und Benutzerschnittstellen – Statistik
• Erinnerung: Elemente der Wahrscheinlichkeitstheorie
• Stichproben und Konfidenzintervalle
• Der t-Test
• Der Kolmogorov-Smirnov-Test
• Bemerkungen zur Versuchsplanung
73 / 76
Biosignale und Benutzerschnittstellen – Statistik
Versuchsplanung
Worauf muss man achten, wenn man einen Versuch plant und das
Ergebnis statistisch (z.B. durch t-Test) absichern will?
Insbesondere gilt:
Es muss zuerst eine Hypothese gefunden werden, die danach an
einer Testdatenmenge abgesichert wird.
Üblicherweise erreicht man dies, indem man vor dem Versuch eine
Testdatenmenge beiseite legt und erst zur Evaluation wieder betrachtet.
Die verbleibenden Daten teilt man in Trainingsdaten und
Kreuzvalidierungsdaten auf.
Während des Versuchs werden die Kreuzvalidierungsdaten zum Testen der
Modelle verwendet, um eventuelle Parameter zu optimieren.
74 / 76
Biosignale und Benutzerschnittstellen – Statistik
Versuchsplanung
Nach einer Versuchsreihe (mit diversen Optimierungsschritten) könnte die
wissenschaftliche Hypothese dann so aussehen:
Algorithmus A mit Parametern pi = γi erreicht eine bessere
Erkennungsrate als Algorithmus B.
Die Ergebnisse auf den Kreuzvalidierungsdaten lassen aber eine
Signifikanzaussage nicht zu, weil wir eben auf der Kreuzvalidierungsmenge
optimiert haben!
Jetzt werden zum ersten Mal die Testdaten betrachtet: Durch Ausführung
der beiden Algorithmen (A und B) auf der Testdatenmenge ergibt sich ein
Resultat, das man nun mit Hilfe eines geeigneten statistischen Tests
überprüfen kann, um so zu einer abgesicherten Aussage zu kommen.
75 / 76
Zusammenfassung
Biosignale und Benutzerschnittstellen – Statistik
Wir haben in dieser Vorlesung folgendes gelernt:
• Definitionen von Erwartungswert und Varianz – dies sind die
wichtigsten statistischen Größen überhaupt!
• Abschätzung von Erwartungswert und Varianz
• Wenn wir eine Stichprobe haben, sind Erwartungswert usw. selbst
wieder Zufallsvariablen und sind (annähernd) normalverteilt – daraus
konnten wir ein Konfidenzintervall für den Erwartungswert berechnen.
• Definition von statistischen Tests, Aufstellung von Hypothesen
• Der t-Test als einfaches Beispiel:
• Berechnung einer Testgröße (in diesem Fall t-verteilt)
• Feststellung, ob die Testgröße einen kritischen Wert überschreitet
• Mögliche Ablehnung der Nullhypothese.
• Der Kolmogorov-Smirnov-Test
76 / 76