Konfidenzintervalle

Konfidenzintervalle
Statistische Methoden in der Korpuslinguistik
Heike Zinsmeister
WS 2008/09
Münzspiel
• Experiment
– 100 Münzwürfe: Stefan gewinnt bei "Kopf"
• Hypothesen
– H0: Stefan wird so oft gewinnen wie der andere
Spieler
– H1: Stefan wird öfter gewinnen als der andere
Spieler
• Bei welchem Ergebnis unterstellen Sie
Stefan, dass er schummelt?
– bei 51 mal Kopf? Bei 55 mal? Bei 80 mal?
– Signifikanztest
20. 11. 2008
1
Münzspiel
• Annahme, dass H0 stimmt
• Berechnung der Wahrscheinlichkeit p
(Irrtumswahrscheinlichkeit), dass das
beobachtete Resultat oder alle weiteren
Resultate, die genauso hoch oder noch weiter
von der Nullhypothese abweichen, zu
erhalten
• Vorher definiertes Signifikanzniveau, bei dem
H0 abgelehnt werden kann
– 5% (Signifikanzniveau von 0,05), 1% (Niveau von
0,01),...
20. 11. 2008
2
Signifikanz
• Wenn ein Effekt signifikant ist, dann ist er
groß genug, dass sein Auftreten bei der
Größe der getesteten Stichprobe(n)
wahrscheinlich nicht zufällig ist.
20. 11. 2008
3
Vereinfachtes Münzexperiment
(Gries
2008:
40)
20. 11. 2008
4
Diskrete Verteilung
(Gries
2008:
42)
20. 11. 2008
5
Diskrete Verteilung
(Gries
2008:
45)
20. 11. 2008
6
Binomialverteilung
• Funktion dbinom()
– x: die Häufigkeit, mit der ein fragliches Ereignis auftritt
– s: die Anzahl an Versuchen
– p: Wahrscheinlichkeit des Ereignisses
• Wahrscheinlichkeit, dass in drei Würfen dreimal Kopf
oben liegt
dbinom(3, 3, 0.5)
• Wahrscheinlichkeit, dass in drei Würfen ein- bis
dreimal Kopf oben liegt
dbinom(0:3, 3, 0.5)
• Kopf taucht zwei oder dreimal auf
sum(dbinom(2:3, 3, 0.5))
20. 11. 2008
7
Münzenexperiment 1
barplot(dbinom(0:3,3,0.5), xlab="Anzahl an 'Kopf'",
ylab="Auftretenswahrscheinlichkeit", col="gray40",
20. 11. 2008
names.arg=c(0:3),ylim=c(0,0.4))
8
Münzenexperiment 2
barplot(dbinom(0:100,100,0.5), xlab="Anzahl an 'Kopf'",
ylab="Auftretenswahrscheinlichkeit", col="gray40",
20. 11. 2008
names.arg=c(0:100),ylim=c(0,0.1))
9
Testen
• Wie wahrscheinlich ist es, bei 100 Würfen 58
mal oder öfter Kopf zu erhalten?
• sum(dbinom(58:100, 100, 0.5))
• Wie wahrscheinlich ist es, bei 100 Würfen 59
mal oder öfter Kopf zu erhalten?
• sum(dbinom(59:100, 100, 0.5))
20. 11. 2008
10
Stetige Verteilungen
• und zugehörige Funktion, die ermittelt,
welcher Wert wie viel Prozent der Fläche
unter der Kurve der entsprechenden
Funktion, welche als 1 definiert ist,
abschneidet.
• Standardnormalverteilung mit z-Werten
qnorm()
• t-Verteilung: qt()
• F-Verteilung: qf()
• Chi-Quadrat-Verteilung (χ2): chisq()
20. 11. 2008
11
Normalverteilung
• Bsp: IQ-Verteilung, Mean=100, SD=16
20. 11. 2008
12
Normalverteilung
• Eigenschaften
– unimodal
– symmetrisch
– zwischen
• Mittelwert µ -Standardabweichung sd und
Mittelwert+Standardabweichung
• liegen ca. 2/3 aller Fälle (68,26%)
– zwischen
• µ±2*sd
• befinden sich ca. 95% aller Fälle (95,44%)
20. 11. 2008
13
Andere Verteilungen
• "linkssteil"
20. 11. 2008
14
Bimodale Verteilung
20. 11. 2008
15
Varianz und Standardabweichung von
Stichproben
• Varianz
– Summe der quadratischen Abweichungen vom
Mittelwert µ der Stichprobe
n
– Stichproben vs. Populationsvarianz:
(x i " µ) 2
#
Normalisierungsfaktor
i=1
• Standardabweichung
var ianz _ Stichprobe =
– Wurzel der Varianz
!
n "1
n
2
(x
"
µ
)
# i
sd _ Stichprobe =
– Bemerke: sd in R berechnet die
Standardabweichung auf der Basis der
Stichprobenvarianz
i=1
n "1
!
20. 11. 2008
16
Standardfehler
• definiert als die Standardabweichungen der
Mittelwerte von gleich großen Stichproben
aus einer Population/Grundgesamtheit
• Abschätzung des Standardfehlers einer
Stichprobe (Stichprobengröße n>30, normal
verteilt)
SE Mittelwert =
var sd
=
n
n
!
20. 11. 2008
17
Standardfehler der Planungspausen
• Einlesen von
/Users/cluser/_sflwr/_inputfiles/g_data_chapters_15/03-1_aeh(m).txt
• Standardfehler vom Mittelwert
AEHM<-read.table(file.choose(), header=T, sep="\t",
comment.char="", quote="")
attach(AEHM)
str(AEHM)
mean(LAENGE)
sqrt(var(LAENGE)/length(LAENGE)) # oder
sd(LAENGE)/sqrt(length(LAENGE))
20. 11. 2008
18
Weitere Standardfehler
• Standardfehler von Prozentwerten
SE Pr ozentwerte =
p " (1# p)
n
!
• Standardfehler von Mittelwertsdifferenzen
2
SE Mittelwertsdifferenz = SE MittelwertGruppr1 + SE MittelwertGruppe2
!
20. 11. 2008
2
19
Konfidenzintervalle
• Kann man gegebene Stichprobenergebnisse
auf die Grundgesamtheit/Population
verallgemeinern?
• Nur unter Angabe von Konfidenzintervallen!
20. 11. 2008
20
Konfidenzintervalle arithmethischer Mittelwerte
• Ziel
– Ermittlung der Grenzen, innerhalb derer sich der
wahre Populationsmittelpunkt mit hoher
Wahrscheinlichkeit p befindet
• Konfidenzintervall CI
• Wahrscheinlichkeit p = Konfidenzkoeffizient
– definiert als 1-Signifikanzniveau
– bei Signifikanzniveau 0,05
• Konfidenzkoeffizint: 1-0,05 = 0,95
20. 11. 2008
21
Konfidenzintervalle arithmethischer Mittelwerte
• Standardfehler SEMittelwert:
se<-sqrt(var(LAENGE)/length(LAENGE)); se
• 95%-Konfidenzintervall
–
–
–
–
CI = x ± t " SE
Parameter t aus der t-Verteilung
da t-Wert anhand des p-Werts zu ermitteln: qt()
! 2,5%)
Zweiseitiger Test (2*
Freiheitsgrade df= Länge des Vektors-1
t<-qt(0.025, df=999, lower.tail=F); t
• Mittels des t-Werts die Grenzen des
Konfidenzintervalls berechnen
20. 11. 2008
22
Konfidenzintervalle arithmethischer Mittelwerte
• Berechnung der Grenzen des Konfidenzintervalls
mittels des t-Werts
mean(LAENGE)-(se*t); mean(LAENGE)+(se*t)
• Ausgabe
[1] 891.3354
[1] 938.7506
• Interpretation
– alle wahren Populationsmittelwerte, die den
Stichprobenmittelwert von 915,043 mit 95%iger
Wahrscheinlichkeit erzeugt haben könnte, liegen zwischen
891,34 und 938,75.
– die Chancen stehen 95:5, das das ermittelte
Konfidenzintervall des Stichprobenmittelwerts den
Populationsmittelwert tatsächlich umschließt
20. 11. 2008
23
Konfidenzintervalle arithmethischer Mittelwerte
• R bietet für den T-Test eine Funktion an:
t.test(LAENGE, conf.level=0.95)$conf.int
• Bemerkung
da hier Konfindenzintervalle über
Standardfehler berechnet werden, gilt, dass
n>30 und die Daten normalverteilt sein
sollten.
20. 11. 2008
24
Konfidenzintervalle relativer Häufigkeiten
• Ziel
– Ermittlung des Bereichs in der Grundgesamtheit,
in den ein gegebener Prozentanteil einer
Stichprobe fällt bzw.
– wie der Stichprobenanteil in der Grundgesamtheit
aussieht
• Methode
– Ermittlung des z-Werts der
Standardnormalverteilung
20. 11. 2008
25
Konfidenzintervalle relativer Häufigkeiten
• "Zu Fuß"
– Stichprobenanteil a = 33,2% (Anteil von Stille)
– Stichprobengröße n =1000
– Ermittlung des Standardfehlers SEProzentwerte
se<-sqrt(0.332*(1-0.332)/1000); se
• z bei Konfidenz von 95%
z<-qnorm(0.025, lower.tail=F); z
• z bei Konfidenz von 99%
z<-qnorm(0.005, lower.tail=F); z
20. 11. 2008
26
Konfidenzintervalle relativer Häufigkeiten
• "Zu Fuß" (Fortstz.)
– Berechnung der Grenzen des Konfidenzintervalls mittels des
z-Werts
z<-qnorm(0.025, lower.tail=F)
0.332+z*se; 0.332-z*se
• Ausgabe
[1] 0.3611881
[1] 0.3028119
• Interpretation
• die wahren Populationsanteile von "Stille" aller
Verteilungen, bei denen mit 95%iger
Wahrscheinlichkeit der Anteil 33,2% ermittelt wurde,
befinden sich in einem Bereich von 30,28% und
36,12%
20. 11. 2008
27
Konfidenzintervalle relativer Häufigkeiten
• Funktion in R: prop.test()
– gefundene Häufigkeit (hier 33,2%)
– Gesamtstichprobengröße (hier 1000)
– Wahrscheinlichkeit für das Konfidenzintervall (hier
0,95)
prop.test(332, 1000, conf.level=0.95)$conf.int
20. 11. 2008
28
Referenzen
• Gries, Stefan Th. 2008. Statistik für
Sprachwissenschaftler. Göttingen:
Vandenhoeck & Ruprecht. Kapitel 1.3 und
3.1.5
20. 11. 2008
29