Stochastik - Vorlesung 20

Stochastik
Vorlesung 20
Rainer Schüssler
Frühjahr 2017
Merkenswertes
aus Vorlesung 19
• Abhängigkeitstests
• lineare Korrelation bei N
t-Test
• Rangkorrelation allgemein
approx. Gauß-Test
• Kontingenztafel, große SP
χ2 -Test
• 4-Felder-Tafel
Fisher-Exakt-Test
Stochastik 2017, Vorlesung 20:
2 / 48
Eine weitere Klasse von Tests
sind die Anpassungstests.
Stochastik 2017, Vorlesung 20:
3 / 48
Verteilungsannahme & Wirklichkeit
7000
6000
5000
4000
DAX-Schlusskurs
8000
DAX 2009 und 2010 — tägliche Schlusskurse
2009 Jan
2009 Jul
2010 Jan
2010 Jul
2011 Jan
Handelstag
Stochastik 2017, Vorlesung 20:
4 / 48
Verteilungsannahme & Wirklichkeit
DAX 2009 und 2010 — tägliche Schlusskurse und Rendite
DAXi = Schlusskurs am Tag i ,
R̃i =
DAXi − DAXi−1
DAXi−1
— tägliche relative Änderung =
b tägliche Rendite ,
Ri = ln DAXi − ln DAXi−1
— tägliche log-Rendite
≈ R̃i
für DAXi − DAXi−1 DAXi−1 .
Stochastik 2017, Vorlesung 20:
5 / 48
Verteilungsannahme & Wirklichkeit
-0.02
0
0.02
0.04
Rendite
EWMA (λ = 0.05)
-0.06
tägliche log-Rendite DAX
0.06
DAX 2009 — tägliche Rendite
2009 Jan
2009 Jul
2010 Jan
2010 Jul
2011 Jan
Handelstag
Stochastik 2017, Vorlesung 20:
6 / 48
Verteilungsannahme & Wirklichkeit
DAX (Apr – Nov 2009) — tägliche Rendite
15
5
10
Daten
N (µ, σ 2 )
0
Dichte
20
25
Histogramm
-0.06
-0.04
-0.02
0
0.02
0.04
0.06
Rendite
Stochastik 2017, Vorlesung 20:
7 / 48
Verteilungsannahme & Wirklichkeit
DAX (Apr – Nov 2009) — tägliche Rendite
15
5
10
Daten
N (µ, σ 2 )
0
Dichte
20
25
Histogramm
-0.06
-0.04
-0.02
0
0.02
0.04
0.06
Rendite
Stochastik 2017, Vorlesung 20:
8 / 48
Verteilungsannahme & Wirklichkeit
DAX (Apr – Nov 2009) — tägliche Rendite
0.6
0.4
0.2
Daten
N (µ, σ 2 )
0
F(Rendite)
0.8
1
Verteilungsfunktion
-0.04
-0.02
0
0.02
0.04
0.06
Rendite
Stochastik 2017, Vorlesung 20:
9 / 48
Verteilungsannahme & Wirklichkeit
Anpassungstests (engl. goodness-of-fit tests)
x1 , . . . , xn sei Realisierung einer unabhängigen Zufallsstichprobe
X1 , . . . , Xn mit Xi ∼ F für alle i = 1, . . . , n
Stochastik 2017, Vorlesung 20:
10 / 48
Verteilungsannahme & Wirklichkeit
Anpassungstests (engl. goodness-of-fit tests)
x1 , . . . , xn sei Realisierung einer unabhängigen Zufallsstichprobe
X1 , . . . , Xn mit Xi ∼ F für alle i = 1, . . . , n
Testproblem
H0 : F = F 0
↔
H1 : F 6= F0
Dabei ist F0 eine bekannte Verteilungsfunktion.
Stochastik 2017, Vorlesung 20:
10 / 48
Anpassungstests
Der Test von Kolmogoroff-Smirnoff
Idee: Vergleiche F mit F0 , d. h. betrachte F (x ) − F0 (x ) .
Stochastik 2017, Vorlesung 20:
11 / 48
Anpassungstests
Der Test von Kolmogoroff-Smirnoff
Idee: Vergleiche F mit F0 , d. h. betrachte F (x ) − F0 (x ) .
Da F unbekannt ist,
schätzt man F durch die empirische Verteilungsfunktion F̂n .
Stochastik 2017, Vorlesung 20:
11 / 48
Anpassungstests
Der Test von Kolmogoroff-Smirnoff
Idee: Vergleiche F mit F0 , d. h. betrachte F (x ) − F0 (x ) .
Da F unbekannt ist,
schätzt man F durch die empirische Verteilungsfunktion F̂n .
F̂n (x ) = relative Anzahl von Beobachtungen, die kleiner oder gleich x sind.
Stochastik 2017, Vorlesung 20:
11 / 48
Anpassungstests
Der Test von Kolmogoroff-Smirnoff
Idee: Vergleiche F mit F0 , d. h. betrachte F (x ) − F0 (x ) .
Da F unbekannt ist,
schätzt man F durch die empirische Verteilungsfunktion F̂n .
F̂n (x ) = relative Anzahl von Beobachtungen, die kleiner oder gleich x sind.
Entscheidung:
Ist F̂n (x ) − F0 (x ) > c für ein x ∈ R, so wird H0 abgelehnt.
Stochastik 2017, Vorlesung 20:
11 / 48
Anpassungstests
Der Test von Kolmogoroff-Smirnoff
Idee: Vergleiche F mit F0 , d. h. betrachte F (x ) − F0 (x ) .
Da F unbekannt ist,
schätzt man F durch die empirische Verteilungsfunktion F̂n .
F̂n (x ) = relative Anzahl von Beobachtungen, die kleiner oder gleich x sind.
Entscheidung:
Ist F̂n (x ) − F0 (x ) > c für ein x ∈ R, so wird H0 abgelehnt.
Dies ist äquivalent zu
sup F̂n (x ) − F0 (x ) > c .
x ∈R
Stochastik 2017, Vorlesung 20:
11 / 48
Anpassungstests
Der Test von Kolmogoroff-Smirnoff
Idee: Vergleiche F mit F0 , d. h. betrachte F (x ) − F0 (x ) .
Da F unbekannt ist,
schätzt man F durch die empirische Verteilungsfunktion F̂n .
F̂n (x ) = relative Anzahl von Beobachtungen, die kleiner oder gleich x sind.
Entscheidung:
Ist F̂n (x ) − F0 (x ) > c für ein x ∈ R, so wird H0 abgelehnt.
Dies ist äquivalent zu
sup F̂n (x ) − F0 (x ) > c .
x ∈R
Prüfgröße:
D = sup F̂n (x ) − F0 (x )
x ∈R
Stochastik 2017, Vorlesung 20:
11 / 48
Der Test von Kolmogoroff-Smirnoff
Verteilung von D unter H0
Prüfgröße: D = sup F̂n (x ) − F0 (x )
x ∈R
Die Verteilung von D unter H0 ist tabelliert.
Stochastik 2017, Vorlesung 20:
12 / 48
Der Test von Kolmogoroff-Smirnoff
Verteilung von D unter H0
Prüfgröße: D = sup F̂n (x ) − F0 (x )
x ∈R
Die Verteilung von D unter H0 ist tabelliert. Sie hängt nicht von
F0 ab, wenn F0 stetig ist!
Stochastik 2017, Vorlesung 20:
12 / 48
Der Test von Kolmogoroff-Smirnoff
Verteilung von D unter H0
Prüfgröße: D = sup F̂n (x ) − F0 (x )
x ∈R
Die Verteilung von D unter H0 ist tabelliert. Sie hängt nicht von
F0 ab, wenn F0 stetig ist! c wird als (1 − α)-Quantil der Verteilung
tabelliert.
Stochastik 2017, Vorlesung 20:
12 / 48
Der Test von Kolmogoroff-Smirnoff
Verteilung von D unter H0
Prüfgröße: D = sup F̂n (x ) − F0 (x )
x ∈R
Die Verteilung von D unter H0 ist tabelliert. Sie hängt nicht von
F0 ab, wenn F0 stetig ist! c wird als (1 − α)-Quantil der Verteilung
tabelliert.
Geschichtliches: (für stetige Zufallsvariablen)
1 Kolmogoroff bewies 1933 (Einstichprobenfall):
lim PF0
n→∞
x
D< √
n
=
∞
X
(−1)j e −2j
2 2
x
.
x >0
j=−∞
Stochastik 2017, Vorlesung 20:
12 / 48
Der Test von Kolmogoroff-Smirnoff
Verteilung von D unter H0
Prüfgröße: D = sup F̂n (x ) − F0 (x )
x ∈R
Die Verteilung von D unter H0 ist tabelliert. Sie hängt nicht von
F0 ab, wenn F0 stetig ist! c wird als (1 − α)-Quantil der Verteilung
tabelliert.
Geschichtliches: (für stetige Zufallsvariablen)
1 Kolmogoroff bewies 1933 (Einstichprobenfall):
lim PF0
n→∞
x
D< √
n
=
∞
X
(−1)j e −2j
2 2
x
.
x >0
j=−∞
2 Gliwenko/Cantelli zeigten 1933, dass PF0
lim D = 0 = 1 .
n→∞
Stochastik 2017, Vorlesung 20:
12 / 48
Der Test von Kolmogoroff-Smirnoff
Verteilung von D unter H0
Prüfgröße: D = sup F̂n (x ) − F0 (x )
x ∈R
Die Verteilung von D unter H0 ist tabelliert. Sie hängt nicht von
F0 ab, wenn F0 stetig ist! c wird als (1 − α)-Quantil der Verteilung
tabelliert.
Geschichtliches: (für stetige Zufallsvariablen)
1 Kolmogoroff bewies 1933 (Einstichprobenfall):
lim PF0
n→∞
x
D< √
n
=
∞
X
(−1)j e −2j
2 2
x
.
x >0
j=−∞
2 Gliwenko/Cantelli zeigten 1933, dass PF0
lim D = 0 = 1 .
n→∞
3 Smirnoff übertrug 1 1939 auf zwei empirische Verteilungsfunktionen
(Zweistichprobenfall).
Stochastik 2017, Vorlesung 20:
12 / 48
Der Test von Kolmogoroff-Smirnoff
Praktische Berechnung von D — Bild
0.6
0.4
0.2
Daten
N (µ, σ 2 )
0
F(Rendite)
0.8
1
Verteilungsfunktion
-0.04
-0.02
0
0.02
0.04
0.06
Rendite
Stochastik 2017, Vorlesung 20:
13 / 48
Der Test von Kolmogoroff-Smirnoff
Praktische Berechnung von D — Bild
F̂n (x157 )
F̂n (x156 )
0.92
F̂n (x)
F0 (x)
F0 (x157 )
F0 (x156 )
F0 (x155 )
F̂n (x155 )
F̂n (x154 )
0.91
F(Rendite)
0.93
F̂n (x158 )
0.023
0.0235
0.024
0.0245
0.025
Rendite
Stochastik 2017, Vorlesung 20:
14 / 48
Der Test von Kolmogoroff-Smirnoff
Praktische Berechnung von D — Formeln
Es sei F0 stetig und x1 ≤ x2 ≤ . . . ≤ xn .
Dann ist
D = max
1≤i≤n
n
o
F̂n (xi ) − F0 (xi ), F0 (xi ) − F̂n (xi−1 ) ,
wobei F̂n (x0 ) := 0.
Stochastik 2017, Vorlesung 20:
15 / 48
Der Test von Kolmogoroff-Smirnoff
Kritische Werte c1−α
α = P Fehler 1. Art
kritischer Wert c1−α
⇒
Testentscheidung: Teststatistik D > c1−α
n
1
2
3
4
5
0.2
0.900
0.684
0.565
0.493
0.447
0.1
0.950
0.776
0.636
0.565
0.509
0.08
0.960
0.800
0.658
0.585
0.527
.
..
39
40
Approx. für
> 40
α
0.05
0.975
0.842
0.708
0.624
0.563
H0 wird verworfen!
0.04
0.980
0.859
0.729
0.641
0.580
0.02
0.990
0.900
0.785
0.689
0.627
0.01
0.995
0.929
0.829
0.734
0.669
0.219
0.216
1.40
√
n
0.238
0.235
1.52
√
n
0.255
0.252
1.63
√
n
.
..
0.168
0.165
1.07
√
n
0.191
0.189
1.22
√
n
0.199
0.196
1.27
√
n
0.213
0.210
1.36
√
n
Stochastik 2017, Vorlesung 20:
16 / 48
Der Test von Kolmogoroff-Smirnoff
Beispiel N
Test auf Standardnormalverteilung (F0 = Φ)
Stochastik 2017, Vorlesung 20:
17 / 48
Der Test von Kolmogoroff-Smirnoff
Beispiel N
Test auf Standardnormalverteilung (F0 = Φ)
Stichprobe: x1 = −1.0, x2 = 0.5, x3 = 0.5, x4 = 1.5
Stochastik 2017, Vorlesung 20:
17 / 48
Der Test von Kolmogoroff-Smirnoff
Beispiel N
Test auf Standardnormalverteilung (F0 = Φ)
Stichprobe: x1 = −1.0, x2 = 0.5, x3 = 0.5, x4 = 1.5
xi
F̂n (xi )
Φ(xi )
F̂n (xi−1 )
maxi
-1.0
0.25
0.159
0
0.159
0.5
0.5
0.691
0.25
0.441
0.5
0.75
0.691
0.5
0.191
1.5
1
0.933
0.75
0.183
d = 0.441
Stochastik 2017, Vorlesung 20:
17 / 48
Der Test von Kolmogoroff-Smirnoff
Beispiel N
Test auf Standardnormalverteilung (F0 = Φ)
Stichprobe: x1 = −1.0, x2 = 0.5, x3 = 0.5, x4 = 1.5
xi
F̂n (xi )
Φ(xi )
F̂n (xi−1 )
maxi
-1.0
0.25
0.159
0
0.159
0.5
0.5
0.691
0.25
0.441
0.5
0.75
0.691
0.5
0.191
1.5
1
0.933
0.75
0.183
d = 0.441
Für α = 0.1 ist c0.9 = 0.565. (appr. p-Wert = 0.4167)
Stochastik 2017, Vorlesung 20:
17 / 48
Der Test von Kolmogoroff-Smirnoff
Beispiel N
Test auf Standardnormalverteilung (F0 = Φ)
Stichprobe: x1 = −1.0, x2 = 0.5, x3 = 0.5, x4 = 1.5
xi
F̂n (xi )
Φ(xi )
F̂n (xi−1 )
maxi
-1.0
0.25
0.159
0
0.159
0.5
0.5
0.691
0.25
0.441
0.5
0.75
0.691
0.5
0.191
1.5
1
0.933
0.75
0.183
d = 0.441
Für α = 0.1 ist c0.9 = 0.565. (appr. p-Wert = 0.4167)
Wegen d ≤ c0.9 wird H0 : F = Φ nicht abgelehnt.
Stochastik 2017, Vorlesung 20:
17 / 48
Der Test von Kolmogoroff-Smirnoff
DAX (Apr – Nov 2009) — tägliche Rendite
0.6
0.4
0.2
Daten
N (µ, σ 2 )
0
F(Rendite)
0.8
1
Verteilungsfunktion
-0.04
-0.02
0
0.02
0.04
0.06
Rendite
Stochastik 2017, Vorlesung 20:
18 / 48
Der Test von Kolmogoroff-Smirnoff
DAX (Apr – Nov 2009) — tägliche Rendite
µ̂ = x̄ = 0.0019 ,
σ̂ = s = 0.0160 ,
H0 : X ∼ N (µ̂, σ̂ 2 ) ↔ H1 : X 6∼ N (µ̂, σ̂ 2 ) ,
· − µ̂
· − µ̂
H0 : F (·) = Φ
↔ H1 : F (·) 6= Φ
.
σ̂
σ̂
# „geschummelt“, da µ̂ und σ̂ aus denselben Daten ermittelt.
Stochastik 2017, Vorlesung 20:
19 / 48
Kolmogoroff-Smirnoff-Test mit
DAX (Apr – Nov 2009) — tägliche Rendite
ECDF <- ecdf(DAX$DAX.RETURN) # emp. Verteilungsfunktion (VF)
xbar <- mean(DAX$DAX.RETURN)
s
<- sd(DAX$DAX.RETURN)
CDF <- function(x) pnorm(x, mean=xbar, sd=s) # theor. VF
xi <- knots(ECDF) # x_(i)
Spalte1 <- max( ECDF(xi) - CDF(xi) )
Spalte2 <- max( CDF(xi) - c(0, ECDF(xi[-length(xi)])) )
max(Spalte1, Spalte2)
0.04151987
F̂n (xi ) − F0 (xi ), F0 (xi ) − F̂n (xi−1 ) ,
1≤i≤n
√
n = 169 , α = 0.05
c1−α = 1.36/ 169 ≈ 0.1046 .
D = max
Stochastik 2017, Vorlesung 20:
20 / 48
Kolmogoroff-Smirnoff-Test mit
II
DAX (Apr – Nov 2009) — tägliche Rendite
xbar <- mean(DAX$DAX.RETURN)
s
<- sd(DAX$DAX.RETURN)
CDF <- function(x) pnorm(x, mean=xbar, sd=s) # theor. VF
ks.test(DAX$DAX.RETURN, CDF)
One-sample Kolmogorov-Smirnov test
data: DAX$DAX.RETURN
D = 0.0415, p-value = 0.9327
alternative hypothesis: two-sided
D ≈ 0.0415, c1−α ≈ 0.1046 .
Stochastik 2017, Vorlesung 20:
21 / 48
Kolmogoroff-Smirnoff-Test mit
III
DAX (Apr – Nov 2009) — tägliche Rendite
library(nortest) # Kollektion von Tests auf Normalverteilung
lillie.test(DAX$DAX.RETURN)
Lilliefors (Kolmogorov-Smirnov) normality test
data: DAX$DAX.RETURN
D = 0.0415, p-value = 0.678
Der Lilliefors-Test ist eine Modifikation des KS-Tests bei
unspezifizierter Normalverteilung (Konstruktion von D wie gehabt,
während c1−α angepasst wird).
Hubert Lilliefors (1967), On the Kolmogorov–Smirnov test for normality
with mean and variance unknown, Journal of the American Statistical
Association, Vol. 62. pp. 399–402.
Stochastik 2017, Vorlesung 20:
22 / 48
Verteilungsannahme & Wirklichkeit
DAX (Apr – Nov 2009) — tägliche Rendite
15
5
10
Daten
N (µ, σ 2 )
0
Dichte
20
25
Histogramm
-0.06
-0.04
-0.02
0
0.02
0.04
0.06
Rendite
Stochastik 2017, Vorlesung 20:
23 / 48
Anpassungstests
2
χ -Anpassungstest von Pearson
Bequemeres Beispiel: Symmetrie eines Würfels
Stochastik 2017, Vorlesung 20:
24 / 48
Anpassungstests
2
χ -Anpassungstest von Pearson
Bequemeres Beispiel: Symmetrie eines Würfels
Ergebnis von 120 Würfen:
1
24
2
12
3
15
4
25
5
16
Stochastik 2017, Vorlesung 20:
6
28
24 / 48
Anpassungstests
2
χ -Anpassungstest von Pearson
Bequemeres Beispiel: Symmetrie eines Würfels
Ergebnis von 120 Würfen:
1
24
2
12
3
15
4
25
5
16
6
28
Testproblem:
H0 : P(X = i) =
1
1
für i = 1, . . . , 6 ↔ H1 : P(X = i) 6= für ein i
6
6
Stochastik 2017, Vorlesung 20:
24 / 48
Anpassungstests
2
χ -Anpassungstest von Pearson
Bequemeres Beispiel: Symmetrie eines Würfels
Ergebnis von 120 Würfen:
1
24
2
12
3
15
4
25
5
16
6
28
Testproblem:
H0 : P(X = i) =
1
1
für i = 1, . . . , 6 ↔ H1 : P(X = i) 6= für ein i
6
6
Strategie:
Vergleiche die beobachteten Anzahlen der jeweiligen Augenzahl mit
der (theoretisch) erwarteten Anzahl (hier: 120 · 1/6 = 20)
Stochastik 2017, Vorlesung 20:
24 / 48
χ2 -Anpassungstest von Pearson
Testdesign allgemein
X nehme r verschiedene Werte t1 , . . . , tr an.
Stochastik 2017, Vorlesung 20:
25 / 48
χ2 -Anpassungstest von Pearson
Testdesign allgemein
X nehme r verschiedene Werte t1 , . . . , tr an. Die unterstellten
Wahrscheinlichkeiten P(X = t1 ) bis P(X = tr ) seien p1 , . . . , pr .
Stochastik 2017, Vorlesung 20:
25 / 48
χ2 -Anpassungstest von Pearson
Testdesign allgemein
X nehme r verschiedene Werte t1 , . . . , tr an. Die unterstellten
Wahrscheinlichkeiten P(X = t1 ) bis P(X = tr ) seien p1 , . . . , pr .
Testproblem:
H0 : P(X = ti ) = pi für i = 1, . . . , r ↔ H1 : P(X = ti ) 6= pi für ein i
Stochastik 2017, Vorlesung 20:
25 / 48
χ2 -Anpassungstest von Pearson
Testdesign allgemein
X nehme r verschiedene Werte t1 , . . . , tr an. Die unterstellten
Wahrscheinlichkeiten P(X = t1 ) bis P(X = tr ) seien p1 , . . . , pr .
Testproblem:
H0 : P(X = ti ) = pi für i = 1, . . . , r ↔ H1 : P(X = ti ) 6= pi für ein i
Si gebe die Anzahl der Beobachtungen an, die gleich ti sind.
Stochastik 2017, Vorlesung 20:
25 / 48
χ2 -Anpassungstest von Pearson
Testdesign allgemein
X nehme r verschiedene Werte t1 , . . . , tr an. Die unterstellten
Wahrscheinlichkeiten P(X = t1 ) bis P(X = tr ) seien p1 , . . . , pr .
Testproblem:
H0 : P(X = ti ) = pi für i = 1, . . . , r ↔ H1 : P(X = ti ) 6= pi für ein i
Si gebe die Anzahl der Beobachtungen an, die gleich ti sind.
Die erwartete Anzahl (unter H0 ) ist gleich npi .
Stochastik 2017, Vorlesung 20:
25 / 48
χ2 -Anpassungstest von Pearson
Testdesign allgemein
X nehme r verschiedene Werte t1 , . . . , tr an. Die unterstellten
Wahrscheinlichkeiten P(X = t1 ) bis P(X = tr ) seien p1 , . . . , pr .
Testproblem:
H0 : P(X = ti ) = pi für i = 1, . . . , r ↔ H1 : P(X = ti ) 6= pi für ein i
Si gebe die Anzahl der Beobachtungen an, die gleich ti sind.
Die erwartete Anzahl (unter H0 ) ist gleich npi .
2
r
X
Si − npi
Prüfgröße: T =
npi
i=1
Stochastik 2017, Vorlesung 20:
25 / 48
χ2 -Anpassungstest von Pearson
Testdesign allgemein
X nehme r verschiedene Werte t1 , . . . , tr an. Die unterstellten
Wahrscheinlichkeiten P(X = t1 ) bis P(X = tr ) seien p1 , . . . , pr .
Testproblem:
H0 : P(X = ti ) = pi für i = 1, . . . , r ↔ H1 : P(X = ti ) 6= pi für ein i
Si gebe die Anzahl der Beobachtungen an, die gleich ti sind.
Die erwartete Anzahl (unter H0 ) ist gleich npi .
2
r
X
Si − npi
Prüfgröße: T =
npi
i=1
Es gilt unter der Nullhypothese (Stichprobenumfang n):
lim P T ≤ x = Fχ2r −1 (x ) ,
n→∞
wobei Fχ2 (x ) die Verteilungsfunktion einer χ2 -Verteilung
r −1
mit r − 1 Freiheitsgraden bezeichne.
Stochastik 2017, Vorlesung 20:
25 / 48
χ2 -Anpassungstest von Pearson
Testdesign allgemein und Beispiel
Schluss: Ist T > χ2r −1;1−α , so wird H0 abgelehnt.
Stochastik 2017, Vorlesung 20:
26 / 48
χ2 -Anpassungstest von Pearson
Testdesign allgemein und Beispiel
Schluss: Ist T > χ2r −1;1−α , so wird H0 abgelehnt.
Beachte: Damit die asymptotische Verteilungsannahme gerechtfertigt ist,
sollte npi ≥ 5 (unter H0 ) für alle i gelten.
Stochastik 2017, Vorlesung 20:
26 / 48
χ2 -Anpassungstest von Pearson
Testdesign allgemein und Beispiel
Schluss: Ist T > χ2r −1;1−α , so wird H0 abgelehnt.
Beachte: Damit die asymptotische Verteilungsannahme gerechtfertigt ist,
sollte npi ≥ 5 (unter H0 ) für alle i gelten.
Bemerkung: Im Gegensatz zum Test von Kolmogoroff-S. kann dieses
Verfahren auch zur Überprüfung diskreter Verteilungen angewendet
werden.
Stochastik 2017, Vorlesung 20:
26 / 48
χ2 -Anpassungstest von Pearson
Testdesign allgemein und Beispiel
Schluss: Ist T > χ2r −1;1−α , so wird H0 abgelehnt.
Beachte: Damit die asymptotische Verteilungsannahme gerechtfertigt ist,
sollte npi ≥ 5 (unter H0 ) für alle i gelten.
Bemerkung: Im Gegensatz zum Test von Kolmogoroff-S. kann dieses
Verfahren auch zur Überprüfung diskreter Verteilungen angewendet
werden.
Beispiel: Symmetrie eines Würfels →
1 2 3 4 5 6 Σ
24 12 15 25 16 28 120
Stochastik 2017, Vorlesung 20:
26 / 48
χ2 -Anpassungstest von Pearson
Testdesign allgemein und Beispiel
Schluss: Ist T > χ2r −1;1−α , so wird H0 abgelehnt.
Beachte: Damit die asymptotische Verteilungsannahme gerechtfertigt ist,
sollte npi ≥ 5 (unter H0 ) für alle i gelten.
Bemerkung: Im Gegensatz zum Test von Kolmogoroff-S. kann dieses
Verfahren auch zur Überprüfung diskreter Verteilungen angewendet
werden.
Beispiel: Symmetrie eines Würfels →
1 2 3 4 5 6 Σ
24 12 15 25 16 28 120
Es ist
t = 16/20+64/20+25/20+25/20+16/20+64/20 = 210/20 = 10.5 .
Stochastik 2017, Vorlesung 20:
26 / 48
χ2 -Anpassungstest von Pearson
Testdesign allgemein und Beispiel
Schluss: Ist T > χ2r −1;1−α , so wird H0 abgelehnt.
Beachte: Damit die asymptotische Verteilungsannahme gerechtfertigt ist,
sollte npi ≥ 5 (unter H0 ) für alle i gelten.
Bemerkung: Im Gegensatz zum Test von Kolmogoroff-S. kann dieses
Verfahren auch zur Überprüfung diskreter Verteilungen angewendet
werden.
Beispiel: Symmetrie eines Würfels →
1 2 3 4 5 6 Σ
24 12 15 25 16 28 120
Es ist
t = 16/20+64/20+25/20+25/20+16/20+64/20 = 210/20 = 10.5 .
Für α = 0.1 ist χ25;0.9 = 9.236, also kleiner als t (appr. p-Wert = 0.062).
Stochastik 2017, Vorlesung 20:
26 / 48
χ2 -Anpassungstest von Pearson
Testdesign allgemein und Beispiel
Schluss: Ist T > χ2r −1;1−α , so wird H0 abgelehnt.
Beachte: Damit die asymptotische Verteilungsannahme gerechtfertigt ist,
sollte npi ≥ 5 (unter H0 ) für alle i gelten.
Bemerkung: Im Gegensatz zum Test von Kolmogoroff-S. kann dieses
Verfahren auch zur Überprüfung diskreter Verteilungen angewendet
werden.
Beispiel: Symmetrie eines Würfels →
1 2 3 4 5 6 Σ
24 12 15 25 16 28 120
Es ist
t = 16/20+64/20+25/20+25/20+16/20+64/20 = 210/20 = 10.5 .
Für α = 0.1 ist χ25;0.9 = 9.236, also kleiner als t (appr. p-Wert = 0.062).
Damit wird H0 abgelehnt
⇒ der Würfel ist nicht symmetrisch.
Stochastik 2017, Vorlesung 20:
26 / 48
χ2 -Anpassungstest von Pearson
DAX (Apr – Nov 2009) — tägliche Rendite
15
5
10
Daten
N (µ, σ 2 )
0
Dichte
20
25
Histogramm
-0.06
-0.04
-0.02
0
0.02
0.04
0.06
Rendite
Stochastik 2017, Vorlesung 20:
27 / 48
χ2 -Anpassungstest von Pearson
Erweiterung auf stetige Verteilungen
Testproblem: H0 : F = F0
↔
H1 : F 6= F0
Stochastik 2017, Vorlesung 20:
28 / 48
χ2 -Anpassungstest von Pearson
Erweiterung auf stetige Verteilungen
Testproblem: H0 : F = F0
↔
H1 : F 6= F0
Idee: Zerlege den Wertebereich von X in r disjunkte Klassen K1 , . . . , Kr .
Stochastik 2017, Vorlesung 20:
28 / 48
χ2 -Anpassungstest von Pearson
Erweiterung auf stetige Verteilungen
Testproblem: H0 : F = F0
↔
H1 : F 6= F0
Idee: Zerlege den Wertebereich von X in r disjunkte Klassen K1 , . . . , Kr .
Unter H0 sei
pi = P(X ∈ Ki ) > 0
, i = 1, . . . , r .
Si sei die Anzahl der Stichprobenelemente, die in der Klasse Ki liegen.
Stochastik 2017, Vorlesung 20:
28 / 48
χ2 -Anpassungstest von Pearson
Erweiterung auf stetige Verteilungen
Testproblem: H0 : F = F0
↔
H1 : F 6= F0
Idee: Zerlege den Wertebereich von X in r disjunkte Klassen K1 , . . . , Kr .
Unter H0 sei
pi = P(X ∈ Ki ) > 0
, i = 1, . . . , r .
Si sei die Anzahl der Stichprobenelemente, die in der Klasse Ki liegen.
r
X
Si − npi
Prüfgröße: T =
npi
i=1
... und unter H0 :
2
lim P T ≤ x = Fχ2r −1 (x ) .
n→∞
Stochastik 2017, Vorlesung 20:
28 / 48
χ2 -Anpassungstest von Pearson
Erweiterung auf stetige Verteilungen
Testproblem: H0 : F = F0
↔
H1 : F 6= F0
Idee: Zerlege den Wertebereich von X in r disjunkte Klassen K1 , . . . , Kr .
Unter H0 sei
pi = P(X ∈ Ki ) > 0
, i = 1, . . . , r .
Si sei die Anzahl der Stichprobenelemente, die in der Klasse Ki liegen.
r
X
Si − npi
Prüfgröße: T =
npi
i=1
... und unter H0 :
2
lim P T ≤ x = Fχ2r −1 (x ) .
n→∞
Ist T > χ2r −1;1−α , so wird H0 abgelehnt.
Stochastik 2017, Vorlesung 20:
28 / 48
χ2 -Anpassungstest von Pearson
Erweiterung auf stetige Verteilungen — Bemerkungen
1
K1 , . . . , Kr dürfen nicht von den Daten abhängen.
Stochastik 2017, Vorlesung 20:
29 / 48
χ2 -Anpassungstest von Pearson
Erweiterung auf stetige Verteilungen — Bemerkungen
1
K1 , . . . , Kr dürfen nicht von den Daten abhängen.
2
Hängt die Verteilung F0 von l unbekannten Parametern ab, so
werden diese (mittels der klassierten Daten!) geschätzt.
Stochastik 2017, Vorlesung 20:
29 / 48
χ2 -Anpassungstest von Pearson
Erweiterung auf stetige Verteilungen — Bemerkungen
1
K1 , . . . , Kr dürfen nicht von den Daten abhängen.
2
Hängt die Verteilung F0 von l unbekannten Parametern ab, so
werden diese (mittels der klassierten Daten!) geschätzt.
In der Prüfgröße wird pi durch p̂i ersetzt.
Stochastik 2017, Vorlesung 20:
29 / 48
χ2 -Anpassungstest von Pearson
Erweiterung auf stetige Verteilungen — Bemerkungen
1
K1 , . . . , Kr dürfen nicht von den Daten abhängen.
2
Hängt die Verteilung F0 von l unbekannten Parametern ab, so
werden diese (mittels der klassierten Daten!) geschätzt.
In der Prüfgröße wird pi durch p̂i ersetzt.
Die asymptotische Verteilung der Teststatistik T unter H0 ist
dann χ2r −1−l .
Stochastik 2017, Vorlesung 20:
29 / 48
χ2 -Anpassungstest von Pearson
Erweiterung auf stetige Verteilungen — Minibeispiel N , d. h. Φ
Stichprobe:
-1.2, -1.1, -0.6, -0.3, 0.2, 0.5, 0.8, 1.4
Stochastik 2017, Vorlesung 20:
30 / 48
χ2 -Anpassungstest von Pearson
Erweiterung auf stetige Verteilungen — Minibeispiel N , d. h. Φ
Stichprobe:
-1.2, -1.1, -0.6, -0.3, 0.2, 0.5, 0.8, 1.4
Wählen K1 = (−∞, −1), K2 = [−1, 1], K3 = (1, ∞).
Stochastik 2017, Vorlesung 20:
30 / 48
χ2 -Anpassungstest von Pearson
Erweiterung auf stetige Verteilungen — Minibeispiel N , d. h. Φ
Stichprobe:
-1.2, -1.1, -0.6, -0.3, 0.2, 0.5, 0.8, 1.4
Wählen K1 = (−∞, −1), K2 = [−1, 1], K3 = (1, ∞).
Dann ist unter der Nullypothese (F = F0 = Φ)
p1 = 0.1587
p2 = 0.8413 − 0.1587 = 0.6826
p3 = 0.1587
= Φ(−1) ,
= Φ(1) − Φ(−1) ,
= 1 − Φ(1) .
Stochastik 2017, Vorlesung 20:
30 / 48
χ2 -Anpassungstest von Pearson
Erweiterung auf stetige Verteilungen — Minibeispiel N , d. h. Φ
Stichprobe:
-1.2, -1.1, -0.6, -0.3, 0.2, 0.5, 0.8, 1.4
Wählen K1 = (−∞, −1), K2 = [−1, 1], K3 = (1, ∞).
Dann ist unter der Nullypothese (F = F0 = Φ)
p1 = 0.1587
p2 = 0.8413 − 0.1587 = 0.6826
p3 = 0.1587
= Φ(−1) ,
= Φ(1) − Φ(−1) ,
= 1 − Φ(1) .
Man erhält wegen S1 = 2, S2 = 5, S3 = 1 und n = 8 sowie r = 3
t=
(2 − 8 · 0.1587)2 (5 − 8 · 0.6826)2 (1 − 8 · 0.1587)2
+
+
= 0.5163 .
8 · 0.1587
8 · 0.6826
8 · 0.1587
Stochastik 2017, Vorlesung 20:
30 / 48
χ2 -Anpassungstest von Pearson
Erweiterung auf stetige Verteilungen — Minibeispiel N , d. h. Φ
Stichprobe:
-1.2, -1.1, -0.6, -0.3, 0.2, 0.5, 0.8, 1.4
Wählen K1 = (−∞, −1), K2 = [−1, 1], K3 = (1, ∞).
Dann ist unter der Nullypothese (F = F0 = Φ)
p1 = 0.1587
p2 = 0.8413 − 0.1587 = 0.6826
p3 = 0.1587
= Φ(−1) ,
= Φ(1) − Φ(−1) ,
= 1 − Φ(1) .
Man erhält wegen S1 = 2, S2 = 5, S3 = 1 und n = 8 sowie r = 3
t=
(2 − 8 · 0.1587)2 (5 − 8 · 0.6826)2 (1 − 8 · 0.1587)2
+
+
= 0.5163 .
8 · 0.1587
8 · 0.6826
8 · 0.1587
Für α = 0.1 ist χ22;0.9 = 4.605. Damit wird H0 nicht abgelehnt.
Stochastik 2017, Vorlesung 20:
30 / 48
χ2 -Anpassungstest von Pearson
Erweiterung auf stetige Verteilungen — „echte“ Daten
15
5
10
Daten
N (µ, σ 2 )
0
Dichte
20
25
Histogramm
-0.06
-0.04
-0.02
0
0.02
0.04
0.06
Rendite
Stochastik 2017, Vorlesung 20:
31 / 48
χ2 -Anpassungstest von Pearson mit
DAX (Apr – Nov 2009) — tägliche Rendite
HIST <- hist(RETURN, plot=FALSE)
S <- HIST$counts # beobachtete Klassenhäufigkeiten
# erwartete Klassenhäufigkeiten
MU <- mean(RETURN); SIGMA <- sd(RETURN)
np0 <- nrow(DAX)*(pnorm(HIST$breaks[-1], mean=MU, sd=SIGMA) pnorm(HIST$breaks[-(S+1)], mean=MU, sd=SIGMA) )
T <- sum( (S - np0)^2/np0 )
alpha <- 0.05
q.alpha <- qchisq(1-alpha, length(S)-1)
q2.alpha <- qchisq(1-alpha, length(S)-1-2)
print(data.frame(T, q.alpha, q2.alpha))
T q.alpha q2.alpha
1 7.335129 18.30704 15.50731
Stochastik 2017, Vorlesung 20:
32 / 48
χ2 -Anpassungstest von Pearson mit
II
DAX (Apr – Nov 2009) — tägliche Rendite
pearson.test(RETURN, n.classes=length(S))
# length(S) = 11
Pearson chi-square normality test
data: RETURN
P = 4.2012, p-value = 0.8385
Bemerkung: pearson.test wählt die (hier 11) Klassen so aus, dass sie unter
H0 dieselbe Wahrscheinlichkeit haben, d. h. p1 = p2 = . . . = pr .
Stochastik 2017, Vorlesung 20:
33 / 48
Verteilungsannahme & Wirklichkeit
Quantil-Quantil-Plot
Vor.: geordnete (Zufalls)Stichprobe X(1) , . . . , X(n)
Stochastik 2017, Vorlesung 20:
34 / 48
Verteilungsannahme & Wirklichkeit
Quantil-Quantil-Plot
Vor.: geordnete (Zufalls)Stichprobe X(1) , . . . , X(n)
Vermuten Verteilungsfunktion FX (x ). Sei F0 (y ) die zugehörige
Basisverteilungsfunktion,
d. h. E (Y ) = 0 sowie Var (Y ) = 1 und
FX (x ) = F0 (x − µ)/σ .
Stochastik 2017, Vorlesung 20:
34 / 48
Verteilungsannahme & Wirklichkeit
Quantil-Quantil-Plot
Vor.: geordnete (Zufalls)Stichprobe X(1) , . . . , X(n)
Vermuten Verteilungsfunktion FX (x ). Sei F0 (y ) die zugehörige
Basisverteilungsfunktion,
d. h. E (Y ) = 0 sowie Var (Y ) = 1 und
FX (x ) = F0 (x − µ)/σ .
Vergleiche x(i) mit E (Y(i) ) für alle i
(E (·) bzgl. F0 (·))
Stochastik 2017, Vorlesung 20:
34 / 48
Verteilungsannahme & Wirklichkeit
Quantil-Quantil-Plot
Vor.: geordnete (Zufalls)Stichprobe X(1) , . . . , X(n)
Vermuten Verteilungsfunktion FX (x ). Sei F0 (y ) die zugehörige
Basisverteilungsfunktion,
d. h. E (Y ) = 0 sowie Var (Y ) = 1 und
FX (x ) = F0 (x − µ)/σ .
Vergleiche x(i) mit E (Y(i) ) für alle i
Approximation: E (Y(i) ) ≈ F0−1 (i − 0.5)/n
(E (·) bzgl. F0 (·))
Stochastik 2017, Vorlesung 20:
34 / 48
Verteilungsannahme & Wirklichkeit
Quantil-Quantil-Plot
Vor.: geordnete (Zufalls)Stichprobe X(1) , . . . , X(n)
Vermuten Verteilungsfunktion FX (x ). Sei F0 (y ) die zugehörige
Basisverteilungsfunktion,
d. h. E (Y ) = 0 sowie Var (Y ) = 1 und
FX (x ) = F0 (x − µ)/σ .
Vergleiche x(i) mit E (Y(i) ) für alle i
Approximation: E (Y(i) ) ≈ F0−1 (i − 0.5)/n
(E (·) bzgl. F0 (·))
bzw.
Kollektion von Quantilen, wie z. B. die 9 Dezile x̃0.1 , . . . , x̃0.9
und Vergleich mit F0−1 (0.1), . . . , F0−1 (0.9) usw.
Stochastik 2017, Vorlesung 20:
34 / 48
Quantil-Quantil-Plot
0
-0.02
-0.04
-0.06
x(i)
0.02
0.04
0.06
DAX (Apr – Nov 2009) — tägliche Rendite
-3
-2
-1
E(Y(i) ) ≈
0
F0−1
1
(i − 0.5)/n
2
3
Stochastik 2017, Vorlesung 20:
35 / 48
Quantil-Quantil-Plot mit
DAX (Apr – Nov 2009) — tägliche Rendite
0.04
0.06
Normal Q-Q Plot
0.02
0
zeigt x(i) vs. E (Y(i) )
qqline()
-0.02
fügt Linie bei
6= Regressionsgerade.
-0.04
Sample Quantiles
qqnormal()
-2
-1
0
1
2
Theoretical Quantiles
Stochastik 2017, Vorlesung 20:
36 / 48
Shapiro-Wilk-Test
Test auf N mit dem Quantil-Quantil-Plot
Vor.: geordnete (Zufalls)Stichprobe X(1) , . . . , X(n)
Hypothesen:
H0 : X ∼ N (µ, σ 2 )
↔
·−µ
H0 : F (·) = Φ
σ
H1 : X 6∼ N (µ, σ 2 ) ,
·−µ
H1 : F (·) 6= Φ
σ
↔
Stochastik 2017, Vorlesung 20:
.
37 / 48
Shapiro-Wilk-Test
Test auf N mit dem Quantil-Quantil-Plot
Vor.: geordnete (Zufalls)Stichprobe X(1) , . . . , X(n)
Hypothesen:
H0 : X ∼ N (µ, σ 2 )
↔
·−µ
H0 : F (·) = Φ
σ
Bez.: Y(i) =
X(i) −µ
σ
H1 : X 6∼ N (µ, σ 2 ) ,
·−µ
H1 : F (·) 6= Φ
σ
↔
.
und mi = E (Y(i) ) , i = 1, . . . , n
Stochastik 2017, Vorlesung 20:
37 / 48
Shapiro-Wilk-Test
Test auf N mit dem Quantil-Quantil-Plot
Vor.: geordnete (Zufalls)Stichprobe X(1) , . . . , X(n)
Hypothesen:
H0 : X ∼ N (µ, σ 2 )
↔
·−µ
H0 : F (·) = Φ
σ
Bez.: Y(i) =
X(i) −µ
σ
H1 : X 6∼ N (µ, σ 2 ) ,
·−µ
H1 : F (·) 6= Φ
σ
↔
.
und mi = E (Y(i) ) , i = 1, . . . , n
Approximation: mi ≈ Φ−1 (pi ) mit pi =

 i−3/8
n+1/4
 i−0.5
n
, kleine n
, große n
Stochastik 2017, Vorlesung 20:
37 / 48
Shapiro-Wilk-Test
Test auf N mit dem Quantil-Quantil-Plot
Vor.: geordnete (Zufalls)Stichprobe X(1) , . . . , X(n)
Hypothesen:
H0 : X ∼ N (µ, σ 2 )
↔
·−µ
H0 : F (·) = Φ
σ
Bez.: Y(i) =
X(i) −µ
σ
H1 : X 6∼ N (µ, σ 2 ) ,
·−µ
H1 : F (·) 6= Φ
σ
↔
.
und mi = E (Y(i) ) , i = 1, . . . , n
Approximation: mi ≈ Φ−1 (pi ) mit pi =

 i−3/8
n+1/4
 i−0.5
n
, kleine n
, große n
Unter H0 ist X(i) ≈ µ + σ · mi .
Stochastik 2017, Vorlesung 20:
37 / 48
Shapiro-Wilk-Test
etwas „ordentlicher“
Geordnete Stichprobe
z1 < z2 < . . . < zn
aus Φ .
Stochastik 2017, Vorlesung 20:
38 / 48
Shapiro-Wilk-Test
etwas „ordentlicher“
Geordnete Stichprobe
z1 < z2 < . . . < zn
aus Φ .
mi = E (zi ) — Erwartungswert der i-ten „Ordnungsstatistik“ .
Stochastik 2017, Vorlesung 20:
38 / 48
Shapiro-Wilk-Test
etwas „ordentlicher“
Geordnete Stichprobe
z1 < z2 < . . . < zn
aus Φ .
mi = E (zi ) — Erwartungswert der i-ten „Ordnungsstatistik“ .
Für X ∼ N (µ, σ 2 ) ist
X(i) ≈ µ + σmi .
Stochastik 2017, Vorlesung 20:
38 / 48
Shapiro-Wilk-Test
etwas „ordentlicher“
Geordnete Stichprobe
z1 < z2 < . . . < zn
aus Φ .
mi = E (zi ) — Erwartungswert der i-ten „Ordnungsstatistik“ .
Für X ∼ N (µ, σ 2 ) ist
X(i) ≈ µ + σmi .
vij = Cov (zi , zj ) — Kovarianz ,
Stochastik 2017, Vorlesung 20:
38 / 48
Shapiro-Wilk-Test
etwas „ordentlicher“
Geordnete Stichprobe
z1 < z2 < . . . < zn
aus Φ .
mi = E (zi ) — Erwartungswert der i-ten „Ordnungsstatistik“ .
Für X ∼ N (µ, σ 2 ) ist
X(i) ≈ µ + σmi .
vij = Cov (zi , zj ) — Kovarianz ,


 


v11 . . . v1n
m1
X(1)

..  , m =  ..  , X =  ..  .
..
V =  ...
 . 
 . 
.
. 
vn1 . . . vnn
mn
X(n)
Stochastik 2017, Vorlesung 20:
38 / 48
Shapiro-Wilk-Test
etwas „ordentlicher“ II
X(i) ≈ µ + σmi .
Stochastik 2017, Vorlesung 20:
39 / 48
Shapiro-Wilk-Test
etwas „ordentlicher“ II
X(i) ≈ µ + σmi .
Verallgemeinerte MKQ-Schätzung:
µ̂ = X̄ , σ̂ =
(m̄ = 0 & zi sind korreliert)
m0 V−1 X
,
m0 V−1 m
Stochastik 2017, Vorlesung 20:
39 / 48
Shapiro-Wilk-Test
etwas „ordentlicher“ II
X(i) ≈ µ + σmi .
Verallgemeinerte MKQ-Schätzung:
µ̂ = X̄ , σ̂ =
(m̄ = 0 & zi sind korreliert)
m0 V−1 X
,
m0 V−1 m
 
a1
.
Hilfsgrößen a =  ..  =
an
m0 V−1
m0 V−1 V−1 m
1/2 ,
Stochastik 2017, Vorlesung 20:
39 / 48
Shapiro-Wilk-Test
etwas „ordentlicher“ II
X(i) ≈ µ + σmi .
Verallgemeinerte MKQ-Schätzung:
(m̄ = 0 & zi sind korreliert)
µ̂ = X̄ , σ̂ =
m0 V−1 X
,
m0 V−1 m
 
a1
.
Hilfsgrößen a =  ..  =
an
n
X
Teststatistik
W =
m0 V−1
m0 V−1 V−1 m
!2
ai X(i)
i=1
n
X
1/2 ,
X(i) − X̄
≈
2
σ̂ 2
S2
.
i=1
Stochastik 2017, Vorlesung 20:
39 / 48
Shapiro-Wilk-Test
etwas „ordentlicher“ II
X(i) ≈ µ + σmi .
Verallgemeinerte MKQ-Schätzung:
(m̄ = 0 & zi sind korreliert)
µ̂ = X̄ , σ̂ =
m0 V−1 X
,
m0 V−1 m
 
a1
.
Hilfsgrößen a =  ..  =
an
n
X
Teststatistik
W =
m0 V−1
m0 V−1 V−1 m
!2
ai X(i)
i=1
n
X
1/2 ,
≈
X(i) − X̄
2
σ̂ 2
S2
.
i=1
kritischer Bereich
(0, wα )
W < wα ⇒ H0 ist zu verwerfen.
Stochastik 2017, Vorlesung 20:
39 / 48
Shapiro-Wilk-Test mit
DAX (Apr – Nov 2009) — tägliche Rendite
0.06
Normal Q-Q Plot
0
0.02
shapiro.test(RETURN)
-0.02
Shapiro-Wilk normality test
-0.04
Sample Quantiles
0.04
qqnorm(RETURN)
qqline(RETURN)
-2
-1
0
1
2
data: RETURN
W = 0.9927, p-value = 0.5489
Theoretical Quantiles
Stochastik 2017, Vorlesung 20:
40 / 48
Shapiro-Wilk-Test
Warum der Aufwand?
• Funktioniert „prächtig“ für kleine bis mittlere Stichproben —
gute Macht, d. h. lehnt auch mal ab.
• Wird häufig benutzt.
• Ebenso häufig implementiert:
shapiro.test(x)
Excel
–-
SPSS
[Analysieren->NP Tests->S-W]
STATA
swilk
• Shapiro/Wilk (1965) An analysis of variance test for
normality (complete samples), Biometrika 52, 591-611.
Stochastik 2017, Vorlesung 20:
41 / 48
Shapiro-Wilk-Test
Warum der Aufwand?
• Funktioniert „prächtig“ für kleine bis mittlere Stichproben —
gute Macht, d. h. lehnt auch mal ab.
• Wird häufig benutzt.
• Ebenso häufig implementiert:
shapiro.test(x)
Excel
–-
SPSS
[Analysieren->NP Tests->S-W]
STATA
swilk
• Shapiro/Wilk (1965) An analysis of variance test for
normality (complete samples), Biometrika 52, 591-611.
• Wird nicht geprüft!
Stochastik 2017, Vorlesung 20:
41 / 48
DAX-Rendite 04/2009 — 11/2009
hist(x, prob=TRUE)
15
10
5
0
Density
20
25
Histogram of x
-0.06
-0.04
-0.02
0
0.02
0.04
0.06
x
Stochastik 2017, Vorlesung 20:
42 / 48
DAX-Rendite 04/2009 — 11/2009
hist(x, prob=TRUE) + ...
15
10
5
0
Density
20
25
Histogram of x
-0.06
-0.04
-0.02
0
0.02
0.04
0.06
x
Stochastik 2017, Vorlesung 20:
43 / 48
DAX-Rendite 04/2009 — 11/2009
plot(density(x)) + ...
15
10
5
0
Density
20
25
density.default(x = x)
-0.06
-0.04
-0.02
0
0.02
0.04
0.06
N = 169 Bandwidth = 0.004778
Stochastik 2017, Vorlesung 20:
44 / 48
DAX-Rendite 04/2009 — 11/2009
plot(ecdf(x)) + ...
0.6
0.4
0.2
0
Fn(x)
0.8
1
ecdf(x)
-0.04
-0.02
0
0.02
0.04
0.06
x
Stochastik 2017, Vorlesung 20:
45 / 48
DAX-Rendite 04/2009 — 11/2009
qqnorm(x) + qqline(x)
0.02
0
-0.02
-0.04
Sample Quantiles
0.04
0.06
Normal Q-Q Plot
-2
-1
0
1
2
Theoretical Quantiles
Stochastik 2017, Vorlesung 20:
46 / 48
DAX-Rendite 04/2009 — 11/2009
test battery — Aufruf
shapiro.test(x)
library(nortest)
lillie.test(x)
pearson.test(x)
ad.test(x)
cvm.test(x)
Stochastik 2017, Vorlesung 20:
47 / 48
DAX-Rendite 04/2009 — 11/2009
test battery — Resultate
Shapiro-Wilk normality test
W = 0.9927, p-value = 0.5489
Lilliefors (Kolmogorov-Smirnov) normality test
D = 0.0415, p-value = 0.678
Pearson chi-square normality test
P = 7, p-value = 0.9022
Anderson-Darling normality test
A = 0.2471, p-value = 0.7505
Cramer-von Mises normality test
W = 0.0349, p-value = 0.7712
Stochastik 2017, Vorlesung 20:
48 / 48