Vorlesung 8a

Vorlesung 8a
Wie
schätzt
man
Wie
schätzt
man
effizient?
Die
Maximum-Likelihood
Methode
Die
Maximum-Likelihood
Methode
BEISPIEL
1
BEISPIEL
1
Panther A
BEISPIEL
1
Panther A
Schätzung
der deutschen Panzerproduktion
BEISPIEL
1
Panther A
Schätzung
der deutschen Panzerproduktion
im Zweiten Weltkrieg
MODELL
MODELL
(vereinfacht)
MODELL
(vereinfacht)
Fahrgestellnummer:
F = 1, 2, ..., λ
MODELL
(vereinfacht)
Fahrgestellnummer:
Bei Panther A:
F = 1, 2, ..., λ
λ = 1768
MODELL
(vereinfacht)
Fahrgestellnummer:
Bei Panther A:
F = 1, 2, ..., λ
λ = 1768
Nummern der erbeuteten Panzer
MODELL
(vereinfacht)
Fahrgestellnummer:
Bei Panther A:
F = 1, 2, ..., λ
λ = 1768
Nummern der erbeuteten Panzer
F1, F2, ..., Fn
MODELL
(vereinfacht)
F = 1, 2, ..., λ
Fahrgestellnummer:
Bei Panther A:
λ = 1768
Nummern der erbeuteten Panzer
F1, F2, ..., Fn
Zufallsstichprobe aus der Gesamtproduktion
FRAGE
MODELL
(vereinfacht)
F = 1, 2, ..., λ
Fahrgestellnummer:
Bei Panther A:
λ = 1768
Nummern der erbeuteten Panzer
F1, F2, ..., Fn
Zufallsstichprobe aus der Gesamtproduktion
FRAGE
Wie schätzt man λ
aus F1, F2, ..., Fn?
Kleine Vereinfachung: F kontinuierlich
0
500
1000
1500
F
λ
2000
2500
3000
F ∼ Uniform [ 0, λ ]
0
500
1000
1500
F
λ
2000
2500
3000
(n = 10)
Stichprobe F1, ..., Fn
0
500
1000
1500
F
λ
2000
2500
3000
Wie schätzt man λ aus F1, ..., Fn?
0
500
1000
1500
F
λ
2000
2500
3000
Methode der Momente
Methode der Momente
EF = 12 λ
Methode der Momente
EF = 12 λ
F̄ ≈ EF = 12 λ
Methode der Momente
EF = 12 λ
F̄ ≈ EF = 12 λ
Erster Schätzer ^λ1:
Methode der Momente
EF = 12 λ
F̄ ≈ EF = 12 λ
Erster Schätzer ^λ1:
^λ1 := 2F̄
^λ1 := 2F̄
0
500
1000
1500
F
λ
2000
2500
3000
^λ1 := 2F̄
0
500
1000
1500
F
λ
2000
2500
3000
^λ1 := 2F̄
0
500
1000
1500
F
λ
2000
2500
3000
Zweiter Schätzer
Zweiter Schätzer
M := max { F1, F2, ..., Fn }
Zweiter Schätzer
M := max { F1, F2, ..., Fn }
B EGR ÜNDUNG :
Zweiter Schätzer
M := max { F1, F2, ..., Fn }
B EGR ÜNDUNG :
Gegeben M
Zweiter Schätzer
M := max { F1, F2, ..., Fn }
B EGR ÜNDUNG :
Gegeben M
enthalten die anderen { Fi }
keine Information über λ
Zweiter Schätzer
M := max { F1, F2, ..., Fn }
B EGR ÜNDUNG :
Gegeben M
enthalten die anderen { Fi }
keine Information über λ
Wie ist M verteilt?
Zweiter Schätzer
M := max { F1, F2, ..., Fn }
B EGR ÜNDUNG :
Gegeben M
enthalten die anderen { Fi }
keine Information über λ
Wie ist M verteilt?
Q!
Quiz-relevant
Verteilungsfunktion
Verteilungsfunktion
H(x) := P { M < x }
Verteilungsfunktion
H(x) := P { M < x }
Dichte
Verteilungsfunktion
H(x) := P { M < x }
Dichte
h(x)∆x = P { x < M < x + ∆x } + o(∆x)
Verteilungsfunktion
H(x) := P { M < x }
Dichte
h(x)∆x = P { x < M < x + ∆x } + o(∆x)
Erwartungswert
Verteilungsfunktion
H(x) := P { M < x }
Dichte
h(x)∆x = P { x < M < x + ∆x } + o(∆x)
Erwartungswert
R
EM := xh(x)dx
Verteilungsfunktion
H(x) := P { M < x }
Dichte
h(x)∆x = P { x < M < x + ∆x } + o(∆x)
Erwartungswert
R
EM := xh(x)dx
Varianz
Verteilungsfunktion
H(x) := P { M < x }
Dichte
h(x)∆x = P { x < M < x + ∆x } + o(∆x)
Erwartungswert
R
EM := xh(x)dx
Varianz
σ2M := E(X − EM)2 = E(M2) − (EM)2
Verteilungsfunktion
Verteilungsfunktion
H(x) := P { M < x }
Verteilungsfunktion
H(x) := P { M < x }
H(x) = P { max(F1, F2, ..., Fn) < x }
Verteilungsfunktion
H(x) := P { M < x }
H(x) = P { max(F1, F2, ..., Fn) < x }
H(x) = P { (F1 < x), (F2 < x), ..., (Fn < x) }
Verteilungsfunktion
H(x) := P { M < x }
H(x) = P { max(F1, F2, ..., Fn) < x }
H(x) = P { (F1 < x), (F2 < x), ..., (Fn < x) }
H(x) = P { F1 < x } P { F2 < x } ... P { Fn < x }
Verteilungsfunktion
H(x) := P { M < x }
H(x) = P { max(F1, F2, ..., Fn) < x }
H(x) = P { (F1 < x), (F2 < x), ..., (Fn < x) }
H(x) = P { F1 < x } P { F2 < x } ... P { Fn < x }
H(x) = (x/λ)(x/λ)...(x/λ)
Verteilungsfunktion
H(x) := P { M < x }
H(x) = P { max(F1, F2, ..., Fn) < x }
H(x) = P { (F1 < x), (F2 < x), ..., (Fn < x) }
H(x) = P { F1 < x } P { F2 < x } ... P { Fn < x }
H(x) = (x/λ)(x/λ)...(x/λ)
H(x) = xn/λn
Ausführlicher:
Ausführlicher:
H(x) = 0
(x < 0)
Ausführlicher:
H(x) = 0
H(x) = xn/λn
(x < 0)
(0 ≤ x < λ)
Ausführlicher:
H(x) = 0
H(x) = xn/λn
H(x) = 1
(x < 0)
(0 ≤ x < λ)
(λ ≤ x)
Dichte
Dichte
h(x)∆x := P { x < M < x + ∆x } + o(∆x)
Dichte
h(x)∆x := P { x < M < x + ∆x } + o(∆x)
h(x) = H ′(x)
Dichte
h(x)∆x := P { x < M < x + ∆x } + o(∆x)
h(x) = H ′(x)
h(x) = (xn) ′/λn
Dichte
h(x)∆x := P { x < M < x + ∆x } + o(∆x)
h(x) = H ′(x)
h(x) = (xn) ′/λn
h(x) = nxn−1/λn
Ausführlicher:
Ausführlicher:
h(x) = 0
(x < 0)
Ausführlicher:
h(x) = 0
h(x) = nxn−1/λn
(x < 0)
(0 ≤ x < λ)
Ausführlicher:
h(x) = 0
h(x) = nxn−1/λn
h(x) = 0
(x < 0)
(0 ≤ x < λ)
(λ ≤ x)
Erwartungswert
Erwartungswert
EM =
R
xh(x)dx
Erwartungswert
R
EM = xh(x)dx
Rλ
EM = 0 x(nxn−1/λn)dx
Erwartungswert
R
EM = xh(x)dx
Rλ
EM = 0 x(nxn−1/λn)dx
Rλ n
EM = n( 0 x dx)/λn
Erwartungswert
R
EM = xh(x)dx
Rλ
EM = 0 x(nxn−1/λn)dx
Rλ n
EM = n( 0 x dx)/λn
EM = n(λn+1/(n + 1))/λn
Erwartungswert
R
EM = xh(x)dx
Rλ
EM = 0 x(nxn−1/λn)dx
Rλ n
EM = n( 0 x dx)/λn
EM = n(λn+1/(n + 1))/λn
n λ
EM = n+1
Erwartungswert
R
EM = xh(x)dx
Rλ
EM = 0 x(nxn−1/λn)dx
Rλ n
EM = n( 0 x dx)/λn
EM = n(λn+1/(n + 1))/λn
n λ
EM = n+1
(auch ohne Rechnung klar: Kreis)
Varianz
Varianz
σ2M = E(M2) − (EM)2
Varianz
σ2M = E(M2) − (EM)2
Rλ 2
2
E(M ) = 0 x h(x)dx
Varianz
σ2M = E(M2) − (EM)2
Rλ 2
2
E(M ) = 0 x h(x)dx
Rλ 2
2
E(M ) = 0 x (nxn−1/λn)dx
Varianz
σ2M = E(M2) − (EM)2
Rλ 2
2
E(M ) = 0 x h(x)dx
Rλ 2
2
E(M ) = 0 x (nxn−1/λn)dx
R λ n+1
2
dx)/λn
E(M ) = n( 0 x
Varianz
σ2M = E(M2) − (EM)2
Rλ 2
2
E(M ) = 0 x h(x)dx
Rλ 2
2
E(M ) = 0 x (nxn−1/λn)dx
R λ n+1
2
dx)/λn
E(M ) = n( 0 x
E(M2) = n(λn+2/(n + 2))/λn
Varianz
σ2M = E(M2) − (EM)2
Rλ 2
2
E(M ) = 0 x h(x)dx
Rλ 2
2
E(M ) = 0 x (nxn−1/λn)dx
R λ n+1
2
dx)/λn
E(M ) = n( 0 x
E(M2) = n(λn+2/(n + 2))/λn
n λ2
E(M2) = n+2
Varianz
Varianz
σ2M = E(M2) − (EM)2
Varianz
σ2M = E(M2) − (EM)2
n − ( n )2)λ2
σ2M = ( n+2
n+1
Varianz
σ2M = E(M2) − (EM)2
n − ( n )2)λ2
σ2M = ( n+2
n+1
σ2 M =
n
2 − n(n + 2))λ2
((n
+
1)
(n+1)2(n+2)
Varianz
σ2M = E(M2) − (EM)2
n − ( n )2)λ2
σ2M = ( n+2
n+1
σ2 M =
n
2 − n(n + 2))λ2
((n
+
1)
(n+1)2(n+2)
σ2 M =
n
2
λ
(n+1)2(n+2)
n λ
EM = n+1
n λ
EM = n+1
^λ2 := n+1 M
n
n λ
EM = n+1
^λ2 := n+1 M
n
E^λ2 = λ
n λ
EM = n+1
^λ2 := n+1 M
n
E^λ2 = λ
Man sagt:
n λ
EM = n+1
^λ2 := n+1 M
n
E^λ2 = λ
Man sagt:
^λ2 ist erwartungstreu.
Zwei Schätzer von λ:
Zwei Schätzer von λ:
^λ1 := 2F̄
Zwei Schätzer von λ:
^λ1 := 2F̄
^λ2 := n+1 M
n
Zwei Schätzer von λ:
^λ1 := 2F̄
^λ2 := n+1 M
n
Beide erwartungstreu:
Zwei Schätzer von λ:
^λ1 := 2F̄
^λ2 := n+1 M
n
Beide erwartungstreu:
E^λ1 = E^λ2 = λ
Zwei Schätzer von λ:
^λ1 := 2F̄
^λ2 := n+1 M
n
Beide erwartungstreu:
E^λ1 = E^λ2 = λ
Welcher Schätzer ist besser?
Zwei Schätzer von λ:
^λ1 := 2F̄
^λ2 := n+1 M
n
Beide erwartungstreu:
E^λ1 = E^λ2 = λ
Welcher Schätzer ist besser?
0
500
1000
1500
F
λ
2000
2500
3000
^λ1 := 2F̄
0
500
1000
1500
F
λ
2000
2500
3000
^λ1 := 2F̄
0
500
1000
1500
F
λ
2000
2500
3000
^λ1 := 2F̄
0
500
1000
1500
F
λ
2000
2500
3000
^λ2 := n+1 max Fi
n
0
500
1000
1500
F
λ
2000
2500
3000
^λ2 := n+1 max Fi
n
0
500
1000
1500
F
λ
2000
2500
3000
^λ2 := n+1 max Fi
n
0
500
1000
1500
F
λ
2000
2500
3000
Neuer Datensatz
0
500
1000
1500
F
λ
2000
2500
3000
^λ1 := 2F̄
0
500
1000
1500
F
λ
2000
2500
3000
^λ1 := 2F̄
0
500
1000
1500
F
λ
2000
2500
3000
^λ1 := 2F̄
0
500
1000
1500
F
λ
2000
2500
3000
^λ2 := n+1 max Fi
n
0
500
1000
1500
F
λ
2000
2500
3000
^λ2 := n+1 max Fi
n
0
500
1000
1500
F
λ
2000
2500
3000
^λ2 := n+1 max Fi
n
0
500
1000
1500
F
λ
2000
2500
3000
Neuer Datensatz
0
500
1000
1500
F
λ
2000
2500
3000
^λ1 := 2F̄
0
500
1000
1500
F
λ
2000
2500
3000
^λ1 := 2F̄
0
500
1000
1500
F
λ
2000
2500
3000
^λ1 := 2F̄
0
500
1000
1500
F
λ
2000
2500
3000
^λ2 := n+1 max Fi
n
0
500
1000
1500
F
λ
2000
2500
3000
^λ2 := n+1 max Fi
n
0
500
1000
1500
F
λ
2000
2500
3000
^λ2 := n+1 max Fi
n
0
500
1000
1500
F
λ
2000
2500
3000
n = 10
100 Datensätze
0
500
1000
1500
F
λ
2000
2500
3000
n = 10
100 Datensätze
0
500
1000
1500
F
λ
2000
2500
3000
^λ2 ist λ deutlich näher als ^λ1
0
500
1000
1500
F
λ
2000
2500
3000
Für n größer ist der Unterschied noch deutlicher.
0
500
1000
1500
F
λ
2000
2500
3000
n = 25
0
500
1000
1500
F
λ
2000
2500
3000
n = 100
0
500
1000
1500
F
λ
2000
2500
3000
Quantitativ:
Quantitativ:
1 λ2
σ2^λ1 = 3n
1
Quantitativ:
1 λ2
σ2^λ1 = 3n
1
σ2^λ2 =
n2
2 ≈ 1 λ2
λ
(n2+1)2(n2+2)
n22
Quantitativ:
1 λ2
σ2^λ1 = 3n
1
σ2^λ2 =
n2
2 ≈ 1 λ2
λ
(n2+1)2(n2+2)
n22
Damit σ2^λ1 = σ2^λ2
Quantitativ:
1 λ2
σ2^λ1 = 3n
1
σ2^λ2 =
n2
2 ≈ 1 λ2
λ
(n2+1)2(n2+2)
n22
Damit σ2^λ1 = σ2^λ2
braucht man
(n2+1)2(n2+2)
n1 =
3n2
Quantitativ:
1 λ2
σ2^λ1 = 3n
1
σ2^λ2 =
n2
2 ≈ 1 λ2
λ
(n2+1)2(n2+2)
n22
Damit σ2^λ1 = σ2^λ2
braucht man
(n2+1)2(n2+2)
n1 =
3n2
n1 = 48
n2 = 10
Quantitativ:
1 λ2
σ2^λ1 = 3n
1
σ2^λ2 =
n2
2 ≈ 1 λ2
λ
(n2+1)2(n2+2)
n22
Damit σ2^λ1 = σ2^λ2
braucht man
(n2+1)2(n2+2)
n1 =
3n2
n1 = 48
n2 = 10
n1 = 243
n2 = 25
Quantitativ:
1 λ2
σ2^λ1 = 3n
1
σ2^λ2 =
n2
2 ≈ 1 λ2
λ
(n2+1)2(n2+2)
n22
Damit σ2^λ1 = σ2^λ2
braucht man
(n2+1)2(n2+2)
n1 =
3n2
n1 = 48
n2 = 10
n1 = 243
n2 = 25
n1 = 3468
n2 = 100
FAZIT
bisher
FAZIT
bisher
Es gibt verschiedene Schätzer
für denselben Parameter.
FAZIT
bisher
Es gibt verschiedene Schätzer
für denselben Parameter.
Es gibt gute
und schlechte.
FAZIT
bisher
Es gibt verschiedene Schätzer
für denselben Parameter.
Es gibt gute
und schlechte.
Wie findet man einen guten?
BEISPIEL
2
Der Getreidekapuziner
Rhizopertha dominica
Wenn zwei Larven
dasselbe Korn besetzen
kämpfen sie,
bis die Unterlegene
stirbt oder flieht.
kämpfen sie,
bis die Unterlegene
stirbt oder flieht.
Werden besetzten Körner
vermieden?
Aus einem Posten befallenen Weizens
Aus einem Posten befallenen Weizens
wurden 150 Körner seziert
Aus einem Posten befallenen Weizens
wurden 150 Körner seziert
und die Anzahl Larven pro Korn
wurde festgestellt.
Aus einem Posten befallenen Weizens
wurden 150 Körner seziert
und die Anzahl Larven pro Korn
wurde festgestellt.
Sind die beobachteten Häufigkeiten
mit einer rein zufälligen Besetzung
vereinbar?
40
20
77
52
17
4
0
0
1
2
3
4
0
Anzahl Körner
60
80
Anzahl Larven pro Korn in 150 Weizenkörnern
k=Larven pro Korn
Was heißt
”
rein zufällig “?
Was heißt
”
rein zufällig “?
MODELL
MODELL
Sei K die Anzahl Larven in einem Korn.
MODELL
Sei K die Anzahl Larven in einem Korn.
Es gibt n Larven.
MODELL
Sei K die Anzahl Larven in einem Korn.
Es gibt n Larven.
Jede Larve gelangt
mit Wahrscheinlichkeit p in das Korn
MODELL
Sei K die Anzahl Larven in einem Korn.
Es gibt n Larven.
Jede Larve gelangt
mit Wahrscheinlichkeit p in das Korn
unabhängig von den anderen Larven.
MODELL
Sei K die Anzahl Larven in einem Korn.
Es gibt n Larven.
Jede Larve gelangt
mit Wahrscheinlichkeit p in das Korn
unabhängig von den anderen Larven.
K = I1 + I2 + ... + In
MODELL
Sei K die Anzahl Larven in einem Korn.
Es gibt n Larven.
Jede Larve gelangt
mit Wahrscheinlichkeit p in das Korn
unabhängig von den anderen Larven.
K = I1 + I2 + ... + In
K ∼ Bin(n, p)
Schwierigkeit
Schwierigkeit
n, p unbekannt
Schwierigkeit
n, p unbekannt
Ausweg
Schwierigkeit
n, p unbekannt
Ausweg
n≫1
Schwierigkeit
n, p unbekannt
Ausweg
n≫1
p≪1
Schwierigkeit
n, p unbekannt
Ausweg
n≫1
p≪1
Bin(n, p) ≈ Pois(λ) λ = np
40
20
77
52
17
4
0
0
1
2
3
4
0
Anzahl Körner
60
80
Angenommen, diese Daten sind eine Stichprobe aus Pois(λ),
k = Larven pro Korn
40
20
77
52
17
4
0
0
1
2
3
4
0
Anzahl Körner
60
80
wie schätzt man λ?
k = Larven pro Korn
EXKURS
Die Poissonverteilung
EXKURS
Die Poissonverteilung
(Wiederholung)
EXKURS
Die Poissonverteilung
(Wiederholung)
Q
EXKURS
Die Poissonverteilung
(Wiederholung)
Q
Quiz-relevant
Binomialverteilung
Binomialverteilung
B ∼ Bin(n, p)
Binomialverteilung
B ∼ Bin(n, p)
B = Anzahl Erfolge
in n unabhängigen Versuchen
Binomialverteilung
B ∼ Bin(n, p)
B = Anzahl Erfolge
in n unabhängigen Versuchen
mit Erfolgswahrscheinlichkeit p
in jedem Versuch
Binomialverteilung
B ∼ Bin(n, p)
B = Anzahl Erfolge
in n unabhängigen Versuchen
mit Erfolgswahrscheinlichkeit p
in jedem Versuch

P{ B = k } = 
n
k

 pk(1
− p)n−k

P{ B = k } = 
n
k

 pk(1
EB = np
− p)n−k

P{ B = k } = 
n
k

 pk(1
− p)n−k
EB = np
σ2B = np(1 − p)

P{ B = k } = 
n
k

 pk(1
− p)n−k
EB = np
σ2B = np(1 − p)
n→∞
p→0
np → λ

P{ B = k } = 
n
k

 pk(1
− p)n−k
EB = np
σ2B = np(1 − p)
n→∞
p→0
np → λ
k −λ
λ
P{ B = k } → k! e

P{ B = k } = 
n
k

 pk(1
− p)n−k
EB = np
σ2B = np(1 − p)
n→∞
p→0
np → λ
k −λ
λ
P{ B = k } → k! e
EB = np → λ

P{ B = k } = 
n
k

 pk(1
− p)n−k
EB = np
σ2B = np(1 − p)
n→∞
p→0
np → λ
k −λ
λ
P{ B = k } → k! e
EB = np → λ
σ2B = np(1 − p) → λ
Poissonverteilung
Poissonverteilung
X ∼ Pois(λ)
Poissonverteilung
X ∼ Pois(λ)
X = Anzahl Erfolge
in n ≫ 1 unabhängigen Versuchen
Poissonverteilung
X ∼ Pois(λ)
X = Anzahl Erfolge
in n ≫ 1 unabhängigen Versuchen
mit Erfolgswahrscheinlichkeit p ≪ 1
in jedem Versuch,
Poissonverteilung
X ∼ Pois(λ)
X = Anzahl Erfolge
in n ≫ 1 unabhängigen Versuchen
mit Erfolgswahrscheinlichkeit p ≪ 1
in jedem Versuch,
wobei np = λ
k −λ
λ
P{ X = k } = k! e
k −λ
λ
P{ X = k } = k! e
EX = λ
k −λ
λ
P{ X = k } = k! e
EX = λ
σ2 X = λ
np = 2
0.4
Die Binomialverteilung Bin(n, p)
0.2
0.1
0.0
P{B=k}
0.3
n=4
0
2
4
6
k
8
10
np = 2
0.4
Die Binomialverteilung Bin(n, p)
n=4
0.2
0.1
0.0
P{B=k}
0.3
n=5
0
2
4
6
k
8
10
np = 2
0.4
Die Binomialverteilung Bin(n, p)
n=4
0.2
0.1
0.0
P{B=k}
0.3
n=5
n=6
0
2
4
6
k
8
10
np = 2
0.4
Die Binomialverteilung Bin(n, p)
n=4
0.2
0.1
0.0
P{B=k}
0.3
n=5
n=6
n=7
0
2
4
6
k
8
10
np = 2
0.4
Die Binomialverteilung Bin(n, p)
n=4
0.2
0.1
0.0
P{B=k}
0.3
n=5
n=6
n=7
n=8
0
2
4
6
k
8
10
np = 2
0.4
Die Binomialverteilung Bin(n, p)
n=4
0.2
0.1
0.0
P{B=k}
0.3
n=5
n=6
n=7
n
n=
=8
9
0
2
4
6
k
8
10
np = 2
0.4
Die Binomialverteilung Bin(n, p)
n=4
0.1
0.2
n = 16
0.0
P{B=k}
0.3
n=5
n=6
n=7
n
n=
=8
9
0
2
4
6
k
8
10
np = 2
0.4
Die Binomialverteilung Bin(n, p)
n=4
0.1
0.2
n = 16
n = 25
0.0
P{B=k}
0.3
n=5
n=6
n=7
n
n=
=8
9
0
2
4
6
k
8
10
np = 2
0.4
Die Binomialverteilung Bin(n, p)
n=4
0.1
0.2
n = 16
n
n=
= 25
36
0.0
P{B=k}
0.3
n=5
n=6
n=7
n
n=
=8
9
0
2
4
6
k
8
10
np = 2
0.4
Die Binomialverteilung Bin(n, p)
n=4
0.1
0.2
n = 16
n
n=
= 25
36
49
0.0
P{B=k}
0.3
n=5
n=6
n=7
n
n=
=8
9
0
2
4
6
k
8
10
np = 2
0.4
Die Binomialverteilung Bin(n, p)
n=4
0.1
0.2
n = 16
n
= 25
n
49
n=
= 36
64
0.0
P{B=k}
0.3
n=5
n=6
n=7
n
n=
=8
9
0
2
4
6
k
8
10
np = 2
0.4
Die Binomialverteilung Bin(n, p)
n=4
0.1
0.2
n = 16
n
= 25
n
49
64
n=
= 36
81
0.0
P{B=k}
0.3
n=5
n=6
n=7
n
n=
=8
9
0
2
4
6
k
8
10
np = 2
0.4
Die Binomialverteilung Bin(n, p)
n=4
0.1
0.2
n = 16
n=
25
36
49
64
n==
=100
81
nn
0.0
P{B=k}
0.3
n=5
n=6
n=7
n
n=
=8
9
0
2
4
6
k
8
10
np = 2
0.4
Die Binomialverteilung Bin(n, p)
n=4
0.1
0.2
n = 16
n=
25
36
49
64
n==
=121
81
100
nn
0.0
P{B=k}
0.3
n=5
n=6
n=7
n
n=
=8
9
0
2
4
6
k
8
10
np = 2
0.4
Die Binomialverteilung Bin(n, p)
n=4
0.1
0.2
n = 16
n=
25
36
49
64
n==
=121
81
100
nn
144
0.0
P{B=k}
0.3
n=5
n=6
n=7
n
n=
=8
9
0
2
4
6
k
8
10
np = 2
0.4
Die Binomialverteilung Bin(n, p)
n=4
0.1
0.2
n = 16
n=
25
36
49
64
n==
=121
81
100
nn
144
169
0.0
P{B=k}
0.3
n=5
n=6
n=7
n
n=
=8
9
0
2
4
6
k
8
10
np = 2
0.4
Die Binomialverteilung Bin(n, p)
n=4
0.1
0.2
n = 16
n=
25
36
49
64
n==
=121
81
100
nn
144
169
196
0.0
P{B=k}
0.3
n=5
n=6
n=7
n
n=
=8
9
0
2
4
6
k
8
10
0.4
Die Poissonverteilung Pois(2)
n=4
0.1
0.2
n = 16
n=
25
36
49
64
n==
=121
81
100
nn
144
169
196
0.0
P{X=k}
0.3
n=5
n=6
n=7
n
n=
=8
9
0
2
4
6
k
8
10
np = 2
0.2
0.1
0.0
P{B=k}
0.3
0.4
Die Binomialverteilung Bin(n, p)
0
2
4
6
k
8
10
AUFGABE
AUFGABE
100 Studenten
sitzen in einem Hörsaal
am 5. Juni.
AUFGABE
100 Studenten
sitzen in einem Hörsaal
am 5. Juni.
Wie groß ist die Wahrscheinlichkeit dafür,
dass genau einer von ihnen
an diesem Tag Geburtstag hat?
AUFGABE
100 Studenten
sitzen in einem Hörsaal
am 5. Juni.
Wie groß ist die Wahrscheinlichkeit dafür,
dass genau einer von ihnen
an diesem Tag Geburtstag hat?
(i) Nach dem Binomialmodell
mit p = 1/365?
AUFGABE
100 Studenten
sitzen in einem Hörsaal
am 5. Juni.
Wie groß ist die Wahrscheinlichkeit dafür,
dass genau einer von ihnen
an diesem Tag Geburtstag hat?
(i) Nach dem Binomialmodell
mit p = 1/365?
(ii) Nach der Poissonannäherung dazu?
AUFGABE
100 Studenten
sitzen in einem Hörsaal
am 5. Juni.
Wie groß ist die Wahrscheinlichkeit dafür,
dass genau einer von ihnen
an diesem Tag Geburtstag hat?
(i) Nach dem Binomialmodell
mit p = 1/365?
(ii) Nach der Poissonannäherung dazu?
(i)
P{B=k}=


n
k

 pk(1
− p)n−k
(i)
P{B=k}=



P{B=1}=
n
k

 pk(1
100
1


− p)n−k
1
365
364
365
99
(i)
P{B=k}=



P{B=1}=
n
k

 pk(1
100
1


− p)n−k
1
365
P { B = 1 } ≈ 0.2088
364
365
99
(ii)
k −λ
λ
P { X = k } = k! e
(ii)
k −λ
λ
P { X = k } = k! e
λ = np = 100/365 = 0.274
(ii)
k −λ
λ
P { X = k } = k! e
λ = np = 100/365 = 0.274
P { X = 1 } = λe−λ
(ii)
k −λ
λ
P { X = k } = k! e
λ = np = 100/365 = 0.274
P { X = 1 } = λe−λ
P { X = 1 } ≈ 0.2083
AUFGABE
AUFGABE
Bei Café Bauer
hat nur
1 Rosinenbrötchen aus 1000
keine Rosine.
AUFGABE
Bei Café Bauer
hat nur
1 Rosinenbrötchen aus 1000
keine Rosine.
Wie viele Rosinen
hat
ein durchschnittliches Brötchen?
R := Anzahl in einem Brötchen
R := Anzahl in einem Brötchen
R ist (annähernd) poissonverteilt
R := Anzahl in einem Brötchen
R ist (annähernd) poissonverteilt
(Denn im Teig sind viele Rosinen,
R := Anzahl in einem Brötchen
R ist (annähernd) poissonverteilt
(Denn im Teig sind viele Rosinen,
jede mit einer kleinen Chance
in mein Brötchen zu gelangen.)
R := Anzahl in einem Brötchen
R ist (annähernd) poissonverteilt
(Denn im Teig sind viele Rosinen,
jede mit einer kleinen Chance
in mein Brötchen zu gelangen.)
P { R = 0 } = e−λ = 0.001
R := Anzahl in einem Brötchen
R ist (annähernd) poissonverteilt
(Denn im Teig sind viele Rosinen,
jede mit einer kleinen Chance
in mein Brötchen zu gelangen.)
P { R = 0 } = e−λ = 0.001
λ = − ln(0.001)
R := Anzahl in einem Brötchen
R ist (annähernd) poissonverteilt
(Denn im Teig sind viele Rosinen,
jede mit einer kleinen Chance
in mein Brötchen zu gelangen.)
P { R = 0 } = e−λ = 0.001
λ = − ln(0.001)
λ ≈ 6.9
Ende des Exkurses
Ende des Exkurses
Zurück zum Schätzen
K ∼ Pois(λ)
K ∼ Pois(λ)
Wie schätzt man λ?
K ∼ Pois(λ)
Wie schätzt man λ?
Es gibt viele Möglichkeiten.
EK = λ
EK = λ
P
1
^λ1 := K̄ =
Ki
n
EK = λ
P
1
^λ1 := K̄ =
Ki
n
σ2 K = λ
EK = λ
P
1
^λ1 := K̄ =
Ki
n
σ2 K = λ
P
1
2
^λ2 := σ
^ K = n−1 (Ki − K̄)2
EK = λ
P
1
^λ1 := K̄ =
Ki
n
σ2 K = λ
P
1
2
^λ2 := σ
^ K = n−1 (Ki − K̄)2
P{K = 0} = e−λ
EK = λ
P
1
^λ1 := K̄ =
Ki
n
σ2 K = λ
P
1
2
^λ2 := σ
^ K = n−1 (Ki − K̄)2
P{K = 0} = e−λ
^λ3 := − ln(P{K
^ = 0}) = − ln( 1 #{Xi | Xi = 0})
n
EK = λ
P
1
^λ1 := K̄ =
Ki
n
σ2 K = λ
P
1
2
^λ2 := σ
^ K = n−1 (Ki − K̄)2
P{K = 0} = e−λ
^λ3 := − ln(P{K
^ = 0}) = − ln( 1 #{Xi | Xi = 0})
n
Was wählen?
U MWANDLUNG
DER
F RAGE
U MWANDLUNG
DER
F RAGE
Welche Werte von λ
passen zu den Daten?
U MWANDLUNG
DER
F RAGE
Welche Werte von λ
passen zu den Daten?
Sei ~k der Vektor der Beobachtungen
U MWANDLUNG
DER
F RAGE
Welche Werte von λ
passen zu den Daten?
Sei ~k der Vektor der Beobachtungen
~k := (k , ..., kn)T
1
U MWANDLUNG
DER
F RAGE
Welche Werte von λ
passen zu den Daten?
Sei ~k der Vektor der Beobachtungen
~k := (k , ..., kn)T
1
~
und sei fK
~ (k; λ) seine Wahrscheinlichkeit.
U MWANDLUNG
DER
F RAGE
Welche Werte von λ
passen zu den Daten?
Sei ~k der Vektor der Beobachtungen
~k := (k , ..., kn)T
1
~
und sei fK
~ (k; λ) seine Wahrscheinlichkeit.
Die Likelihood L(λ)
U MWANDLUNG
DER
F RAGE
Welche Werte von λ
passen zu den Daten?
Sei ~k der Vektor der Beobachtungen
~k := (k , ..., kn)T
1
~
und sei fK
~ (k; λ) seine Wahrscheinlichkeit.
Die Likelihood L(λ)
L(λ) := f (~k; λ)
~
K
U MWANDLUNG
DER
F RAGE
Welche Werte von λ
passen zu den Daten?
Sei ~k der Vektor der Beobachtungen
~k := (k , ..., kn)T
1
~
und sei fK
~ (k; λ) seine Wahrscheinlichkeit.
Die Likelihood L(λ)
L(λ) := f (~k; λ)
~
K
(~k fest)
40
20
77
52
17
4
0
0
1
2
3
4
0
Anzahl Körner
60
80
Beobachtete Häufigkeiten
k = Larven pro Korn
40
20
77
52
17
4
0
0
1
2
3
4
0
Anzahl Körner
60
80
L(λ) = ?
k = Larven pro Korn
1.0e−61
5.0e−62
0.0e+00
L(λ)
1.5e−61
2.0e−61
123456789123456789L(λ)123456789123456789
0.0
0.2
0.4
0.6
0.8
λ
1.0
1.2
−300
−400
−500
−600
ln(L(λ))
−200
123456789123456789ln(L(λ))123456789123456789
0.0
0.2
0.4
0.6
0.8
λ
1.0
1.2
−160
−170
−180
ln(L(λ))
−150
−140
123456789123456789ln(L(λ))123456789123456789
0.0
0.2
0.4
0.6
0.8
λ
1.0
1.2
1.0e−61
5.0e−62
0.0e+00
L(λ)
1.5e−61
2.0e−61
123456789123456789Einige Werte von λ passen viel besser als andere.12345678912345
0.0
0.2
0.4
0.6
0.8
λ
1.0
1.2
1.0e−61
5.0e−62
0.0e+00
L(λ)
1.5e−61
2.0e−61
123456789123456789Welches λ sollten wir wählen?123456789123456789
0.0
0.2
0.4
0.6
0.8
λ
1.0
1.2
1.0e−61
5.0e−62
0.0e+00
L(λ)
1.5e−61
2.0e−61
123456789123456789Warum nicht das beste“?123456789123456789
”
0.0
0.2
0.4
0.6
0.8
λ
1.0
1.2
1.0e−61
5.0e−62
0.0e+00
L(λ)
1.5e−61
2.0e−61
123456789123456789Warum nicht das beste“?123456789123456789
”
0.0
0.2
0.4
0.6
0.8
λ
1.0
1.2
1.0e−61
5.0e−62
0.0e+00
L(λ)
1.5e−61
2.0e−61
123456789123456789Der Maximum-Likelihood-Schätzer123456789123456789
0.0
0.2
0.4
0.6
0.8
λ
1.0
1.2
L(^λ) = max !123456789123456789
0.0
0.6
1.0e−61
5.0e−62
0.0e+00
L(λ)
1.5e−61
2.0e−61
123456789123456789^λ :
0.2
0.4
0.8
λ
1.0
1.2
1.0e−61
5.0e−62
0.0e+00
L(λ)
1.5e−61
2.0e−61
123456789123456789Die Maximum-Likelihood Methode: Nimm das λ,123456789123456
”
0.0
0.2
0.4
0.6
0.8
λ
1.0
1.2
1.0e−61
5.0e−62
0.0e+00
L(λ)
1.5e−61
2.0e−61
89123456789bei dem das Beobachtete die größtmögliche Wahrscheinlichkeit hat.“1234567
0.0
0.2
0.4
0.6
0.8
λ
1.0
1.2
Formel für ^λ
Formel für ^λ
(nicht unbedingt notwendig)
Formel für ^λ
(nicht unbedingt notwendig)
L(λ) = fK(k1; λ)...fK(kn; λ)
Formel für ^λ
(nicht unbedingt notwendig)
L(λ) = fK(k1; λ)...fK(kn; λ)
k1
kn −λ
λ
λ
−λ
L(λ) = ( k ! e )...( kn ! e )
1
Formel für ^λ
(nicht unbedingt notwendig)
L(λ) = fK(k1; λ)...fK(kn; λ)
k1
kn −λ
λ
λ
−λ
L(λ) = ( k ! e )...( kn ! e )
1
k1+...+kn
λ
L(λ) = k !...kn! e−nλ
1
Formel für ^λ
(nicht unbedingt notwendig)
L(λ) = fK(k1; λ)...fK(kn; λ)
k1
kn −λ
λ
λ
−λ
L(λ) = ( k ! e )...( kn ! e )
1
k1+...+kn
λ
L(λ) = k !...kn! e−nλ
1
ln L(λ) = (k1 + ... + kn) ln λ − nλ + Konst
Formel für ^λ
(nicht unbedingt notwendig)
L(λ) = fK(k1; λ)...fK(kn; λ)
k1
kn −λ
λ
λ
−λ
L(λ) = ( k ! e )...( kn ! e )
1
k1+...+kn
λ
L(λ) = k !...kn! e−nλ
1
ln L(λ) = (k1 + ... + kn) ln λ − nλ + Konst
d ln L(λ) = k1+...+kn − n
dλ
λ
Formel für ^λ
(nicht unbedingt notwendig)
L(λ) = fK(k1; λ)...fK(kn; λ)
k1
kn −λ
λ
λ
−λ
L(λ) = ( k ! e )...( kn ! e )
1
k1+...+kn
λ
L(λ) = k !...kn! e−nλ
1
ln L(λ) = (k1 + ... + kn) ln λ − nλ + Konst
d ln L(λ) = k1+...+kn − n
dλ
λ
n
−n
0 = k1+...+k
λ
Formel für ^λ
(nicht unbedingt notwendig)
L(λ) = fK(k1; λ)...fK(kn; λ)
k1
kn −λ
λ
λ
−λ
L(λ) = ( k ! e )...( kn ! e )
1
k1+...+kn
λ
L(λ) = k !...kn! e−nλ
1
ln L(λ) = (k1 + ... + kn) ln λ − nλ + Konst
d ln L(λ) = k1+...+kn − n
dλ
λ
n
−n
0 = k1+...+k
λ
^λ = k̄
40
20
77
52
17
4
0
0
1
2
3
4
0
Anzahl Körner
60
80
123456789123456789Beobachtete Häufigkeiten123456789123456789
k
40
20
77
52
17
4
0
0
1
2
3
4
0
Anzahl Körner
60
80
123456789123456789Angepasste Poissonverteilung123456789123456789
k
40
20
77
52
17
4
0
0
1
2
3
4
0
Anzahl Körner
60
80
123456789123456789nfK(k; ^λ)123456789123456789
k
40
20
77
52
17
4
0
0
1
2
3
4
0
Anzahl Körner
60
80
123456789123456789nfK(k; ^λ)123456789123456789
k
40
20
77
52
17
4
0
0
1
2
3
4
0
Anzahl Körner
60
80
123456789123456789Sehr gute Anpassung.123456789123456789
k
40
20
77
52
17
4
0
0
1
2
3
4
0
Anzahl Körner
60
80
123456789123456789(von formalen statistischen Tests bestätigt)12345678912345678
k
40
20
77
52
17
4
0
0
1
2
3
4
0
Anzahl Körner
60
80
123456789123456789Fazit123456789123456789
k
40
20
77
52
17
4
0
0
1
2
3
4
0
Anzahl Körner
60
80
3456789123456789Offenbar wissen Larven nicht, wenn ein Korn besetzt ist.123456789123
k
Panzer-Beispiel
Panzer-Beispiel
Uniformverteilung auf (0, λ)
Panzer-Beispiel
Uniformverteilung auf (0, λ)
fX(x; λ) = λ1
x ∈ (0, λ)
Panzer-Beispiel
Uniformverteilung auf (0, λ)
fX(x; λ) = λ1
x ∈ (0, λ)
fX(x; λ) = 0
x∈
/ (0, λ)
Panzer-Beispiel
Uniformverteilung auf (0, λ)
fX(x; λ) = λ1
x ∈ (0, λ)
fX(x; λ) = 0
x∈
/ (0, λ)
~x := (x1, ...xn)T
Panzer-Beispiel
Uniformverteilung auf (0, λ)
fX(x; λ) = λ1
x ∈ (0, λ)
fX(x; λ) = 0
x∈
/ (0, λ)
~x := (x1, ...xn)T
fX~ (~x; λ) = λ1n
M := max{xi} ∈ (0, λ)
Panzer-Beispiel
Uniformverteilung auf (0, λ)
fX(x; λ) = λ1
x ∈ (0, λ)
fX(x; λ) = 0
x∈
/ (0, λ)
~x := (x1, ...xn)T
fX~ (~x; λ) = λ1n
fX~ (~x; λ) = 0
M := max{xi} ∈ (0, λ)
M :=∈
/ (0, λ)
Panzer-Beispiel
Uniformverteilung auf (0, λ)
fX(x; λ) = λ1
x ∈ (0, λ)
fX(x; λ) = 0
x∈
/ (0, λ)
~x := (x1, ...xn)T
fX~ (~x; λ) = λ1n
fX~ (~x; λ) = 0
M := max{xi} ∈ (0, λ)
M :=∈
/ (0, λ)
fX(x)
0
500
1000
1500
x
λ
2000
2500
3000
x1, ..., x10
0
500
1000
1500
x
λ
2000
2500
3000
x1, ..., x10
0
500
1000
1500
x
λ
2000
2500
3000
L(λ)
0
500
1000
1500
λ
2000
2500
3000
^λ :
0
500
1000
L(λ) = max !
1500
λ
2000
2500
3000
^λ = M
0
500
1000
1500
λ
2000
2500
3000
L(λ)
0
500
1000
(n = 10)
1500
λ
2000
2500
3000
x1, ..., x25
0
500
1000
1500
x
λ
2000
2500
3000
x1, ..., x25
0
500
1000
1500
x
λ
2000
2500
3000
L(λ)
0
500
1000
(n = 25)
1500
λ
2000
2500
3000
LETZTES BEISPIEL
LETZTES BEISPIEL
Warten auf den ersten Erfolg
LETZTES BEISPIEL
Warten auf den ersten Erfolg
X1, X2, X3, ...
unabhängig
LETZTES BEISPIEL
Warten auf den ersten Erfolg
X1, X2, X3, ...
unabhängig
mit
P { Xi = 1 } = p
P { Xi = 0 } = 1 − p
LETZTES BEISPIEL
Warten auf den ersten Erfolg
X1, X2, X3, ...
unabhängig
mit
P { Xi = 1 } = p
P { Xi = 0 } = 1 − p
T := inf { i | Xi = 1 }
Zeitpunkt des ersten Erfolgs
Man wartet n-mal auf Erfolg
Man wartet n-mal auf Erfolg
mit Wartezeiten
t1, t2, ..., tn.
Man wartet n-mal auf Erfolg
mit Wartezeiten
t1, t2, ..., tn.
Wie schätzt man p
aus den Wartezeiten?
Q
Q
Quiz-relevant
WIEDERHOLUNG
ET = p1
WIEDERHOLUNG
ET = p1
T −1
Misserfolge vor dem ersten Erfolg
WIEDERHOLUNG
ET = p1
T −1
Misserfolge vor dem ersten Erfolg
E(T − 1) = p1 − 1 = 1−p
p
AUFGABE
AUFGABE
Das Schwarze
in der Mitte einer Zielscheibe
von Radius 80 cm hat Radius 8 cm.
AUFGABE
Das Schwarze
in der Mitte einer Zielscheibe
von Radius 80 cm hat Radius 8 cm.
Ein Schütze trifft rein zufällige Punkte
in der Zielscheibe.
AUFGABE
Das Schwarze
in der Mitte einer Zielscheibe
von Radius 80 cm hat Radius 8 cm.
Ein Schütze trifft rein zufällige Punkte
in der Zielscheibe.
Wie oft im Mittel schießt er daneben,
bis er zum ersten Mal ins Schwarze trifft?
AUFGABE
Das Schwarze
in der Mitte einer Zielscheibe
von Radius 80 cm hat Radius 8 cm.
Ein Schütze trifft rein zufällige Punkte
in der Zielscheibe.
Wie oft im Mittel schießt er daneben,
bis er zum ersten Mal ins Schwarze trifft?
p=
1 2
10
1
= 100
AUFGABE
Das Schwarze
in der Mitte einer Zielscheibe
von Radius 80 cm hat Radius 8 cm.
Ein Schütze trifft rein zufällige Punkte
in der Zielscheibe.
Wie oft im Mittel schießt er daneben,
bis er zum ersten Mal ins Schwarze trifft?
p=
1 2
10
1
= 100
E(T − 1) = p1 − 1 = 100 − 1 = 99
Der Maximum-Likelihood-Schätzer p
^
Der Maximum-Likelihood-Schätzer p
^
L(p)
Der Maximum-Likelihood-Schätzer p
^
L(p)
L(p) = [(1 − p)t1−1 p]...[(1 − p)tn−1 p]
Der Maximum-Likelihood-Schätzer p
^
L(p)
L(p) = [(1 − p)t1−1 p]...[(1 − p)tn−1 p]
L(p) =
(1 − p)(
P
ti−n)
pn
Der Maximum-Likelihood-Schätzer p
^
L(p)
L(p) = [(1 − p)t1−1 p]...[(1 − p)tn−1 p]
(1 − p)(
P
ti−n) pn
L(p) =
P
ln L(p) = ( ti − n) ln(1 − p) + n ln p
Der Maximum-Likelihood-Schätzer p
^
L(p)
L(p) = [(1 − p)t1−1 p]...[(1 − p)tn−1 p]
(1 − p)(
P
ti−n) pn
L(p) =
P
ln L(p) = ( ti − n) ln(1 − p) + n ln p
d ln L(p)
dp
=0
Der Maximum-Likelihood-Schätzer p
^
L(p)
L(p) = [(1 − p)t1−1 p]...[(1 − p)tn−1 p]
(1 − p)(
P
ti−n) pn
L(p) =
P
ln L(p) = ( ti − n) ln(1 − p) + n ln p
d ln L(p) =
dp
P
( ti−n)
− (1−p) + n
p
0
=0
Der Maximum-Likelihood-Schätzer p
^
L(p)
L(p) = [(1 − p)t1−1 p]...[(1 − p)tn−1 p]
(1 − p)(
P
ti−n) pn
L(p) =
P
ln L(p) = ( ti − n) ln(1 − p) + n ln p
d ln L(p) =
dp
P
( ti−n)
− (1−p) + n
p
p(
P
0
=0
ti − n) = n(1 − p)
Der Maximum-Likelihood-Schätzer p
^
L(p)
L(p) = [(1 − p)t1−1 p]...[(1 − p)tn−1 p]
(1 − p)(
P
ti−n) pn
L(p) =
P
ln L(p) = ( ti − n) ln(1 − p) + n ln p
d ln L(p) =
dp
P
( ti−n)
− (1−p) + n
p
p(
P
0
=0
ti − n) = n(1 − p)
P
p( ti) = n
Der Maximum-Likelihood-Schätzer p
^
L(p)
L(p) = [(1 − p)t1−1 p]...[(1 − p)tn−1 p]
(1 − p)(
P
ti−n) pn
L(p) =
P
ln L(p) = ( ti − n) ln(1 − p) + n ln p
d ln L(p) =
dp
P
( ti−n)
− (1−p) + n
p
p(
P
0
=0
ti − n) = n(1 − p)
P
p( ti) = n
P
p
^ = n/ ti
ENDE