Stochastik I
Werbung
Stochastik I
Mitschrift der Vorlesung
Stochastik I
von
Dr. habil. H. Finner
an der
Universitat Bayreuth
im WS 95/96
Diese Mitschrift erhebt keinen Anspruch auf Richtigkeit und/oder Vollstandigkeit. Sie ist kein Ersatz fur das
Studium einschlagiger Literatur. Das Script wurde parallel zur Vorlesung erstellt. Dabei wurde groe Sorgfalt
auf eine "1 zu 1\-U bernahme von der Tafel auf Papier geachtet. Trotzdem sind U bertragungsfehler sowie
Fehler an der Tafel nicht auszuschlieen.
(w) Mai 1996
INHALTSVERZEICHNIS
1
Inhaltsverzeichnis
0 Einleitung
2
1 Wahrscheinlichkeitsraume
6
1.1
1.2
1.3
1.4
1.5
1.6
Maraume : : : : : : : : : : : : : : : : : : : :
Rechenregeln fur Mae : : : : : : : : : : : : :
Laplace-Experimente : : : : : : : : : : : : : :
Elementare bedingte Wahrscheinlichkeiten : :
Stochastische Unabhangigkeit von Ereignissen
Diskrete Wahrscheinlichkeitsverteilungen : : :
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
2 Zufallsvariable und Integrationstheorie
2.1
2.2
2.3
2.4
2.5
2.6
2.7
Zufallsvariable und stochastische Unabhangigkeit : : : : : : : : : : : :
Integrationstheorie in Kurze : : : : : : : : : : : : : : : : : : : : : : : :
Mae und Dichten : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
Produktmae und der Satz von Fubini : : : : : : : : : : : : : : : : : :
n -stetige Verteilungen: Zusammenhang Verteilungsfunktion / Dichte :
Erwartungswert, Varianz, Kovarianz, Momente und Ungleichungen : :
Faltungsformel und spezielle Verteilungen : : : : : : : : : : : : : : : :
3 Grenzwertsatze
3.1
3.2
3.3
3.4
Fragestellungen : : : : : : : : : : : : : : : : : : : : : : : : :
Null-Eins-Gesetz : : : : : : : : : : : : : : : : : : : : : : : :
Gesetze der groen Zahlen : : : : : : : : : : : : : : : : : : :
Schwache Konvergenz und zentraler Grenzwertsatz (ZGWS)
4 Einfuhrung in die Statistik
4.1
4.2
4.3
4.4
4.5
Problemstellungen : : : : : : : : : : : : : : : : : :
Das Fundamentallemma von Neyman und Pearson
Monotone Dichtequotienten : : : : : : : : : : : : :
Kondenzbereiche : : : : : : : : : : : : : : : : : :
Maximum-Likelihood-Schatzer (ML-Schatzer) : : :
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
6
9
14
18
21
24
26
26
37
43
45
49
51
60
68
68
69
74
83
95
95
100
106
118
122
A Diskrete Verteilungen
124
B Absolut stetige Verteilungen
125
C Mengen und Indikatoren
127
0 EINLEITUNG
2
0 Einleitung
Stochastik ist
Wahrscheinlichkeitsrechnung
Statistik
Geschichtliche Grundlagen:
1. Glucksspiele (Wurfel, Karten, Roulette) fur die Wahrscheinlichkeitsrechnung (17. und 18. Jahrhundert).
2. Erhebungen fur die Zwecke des Staates ("Staatskunde\), Rekrutierungslisten, Steuerlisten fur die
Statistik.
Beziehung zwischen Wahrscheinlichkeitsrechnung und Statistik:
Wahrscheinlichkeitsmodell
6 Statistik
Wahrscheinlichkeitsrechnung
?
Beobachtungen
Lange Zeit unklar: Vernunftige Axiome zum Aufbau einer Wahrscheinlichkeitsrechnung. Die Wichtigkeit
der Wahrscheinlichkeitsrechnung wurde zum Beispiel von David Hilberth (1862 - 1943) in seiner beruhmten Rede 1900 auf der Pariser Weltausstellung betont. Unter 23 Problemen, die er fur vordringlich hielt,
nannte er als sechstes Problem:
Behandlung der Axiome der Physik: Durch die Untersuchungen uber die Grundlagen
"6. Mathematische
der
Geometrie wird uns die Aufgabe nahegelegt, nach diesem Vorbild diejenigen physikalischen Disziplinen axiomatisch zu behandeln, in denen schon heute die Mathematik eine hervorragende Rolle spielt;
dies sind in erster Linie die Wahrscheinlichkeitsrechnung und die Mechanik. Was die Axiome der Wahrscheinlichkeitsrechnung angeht, so scheint es mir wunschenswert, da mit der logischen Untersuchung
derselben zugleich eine strenge und befriedigende Entwicklung der Methode der mittleren Werte in der
mathematischen Physik, speziell in der kinetischen Gastheorie Hand in Hand gehe.\
Typische Beispiele zufalliger Ergebnisse sind Wurfeln mit den Augenzahlen 1; : : :; 6, Munzwurf mit den
Ergebnissen 0 und 1, Ziehung der Lottozahlen 6 aus 49, aber auch Temperatur morgen um 12 Uhr oder
der Dollarverlauf der kommenden Woche.
Charakteristisch: Ergebnisse sind nicht deterministisch vorhersagbar. Es lassen sich jedoch Gesetze uber
Haugkeiten bzw. Wahrscheinlichkeiten von zufalligen Ergebnissen ableiten.
Schwierigkeit: Es gibt verschiedene, nicht immer vertragliche Wahrscheinlichkeitsbegrie, davon hier nur
vier:
1. Die klassische Denition
Anzahl der gunstigen Falle
Wahrscheinlichkeit = Anzahl
der moglichen Falle
0 EINLEITUNG
3
stammt von Piere de Laplace (1749 - 1827). Dieser Ansatz setzt die "Gleichwahrscheinlichkeit\ aller
moglichen Falle voraus.
Beispiel 0.1:
(a) Fairer Munzwurf: Wk(0)=Wk(1)= 21
Fairer Wurfel: Wk(1)=: : :=Wk(6)= 16
(b) Bertrand'sches Paradoxon: Gegeben ist ein Kreis mit Radius 1. Es werde zufallig eine Sehne
gezogen. Die Frage ist, wie gro die Wahrscheinlichkeit ist, dapdie Sehne langer wird als
eine Seite des einbeschriebenen gleichseitigen Dreiecks. Diese ist 3 lang. Mit verschiedenen
Losungsansatzen erhalt man jedoch auch unterschiedliche Wahrscheinlichkeiten.
i. Wahle im oberen Halbkreis einen beliebigen Punkt und ziehe eine Sehne zum der X-Achse
gegenuberliegenden Punkt.
'$
&%
'$
&%
6
Dann ist = [ 1; 1] und A =
1 1
2; 2
-
und es gilt:
ange von A = 1
Wahrscheinlichkeit(A) = L
Lange von 2
ii. Ziehe die Sehne durch Wahl eines beliebigen Winkels:
6
-
Dann ist = [0; ] und A = 31 ; 23 und es gilt:
ange von A 1
Wahrscheinlichkeit(A) = L
Lange von = 3
iii. Wahle zufallig einen Punkt aus der Kreisache aus. Dieser Punkt
p reprasentiere den Mittelpunkt der Sehne. Die Sehne ist damit genau dann groer als 3, wenn der Mittelpunkt
nicht aus dem Innenkreis mit Radius 1 gewahlt wurde. Es gilt somit:
Flache des Innenkreises mit Radius 1
Wahrscheinlichkeit(A) = Flache des Auenkreises mit Radius 21 = 41
(c) Paradoxon von Chevalier de Mere (1607 - 1685), der ein Freund von Pascal und Fermat gewesen
war. Zur Diskussion stehen zwei Varianten eines Wurfelspiels:
i. Ein Wurfel wird viermal geworfen. Ein Spieler gewinnt, wenn dabei keine "6\ auftritt. Die
Gewinnwahrscheinlichkeit ist
5 4
625 48; 2%:
= 1296
6
ii. Zwei Wurfel werden 24 mal geworfen. Ein Spieler gewinnt, wenn dabei keine Doppelsechs
auftritt. Die Gewinnwahrscheinlichkeit ist
35 24
36 50; 8%:
0 EINLEITUNG
4
Die falsche Argumentation von de Mere ist
1 GWk = 24 Wk(Doppelsechs bei Doppelwurf) = 24
36 =
= 4 61 = 4 Wk("6\ bei einem Wurf)
De Mere verwechselte dabei Erwartungswert und Wahrscheinlichkeit.
2.
Wahrscheinlichkeit = Grenzwert relativer Haugkeiten
vgl. R. van Mines (1936): Wahrscheinlichkeit, Statistik und Wahrheit, Springer, Wien oder auch P.
Martin-Lof (1966): Denition of random sequences, Information and Control 6, Seite 602 - 619.
Es bezeichne hn (A) die Anzahl der Versuche mit Ergebnis A (Haugkeit) bei n Versuchswiederholungen. Dann ist n1 hn (A) die relative Haugkeit.
1
n!1
n hn (A) ! Wk(A)
Problem: Existiert so ein Limes und welcher Konvergenzbegri mu angewendet werden.
3. Subjektive Wahrscheinlichkeiten sind ein Ma des personlichen Glaubens.
Beispiel 0.2:
Wir betrachten das Tennismatch Becker - Muster. Ein Fan zahlt 10,- DM, falls Muster gewinnt und
gewinnt 5,- DM, falls Becker gewinnt. Was heit das fur seine subjektive Wahrscheinlichkeit p, da
Becker gewinnt?
5p (1 p) 10 0 () p 23
Problem: Die Wahrscheinlichkeit wird psychologisch angelegt. Mathematische Theorie dazu in L. J.
Savage (1954), Foundations of Statistics, Wiley, New York.
4. Axiomatischer Wahrscheinlichkeitsbegri nach A. N. Kolmogoro (1933): Sei der Ergebnisraum
(Menge). A 2
System von Ereignissen A mit gewissen Eigenschaften. Dabei bezeichne 2
die Potenzmenge von . Sei P : A ! [0; 1] Wahrscheinlichkeit, Funktion mit Werten in [0; 1] mit
gewissen Eigenschaften. (
; A; P) ist der Wahrscheinlichkeitsraum oder das Zufallsexperiment.
Beispiel 0.3:
Eine Kugel wird zufallig aus einer Urne mit den Kugeln 1; : : :; k gezogen. Der Ergebnisraum ist
= f1; : : :; kg, ein Elementarereignis ist fj g mit j 2 . Dabei steht fj g dafur, da die Kugel j
gezogen wurde. pj = P(fj g) bezeichne die Wahrscheinlichkeit, da die Kugel j gezogen wird. Falls
alle Kugeln (physikalisch) gleich sind, gilt
pj = k1 ; pj 2 [0; 1];
k
X
j =1
pj = 1
8j2
Sei A , gesucht ist die Wahrscheinlichkeit, da die gezogene Kugel in A ist.
) P(A) =
X
j 2A
pj =
X
j 2A
P(fj g)
A = 2
. P : A ! [0; 1] mit folgenden Eigenschaften:
(a) - Hier fehlt noch etwas (b) Fur disjunkte A; B gilt: P(A [ B) = P(A) + P(B)
0 EINLEITUNG
5
Beispiel 0.4:
Es werden zwei Wurfel geworfen.
(a) Werden die beiden Wurfel unterschieden, so ist
= (i; j) : i; j 2 f1; : : :; 6g
und somit ist
1 = p ; P(A) =
P(fi; j g) = 36
ij
X
(i;j )2A
(b) Werden die beiden Wurfel nicht unterschieden, so ist
= (i; j) : 1 i j 6 ;
pij ; A 2 2
6
j
j = 2 + 6 = 21
Desweiteren sieht man, da hier keine Gleichverteilung vorliegt:
8
<
P(f(i; j)g) = :
1
18
1
36
falls i < j
falls i = j
Beispiel 0.5:
Verabrede ein Treen mit deinem Freund zwischen 14.00 Uhr und 14.30 Uhr. Erfahrungsgema halt
er Verabredungen ein. Die Chance, da er in einem Zeitintervall [t1; t2] oder [t3; t4] eintrit, sei
gleich gro, wenn t2 t1 = t4 t3 und ti 2 [14; 14:5] ist fur i = 1; : : :; 4. Dann ist = [14; 14:5] und
P(
) = 1.
P([t1; t2]) = 2 Lange von [t1; t2] =
Zt2
t1
2 dt
Sei A = [t1; t2] mit 14 t1 t2 14:5 und B = [t3; t4]. A und B seien disjunkt. Dann gilt
P(A [ B) = P(A) + P(B) =
Zt2
t1
2 dt +
Zt4
t3
dt
Was geschieht mit P(A), wenn A beliebig gewahlt werden kann? Zum Beispiel ist
P(ftg) =
Zt
t
2 dt = 0;
1 = P(
) 6=
X
t2
P(ftg) = 0
1 WAHRSCHEINLICHKEITSRAUME
6
1 Wahrscheinlichkeitsraume
1.1 Maraume
Denition 1.1:
Sei eine Menge, A 2
.
1. A heit -Algebra (uber ), falls
(1) 2 A
(2) 8 A 2 A gilt Ac 2 A
S
(3) 8 (An )n2N A gilt An 2 A
n2N
2. Ist A eine -Algebra uber , so heit (
; A) Meraum und A 2 A Ereignis oder auch mebare
Menge (genauer A-mebare Menge).
3. Ersetzt man (3) durch
(a3) 8 A; B 2 A gilt A [ B 2 A
so heit A eine (Mengen-) Algebra.
Bemerkung 1.2:
Es ist A = 2
die grote -Algebra uber und A = f=0; g die kleinste -Algebra.
Lemma 1.3:
Sei A 2
mit
(10 ) 0= 2 A
(20 ) 8 A 2 A gilt Ac 2 A
T
(30 ) 8 (An )n2N A gilt An 2 A
n2N
Dann ist A eine -Algebra.
Lemma 1.4:
Sei A0 . Dann existiert eine kleinste A0 umfassende -Algebra A. Diese wird mit (A0 ) bezeichnet.
T
Beweis: Sei E = fB : 2
B A0 und B -Algebrag und A = . Dann gilt
=0 6= A A0
B2E
da 2
2 E und B A0 . Es ist noch zu zeigen, da A eine -Algebra ist.
(1) 2 A, da 2 B 8 B 2 E
(2) A 2 A ) 8 B 2 E : A 2 B ) Ac 2 B 8 B 2 E ) Ac 2 A
(3) Sei (An )n2N A ) 8 B 2 E gilt (An )n2N B ) 8 B 2 E :
S A 2B) S A 2A
n
n
n2N
n2N
1 WAHRSCHEINLICHKEITSRAUME
7
A ist auch kleinste -Algebra mit A A0 , denn ist B~ A0 ; B~ -Algebra, so ist
\
B~ B = A
B2E
Denition 1.5:
Sei (
; A) ein Meraum. Dann heit ein Ma auf A uber (
; A), falls : A ! R [ f1g und
(m1) (=0) = 0 (Nulltreue)
(m2) 8 A 2 A gilt (A) 0 (Nichtnegativitat)
(m3) 8 (An )n2N A und An paarweise disjunkt gilt
[ X
An =
n2N
(An )
(-Additivitat)
n2N
Ist ein Ma auf A, so heit (
; A; ) Maraum. Ist (
; A; P) ein Maraum mit P(
) = 1, so heit P
Wahrscheinlichkeitsma und (
; A; P) Wahrscheinlichkeitsraum oder Zufallsexperiment.
Beispiel 1.6:
Urne mitPk Kugeln, vgl. Beispiel 0.3. Es ist = f1; : : :; kg; A = 2
; pj = P(fj g): Fur alle A 2 A ist
P(A) = pj . P heit diskrete Gleichverteilung uber (
; 2
), falls p1 = : : : = pk = k1 .
j 2A
Beispiel 1.7:
j
j = jNj, also habe abzahlbar unendlich viele Elemente, ohne Einschrankung sei = N; A = 2N. Seien
j 2 [0; 1] fur j 2 N. Dann ist deniert durch
X
(A) = j 8 A 2 2N
j 2A
ein Ma uber (
; A).
Wahrscheinlichkeitsmae P uber (
; A) sind also in diesem Fall charakterisiert uber die Darstellung
P(A) =
wobei pj 2 [0; 1] mit
P p = 1.
j
X
j 2A
pj ;
AN
j =2N
Beispiel 1.8 (Dirac-Ma):
Sei (
; A) ein Meraum, ! 2 fest vorgegeben. Dann heit ! , deniert durch
8 A 2 A : ! (A) := IA (!) := 10 !! 22= AA
Dirac-Ma oder Einpunktma im Punkt !. Im Beispiel 1.7 lat sich mit Hilfe von Dirac-Maen darstellen:
X
8 A 2 2N: (A) = j j (A)
j 2N
Beispiel 1.9 (Stetige Gleichverteilung, vgl. Beispiel 0.5):
= [a; b], hatten gerne (
; A; P) mit A I = f[c; d] : a c < d bg und
P([c; d]) = db ac 8 a c < d b:
1 WAHRSCHEINLICHKEITSRAUME
8
Fuhrt zu Konstruktions- und Fortsetzungsproblem: Setze P vom System der Intervalle I fort zu einem
Wahrscheinlichkeitsma auf A = (I). (I) heit Borel--Algebra auf [a; b]. Das Fortsetzungsproblem in
der Matheorie behandelt zum Beispiel Bauer (1990), Ma- und Integrationstheorie, de Gruyter.
Beispiel 1.10 (n-dim. Borel--Algebra, Lebesgue-Ma):
Sei n 2 N; = Rn und
In = ni=1 [ai; bi] : ai < bi ; i = 1; : : :; n :
Dann heit B n := (In ) die n-dimensionale Borel--Algebra. Das ist per Denition die kleinste -Algebra,
die alle Quader (also n-dimensionale Intervalle) der Form [a; b] := [a1; b1] : : : [an ; bn] mit ai < bi; 1 i n, enthalt. Fur das Volumen eines Quaders gilt
n
Y
Vol ni=1 [ai; bi] =
i=1
(bi ai )
Resultat aus der Matheorie:
Es gibt genau ein Ma n auf B n , welches jedem Intervall
[a; b] := ni=1 [ai; bi]
sein Volumen zuordnet. Dieses Ma heit n-dimensionales Lebesgue-Ma.
Satz 1.10:
Das Lebesgue-Ma 1 kann nicht auf 2Rso fortgesetzt werden, da gilt
(?) 8 2 R : 8 E R :
1 (E + ) = 1 (E):
Dabei ist E + := fx : 9 y 2 E : x = y + g.
Beweis: Deniere A quivalenzrelation
x y () x y 2 Q:
Sei E [0; 1) ein Reprasentantensystem fur .
Annahme: 8 2 R gelte (E) = (E + ) = 0. Es folgt
(a) 8 x 2 (0; 1) : 9 2 Q, so da j j 1 und x 2 E + :
(b) 8 r; s 2 Q mit r 6= s = 0 gilt
(E + r) \ (E + s) = =0:
Beweis der Zwischenbehauptung:
(a) 9 y 2 E : x y ) 9 2 Q, so da j j 1 und = x y. Es folgt: x 2 E + .
(b) Angenommen fur x; y 2 E; r; s 2 Q mit r 6= s und x + r = y + s folgt x y = s r 2 Q ) x y,
d.h. x = y, da E ein Reprasentantensystem ist. Somit ist s = r, was aber ein Widerspruch ist.
Aus (b) folgt, da S :=
S (E + ) eine abzahlbare Vereinigung von paarweise disjunkten Mengen ist.
2Q
j j1
Wegen S [ 1; 2] ist (S) 3 und
(S) =
X
(E{z+ r)};
r2Q|
jrj1
also = 0 und somit (S) = 0. Aus (a) folgt jedoch, da (0; 1) S, d.h. (S) 1, was aber ein
Widerspruch ist.
1 WAHRSCHEINLICHKEITSRAUME
9
Bemerkung 1.11:
(i) Fur alle n 2 N gilt B n 6= 2R.
(ii) Die Elemente von B n lassen sich nicht konstruktiv angeben.
Bemerkung 1.12:
Axiome von Kolmogoro 1933: Es ist (
; A; P) ein Wahrscheinlichkeitsraum genau dann, wenn
(i) 6= =0
(ii) A ist -Algebra (wie oben deniert)
(iii) P ist ein Wahrscheinlichkeitsma (wie oben deniert)
1.2 Rechenregeln fur Mae
Haug sind Wahrscheinlichkeiten von Ausdrucken wie
[
Ai ;
i2N
\
A n B;
Ai ;
i2N
etc.
zu berechnen. Geschicktes Umrechnen erleichtert manchmal die Aufgabe. Man mu auch wissen, ob die
Mengen uberhaupt mebar sind, d.h. in A liegen.
Lemma 1.13 (de Morgan):
Sei I eine beliebige Indexmenge, (Ai )i2I 2
. Dann gilt
(a)
(a)
S A c = T Ac
i2I
i
i2I
i
i2I
i
T A c = S Ac
i2I
i
Lemma 1.14 (Eigenschaften von -Algebren):
Sei (
; A) ein Meraum.
T A 2A
n
n2N
Tn A 2 A; Sn A 2 A
(b) A1 ; : : :; An 2 A )
i
i
i=1
i=1
(a) (An )n2N A )
(c) A; B 2 A ) A n B 2 A
(d) A; B 2 A ) AB := (A n B) [ (B n A) = (A [ B) n (A \ B) 2 A (Symmetrische Dierenz)
(e) Ist (An )n2N A, dann ist
1 [
1
\
lim sup An :=
n!1
n=1 m=n
lim inf An :=
n!1
n=1 m=n
1 \
1
[
Am 2 A
am 2 A
1 WAHRSCHEINLICHKEITSRAUME
10
Beweis: selbst als U bung.
Bemerkung 1.15:
Es ist
lim sup An =
n!1
lim inf An =
n!1
! 2 : ! 2 A fur unendlich viele n
n
! 2 : ! 2 A fur alle bis auf endlich viele n
n
Wiederholt man zum Beispiel den Wurf einer fairen Munze unendlich oft, so interessiert zum Beispiel die
Wahrscheinlichkeiten fur die Ereignisse, da
die 1 unendlich oft erscheint oder
die 1 nur endlich oft erscheint.
Dann ist = f0; 1gNund An = ! = (!1 ; !2; : : :) 2 : !n = 1 Es interessieren
P(nlim
!1 sup An) = ?;
P(nlim
!1 inf An ) = ?:
Satz 1.16 (Rechenregeln und Ungleichungen fur Mae):
Seien (
; A; ) ein Maraum, A; B 2 A und (An )n2N A. Dann gelten die folgenden Aussagen:
(a) Sind A1 ; : : :; An paarweise disjunkt, gilt die endliche Additivitat:
n
n X
X
i=1
Ai =
i=1
(Ai ):
(b) Ist A B, so ist (A) (B) (Isotonie)
(c) Ist A B und (A) < 1, folgt (B A) = (B) (A) (Substraktivitat)
(d) Ist (Ai ) < 1 fur alle i = 1; : : :; n, so gilt
n
[n X
i=1
Ai =
( 1)k+1
k=1
X
1i1<:::<ik n
\k
j =1
A ij
(Siebformel von Sylvester/Poincare)
(e) Es gilt die Sub--Additivitat
1
1 X
[
n=1
An n=1
(An )
Beweis:
(a)
(b)
(c)
(d)
Wahle Aj = =0 8 j n + 1. Mit (m3) folgt die Behauptung.
Mit (a) und dem Trick B = (B A) + A folgt die Behauptung.
Beachte die Konvention 1 = 1 8 j j < 1, dann ist die Behauptung klar.
siehe U bungsaufgabe
1 WAHRSCHEINLICHKEITSRAUME
11
nS1
S
S
(e) Sei Bn := An n Aj ; n 2 N. Dann sind die (Bn )n2Npaarweise disjunkt und An = Bn .
j =1
n2N
n2N
Dann gilt
1 [
n=1
An
1
[
= n=1
(m3)
Bn ) =
1
X
n=1
(Bn ) 1
X
n=1
(An )
Folgerung 1.17:
Sei (
; A; P) ein Wahrscheinlichkeitsraum. Dann gilt
(a) Fur alle A; B 2 A gilt
A B ) P(B A) = P(B) P(A):
(b) Fur alle A 2 A gilt: P(A) = 1 P(Ac ).
(c) Ist (An )n2N A, dann gilt die Sub-Additivitat:
1
S1 A P
P(An)
n
n=1
n=1
Sk A Pk P(A )
(ii) P
n
n
(i) P
n=1
n=1
Die Ungleichung (ii) wird auch Bonterroni-Ungleichung genannt, insbesondere wenn
fur ein 2 (0; 1):
P(An) k
Dann ist
k
[k X
P
An k = :
n=1
n=1
(d) Ist (An )n2N A, dann gilt
P
\k n=1
k
X
An 1
n=1
1 P(An) :
Bemerkung 1.18:
Sei (
; A; ) ein Maraum. Dann heit (a) endlich (oder endliches Ma), falls (
) < 1,
(b) -endlich (oder -endliches Ma), falls
9 (An)n2N A :
An " und 8 n 2 N : (An ) < 1:
Beispiel 1.19 (Recente-Problem - Anwendung der Siebformel):
n Briefe B1 ; : : :; Bn werden zufallig in n Briefumschlage U1 ; : : :; Un gesteckt. Wie gro ist die Wahrscheinlichkeit, da kein Brief im richtigen Umschlag steckt, d.h. Bi nicht in Ui fur i = 1; : : :; n?
Ansatz:
= (!1 ; : : :; !n) : f!1; : : :; !ng = f1; : : :; ng =^ Menge der Permutationen von (1; : : :; n)
Dann ist P(f!g) = n1! und A = 2
sowie (
; A; P) ist ein Wahrscheinlichkeitsraum.
1 WAHRSCHEINLICHKEITSRAUME
12
Interpretation: Ein Brief B!i landet im Umschlag Ui ; i = 1; : : :; n () ! = (!1; : : :; !n).
A =^ fkein Brief im richtigen Umschlagg = f! 2 : !i 6= i 8 i = 1; : : :; ng
Ai =^ fBrief i im richtigen Umschlagg = f! 2 : !i = ig
Sn Ai . Ein wenig Kombinatorik (siehe spater)
Gesucht ist P(A). Es gilt: P(A) = 1 P(Ac ) = 1 P
i=1
ergibt:
P(Ai ) = n1
P(Ai \ Aj ) = n(n1 1) 8 i 6= j
P(Ai1 \ : : : \ Aik ) = (n n! k)! i1 ; : : :; ik 2 f1; : : :; ng
Folglich gilt
P(A) = 1 P
= 1
= 1
[n i=1
n
X
Ai =
( 1)k+1
k=1
n
X
X
1i1<:::<ik n
( 1)k+1 (n n! k)!
k=1
P(Ai1 \ : : : \ Aik ) =
X
1i1 <:::<ik n
|
{z
}
1=
(nk)
1
n
n
k
k
X
X
X
! ( k!1) = e
( 1)k+1 k!1 = ( k!1) n!1
= 1
k=0
k=0
k=1
Wir sehen
n 1 2 3 4 5
P(A) 0 12 13 38 11
30
Bemerkung:
Es gilt:
2n
X
X ( 1)k
( 1)k
1<
<
e
k!
k!
2n 1
k=0
k=0
Vorbemerkung zur Konvergenz von Mengen:
Monotone Mengenfolgen konvergieren:
(An )n2N"; d.h. A1 A2 : : : (isoton) ) limn!1 An =
SA
n2N
(An )n2N#; d.h. A1 A2 : : : (antiton) ) limn!1 An =
TA
n
n2N
Satz 1.20 (Stetigkeit von Maen):
Seien (
; A; ) ein Maraum und (An )n2N A. Dann gilt
S
n
(a) Ist (An )n2N" ) nlim
!1 (An) = n2NAn (Stetigkeit von unten)
1
1 WAHRSCHEINLICHKEITSRAUME
13
(b) Ist (An )n2N# und existiert ein k 2 N, so da (Ak ) < 1, dann gilt die Stetigkeit von oben:
\ An :
lim (A ) = n2N n
n2N
(c) Existiert limn!1 An und fur alle n 2 N gilt (An ) < 1, so gilt die Stetigkeit
lim (An ) = nlim
!1 An :
n!1
Beweis:
(a) Falls (An ) = 1 fur ein n 2 N, so folgt wegen An " sofort
[ lim (An ) = 1 = n!1
An :
n2N
Sei nun (An) < 1 fur alle n 2 N. Aus An "= 0 folgt
[
lim A =
n!1 n
mit A0 := =0. Es folgt
[ An
n2N
n2N
1
X
= An = A1 + A2 Ac1 + A3Ac2 + : : : =
n=1
An Acn
1
X
=
1
X
n| =1
{z
2A
1
}
(An Acn 1) =
n X
1
X
An Acn
}
(An An 1) = nlim
!1 k=1 (An ) (An 1 ) = nlim
!1 (An )
n=1
=
|
{z
Teleskopsumme
(b) Ohne Einschrankung ist (An) < 1 fur alle n 2 N. Deniere Bn := A1 An fur alle n 2 N. Dann
gilt: (Bn )n2N".
(A1 ) \
[ \ \ c An = A1 An = A1 Acn =
[
[ = lim (B ) = lim (A A ) =
= (A1 Acn ) = Bn (a)
n
1
n
n!1
n!1
An) = A1
= (A1 ) nlim
!1 (An )
(c) Der
n existiertTgenau dann, wenn limsup An = liminf An = limAn ist. Deniere Bn :=
S AlimAund
Cn := mn Am . Dann gilt (Bn ) # und (Cn) " und es folgt
m
mn
(liminf An)
=
(limCn) (a)
= lim(Cn ) = liminf (Cn ) = liminf (Cn ) =
=
liminf (Isot:)
=
\
mn
[
limsup Am
(Isot:)
liminf (An ) limsup (An ) = (limBn ) =
Am = limsup (Bn ) = lim(Bn ) (a)
mn
(limsup An ) = (liminf An)
1 WAHRSCHEINLICHKEITSRAUME
14
1.3 Laplace-Experimente
Denition 1.21:
(
; 2
; P) oder kurz (
; P) heit Laplace-Experiment genau dann, wenn
(i) 6= =0; endlich, d.h. 0 < j
j < jNj.
(ii) Fur alle A 2 gilt: P(A) = jjA
jj .
P heit (diskrete) Gleichverteilung oder Laplace-Verteilung auf . Kurz P = G(
) und P(A) ist die
Wahrscheinlichkeit von A.
p : ! [0; 1]
mit p(!) := P(f!g)
heit Wahrscheinlichkeitsdichte oder Zahldichte von P.
Rechenregeln fur Laplace-Experimente:
der fur A gunstigen Falle = X 1 = X p(!)
P(A) = jjA
jj = Anzahl
Anzahl der moglichen Falle
!2A j
j !2A
Beachte: P : 2
! [0; 1], dagegen p : ! [0; 1] und P(A) =
Einfache Beispiele fur Laplace-Experimente sind:
P p(!) mit p(!) = P(f!g).
! 2A
(i) Munzwurf: = f0; 1g; p(!) = 12
(ii) Roulette: = f0; 1; : : :; 36g; p(!) = 371
Man benotigt fur Laplace-Experimente die richtige Gleichverteilungsannahme und die Kunst des Zahlens
(Kombinatorik), s.u.
Beispiel 1.22 (Skat):
Wir haben 32 verschiedene Karten, 3 Spieler bekommen je 10 Karten. Die restlichen 2 Karten landen im
Skat. Wie gro ist die Wahrscheinlichkeit, da ein Spieler beim Geben alle vier Buben erhalt?
Moglicher Ansatz:
=^ alle moglichen (10; 10; 10; 2)-Aufteilungen
=
4
(S ; : : :; S ) : X
Si = S; jS1 j = : : : = jS3j = 10
1
4
i=1
wobei S die Menge der Karten des Kartenspiels ist.
A =^ ein Spieler erhalt alle vier Buben B1 ; : : :; B4 2 S
= A1 + A2 + A3
mit Ai =^ i ter Spieler erhalt alle vier Buben, d.h.
12 2 und somit
Es folgt jAj = 3 jA1j = 3 286 22
10 10 2
12 2 3 28
3 286 22
j
A
j
10! 22! = 63 1
P(A) = j
j = 32 2210 1210 22 = 326 = 3 6!28! 22!
32!
3596 57
Ai = (S1 ; : : :; S4) 2 : fB1 ; : : :; B4g 2 Si :
10 10 10 2
10
1 WAHRSCHEINLICHKEITSRAUME
15
Beispiel 1.23:
Gleichzeitiger Wurf von drei fairen Wurfeln. Sind die Wahrscheinlichkeiten fur Augensumme 11 und 12
gleich?
P
Augenpaare
11 (641) (632) (551) (542) (533) (443)
12 (651) (642) (633) (552) (543) (444)
P
P
Chevalier de Mere war sicher, da P( = 11) > P( = 12). Die richtige Erklarung von Pascal:
:= f! 2 0 : !1 !2 !3 g
mit 0 := f1; : : :; 6g3
Wahlt man , so ist (
; P) kein Laplace-Experiment, wohl aber (
0 ; P0). Denkt man sich die Wurfel
unterscheidbar, so steckt zum Beispiel hinter
(641) 2 einer von (641); (614); (461); (416);(146);(164)
(533) 2 einer von (533); (353); (335)
(444) 2 einer von (444) in 0
Dann ist
3
jf!0 2 0 : P !0i = 11gj
P
P
i=1
=
P( = 11) = P0( = 11) =
j
0 j
= 613 6 jf(641); (632); (542)gj + 3 jf(551); (533); (443)gj = 27
63 = 0:125
P
P
P( = 12) = P0( = 12) = 613 6 3 + 3 2 + 1 1 = 25
63 0:116
Kombinatorische Hilfsmittel:
Denition/Lemma 1.24:
Seien r; n 2 N; M = fx1; : : :; xng und
M r := M
| :{z: : M}
r mal
:= (a1 ; : : :; ar ) 2 M r : ai 6= aj fur i 6= j; i; j 2 f1; : : :; rg
K r := (xj1 ; : : :; xjr ) 2 M r : i1 : : : ir
K (r) := (x ; : : :; x ) 2 M r : i < : : : < i :
M (r)
j1
jr
1
Dann heit jedes r-Tupel (a1 ; : : :; ar ) 2
(a)
(b)
(c)
(d)
M r r-Permutation mit Wiederholung,
M (r) r-Permutation ohne Wiederholung (falls r n),
K r r-Kombination mit Wiederholung,
K (r) r-Kombination ohne Wiederholung (falls r n).
Es gilt:
(a) jM r j = nr
(b) jM (r)j = (nn!1)! = r! nr
r
1 WAHRSCHEINLICHKEITSRAUME
(c) jK r j = n+rr 1 = n+n r 1 1
(d) jK (r) j = nr ,
16
d.h. aus einer Menge M = fx1; : : :; xng kann man auf
(a)
(b)
nr verschiedene Arten geordnete Proben mit Wiederholung vom Umfang r entnehmen,
n!
(n r)! verschiedene Arten geordnete Proben ohne Wiederholung vom Umfang r entnehmen,
(c) n+rr 1 verschiedene Arten ungeordnete Proben mit Wiederholung vom Umfang r entnehmen,
(d) nr verschiedene Arten ungeordnete Proben ohne Wiederholung vom Umfang r entnehmen.
Seien weiter ij 2 N; j = 1; : : :; r; mit
Pr i n und
j
j =1
Qi1 ;:::;ir = (M1 ; : : :; Mr ) : Mj M paarw. disjunkt, jMj j = ij ; j = 1; : : :; r
Dann gilt
Pr 1 n!
(e) jQi1;:::;ir j = in1 n i2i1 n ii13 i2 n irj=1 ij =
i1 !:::ir !(n
Falls
Pr i = n ist, so heit
j
j =1
n n!
i1 ir := i1 !:::ir !
Pr ij )!
j=1
Multinominalkoezient.
Bemerkung 1.25:
Es sei eine Urne mit den Kugeln 1; : : :; n gegeben. Es werden r Ziehungen durchgefuhrt.
(a)
(b)
(c)
(d)
Ziehen mit Zurucklegen mit Berucksichtigung der Reihenfolge entspricht M r .
Ziehen ohne Zurucklegen mit Berucksichtigung der Reihenfolge entspricht M (r) .
Ziehen mit Zurucklegen ohne Berucksichtigung der Reihenfolge entspricht K r .
Ziehen ohne Zurucklegen ohne Berucksichtigung der Reihenfolge entspricht K (r) .
Beispiel:
Sei n = 3; r = 2 und M = f1; 2; 3g.
Beispiel
(a)
(b)
(c)
(d)
Augenpaare
(11); (12); (13); (21); (22); (23);(31);(32); (33)
(12); (13); (21); (23); (31); (32)
(11); (12); (13); (22); (23); (33)
(12); (13); (23)
Bemerkung 1.26:
Formel
nr = 32 = 9
n!
3!
(n r)! = 1! = 6
n+r 1 = 4 = 6
2
r
n = 3 = 3
r
2
Seien i 6= =0 Mengen mit j
ij = ni 2 N fur i = 1; : : :; n. Es sei = 1 : : : n. Dann ist
j
j =
n
Y
i=1
j
ij =
Yn
i=1
ni:
1 WAHRSCHEINLICHKEITSRAUME
17
Beweis von 1.24:
(a) ist Spezialfall von Bemerkung 1.26.
(b) per Induktion nach r:
n(n 1) : : : (n r + 1) = (n n! r)! = r! nr
(d) jK (r) j ist die Anzahl aller r-elementigen Teilmengen von M. Wegen jM (r)j = r! jK (r) j ist nach (b):
jK (r) j = nr .
(c) Ohne Einschrankung ist M = f1; : : :; rg; a = (a1; : : :; ar ) 2 K r , d.h. a1 : : : ar . Deniere
A := f1; 2; : : :; n + r 1g und dann
Pr (A) := fB : B A; jB j = rg; f : K r ! Pr (A); (a1 ; : : :; ar ) 7! fa1; a2 + 1; : : :; ar + r 1g
Es folgt, da f bijektiv ist, d.h. es gilt bezuglich der Elementanzahl Gleichheit:
(d) n + r 1
r
jK j = jPr (A)j =
r
(e) per Induktion nach r zu zeigen.
Bemerkung 1.27:
Seien A; B Mengen mit jAj = r; jB j = n mit r n und r; n 2 N. Dann gilt
(a) jff : A ! A; f bijektivgj = r!
(b) jff : A ! B; f injektivgj = (nn!r)!
(c) jff : A ! B gj = nr und
(d) jff : B ! A; f surjektivgj =
Pr ( 1)k r (r k)n
k
k=1
Beispiel 1.28 (Geburtstage):
Wie gro ist die Wahrscheinlichkeit, da mindestens zwei von r Personen am gleichen Tag Geburtstag
haben. Dabei sollen Mehrlingsgeburten und Schaltjahre unberucksichtigt bleiben. Es wird angenommen,
da alle moglichen Geburtstage eines Jahres gleichwahrscheinlich sind.
Ansatz: 0 = f1; : : :; ng mit n = 365. Ein i 2 0 entspricht dem i-ten Tag des Jahres. Wir setzen = r0.
Es entspricht ! = (!1 ; : : :; !r ), da die i-te Person am Tag i Geburtstag hat. Dann entspricht Pn;r der
Laplace-Verteilung auf .
E := (!1; : : :; !r ) 2 : 9 i; j 2 f1; : : :; rg mit i 6= j und !i = !j
Gesucht ist Pn;r (E).
E c = (!1 ; : : :; !r ) 2 : 8 1 i < j r : !i = !j
=^ Ziehen ohne Zurucklegen aus 0 mit Berucksichtigung der Reihenfolge
=^ alle i-Permutationen ohne Wiederholung von f!1; : : :; !r g
Somit folgt
c
n(n 1) (n r + 1) =
=
Pn;r (E c ) = jjE
jj = (n n!
r
1 1)!2 n r n 1n n 1
r 1
= 1 n 1 n 1 n = elog(1 n ) : : : elog(1 n ) 1
n
e :::e
r 1
n
= exp
r 1 i!
X
1
= exp 2n r(r 1)
i=1 n
1 WAHRSCHEINLICHKEITSRAUME
und damit insgesamt
Pn;r (E) = 1
18
Pn;r (E c ) 1
r(r 1) exp
So sieht man zum Beispiel, da Pn;r (E) > 12 fur r > 23, oder auch
Pn;r (E)
r
30
0:696
60
0:992
183 1 4:78 10 27
2n
Literatur: Plachky, Baringshaus, Schmitz: Stochastik I, Akad. Verlagsgesellschaft Wiesbaden.
1.4 Elementare bedingte Wahrscheinlichkeiten
Beispiel 1.29:
Frau W. hat gewurfelt und teilt uns nur mit, da sie eine gerade Zahl gewurfelt hat. Wie gro ist die
Wahrscheinlichkeit, da es eine "6\ ist, bzw. da es eine Zahl groer gleich "4\ ist?
Ansatz: = f1; : : :; 6g; P = G(
); A1 = f6g; A2 = f4; 5; 6g und B = f2; 4; 6g.
1
1 B)
P(A1 ) = 61 ; P(A1 jB) = 13 = 61 = P(A
P(B)
2
beziehungsweise
1
2 B)
P(A2 ) = 12 ; P(A2 jB) = 23 = 31 = P(A
P(B)
2
Denition 1.30:
Gegeben sie ein Wahrscheinlichkeitsraum (
; A; P); A; B 2 A und P(B) > 0. Dann heit
P(jB) : A ! [0; 1]; deniert durch P(AjB) := P(AB)
P(B) ;
die (elementare) bedingte Wahrscheinlichkeit von A gegeben B.
Beispiel (Augen- und Haarfarbe, 2 2-Tafel):
Gegeben sei folgende Tabelle der Dortmunder Statistikstudenten (1. Sem) von 1979/80:
P
Haare # nAugen ! blau :blau
schwarz
1
5
6
:schwarz
17 17 34
P
18 22 40
Wie gro ist die Wahrscheinlichkeit, da ein zufallig getroener Dortmunder Statistikstudent mit schwarzen Haaren auch blaue Augen hat? Wir setzen dazu A =^ blaue Augen und B =^ schwarze Haare. Dann
sehen die relativen Haugkeiten folgendermaen aus:
A Ac
B
Bc
1
40
17
40
18
40
5
40
17
40
22
40
6
40
34
40
1
1 WAHRSCHEINLICHKEITSRAUME
Dann ist
19
P(fAugen blaugjfHaare schwarzg) = P(AjB) = P(AB)
P(B) =
1
40
6
40
= 16 :
Lemma 1.31:
Gegeben sei ein Wahrscheinlichkeitsraum (
; A; P); B 2 A mit P(B) > 0. Dann ist ; A; P(jB) wieder
ein Wahrscheinlichkeitsraum mit
P(jB) : A ! [0; 1]; A 7! P(AjB) := P(AB)
P(B) :
Beweis: Sei Q := P(jB). Dann ist Q(=0) = 0 und Q(A) 0 fur alle A 2 A. Sei weiter (An )n2N A
paarweise disjunkt. Dann gilt
P X P n2NAnB X P(AnB) X
X
=
P(A
j
B)
=
Q(An ) ) (m3)
Q
An = P(B) =
n2N P(B)
n2N
n2N
n2N
Es folgt, da Q ein Wahrscheinlichkeitsma uber (
; A) ist.
Satz 1.32 (Multiplikationssatz fur bedingte Ereignisse):
Tn
Gegeben sei ein Wahrscheinlichkeitsraum (
; A; P) und A1 ; : : :; An 2 A mit P( Ai ) > 0. Dann gilt
P
n \n Y
i=1
Ai =
j =1
P Aj j
j\1
i=1
Ai
mit
\0
i=1
i=1
Ai := Beweis per Induktion: Sei n = 1:
\0 P A1j
i=1
1
)
Ai = P(A1j
) = P(A
P(
) = P(A1)
Und fur n = 2 mit 0 < P(A1A2 ) P(A1 ) folgt
1 A2)
P(A2 jA1) = P(A
P(A )
1
und durch Multiplikation mit P(A1) und Anwendung der Denition folgt die Behauptung.
Induktionsschritt n 7! n + 1:
P
n\+1 j =1
Aj = P
\n
j =1
+1 +1 n\
\n \n nY
P Aj j Ai
=
Aj P An+1 j Aj (IV)
Aj \ An+1 (n==2) P
j =1
j =1
j =1
i=1
Beispiel 1.33:
(a) Es sei ein Urne mit r 1 roten und s 1 schwarzen Kugeln gegeben. Wir ziehen zweimal ohne
Zurucklegen. Wie gro ist die Wahrscheinlichkeit, da beide gezogene Kugeln schwarz sind? Wir
gehen das Problem heuristisch, d.h. ohne Spezierung des Modells, an:
Ai =^ i-te gezogenen Kugel ist schwarz
Es ist somit A = A1A2 und
P(A) = P(A1)P(A2 jA1) = r +s s r +s s 1 1
1 WAHRSCHEINLICHKEITSRAUME
20
(b) Reconte-Problem (vgl. Beispiel 1.19):
Bk := fgenau k Briefe im richtigen Umschlagg
Ai := fi-ter Brief im richtigen Umschlagg
Dann ist
n
X
( 1)l l!1 ; Pn (Ai1 Aik ) = (n n! k)!
l=0
Eine Losungsmethode fur P(Bk ) ist mit Hilfe des Multiplikationssatzes:
Pn (B0 ) =
Pn(Bk ) =
=
X
ii1 <:::<ik n
n
Pn(A11 Aik Acik+1 Acin ) =
c
AcnjA1 Ak ) =
k Pn (A1 Ak ) P| n (Ak+1 {z
}
Pn k (C )
n (n k)! nXk ( 1)l 1 nXk ( 1)l
= k
n! l=0 l! = k! l=0 l!
mit C = fkein Brief unter n k landet im richtigen Umschlagg.
Satz 1.34 (Satz von der totalen Wahrscheinlichkeit/totalen Zerlegung):
Gegeben seiPein Wahrscheinlichkeitsraum (
; A; P); A 2 A; (Bn )n2N A mit (Bn ) paarweise diskunkt
sowie A Bn . Dann gilt:
n2N
P(A) =
Beweis: Es ist A X
n2N: P (Bn )>0
P(AjBn)P(Bn ):
P B = A = P AB . Und es folgt
n
n
n2N
n2N
X
X
P(A) = P(
ABn ) =
n2N
P(ABn) =
n2N
X
n2N: P (Bn )>0
P(AjBn)P(Bn )
Satz 1.35 (Bayes'sche Formel):
Seien die Voraussetzungen wie im vorherigen Satz. Sei zusatzlich P(A) > 0. Dann gilt:
k )P(Bk )
PP(AjBP(A
P(Bk jA) =
jBn )P(Bn) 8 k 2 N:
n2N: P (Bn )>0
Haug wir die Bayes'sche Formel nur fur
Beweis:
n2N
k A) (=)
P(Bk jA) = P(B
P(A)
() = Denition von P(j) und Satz 1.34.
Beispiel 1.36:
P B = formuliert.
n
)P(Bk )
PP(ABkP(AB
n )P(Bn )
n2N: P (Bn )>0
Eine Urne enthalt mit einer Wahrscheinlichkeit von 21n ; n 2 N, 2n 1 rote und eine schwarze Kugel.
Die schwarze Kugel ist gezogen worden. Wie gro ist die Wahrscheinlichkeit, da die Urne k rote Kugeln
enthalt?
1 WAHRSCHEINLICHKEITSRAUME
21
Ansatz: = f2n 1 : n 2 Ng fS; Rg. Dann sei
Bn =^ fUrne enthalt 2n 1 rote Kugelng = (2n 1; !2) : !2 2 fS; Rg
Es ist P(Bn ) = 21n . Wir betrachten A =^ fschwarze Kugel gezogeng. Dann ist P(AjBn ) = 21n .
) P(Bn A) = P f(2n 1; S)g = P(AjBn )P(Bn ) = 212n
Zur Kontrolle mu P(
) = 1 sein:
P(
) =
X
n2N
X h 1 + 2n 1 i = 1
2n
22n
n2N 2
P(Bn A) + P(BnAc ) =
Also ist P ein Wahrscheinlichkeitsma uber (
; 2
). Es ist
P(Bn jA) = P(fUrne enthalt 2n 1 rote j schwarze Kugel gezogeng) =
1
P(A
j
B
)P(B
)
n
n
2
= P P(AjB )P(B ) = P 2n1 = 232n
k
k
k 2N
k2N22k
So ist zum Beispiel P(B1 jA) = 43 ; P(B2 jA) = 163 und P(B3jA) = 643 . Es heit P(Bn ) die a-priori
Wahrscheinlichkeit (Vorinformation). Dann heit P(BnjA) die a-posteriori Wahrscheinlichkeit, d.h. das
ist der Kenntnisstand uber die Urne nach einmaligem Ziehen mit Ergebnis "schwarze Kugel gezogen\.
1.5 Stochastische Unabhangigkeit von Ereignissen
Gegeben sei ein Wahrscheinlichkeitsraum (
; A; P) mit A; B 2 A. Wei man schon, da A eingetreten ist, so kann A das Eintreten von B beeinussen, d.h. begunstigen oder benachteiligen (stochastige
Abhangigkeit) oder aber auch nicht (stochastische Unabhangigkeit).
Beispiel 1.37:
Es seien 16 schwarze und 16 weie Schachguren gegeben (vgl. Beispiel 1.33(a)).
(a) Zweimal Ziehen ohne Zurucklegen.
Ai =^ fi-te gezogene Figur ist schwarzg; i = 1; 2:
Es ist P(A1) = P(A2) = 12 . Dann ergibt sich
15 < P(A );
P(A2jAc1) = 16
P(A2jA1) = 31
2
31 > P(A2):
(b) Zweimal Ziehen mit Zurucklegen.
P(A2jA1) = 12 = P(A2);
P(A2jAc1) = 12 = P(A2):
Es ist
2 A1) ) P(A A ) = P(A )P(A ):
P(A2 jA1) = P(A
1 2
1
2
P(A )
1
Denition 1.38:
Gegeben sei ein Wahrscheinlichkeitsraum (
; A; P) und A; B 2 A. Dann heien A und B stochastisch
unabhangig (unter P) genau dann, wenn
P(AB) = P(A)P(B):
1 WAHRSCHEINLICHKEITSRAUME
22
Beispiel 1.39:
(i) Falls P(B) > 0, dann gilt:
P(AB) = P(A)P(B) () P(AjB) = P(A):
Entsprechendes gilt fur P(A) > 0.
(ii) Ist P(B) 2 f0; 1g, so folgt P(AB) = P(A)P(B), denn
P(B) = 0 ) 0 P(AB) P(B) = 0 = P(A)P(B)
P(B) = 1 ) P(B c ) = 0 ) P(AB c ) = 0 ) P(AB) = P(AB) + P(AB c ) = P(A) = P(A)P(B)
(iii) Sind A und B stochastisch unabhangig, so sind auch A; B c ; Ac ; B und Ac ; B c stochastisch unabhangig, denn
P(AB c ) = P(A) P(AB) = P(A) P(A)P(B) = P(A) 1 P(B) = P(A)P(B c )
Die anderen Falle sind damit auch gezeigt.
Eine Frage ist jetzt, wie man fur endlich (abzahlbar) viele Ereignisse die stochastische Unabhangigkeit
deniert.
Beispiel 1.40:
Wir ziehen einmal aus einer Urne mit den Kugeln mit Nummern 1; : : :; 4. Wir setzen = f1; : : :; 4g
und P = G(
). Seien A = f1; 2g; B = f1; 3g und C = f1; 4g. Wie sofort ersichtlich, sind A; B und C
paarweise stochastisch unabhangig, d.h.
P(AB) = P(A)P(B) = 14 ; (etc.)
Aber es ist
1 1 1 = 1 > 1 = P(C);
=
P(C jAB) = P(ABC)
P(AB) 4 4
2
d.h. C ist nicht stochastisch unabhangig von A und B, d.h. A \ B:
1 = P(ABC) 6= P(A)P(B)P(C) = 1
4
8
Denition 1.41 (Stochastische Unabhangigkeit von endlich (abzahlbar) vielen Ereignissen):
Gegeben sei ein Wahrscheinlichkeitsraum (
; A; P). Weiter seien A1 ; : : :; An 2 A mit (Ai )i2I 2 A, wobei
I eine abzahlbare Indexmenge ist.
(a) A1 ; : : :; An heien stochastisch unabhangig (unter P) genau dann, wenn
8 J f1; : : :; ng; jJ j 2 :
P
\ Y
j 2J
Aj =
j 2J
P(Aj )
(b) Ai ; i 2 I; heien stochastisch unabhangig (unter P) genau dann, wenn
\ Y
8 J I; 2 jJ j < 1 : P
Aj = P(Aj )
j 2J
j 2J
Beispiel 1.42:
(a) Eine abzahlbare Familie von Ereignissen ist genau dann stochastisch unabhangig, wenn jede endliche
Teilfamilie stochastisch unabhangig ist.
(b) Sind (Ai )i2I stochastisch unabhangig, dann sind (Ai )i2I paarweise stochastisch unabhangig.
1 WAHRSCHEINLICHKEITSRAUME
23
Lemma 1.43:
Gegeben sei ein Wahrscheinlichkeitsraum (
; A; P), Ai 2 A; Di 2 fAi; Aci g fur i = 1; : : :; n. Dann sind
aquivalent:
(a) A1 ; : : :; An stochastisch unabhangig,
(b) D1 ; : : :; Dn stochastisch unabhangig,
(c) Fur alle (E1 ; : : :; En) 2 ni=1 fAi ; Acig gilt:
P
n
\n Y
i=1
Ei =
i=1
P(Ei)
Lemma 1.44:
Gegeben sei ein Wahrscheinlichkeitsraum (
; A; P). Es seien A1 ; : : :; An 2 A stochastisch unabhangig.
Dann gilt:
n
[n
Y
P
Ai ) = 1
1 P(Ai) :
Beweis:
P
[n i=1
i=1
i=1
Ai = 1 P
\n c
i=1
Ai = 1
n
Y
i=1
P(Aci ) = 1
Yn
i=1
1 P(Ai )
Beispiel 1.45 (n-facher Munzwurf, Binominalverteilung):
Eine Munze wird n-mal geworfen, das Ergebnis eines Wurfes ist 1 bzw. 0 mit der Wahrscheinlichkeit p
bzw. 1 p. Wir setzen an: = f0; 1gn; A = 2
; ! = (!1; : : :; !n) 2 . Es sei Ai = f! 2 : !i = 1g.
Also ist P(Ai ) = p und P(Aci) = 1 p. Sei ! 2 mit !i1 = : : : = !ik = 1 und !j1 = : : : = !jn k = 0 mit
fi1 ; : : :; ik g + fj1 ; : : :; jn k g = f1; : : :; ng.
Ansatz:
P(f!g) = P(Ai1 Aik Acj1 Acjn k ) :=
k
Y
r=1
P(Air )
nYk
s=1
P(Acjs ) = pk (1 p)n k
d.h. es ist unabhangig von der Reihenfolge der Nullen und Einsen. Es gibt nk ! 2 mit k Einsen und
(n k) Nullen. Wir setzen
Bk =^ fk mal die 1, (n k) mal die 0g
Somit folgt:
P(Bk ) = nk pk (1 p)n k
Zur Sicherheit nochmal eine Kontrollrechnung:
P(
) = P
n
n
X
X
k=0
Bk =
k=0
P(Bk ) =
n n
X
k
k=0
n k
k p (1 p) = 1:
P heit Binominalverteilung mit Parameter n und p, kurz P = B(n; p), mit n 2 N und p 2 [0; 1].
Anwendung:
Eine Maschine produziert Schrauben. Die Ausschuquote der Maschine sei 10 Prozent (Erfahrungswert,
empirische Wahrscheinlichkeit). Gesucht ist die Wahrscheinlichkeit, da unter drei willkurlich gezogenen
Schrauben hochstens eine defekt ist.
1 fur i = 1; 2; 3
Ai =^ i-te Schraube ist defekt;
P(Ai) = 10
B0 =^ keine Schraube ist defekt
B1 =^ genau eine Schraube ist defekt
1 WAHRSCHEINLICHKEITSRAUME
24
P(B0 ) + P(B1 ) = 30 p0(1 p)3 0 + 31 p1(1 p)3 1 97; 2 %
1.6 Diskrete Wahrscheinlichkeitsverteilungen
Denition 1.46:
(
; 2
; P) bzw. (
; P) heit diskreter Wahrscheinlichkeitsraum genau dann, wenn
(i) Es existiert ein p : ! [0; 1] mit
0 := f! 2 : p(!) > 0g =
6 0
d.h. 0 ist hochstens abzahlbar unendlich.
(ii) Es ist deniert
X
p(!) :=
! 2
(iii) Fur alle E gilt
P(E) =
X
! 2E
X
!2
0
p(!) :=
und j
0j jNj;
p(!) = 1
X
!2E 0
p(!)
P heit diskretes Wahrscheinlichkeitsma (Wahrscheinlichkeitsverteilung, Verteilung) auf . p heit diskrete Wahrscheinlichkeitsdichte (Zahldichte) von P. 0 heit Trager von P.
Beispiel 1.47:
(a) Bernoulli-Verteilung: B(1; p); p 2 [0; 1]; ~ = f0; 1g 0. Es ist p(0) = 1 p; p(1) = p und
p(!) = 0 fur alle ! 2 n 0. So sei zum Beispiel das Geschlecht eines Neugeborenen 1 fur mannlich
und 0 fur weiblich, dann ist p 0:513.
(b) G(
0); j
0j < 1, Gleichverteilung auf 0 (vgl. 1.2).
(c) Verteilung der Augensumme von 2 (bzw. n) Wurfeln.
1 ; p(3) = 2 ; (etc.)
0 = f2; 3; : : :; 12g; p(2) = 36
36
(d) Binominalverteilung B(n; p); n 2 N; p 2 [0; 1] (vgl. Bsp. 1.45):
0 ~ = f0; 1; : : :; ng; p(k) = nk pk (1 p)n k ;
k 2 f0; : : :; ng
Beachte: Fur p = 0 ist 0 = f0g, fur p = 1 ist 0 = fng.
(e) Geometrische Verteilung: NB(1; p) mit p 2 (0; 1]; 0 = N0 und p(i) = p(1 p)i mit i 2 N0.
Beispiel: Wure so lange, bis die erste "6\ erscheint. Notiere als Ergebnis die Anzahl der Wurfe
ohne eine "6\.
! =^ (Anzahl der Wurfe bis zur ersten sechs) 1
Annahme: Die Wahrscheinlichkeit fur eine "6\ ist p 2 (0; 1]
) P(fig) = p(1 p)i ;
i 2 N0
1 WAHRSCHEINLICHKEITSRAUME
25
(f) Negative Binominalverteilung NB(m; p) mit m 2 N; p 2 (0; 1] und 0 N0. Es ist fur alle i 2 N0:
p(i) = mm 1 +1 i pm (1 p)i
(Verallgemeinerung von (e))
Beispiel: Wurfel so lange, bis die m-te 6 erscheint. Es bezeichne ! die Anzahl der Wurfe, bis die
m-te 6 erscheint, minus 1. Ferner ist P(fig) = p(i).
(g) Hypergeometrische Verteilung H(n; m; k) mit m n; k n und 0 ~ = f0; 1; : : :; ng. Dann ist
8
>
<
p(i) = >
:
m n m
i k i
n
k
0
falls maxf0; k + m ng i minfm; kg
sonst
Beispiel (Ziehen ohne Zurucklegen): Eine Urne enthalt n Kugeln, davon m rote und n m schwarze.
Ziehe eine Kugel ohne Zurucklegen. Dann ist p(i) die Wahrscheinlichkeit dafur, i rote und k i
schwarze Kugeln zu ziehen.
Beispiel (Qualitatskontrolle): Warensendung mit n Stuck, davon m schlechte und n m gute Stucke.
Pk
(h) Multinominalverteilung M(n; p1; : : :; pk) mit n; k 2 N; k 2; pj 2 [0; 1] und pj = 1. Es sei
j =1
0 ~ = f0; 1; : : :; ngk. Dann ist
8
>
<
p(i1 ; : : :; ik ) = >
:
k ij
n Q
i1 ik j =1 pj
0
falls
sonst
Pk i = n
j
j =1
wobei i n i := Qkn! Multinominalkoezient heit.
1
k
ij !
j =1
P6
Beispiel: n-mal Wurfeln mit p(i) fur die Wahrscheinlichkeit, eine i zu wurfeln. Es sei pi = 1.
i=1
Dann ist p(i1 ; : : :; i6 ) die Wahrscheinlichkeit dafur, da i1 mal die 1, : : :, i6 mal die 6 gewurfelt wird.
(i) Poisson-Verteilung Po() mit 2 [0; 1); 0 ~ = N0. Dann ist
2
p(i) = e i!
(i 2 N0)
(Verteilung seltener Ereignisse)
Satz 1.47 (Poisson'scher Grenzwertsatz,
Poisson 1832):
Seien Pn = B(n; pn ) mit pn = n ; > 0; n 2 N und sei P = Po(). Dann gilt fur alle k 2 N0:
lim P (fkg) = P(fkg):
n!1 n
Beweis: Wegen pn ! 0 folgt, da k 2 N ist.
n
k
k (1 pn )n k = 1 lim 1 npn n k Y lim (n k + j)pn =
p
lim
P
(
f
k
g
)
=
lim
n
n!1
n!1 k n
n!1
k! n!1
n
j =1
= k!1 e k = P(fkg)
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
26
2 Zufallsvariable und Integrationstheorie
2.1 Zufallsvariable und stochastische Unabhangigkeit
Ereignisse im Zufallsexperiment lassen sich oft einfacher darstellen, wenn man Funktionen zu Hilfe nimmt.
Betrachte zum Beispiel den n-fachen Munzwurf: = f0; 1gn; p(!) = 21n . Es sei
n
Ak =^ fmindestens k mal die 1g = ! 2 :
n
X
!i k
o
| {z }
i=1
=:X (!)
mit X : ! f0; 1; : : :; ng. Schon beim Kodieren wurden Funktionen eingesetzt, zum Beispiel fW; Z g !
f0; 1g.
Denition 2.1:
Ist (
; 2
; P) ein diskreter Wahrscheinlichkeitsraum, so heit jede Abbildung X : ! X eine X -wertige
Zufallsvariable auf (
; 2
; P). Dabei ist X eine Menge mit X =
6 =0. Jedes Ereignis der Gestalt
f! 2 : X(!) 2 B g =: X 1 (B) =: fX 2 B g
mit B 2 2X heit ein durch X-beschriebenes Ereignis. Wahrscheinlichkeiten schreibt man kurz
P(f! 2 : X(!) 2 B g) = P X 1 (B) =: P(X 2 B)
Bemerkung 2.2:
Seien ; X 6= =0 und X : ! X . Dann heien X(A) := fX(!) : ! 2 Ag Bild von A und
X 1 (B) := f! 2 : X(!) 2 B g Urbild von B X . Die zugehorige Abbildungen X : 2
! 2X
und X 1 : 2X ! 2
heien Fortsetzung von X j
zu X j2
bzw. Umkehrabbildung (Urbildabbildung,
Urbildfunktion). Es gilt
(i) Fur alle B X gilt X X 1 (B) B. Gleichheit gilt genau dann, wenn X surjektiv ist.
(ii) Fur alle A gilt X 1 X(A) A. Gleichheit gilt genau dann, wenn X j
injektiv ist.
WARNUNG: Verwechsle niemals X
Abbildungen f : ! X .
1
: 2X ! 2
mit der inversen Abbildung f
1
: X ! fur bijektive
Lemma 2.3 (Operationstreue der Umkehrabbildung):
Seien ; X =
6 =0; X : ! X und Bi X fur i 2 I (beliebige Indexmenge). Dann gilt
S S 1
Bi = X (Bi )
i2I
i2I
(b) X 1 (Bic ) = X 1 (Bi ) c
(a) X
1
(c) X 1 (=0) = =0 und X 1 (X ) = (d) Ist Bi Bj , so folgt X 1 (Bi ) X 1 (Bj )
T T 1
Bi = X (Bi )
i2I
i2I
P B = P X 1(B ), falls B paarweise disjunkt sind.
(f) X 1
i
i
i
(e) X
1
i2I
i2I
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
27
Lemma 2.4 (Urbildabbildung einer Komposition):
Seien die Voraussetzungen des Lemmas 2.3 erfullt sowie T : X ! T . Dann gilt
(T X ) 1 = X 1 T 1
Lemma 2.5:
Sei X eine X -wertige Zufallsvariable auf einem diskreten Wahrscheinlichkeitsraum (
; 2
; P). Dann ist
P X diskretes Wahrscheinlichkeitsma auf (X ; 2X ), wobei fur alle B 2 2X gilt
P X (B) := P X 1 (B) :
Bemerkung:
Ist (
; A; P) ein beliebiger Wahrscheinlichkeitsraum, also nicht notwendig diskret, so lat sich P X 1 (B)
nur dann berechnen, wenn X 1 (B) 2 A ist, da P() nur auf A deniert ist. Dies fuhrt zum Begri der
mebaren Abbildungen.
Denition 2.6:
Gegeben seien die Maraume (
; A) und (X ; B).
(a) Jede Funktion f : ! X heit A-B-mebar (kurz: mebar) genau dann, wenn fur alle B 2 B gilt:
f 1 (B) 2 A:
Kurz: f : (
; A) ! (X ; B).
(b) Ist zusatzlich P ein Wahrscheinlichkeitsma uber (
; A), so heit dann jede mebare Abbildung
X : (
; A) ! (X ; B) eine (X -wertige) Zufallsvariable.
(c) Seien die Voraussetzungen von (b) erfullt. Es sei weiter X : (
; A) ! (X ; B) gegeben. Dann heit
P X : B ! [0; 1], deniert durch
8 B 2 B P X (B) := P X 1 (B) ;
Bildma oder Verteilung von X.
Lemma 2.7:
Mit den Bezeichnungen von Denition 2.6 ist (X ; B; P X ) ein Wahrscheinlichkeitsraum.
Bemerkung:
Ist X Teilmenge von : : :, so heit X : : : Zufallsvariable.
8Z
>
>
<R
X > R := [ 1; +1]
k
>
:R
8 ganzzahlige
>
>
< reelle
X > numerische
>
: vektorwertige, k-dimensionale
!
diskrete
I abz.
Beispiel 2.8:
(a) Wir wurfeln zweimal. Angenommen = f1; : : :; 6gn; P = G(
). Wir setzen X(!) = !1 +!2 . Dann
ist X = f2; : : :; 12g; X : ! X und
8
<
P X (fxg) = :
i
36
13 i
36
falls i 2 f2; : : :; 7g
falls i 2 f8; : : :; 12g
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
28
(b) (Indikatorfunktion) Sei (
; A; P) ein beliebiger Wahrscheinlichkeitsraum, A 2 A und X := IA , also
ist X : (
; A) ! (f0; 1g; 2f0;1g) und
P X = B(1; p)
mit p := P(A) = P X 1 (f1g) :
Bemerkung:
Es ist IA A-2f0;1g-mebar genau dann, wenn A 2 A. IA ist (fAg)-2f0;1g-mebar. Dabei ist (fAg) =
f=0; A; Ac; g.
Bemerkung 2.9 (Mebarkeit):
(a) Seien (
; A) und (
0 ; A0) Meraume und E 2
0 mit A0 = (E 0). Dann ist f genau dann A-A0 mebar, wenn fur alle A0 2 E 0 gilt: f 1 (A0 ) 2 A.
(b) Seien f1 : (
1 ; A1) ! (
2; A2) und f2 : (
2 ; A2) ! (
3 ; A3). Dann ist f2 f1 A1 -A3 -mebar.
(c) Jede stetige Abbildung f : Rp ! Rq ist B p -B q -mebar (kurz: Borel-mebar).
(d) Ist (
; A) ein Meraum, f : ! R, und sei B = B [ f 1g; f+1g . Dann ist die A-B Mebarkeit von f aquivalent mit jeder der Bedingungen
(i) Fur alle 2 R ist ff g A. Dabei ist ff g := f! : f(!) g.
(ii) Fur alle 2 R ist ff > g A.
(iii) Fur alle 2 R ist ff g A.
(iv) Fur alle 2 R ist ff < g A.
(e) Seien f; g : ! R A-B -mebar, dann gilt
(i) ff < gg; ff gg; ff > gg; ff gg 2 A.
(ii) f g und f + g sind A-B -mebar.
(f) Ist fn : ! R A-B -mebar fur alle n 2 N. Dann sind auch
sup fn ; ninf
!1 fn ; nlim
!1 sup fn und
n!1
lim inf fn A-B -mebar.
n!1
(g) Gegeben seien die Meraume (
i ; Ai); i 2 I, und fi : ! i . Dann gilt:
A := A(fi : i 2 I) := S fi 1 (Ai )
i2I
ist die kleinste -Algebra, fur die jedes fi A-Ai -mebar ist. Es heit A(fi : i 2 I) die von fi ; i 2 I,
erzeugte -Algebra. Dabei ist
fi 1 (Ai ) = ffi 1 (B) : B 2 Ag:
Um stochastische Unabhangigkeit von Zufallsvariablen denieren zu konnen, sind noch einige Vorbereitungen notwendig.
Denition 2.10 (Stochastische Unabhangigkeit von Mengensystemen):
Gegeben sei ein Wahrscheinlichkeitsraum (
; A; P), eine beliebige Indexmenge I und weiter Ei A fur
i 2 I. Dann heien die Mengensysteme (Ei )i2I stochastisch unabhangig, falls fur alle endlichen I0 I
gilt:
8 i 2 I0 : 8 Ai 2 Ei :
P
\ Y
i2I0
Ai =
i2I0
P(Ai):
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
29
Bemerkung 2.11:
Denition 2.10 ist eine Verallgemeinerung von Denition 1.41. Gegeben sei ein Wahrscheinlichkeitsraum
(
; A; P) und A1 ; : : :; An 2 A. Dann gilt:
A1 ; : : :; An stoch. unabh. im Sinne von Def. 1.41 (a) ()
() fA1 g; : : :; fAng stoch. unabh. im Sinne von Def. 2.10
U
()
f=0; A1; Ac1; g; : : :; f=0; An; Acn; g stoch. unabh. im Sinne von Def. 2.10
Denition 2.12 (von X erzeugte -Algebra):
Gegeben seien die Meraume (
; A) und (
0 ; A0) sowie X : (
; A) ! (X ; B ). Dann heit
(X) := X 1 (B ) := fX 1 (B) : B 2 B g
die von X erzeugte -Algebra oder Urbild--Algebra.
Bemerkung:
(a) (X) ist eine -Algebra uber :
(1) X 1 (X ) = 2 (X)
(2) Sei B 2 B mit X 1 (B) 2 (X) ) X 1 (B) = X 1 (
| {z B}) 2 (X)
2B
(3) Sei (Bn )n2N B. Dann folgt
[
1
|X {z(Bn}) = X
n2N 2(X )
1
[
Bn 2 (X)
n| 2N
{z
2B
}
(b) Es gilt (X) A, da X A-B-mebar ist nach Voraussetzung.
Denition 2.14:
Gegeben sei ein Wahrscheinlichkeitsraum (
; A; P), I eine beliebige Indexmenge und Xi : (
; A) !
(Xi ; B i ) fur i 2 I. Dann heit die Familie (Xi )i2I von
Zufallsvariablen stochastisch unabhangig, falls die
Familie der von ihnen erzeugten -Algebren (Xi ) i2I stochastisch unabhangig ist.
Beispiel 2.15:
Gegeben sei ein Wahrscheinlichkeitsraum (
; A; P); A1 ; : : :; An 2 A und Xi = IAi . Dann gilt:
X1 ; : : :; Xn stochastisch unabhangig () f=0; A1 ; Ac1; g; : : :; f=0; An; Acn; g stochastisch unabhangig
() A1 ; : : :; An stochastisch unabhangig
Bemerkung 2.16:
Unter den Voraussetzungen von Denition 2.14 sind die Xi ; i 2 I, also genau dann stochastisch unabhangig, falls fur alle endlichen I0 I gilt:
8 i 2 I0 ; 8 Bi 2 B i :
P
\
i2I0
Y
Xi 1 (Bi ) =
bzw. aquivalent
P(Xi 2 Bi ; i = 1; : : :; n) =
Y
i2I0
i2I0
P Xi 1 (Bi ) :
P(Xi 2 Bi ):
(1)
(2)
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
30
Der folgende Satz zeigt, da (1) bzw. (2) nicht fur alle Bi 2 B i uberpruft werden mu.
Satz 2.17:
Gegeben sei ein Wahrscheinlichkeitsraum (
; A; P) und Zufallsvariablen Xi : (
; A) ! (Xi ; B i ) fur alle
i = 1; : : :; n. Weiter sei Di ein durchschnittsstabiler Erzeuger von B i ; i = 1; : : :; n (d.h. B i = (Di ) und
mit Dr ; Ds 2 Di ist auch Dr Ds 2 Di ) mit i 2 Di ; i = 1; : : :; n. Dann sind aquivalent
(a) X1 ; : : :; Xn stochastisch unabhangig
(b) Fur alle i = 1; : : :; n und alle Di 2 Di gilt:
P
\n
i=1
Yn
Xi 1 (Di ) =
i=1
P Xi 1 (Di ) :
Bemerkung 2.18:
Wird ein statistisches Experiment n mal wiederholt, so geht man haug davon aus, da sich die Ergebnisse
bzw. Wiederholungen nicht gegenseitig beeinussen (Beispiel n-facher Munzwurf). Man nimmt dann
an, da die Mewerte Realisierungen von stochastisch unabhangigen Zufallsvariablen X1 ; : : :; Xn sind,
die einem bestimmten Verteilungsgesetzt gehorchen. Beim n-fachen Munzwurf ware zum Beispiel das
Ergebnis des i-tes Wurfes die Realisation Xi (!) = f0; 1g einer Zufallsvariable Xi mit
P Xi = B(1; p)
(kurz Xi B(1; p)). Die Annahme der stochastischen Unabhangigkeit der Xi fuhrt zu
P(Xj = ij ; j = 1; : : :; n) := P
=
f0; 1gn.
\n
j =1
Yn
j =1
Yn
f! : Xj (!) = j g =
Pn ij
j =1
P Xj (fij g) = pj=1 (1 p)
n
P f! : Xj (!) = ij g =
Pn ij
j=1
fur (i1 ; : : :; in ) 2
Dabei wird der ursprungliche Wahrscheinlichkeitsraum (
; A; P) nicht weiter
speziziert. Man fordert einfach, da die Xi stochastisch unabhangig und A-2f0;1g-mebar sind, d.h.
Xi : (
; A) ! (f0; 1g; 2f0;1g):
Ist man zum BeispielPan der Anzahl der geworfenen Einsen interessiert, so deniert man sich eine neue
Zufallsvariable Y = ni=1 Xi . Man erhalt fur k = 0; 1; : : :; n:
P(Y = k) = P
=
n
X
i=1
Xi = k = P
X
(j1 ;:::;jn )2f0;1gn
j1 +:::+jn =1
X
(j1 ;:::;jn )2f0;1gn
j1 +:::+jn =1
fXi = ji : i = 1; : : :; ng =
n
P(Xi = ji : i = 1; : : :; n) = k pk (1 p)n k
d.h. Y ist eine Binominalverteilung, Y B(n; p). Setzt man X = (X1 ; : : :; Xn), so ist X eine mebare
Abbildung von (
; A; P) nach X = f0; 1gn, d.h. X : (
; A) ! (X ; 2X ). Es heit dann P X uber (X ; 2X )
gemeinsame Verteilung der Xi ; i = 1; : : :; n; sie ist gegeben durch
n
Y
P Xj fij g
P X f(i1 ; : : :; in )g =
j =1
(da die Xi stochastisch unabhangig sind). P X heit auch Produktma und man schreibt
PX =
n
O
i=1
P Xi :
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
31
(X ; 2X ; P X ) heit Produktraum mit X = |f0; 1g :{z: : f0; 1g} und
n mal
2X = fA1 : : : An : Ai 2 2f0;1g 8 i = 1; : : :; ng :
Letztlich kann man sagen: Bei gegebenen diskreten Wahrscheinlichkeitsraumen (
i ; 2
i ; Pi) gibt es also
keine Schwierigkeit, einen Produktraum zu denieren. Manchmal ist die Situation schwieriger. Wie ist
zum Beispiel ein Produktma zu denieren?
Denition 2.19:
Gegeben seien die Maraume (
i ; Ai); i = 1; : : :; n und = ni=1 i . pri : ! I deniert durch
pri(!) = !i (Projektionsabbildung). Dann heit
A :=
n
O
i=1
Ai := (pri : i = 1; : : :; n)
Produkt--Algebra.
Bemerkung 2.20:
(a)
Nn A ist also die kleinste -Algebra, bzgl. der die Projektionsabbildungen pr : ! A-A i
i
i
i
i=1
mebar sind.
(b) Falls Ei 2
i mit (Ei ) = Ai und es existiert (Eij )j 2N Ei mit Eij " i. Dann gilt
n
O
i=1
Ai = fE1; : : :; En : Ei 2 Ei 8 i = 1; : : :; ng
Resultat aus der Matheorie:
Satz 2.21:
Gegeben seien die -endlichen Maraume (
i ; Ai; i) fur i = 1; : : :; n (d.h. i -endlich, also 9 (Aij )j 2N
mit Aij " i und i (Aij ) < 1). Dann gibt es genau ein Ma
:=
n
O
i=1
i = 1 2 : : : n auf (
; A) = ni=1 i ;
n
O
i=1
Ai ;
das sogenannte Produktma der i , so da gilt
(A1 : : : An ) =
n
Y
j =1
j (Aj )
8 i = 1; : : :; n; 8 Ai 2 Ai :
Denition 2.22:
Fur je endlich viele -endliche Maraume (
i ; Ai; i ); i = 1; : : :; n; heit
n n
O
O
n
i=1 i ; Ai ; i
i=1
i=1
Nn
Maraume. Bezeichnung (
i ; Ai ; i).
i=1
das Produkt dieser
Bemerkung 2.23:
Sind die i in Satz 2.21 Wahrscheinlichkeitsmae Pi , also insbesondere -endlich (da P(
i) = 1 < 1),
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
32
so erhalt man das eindeutig bestimmte Produktwahrscheinlichkeitsma
P :=
n
O
i=1
Pi :
Damit zuruck zu den Zufallsvariablen. Wir machen eine Vorbetrachtung: Gegeben sei ein Wahrscheinlichkeitsraum (
; A; P) und Xi : (
; A) ! (
i ; Ai); i = 1; : : :; n. Deniere X = (X1 ; : : :; Xn) : ! ni=1 i
vermoge X(!) = (X1 (!); : : :; Xn (!)). Dann gilt fur jede Menge B1 : : : Bn mit Bi 2 Ai fur alle i:
X 1 (B1 : : : Bn ) = X1 1 (B1 ) \ : : : \ Xn 1 (Bn ) 2 A
(3)
Nn
d.h. wegen Bemerkung 2.9 (a) ist X A- Ai -mebar. Insbesondere sind damit die Verteilungen P Xi der
i=1
Xi und P X von X deniert. P X = P (X1 ;:::;Xn ) heit die gemeinsame Verteilung der X1 ; : : :; Xn.
Der folgende Satz gibt Auskunft daruber, wann X1 ; : : :; Xn stochastisch unabhangig sind.
Satz 2.24:
Gegeben sei ein Wahrscheinlichkeitsraum (
; A; P) und Zufallsvariablen Xi : (
; A) ! (Xi ; Bi) fur i =
1; : : :; n. Dann gilt:
X1 ; : : :; Xn stochastisch unabhangig () P (X1 ;:::;Xn ) =
n
O
i=1
P Xi
Beweis: Fur i = 1; : : :; n sei Bi 2 Bi . Dann folgt mit X = (X1 ; : : :; Xn ) wegen (2.3)
P X (B1 : : : Bn ) = P X 1 (B1 : : : Bn ) = P
\n
i=1
1
X
X
sowie P i (Bi ) = P Xi (Bi ) . P ist genau dann das Produktma der P Xi
beliebige Bi 2 Bi gilt:
P X (B1 : : : Bn ) = P X1 (B1 ) : : : P Xn (Bn ):
A quivalent dazu ist die Forderung
8 i = 1; : : :; n; 8 Bi 2 Bi :
P
\n
i=1
n
Y
Xi 1 (Bi ) =
i=1
Xi 1 (Bi )
(nach Satz 2.20), wenn fur
P Xi 1 (Bi ) :
Dies ist aber wegen Satz 2.17 (oder auch Bemerkung 2.15) aquivalent zur stochastischen Unabhangigkeit
von X1 ; : : :; Xn .
Bemerkung 2.25:
(a) Satz 2.24 zeigt auch, wie man zu gegebenen Wahrscheinlichkeitsraumen (
i ; Ai; Pi) einen Wahrscheinlichkeitsraum (
; A; P) und darauf denierte Zufallsvariablen Xi : (
; A) ! (
i ; Ai) deniert,
die stochastisch unabhangig sind und vorgegebenen Verteilungen Pi haben: Wahle
(
; A; P) =
n
O
i=1
(
i ; Ai; Pi)
und Xi := pri .
(b) (vgl. Bemerkung 2.17) Beschreibt jeder der Wahrscheinlichkeitsraume (
i ; Ai; Pi) ein ZufallsexperiNn
ment Zi mit zufalligem Ausgang, so sollte (
i ; Ai; Pi) dasjenige Zufallsexperiment Z beschreiben,
i=1
welches darin besteht, da die einzelnen Zi "ohne gegenseitige Beeinussung\ nacheinander oder
nebeneinander ablaufen. Die Sprechweise "ohne gegenseitige Beeinussung\ wird von nun an ersetzt
durch (stoch.) unabhangig\. Die oben denierten Xi beschreiben den Ausgang des Experimentes
Zi im "Gesamtexperiment Z .
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
33
Beispiel 2.26 (k-Stichprobenmodell):
Wir wollen k 2 Behandlungsmethoden (Kreislaufmittel) vergleichen. Dazu werden n Patienten streng
zufallig in Gruppen vom Umfang ni eingeteilt mit
k
X
i=1
ni = n:
Nach der Behandlung werden die interessanten Merkmale (Blutdruck, Veranderung des Blutdrucks, : : :)
gemessen. Nehmen wir an, es wird nur gepruft, ob das jeweilige Medikament wirkt oder nicht wirkt. Die
Ergebnisse kann man dann als Realisierung von stochastisch unabhangigen B(1; pi )-verteilten Zufallsvariablen auassen.
Modell: Zufallsvariablen Xij B(1; pi ); j = 1; : : :; ni ; i = 1; : : :; k stochastisch unabhangig. Dabei sind
pi 2 [0; 1] die unbekannten Parameter (ni 2 N; i = 1; : : :; k).
1 Behandlung hat bei Patient j in Gruppe n gewirkt
i
Xij (!) = 0 sonst
Fragestellungen, die in der Statistik behandelt werden, sind zum Beispiel, welche Behandlung am besten
ist, ob alle Behandlungen gleich gut sind oder fur welche Behandlung pi 0:90 ist.
Ein nutzliches Hilfsmittel zur Charakterisierung der Verteilung von reellwertigen (oder Rn-wertigen) Zufallsvariablen wird durch die folgende Denition eingefuhrt.
Denition 2.27:
Gegeben sei ein Wahrscheinlichkeitsraum (
; A; P). Dann heit F : R ! [0; 1], deniert durch F(x) :=
P ( 1; x] , die Verteilungsfunktion von P. Ist P := P X die Verteilung einer Zufallsvariablen X :
(
; A) ! (R; B ), so heit F die Verteilungsfunktion von X. Dann ist F(x) = P(X x).
Beispiel 2.28:
(a) Sei P = G([0; 1]), d.h. stetige Gleichverteilung auf [0; 1]. Dann ist
F(x) = x I[0;1] (x) + I(1;1) (x) 8 x 2 R:
(b) Sei X B(1; p); p 2 (0; 1), dann ist
80
x<0
<
F(x) = P X ( 1; x] = P X 2 ( 1; x) = P(X x) = : 1 p 0 x < 1
1
x1
Satz 2.29:
(a) Die Verteilungsfunktion F eines Wahrscheinlichkeitsmaes auf (R; B) hat folgende Eigenschaften:
(i) F ist monoton wachsend,
(ii) F ist rechtsseitig stetig,
(iii) Es gilt x!lim1 F(x) = 0 und xlim
!1 F(x) = 1.
(b) Ist umgekehrt F : R ! [0; 1] eine Funktion mit den Eigenschaften (i) bis (iii), so gibt es ein
Wahrscheinlichkeitsma P auf (R; B ) mit der Verteilungsfunktion F.
Beweis:
(a) Sei F eine Verteilungsfunktion auf (R; B ).
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
34
(i) Sei x < y, dann ist F(x) = P ( 1; x] P ( 1; y] = F(y).
T
(ii) Sei xn # x, dann ist auch ( 1; xn] # ( 1; x], d.h. ( 1; xn] = ( 1; x]. Mit dem Stetign2N
keitssatz (Satz 1.20) folgt
= P ( 1; x] = F(x)
lim
F(x
)
=
lim
P
(
1
;
x
]
n
n
n!1
n!1
(iii) Es gilt mit Satz 1.20:
lim F(x) = nlim
= P(=0) = 0
x! 1
!1 P ( 1; n]
xlim
!1 F(x) = nlim
!1 P ( 1; n] = P(R) = 1
Anmerkung: Ist xn " x, so folgt
lim F(xn) = F(x ) = P ( 1; x)
n!1
Lemma 2.30:
Fur die Verteilungsfunktion eines Wahrscheinlichkeitsmaes P auf (R; B) gilt, da sie hochstens abzahlbar
viele Sprungstellen hat.
Denition 2.31:
(a) Gegeben sei ein Wahrscheinlichkeitsraum (Rn; B n ; P). Dann heit F : Rn ! [0; 1], deniert durch
8 x = (x1 ; : : :; xn) 2 Rn :
F(x1; : : :; xn) := P ni=1 ( 1; xi] ;
die (n-dimensionale) Verteilungsfunktion von P. Ist pri die i-te Projektionsabbildung, so heit Pi :=
P pri die i-te Randverteilung von P und Fi bezeichnet die Verteilungsfunktion von Pi , die i-te
Randverteilungsfunktion von F. Es ist
Fi (x) = P f! : pri(!) xg :
(b) Gegeben sei ein Wahrscheinlichkeitsraum (
; A; P) und Zufallsvariablen Xi : (
; A) ! (R; B) und
X = (X1 ; : : :; Xn). F sei die Verteilungsfunktion von P X . Dann heit F die (n-dimensionale)
Verteilungsfunktion von X, d.h. fur alle x = (x1; : : :; xn) 2 Rn gilt
F(x) = F(x1; : : :; xn) = P(X1 x1 ; : : :; Xn xn):
Bemerkung 2.32:
(a) Unter den obigen Voraussetzungen gilt fur F und die zugehorigen Fi:
(i) Fi (xi) = xlim
F(x1; : : :; xn) =: F(+1; : : :; +1; xi; +1; : : :; +1)
j !1
8 j6=i
(ii) () F ist in jeder Variablen rechtsseitig stetig,
() Fur alle a; b 2 Rn mit a b (komponentenweise) gilt baF 0 (-isoton), dabei ist
ba F := 1a1 b1 : : :nan bn F
iai bi F := F(; : : :; ; bi; ; : : :; ) F(; : : :; ; ai; ; : : :; )
() Fur alle x 2 Rn gilt: xi !
lim1 F(x) = 0 8 i = 1; : : :; n
() Es ist x!1
lim1n F(x) = 1
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
35
() Es ist baF = P (a; b] mit (a; b] := ni=1 (ai ; bi]
Beispiel: Sei n = 2; ai bi fur alle i = 1; 2. Dann ist
ba F = 1a1b1 2a2 b2 F = 1a1b1 F(; b2) F(; a2) =
= F(b1; b2) F(a1; b2) F(b1; a2) + F(a1; a2)
(b) Fur alle F : Rn ! [0; 1] mit Eigenschaften () bis () existiert genau ein Wahrscheinlichkeitsma P
auf (Rn; B n ), so da fur alle x 2 Rn gilt
F(x) = P ( 1; x] ;
bzw. fur alle a; b 2 Rn : P (a; b] = ba F (vgl. Satz 2.29 b / "Korrespondenzsatz\)
Satz 2.33:
Gegeben sei ein Wahrscheinlichkeitsraum (
; A; P) und Xi : (
; A) ! (R1; B 1 ) fur i = 1; : : :; n. Sei weiter
X = (X1 ; : : :; Xn), F Verteilungsfunktion von X und Fi Verteilungsfunktionen von Xi fur i = 1; : : :; n.
Dann sind aquivalent:
(a) X1 ; : : :; Xn sind stochastisch unabhangig,
(b) Fur alle x 2 Rn gilt: F(x) =
Qn F (x).
i=1
i
Beweis: Sei D = f( 1; x] : x 2 Rg [ fRg. Dann ist D ein durchschnittsstabiler Erzeuger von B , d.h.
wegen Satz 2.17 ist (a) aquivalent mit
8 i = 1; : : :; n : 8 Di 2 D :
P
\n
i=1
Xi
1 (D
Yn
i)
=
i=1
P Xi 1 (Di )
bzw. aquivalent mit
8 i = 1; : : :; n : 8 x 2 fRg[ f+1g :
P(X1 x1; : : :; Xn xn) =
bzw. aquivalent mit
8 i = 1; : : :; n : 8 xi 2 R :
F(x1; : : :; xn) =
n
Y
i=1
n
Y
i=1
P(Xi xi )
F(xi):
Bemerkung 2.34:
(a) Ist X eine diskrete Zufallsvariable mit Trager X R und Zahldichte f, so ist die Verteilungsfunktion
F von X gegeben durch
X 0
f(x )
F(x) =
x0 x
x0 2X
Bezeichnet das Zahlma, so schreibt man auch
Z
F(x) =
(
1;x]\X
f(x) d(x) :=
X
x0 x
x0 2X
f(x0 )
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
36
(b) Viele reellwertige (nicht-diskrete) Zufallsvariablen besitzen eine Verteilungsfunktion der Gestalt
F(x) =
R1
Zx
1
g(t) dt
mit g : R ! [0; 1) und g(t) dt = 1. Wahrscheinlichkeitsmae mit solch einer Verteilungsfunktion
1
heien absolut stetig, g heit Dichte. Analog fur Rn-wertige Zufallsvariablen:
F(x1; : : :; xn) =
mit g : Rn ! [0; 1) und
Z1
1
Z1
1
Zx1
1
Zxn
1
g(t1 ; : : :; tn) d(t1; : : :; tn)
g(t1 ; : : :; tn ) d(t1 ; : : :; tn) = 1:
Sind nun X1 ; : : :; Xn reellwertig, P X1 ; : : :; P Xn absolut stetig mit Dichten g1; : : :; gn, so sind folgende
Aussagen aquivalent:
(i) X1 ; : : :; Xn stochastisch unabhangig,
(ii) Fur alle x = (x1; : : :; xn) 2 Rn gilt:
P(X1 x1 ; : : :; Xn xn ) =
(iii) Fur alle i = 1; : : :; n und Bi 2 B gilt:
P(X1 2 B1 ; : : :; Xn 2 Bn ) =
Es heit g(x) :=
Zx1
1
Z
B1
Zxn Y
n
1 i=1
Z Yn
gi (ti ) dt1 dtn;
gi(ti ) dt1 dtn :
Bn i=1
Qn g (x ) Produktdichte fur x 2 Rn.
i=1
i i
(c) Sind die Xi diskret verteilt mit Trager Xi und Zahldichte fi (i = 1; : : :; n), so sind aquivalent:
(i) X1 ; : : :; Xn stochastisch unabhangig,
(ii) Fur alle i = 1; : : :; n und fur alle xi 2 Xi gilt
P(Xi = xi ; i = 1; : : :; n) =
n
Y
i=1
fi (xi);
(iii) Fur alle i = 1; : : :; n und fur alle Bi Xi gilt
P(Xi 2 Bi ; i = 1; : : :; n) =
Fur x 2 ni=1 Xi heit f(x) :=
n X
Y
i=1 xi 2Bi
fi (xi ) =
n Z
Y
i=1Bi
fi (xi) d(xi):
Qn f (x ) ebenfalls Produktdichte und ist wiederum eine Zahldichte.
i=1
i i
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
37
2.2 Integrationstheorie in Kurze
Eine wichtige Rolle in der Wahrscheinlichkeitstheorie und Statistik spielen sogenannte Erwartungswerte
(Mittelwerte) bzw. Momente von Zufallsvariablen bzw. Verteilungen.
Beispiel (n-facher Munzwurf):
Wieviele Einsen kann man im Mittel erwarten? Bei diskreten Zufallsvariablen ist dies noch einfach: Man
deniert
Z
X
EX := x f(x) d(x) :=
x f(x)
x2X0
X0
mit Zahldichte f und X0 als Trager von P X . Fur f(x) = nx px (1 p)n x ; x = 0; : : :; n, erhalt man
n n 1
n n
X
X
EX =
px (1 p)n x = np
x
x=0 x
nX1 n
= np
|x=0
1 x
n
x p (1 p)
{z
x=1
x 1
n
x 1 p (1 p)
1 (x 1) =
1 x = np
=1
}
R
Ist P jedoch beliebig, so ist ein anderer Integralbegri notwendig. Was ist zum Beispiel EX = X dP =?
bzw. fur beliebige Mae und mebare (numerische) Funktionen f.
1. Schritt: Approximation mebarer numerischer Funktionen f : (
; A) ! (R; B ) durch primitive Funktionen. Im folgenden sei immer (
; A) und
M := ff : f mebare numerische Funktiong
gegeben.
(1) Indikatorfunktion:
IA 2 M
() A 2 A:
(2) Primitive Funktionen:
Denition: Fur Ai 2 A; i = 1; : : :; n, paarweise disjunkt mit P Ai = und 1; : : :; n 2 R heit
n
g :=
n
X
i=1
i=1
i IAi : ! R
primitive Funktion.
(3) Approximation nicht negativer Funktionen f 2 M durch primitive Funktionen.
Satz 2.35:
Es gilt:
f 2 M; f 0
() 9 (fn )n2N: 8 n 2 N : fn 0; primitiv und fn " f;
d.h. jede nicht negative mebare numerische Funktion ist isotoner Limes einer Folge nicht negativer
primitiver Funktionen.
Beweis (in Kurzform):
"(\ z.z. limfn 2 M, und das gilt (Bem. 2.9 Teil f).
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
38
")\ Die primitiven Funktionen
n2n k 1
X
fn :=
n If k2n1 f< 2kn g + nIff ng
(n 2 N)
k=1
leisten das Gewunschte : : :
(4) Beliebige mebare Funktionen f 2 M: Deniere dazu
f + := maxff; 0g und f := minff; 0g:
Dann ist f + f = f und es sind f + ; f 0. Weiter gilt
f 2 M () f + ; f 2 M:
Damit ist die Approximation von beliebigen f 2 M durch primitive Funktionen klar.
2. Schritt: Denition des -Integrals in vier Schritten (entsprechend obigen vier Approximationsschritten
von f 2 M durch primitive Funktionen).
R
(1) Fur f = IA 2 M sei IA d := (A). Andere Schreibweise
Z
Z
A
d := IA d =:
Z
IA (!) d(!):
R
R
Es folgt sofort die Nulltreue 0 d = I=0 d = (=0) = 0.
Pn
(2) Fur primitives f = I 2 M sei
i=1
Z
i Ai
f d =
ZX
n
i=1
iIAi d :=
Z
n
X
n
X
i=1
i=1
i IAi d (1)
=
i (Ai ):
Bemerkung:
Die Darstellung einer primitiven Funktion ist nicht eindeutig, zum Beispiel
f = IR 21 I(0;1]:
Obige Denition ist dennoch eindeutig, denn sei
f=
mit
n
X
i=1
IAi =
m
X
j =1
j IBj
m
Pn A = P
Bj = . Es folgt sofort i = j , falls Ai Bj 6= =0. Weiter gilt
i
j =1
i=1
ZX
m
n
n
n
X
X
X
i=1
i IAi d =
=
=
i(Ai ) = i (Ai Bj ) =
j =1
i=1
i=1
m X
n
n X
m
X
X
j (Bj Ai ) = : : : =
i (Ai Bj ) =
j =1 i=1
i=1 j =1
ZX
m
j IBj d
j =1
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
39
Lemma 2.36:
Seien f; g 0 primitiv, f; g 2 M und 0. Dann gilt:
(i) Linearitat:
Z
(f + g) d =
Z
R
Z
f d + g d:
R
(ii) Isotonie: Seien 0 f g. Dann gilt: 0 f d g d
Beispiel 2.37:
(i) Sei (
; A; ) = (R; B ; ) und f = I[0;1]\Q. Dann gilt
Z
f d = [0; 1] \ Q = 0;
aber das Riemann-Integral ist nicht erklart.
(ii) Sei fn = n1 I[0;n] mit n 2 N. Dann ist
Z
Z
1
fn d = n [0; n] = 1 = nlim
!1 fn d;
aber es ist
Z
Z
lim f d = 0 I[0;1) d = 0 [0; 1) = 0 1 = 0;
n!1 n
d.h. man kann i.A. nicht Limes und Integral vertauschen.
(3) Fur M 3 f 0 seien fn 2 M primitiv mit fn 0 und fn " f. Deniere
Z
Z
f d := nlim
!1 fn d:
Diese Denition ist eindeutig wegen (ii) im folgenden Lemma.
Lemma 2.38:
Seien g; fn ; gn 0, primitiv mit g; fn ; gn 2 M. Dann gilt:
R
R
(i) Falls fn " und g limfn , so ist g d lim fn d.
R
R
(ii) Falls fn "; gn " und limfn = limgn , so ist lim fn d = lim gn d.
Beweis:
(i) Beweis aufwendig, benutze u.a. Lemma 2.36.
(ii) folgt aus (i), denn fur alle m 2 N gilt
(i)
fm limfn = limgn )
Somit folgt
Z
Z
Z
fm d lim gn d:
Z
lim fn d lim gn d:
Die Gleichheit "=\ folgt aus Symmetriegrunden.
Lemma 2.39 (Verallg. von Lemma 2.36):
Sind f; g 0; f; g 2 M und 0. Dann folgen (i) und (ii) aus Lemma 2.36.
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
40
(4) Sei f 2 M und f + ; f wie oben deniert. Dann
(i) heit f -integrierbar (-integrabel)
Z
: ()
(ii) heit f -quasiintegrierbar
: ()
R
Z
Z
f + d < 1 und
Z
f + d < 1 oder
R
In beiden Fallen heit f d := f + d
f d < 1:
f d < 1:
R f d das -Integral von f.
Satz 2.40:
Fur f 2 M sind aquivalent
(i)
(ii)
(iii)
(iv)
(v)
f ist -integrierbar,
f + und f sind -integrierbar,
Es existieren g; h 2 M -integrierbar, g; h 0 mit f = g h,
Es existiert g~ 2 M -integrierbar mit jf j g~,
jf j ist -integrierbar.
Satz 2.41 (Verallg. von 2.39):
Sind f; g -integrierbar, so auch f + g (falls deniert) mit 2 R und maxff; gg < 1.
(i) Linearitat:
Z
R
(f + g) d =
Z
Z
f d + g d:
R
(ii) Isotonie: Ist f g, so ist f d g d.
R R
(iii) Es gilt: f d jf j d.
Bemerkung 2.42:
(i) Satz 2.41 gilt auch fur quasiintegrierbare Funktionen f; g, wenn man in (i) auch noch voraussetzt,
da die rechte Seite deniert ist.
(ii) Fur f; g 2 MR:= fh 2 M : h(
) Rg ist f + g in Satz 2.41 immer deniert.
(iii) Es ist L1() := ff 2 MR : f -integrierbarg ein Vektorraum uber R bezuglich
(f + g)(!) := f(!) + g(!);
(iv) Fur A 2 A und f 2 L1() deniert man
Z
A
f d :=
Z
(f)(!) := f(!):
f IA d:
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
41
Es folgt eine Zusammenstellung wichtiger Konvergenz- und Grenzvertauschungssatze. Zunachst noch eine
wichtige Denition.
Denition 2.43:
Gegeben sei ein Maraum (
; A; ). Ist E eine Eigenschaft, die ein jedes ! 2 besitzt oder nicht, dann
sagt man "E gilt -fast sicher (oder -fast uberall)\ und schreibt
E -fast sicher oder E -fast uberall oder E[] : ()
: () |9 N 2 A :{z(N) = 0} und 8 ! 2 N c : E gilt fur !:
9 -Nullmenge
Beachte: Die Menge A := f! 2 : E gilt nicht fur !g ist nicht notwendig in A, sondern nur A N und
N 2 A.
Beispiel:
(i) Es ist
f g[] () 9 N 2 A : (N) = 0 und 8 ! 2 N c : f(!) g(!)
() 9 -Nullmenge N 2 A : N ff > gg
()
()
(f > g) = 0;
denn () f; g 2 M.
(ii) Ist f = IQ, dann ist f = 0[].
Bemerkung 2.44:
Es gilt fur alle f 2 M
R
(i) Ist f = 0[], so ist f d = 0.
R
(ii) Ist f 0 und f d = 0, so ist f = 0[].
Im folgenden sei stets der Maraum (
; A; ) gegeben.
Satz 2.45 (Satz von der monotonen Konvergenz):
Sei (fn )n2N M. Fur alle n 2 N sei fn fn+1 []. Es existiere ein h 2 M -integrierbar mit h f1 [].
Dann gilt
lim
n!1
Z
fn d =
Z
8
< lim f (!) falls existend
mit f(!) := : n!1 n
0
sonst
f d
Satz 2.46 (Lemma von Fatou):
Fur h 2 M -integrierbar und (fn )n2N M gilt
(i) Ist fn h[] fur alle n 2 N, so gilt:
Z
Z
liminf fn d liminf fn d:
(ii) Ist fn h[] fur alle n 2 N, so gilt:
Z
limsup fn d Z
limsup fn d:
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
42
Satz 2.47 (Satz von der beschrankten Konvergenz, Lebesgue):
Sei (fn )n2N M -fast sicher konvergent und -fast sicher -integrierbar beschrankt (d.h. 9 h 2 M :
8 n 2 N : jfn j h[] und h -integrierbar). Dann gilt
(i) Es gilt
Z
lim fn d =
Z
8
< lim f (!) falls existend
mit f(!) = : n!1 n
0
sonst
f d
(ii) f ist -integrierbar.
R
(iii) Es ist lim jfn f j d = 0.
Satz 2.48:
Sei (fn )n2N MR-integrierbar, fn ! f gleichmaig -endlich. Dann ist f 2 MR-integrierbar und
lim
Z
n!1
Satz 2.49:
Sei (fn )n2N M mit
(i) nlim
!1
fn d =
Z
f d:
P R f + d < 1 oder P R f d < 1. Dann gilt
n
n
n2N
n2N
Pn R f d = P R f + d P R f d
j
n
n
j =1
n2N
n2N
P f konvergiert -fast sicher gegen eine -quasiintegrierbare Funktion f.
(ii)
n
n2N
R P f d = P R f d
(iii)
n2N
n
n2N
n
Beweise: siehe zum Beispiel Bauer oder Hinderer.
Bemerkung:
Ist (
; A; ) = (Rn; B n ; n). Sei f 2 M(Rn; B n ) = ff j f : (Rn; B n ) ! (R; B )g. f sei n -quasiintegrierbar.
Dann heit
Z
Z
f dn = f(x) dn (x)
Lebesgue-Integral von f. Wir wollen uns jetzt den Zusammenhang Lebesgue-/Riemann-Integral fur n = 1
etwas genauer anschauen:
Satz 2.50:
Fur f : [a; b] ! R beschrankt bei a; b 2 R mit a < b und f I[a;b] : R ! R gilt:
(i) f Riemann-integrierbar () f I[a;b] stetig[].
(ii) Ist f Riemann-integrierbar, so gilt:
~
(1) 9 f~ 2 MR(R; B) : f I[a;b] = f[]
(2) f I[a;b] ist -integrierbar.
(3) Es ist
Zb
a
f(x) dx =
Z
f I(a;b] d =
Z
(a;b]
f(x) d(x):
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
43
Fur eigentliche Riemann-Integrale beschrankter Funktionen ist also das Lebesgue-Integral (-Integral)
eine echte Verallgemeinerung (z.B. f = IQ\[0;1]). Fur uneigentliche Riemann-Integrale gilt Satz 2.50 im
x)
allgemeinen
mehr. Zum Beispiel fur f(x) := sin(
das uneigentliche Riemann-Integral
x existiert
R
R 1 f(x) dx,nicht
+ d = R f d = 1.
aber
f
ist
nicht
-quasiintegrierbar,
da
f
1
Satz 2.51:
Rb
Fur f : R ! R mit f 0 existiere das Riemann-Integral f(x) dx fur alle a; b 2 R mit a < b. Dann gilt:
a
(i)
R1 f(x) dx := lim Rb f(x) dx = R f d
a! 1
1
b!+1 a
R
R1
(ii) f(x) dx < 1 () f d < 1
1
2.3 Mae und Dichten
Problem: Gegeben sei ein Wahrscheinlichkeitsraum
(Rn; B n ; P). Wann gibt es eine Funktion f 2 MR, so
R
n
da fur alle A 2 B gilt: P(A) = f d ?
A
Generelle Voraussetzungen: Maraum (
; A; ); M+ := ff 2 M : f 0g.
Satz 2.52:
Fur f 2 M+ ist , deniert durch
Z
(A) := f d
A
mit A 2 A, ein Ma auf A. heit Ma mit der -Dichte f, kurz = f oder d = f d. Fur diese gilt:
R
R
(i) Fur alle ' 2 M+ gilt ' d = 'f d.
(ii) Fur alle ' 2 M gilt
R
R
' -integrierbar () 'f -integrierbar ) ' d = 'f d
(iii) Fur alle g 2 M+ gilt: Ist f = g[], so ist f = g. Ist f oder g -integrierbar, so gilt auch die
Umkehrung "(\.
Denition 2.53:
Seien ; Mae auf (
; A).
(i)
heit -stetig (oder totalstetig bzgl. ) : () 8 N 2 A gilt: (N) = 0 ) (N) = 0
() : dominiert () : :
(ii) und heien aquivalent (kurz ) genau dann, wenn und .
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
44
Satz 2.54 (Radon, Nikodym):
Fur Mae ; auf (
; A) gilt bei -endlichem :
() 9 f 2 M+ : = f
() besitzt eine -Dichte
Satz 2.55:
Fur Mae ; auf (
; A) mit -endlich, = f und f 2 M+ gilt:
(i) f ist -fast sicher eindeutig bestimmt,
(ii) -endlich () f -fast sicher endlich.
Denition 2.56:
Sein ; Mae auf (
; A) mit -endlich und , so heit jedes f 2 M+ mit = f RadonNikodym-Dichte von bezuglich .
Corollar 2.57 (Kettenregel):
Seien f; g 2 M+ , ; Mae auf (
; A) mit = f und = g (d.h. d = f d; d = g d). Dann gilt:
f g 2 M+ ; = (gf) bzw. d = (gf) d:
d = g fur = g bzw. d = g d, so lautet Corollar 2.57:
Anmerkung: Schreibt man formal d
d d d
d = d d :
Beispiel 2.58:
Sei (
; A; ) = (R; B ; ).
(a) Sei P ein Wahrscheinlichkeitsma auf (R; B ) mit P
R:N:
) 9 f 2 M+ : P = f; da -endlich
2:55(ii)
) o.B.d.A. f 2 M+R; da P endlich.
R
Insbesondere ist f d = 1.
R
(b) Sei f 2 M+ mit f d = 1. Dann ist P := f ein Wahrscheinlichkeitsma.
R
(c) Sei f 2 M+ -integrierbar und f d > 0, dann ist P := R f1 d f ein Wahrscheinlichkeitsma.
Dabei ist R f1 d ein Normierungsfaktor.
R
(d) Ist f0 (x) = p1x 1 I(0;1] (x) fur x 2 R, dann ist f0 2 M+Rund f0 d = 1. f0 ist endlich, aber
nicht -fast sicher beschrankt.
Beispiel 2.59 (Exponentialverteilung EXP(; )):
Fur 2 R und > 0 fest sei f : R ! R, deniert durch
x 1
f(x) = exp
I[;1) (x):
(x 2 R)
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
45
f ist stetig auer in x = . Dann ist P := f Wahrscheinlichkeitsma mit -Dichte f wegen
P(R) =
Z
Z 1
f d =
e
x [;1)
()
d(x) =
Z1
0
1
e y dy = e y 0 = 1
mit y = x und dy = 1 dx. P heit Exponentialverteilung mit Lageparameter (Lokationsparameter) und Skalenparameter . Die Verteilungsfunktion F zu P ist
Z 1e
F(x) = P ( 1; x] =
(
1;x]\[;1)
8
>
<0
t d(t) =
Rx
>
: 1 e
t dt = 1 e
x x
x>
Beachte: f = F 0[]. Weitere - bzw. n -stetige Verteilungen siehe Anhang.
2.4 Produktmae und der Satz von Fubini
Durch Satz 2.21 wurde das Produktma eingefuhrt. Ist zum Beispiel = 1 2 , so erhalt man fur
Rechteckmengen A = A1 A2 2 A1 A2
(A) = 1 (A1 )2 (A2 ):
Frage: Wie ist (A) fur beliebige A 2 A zu berechnen? Oder ist P ein Wahrscheinlichkeitsma mit
2 -Dichte f, wie ist
Z
P(A) = f(x1 ; x2) d2(x1 ; x2)
A
zu berechnen?
Generelle Voraussetzungen seien jetzt die -endlichen Maraume (
1; Ai ; i) fur i = 1; : : :; n. Im folgenden
sei stets n = 2 (Verallgemeinerung klar, benutze Induktion).
Vorbemerkung:
(i) Fur A 2 A1 A2 heit A!i = f!j 2 i : (!1 ; !2) 2 Ag der !i -Schnitt von A fur i 6= j.
(ii) Es gilt:
!1 ! 2 (A!1 ) ist A1
!2 ! 1 (A!2 ) ist A2
B -mebar.
B -mebar.
Satz 2.60 (Erganzung zu Satz 2.21):
Unter den Voraussetzungen von Satz 2.21 gilt fur das Produktma = 1 2
8 A 2 A1 A2 :
(A) =
Z
Z
2 (A!1 ) d1 = 1 (A!2 ) d2:
Wir wollen jetzt dies fur Integration von Funktionen verallgemeinern.
Vorbemerkung:
Fur f : 1 2 ! X heien f!i !i -Schnitte von f und sind deniert durch
f!1 : 2 ! X ; !2 7! f(!1 ; !2)
bzw.
f!2 : 1 ! X ; !1 7! f(!1 ; !2):
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
46
Satz 2.61 (Satz von Fubini fur Mae):
Gegeben seien die -endlichen Maraume (
i ; Ai; i ) fur i = 1; 2 und f 2 M(
1 2; A1 A2 ). Dann
gilt
R
(a) Ist f 0; gi deniert durch gi (!i ) := f!i dj (i 6= j), so gilt: gi 2 M(
i; Ai ); gi 0 und
Z
j
f d1 2 =
Z
g1 d1 =
Z
()
g2 d2
(b) Ist f schon 1 2 -integrierbar, Ni := f!i : f!i nicht j -integrierbarg, gi deniert durch
gi (!i ) := INic (!i )
Z
f!i dj
j
(i 6= j);
so gilt: i (Ni ) = 0; gi 2 M(
i ; Ai) ist i -integrierbar mit ().
Beispiel 2.62:
Sei (R2; B 2 ; ); K = f(x; y) 2 R2 : x2 + y2 1g und f = IK 0. Dann ist
Z
f d =
Also ist
Z
mit Hilfe von
ZZ
8
<I
fx (y) d(y) d(x); wobei fx (y) = : [
0
f d2 =
Z1 pZ1
1
x2
p1 x2
dy dx =
Z1 p
1
2 1 x2 dx =
cos2 z = 21 + 21 cos(2z) )
Z
p1 x2 ;p1+x2 ] (y)
Z2
2
jx j < 1
sonst
2 cos2 z dz = cos2 z dz = z2 + 41 sin(2z):
Integration bezuglich des Bildmaes:
Generelle Voraussetzungen: (
; A; ) Maraum, (X ; B) Meraum und X : (
;
A) ! (X ; B). Das Bildma
ist X = X 1 . Dann ist (X ; B; X ) Maraum mit X (B) = X 1 (B) .
Satz 2.63 (Transformationsformel):
Fur f 2 M(X ; B), d.h. f : (X ; B) ! (R; B ) gilt
R
R
(a) Es ist f dX = f X d, falls eines der Integrale deniert ist.
(b) f ist genau dann X -quasiintegrierbar, wenn f X -quasiintegrierbar ist. Analog ist f genau dann
X -integrierbar, wenn f X -integrierbar ist.
(c) Insbesondere gilt fur B 2 B (Deniertheit vorausgesetzt)
Z
B
f
dX
=
Z
X
1 (B)
f X d:
Beweis:
(a) Mit Induktion uber mebare Funktionen (vgl. Konstruktion des -Integrals).
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
47
1. Schritt: Sei f = IB mit B 2 B, dann ist f X = IB X = IX
X(!) 2 B () ! 2 X 1 (B) () IX 1 (B) (!) = 1). Es folgt
Z
Z
ZI
X
f dX = IB dX = X (B) = X 1 (B) =
1 (B)
1 (B)
(denn IB X(!) = 1 ()
Z
d =
f X d:
2. Schritt: Sei f = P iIBi mit i 0 und Bi 2 B. Beweis leicht, selbst.
3. Schritt: Sei fn " f mit fn 0 primitiv. Dann ist f X = (limfn) X = lim(fn X) und
fn X " f X. Mit dem Satz uber die monotone Konvergenz folgt:
Z
f
dX
= lim
Z
fn dX =2: lim
Z
Z
fn X d = f X d:
4. Schritt: Sei f = f + f . Dann ist f X = (f X)+ (f X) = f + X f X und es folgt
Z
Z
Z
f dX (=) f + dX
f dX =3:
() falls deniert.
(b) Ist mit (a) und dem 4. Schritt klar.
(c) Es ist
Z
B
f
dX
=
=
Z
Z
f IB dX (=a)
Z
Z
f + X d
Z
f d (=)
(f IB ) X d =
Z
(f X)(IB X) d = (f X) IX 1 (B) d =
Z
Z
X
1 (B)
f X d;
f X d:
Denition 2.64:
Seien (
; A); (T ; D) Meraume. T : ! T heit bijektiv und bimebar (oder ein Meisomorphismus)
genau dann, wenn T : ! T bijektiv und T : (
; A) ! (T ; D) bzw. T 1 : (T ; D) ! (
; A).
Satz 2.65:
Seien ; Mae auf (
; A) mit = f, f 2 M+ (
; A) und (T ; D) Meraum. Sei weiter T : ! T
bijektiv bimebar. Dann ist
T = (f T 1)T :
Beweis: Sei D 2 D beliebig.
T (D) =
=
Z
D
d T Trafo
=
Z
T 1 (D)
Z
T
1 (D)
d Vor
=:
Z
T
1 (D)
f d =
Z
(f T 1 ) T d Trafo
= (f T 1 ) dT
D
Beispiel 2.66:
Voraussetzungen aus Satz 2.65 und ' 2 M+ (T ; D) und D 2 D. Dann ist
Z
D
Z
Z
D
T 1 (D)
=
'(t)f T 1 (t) dT (t) 2=:65 '(t) d T (t) Trafo
' T(!) d(!) 2=:52
Z
T 1 (D)
' T(!) f(!) d(!)
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
48
Die Anwendung von Satz 2.65 ist insbesondere fur (T ; D) = (
; A) und T = g interessant. Mit der
Kettenregel erhalt man dann
T = (f T 1 ) g
T (D) =
bzw.
Z
f T 1 (t) g(t) d(t):
Fur das n-dimensionale Lebesgue-Ma n auf (Rn; B n ) und eine ane Abbildung T : Rn ! Rn mit
T(x) = Ax + b, A 2 Rnn mit det(A) = jAj 6= 0; b 2 Rn, erhalt man zum Beispiel
n T = jA1 j n
bzw. fur alle B 2 B n : n T 1 (B) = jA1 j n (B):
und n T(B) = jAj n(B) (siehe Bauer (1990), Satz 8.4, Korollar 8.5).
Satz 2.67 (Transformationsformel fur n-Integral):
Fur oene Mengen G; G~ Rn, ' : G ! G~ ein Dieomorphismus (d.h. ' bijektiv und '; '
~ G~ B n ) gilt
dierenzierbar ) G~ = '(G)) und f 2 M(G;
f ist n -integrierbar uber G~ = '(G) () fZ 'j det D'jZist n -integrierbar uber G
)
f dn = f 'j det D'j dn
0
BB
D' = B
B@
@'1(x)
@x1
@'1 (x)
@xn
@'n (x)
@x1
@'n (x)
@xn
..
.
stetig
G
'(G)
Hierbei ist
1
..
.
1
CC
CC ;
A
d.h. j det D'j ist der Betrag der Determinante der Jakobi-Matrix. Fur den Spezialfall n = 1 sei G =
[a; b]; ! Riemann-Integral. Dann ist
Zb
a
'Z(b)
0
f '(x) ' (x) dx = f(y) dy
'(a)
die bekannte Substitutionsregel.
Corollar 2.68 (Transformationsformel fur n-Dichten):
Sei P ein Wahrscheinlichkeitsma auf (Rn; B n ) mit n -Dichte f und f = fIG mit G oen. Sei T : G~ ! G
ein Dieomorphismus. Dann gilt: P T hat n -Dichte f T mit
f T (y) = f T 1 (y) j det DT 1 (y)j IG (y):
Beispiel 2.69:
X sei eine (Rn; B n )-wertige Zufallsvariable mit Verteilung P X und n-Dichte f X = f X IU mit U oen.
Sei T : Rn ! Rn mit T(x) = Ax + b; A 2 Rnn; b 2 Rn mit jAj =
6 0: Sei
' := T
Dann ist
Wir erhalten
1 : Rn ! Rn;
0
y 7! A 1 (y b) =: B
@
'1 (x)
..
.
'n (x)
1
CA =: '(y):
j det DT 1 (y)j = j det D'(y)j = j det A 1 j = j det1 Aj :
f T X (y) = f Ax+b (y) = f X A 1 (y b) j det A 1 jIAU +b(y):
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
Einige Spezialfalle:
49
1 fX y b .
(a) Sei n = 1; A = ;
(b) Sei b = 0 und A orthonormal (d.h. A0 = A 1 ). Dann ist jAj = 1 und f AX (y) = f X (A 1 y)IAU (y).
(c) Sei b = 0 und f X = I(0;1)n . Also ist X eine Gleichverteilung auf (0; 1)n, d.h. X G (0; 1)n
f AX (y) = f X (A 1 y)j det A 1 jIA(0;1)n (y) = j det1 Aj IA(0;1)n (y) I(0;1)n (A 1 y)
| {z }
b = . Dann ist f T +b (y) =
1
Also ist AX G A(0; 1)n .
2.5
n -stetige
Verteilungen: Zusammenhang Verteilungsfunktion / Dichte
Satz 2.70:
Ist P ein Wahrscheinlichkeitsma auf (R; B ) mit der Verteilungsfunktion F und f : Rn ! [0; 1] mebar,
so gilt
Z
n
n
f dn:
P = f () 8 z 2 R : F(z) =
Zur Erinnerung:
11n ;z]
(
P
= fn
()
8 B 2 Bn
Der Name Dichte f(x) druckt aus
: P(B) =
Z
B
f(z) dn(z):
P (x 1n; x + 1n) P (x 1n; x + 1n)
:
f(x) n
(2)n
(x 1n; x + 1n)
klein
Fur n = 1 folgt
F 0(x) F(x + ) 2 F(x ) :
Bemerkung 2.71 (n = 1):
(a) Sei P = f. Dann ist fur alle z 2 R :
Z
F(z) =
(
1;z]
f(t) d(t) =
Zz
1
f(t) dt:
Ist zusatzlich f stetig reell, so ergibt der Hauptsatz der Dierential- und Integralrechnung, da F
dierenzierbar und f = F 0 ist.
(b) Jede isotone Funktion F : R ! R ist -fast sicher dierenzierbar mit endlicher Ableitung, d.h. es
existiert eine -Nullmenge N mit
8 x 2 Nc : 9 F 0(x) 2 [0; 1):
(Hewitt, Stromberg, 1965, S. 264 .)
(c) Sei F Verteilungsfunktion eines Wahrscheinlichkeitsmaes P jB. Dann ist F 0 -fast sicher deniert,
aber F 0 ist i.a. keine -Dichte von P. Beispiele dafur sind die Verteilungsfunktionen der B 1; 21 und der Cantor-Verteilung (siehe Beispiel 2.72).
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
50
(d) Ist P = f, dann ist f = F 0[]. Weiter gilt
F 0 -Dichte von P
() F absolut stetig
(e) Existiert fur alle x 2 R F 0(x), dann ist P = F 0 (Natanson, 1961, S. 301).
(f) Die Verteilungsfunktion F eines Wahrscheinlichkeitsmaes P jB sei -fast uberall deniert. Existiert
dann die Ableitung F 0, dann ist F 0 -integrierbar und fur alle a < b gilt
Z
(a;b]
F 0 d F(b) F(a):
(g) Es sei F die Verteilungsfunktion eines Wahrscheinlichkeitsmaes P jB mit
Z
(i) F 0 d = 1 oder
(ii) F stetig und stuckweise stetig dierenzierbar,
dann ist F 0 -Dichte von P.
Beispiel: Sei F 0(x) = x I(0;1) (x) + (2 x) I[1;2)(x) (-Verteilung). Dann ist
(x 2)2
2
x
I[1;2) (x) + I[2;1) (x):
F(x) = 2 I(0;1] (x) + 1
2
Sind X; Y G (0; 1) stochastisch unabhangig, dann gilt X + Y F.
Beispiel 2.72 (Cantor-Verteilung):
(a) Es existiert eine Teilmenge D [0; 1] mit D uberabzahlbar, (aber) mit (D) = 0. Die Konstruktion
von D geschieht auf folgende Art und Weise: Nehme aus der Menge [0; 1] heraus:
1 2
3; 3
1 2
9; 9
1 2
27 ; 27
7; 8
9 9
7; 8
27 27
19 20
27 ; 27
25 26
27 ; 27
etc.
Dann bleibt D ubrig (per Denition). D heit Cantorsches Diskontinuum. Es ist
22 + 23 + : : : =
(Dc \ [0; 1]) = 31 + 29 + 27
34
1
1
3
2
3
=1
und somit ist (D) = 0 aber jDj = j[0; 1]j.
1
P
Beweis mit Hilfe von Trialzahlen x = a3ii mit ai 2 f0; 1; 2g. Dann ist
1 2
;
i=1
= fx 2 [0; 1] : a1 = 1g oder
1 2 73 38 9 ; 9 + 9 ; 9 = fx 2 [0; 1] : a1 6= 1; a2 = 1g usw.
Dann ist D = x : 8 i : a 2 f0; 2g und man erhalt eine Bijektion D $ [0; 1] (Gleichmachtigkeit
von Mengen).
i
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
51
(b) (Cantor-Verteilungsfunktion) Sei x = 0; 12 : : : 2 [0; 1] in triadischer Darstellung. Ersetze (immer)
x = 0; 12 : : :n10 durch x = 0; 12 : : :n02 (daraus folgt die Eindeutigkeit der Darstellung).
Deniere
fn 2 N : = 1g x 2 [0; 1] \ Dc
n
k(x) := min
1
x2D
und
8
>
x<0
>0
>
k(x) 1
>
>
< P 2k 21k + 2k1(x) x 2 [0; 1] \ Dc
k=1
FD (x) := > P
1 k 1
k
x2D
>
>
k=1 2 2
>
:1
x>1
d.h. setze FD (x) gleich 21 auf 13 ; 32 , 41 auf 19 ; 29 und 43 auf 79 ; 89 usw. und erganze auf D zu einer
c
0
stetigen Verteilungsfunktion. Zeige: FD ist isoton, stetig und dierenzierbar auf D mit FD (x) = 0.
FD ist also eine Verteilungsfunktion. Die zugehorige Wahrscheinlichkeitsverteilung PD heit CantorVerteilung. Es gilt
1 2 1 2 7 8 c
PD [0; 1] \ D = PD 3 ; 3 + PD 9 ; 9 + PD 9 ; 9 + : : : =
2 1
1
2 FD 3 + FD 9
FD 9 + : : : =
= FD 3
= 12 21 + 41 14 + : : : = 0
und damit PD (D) = 1, aber (D) = 0.
2.6 Erwartungswert, Varianz, Kovarianz, Momente und Ungleichungen
Denition 2.73:
Sei X eine R-wertige Zufallsvariable auf (
; A; P). Ist X quasiintegrierbar, so heit
Z
EX := X dP
Erwartungswert von X (bzgl. P). Ist EX 2 R, so spricht man von einem endlichen Erwartungswert
( () X P-integrierbar).
Satz 2.74 (Grundlegende Eigenschaften von Erwartungswerten):
Seien X; Y numerische Zufallsvariablen auf (
; A; P); 2 R; A 2 A. Dann gelten folgende Aussagen:
(a)
(b)
(c)
(d)
(e)
(f)
(g)
Ist X 0 ) X quasiintegrierbar () EX ist deniert,
X quasiintegrierbar () EX + < 1 oder EX < 1 ) EX = EX + EX ,
X quasiintegrierbar ) jEX j E jX j,
X; Y quasiintegrierbar und X Y ) EX EY ,
X; Y quasiintegrierbar ) E(X + Y ) = EX + EY , falls X + Y und EX + EY deniert sind,
X = Y [P] und X quasiintegrierbar ) EX = EY ,
jX j Y; EY 2 R ) E jX j 2 R () EX 2 R.
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
52
Beweis: Einfaches Umschreiben der Eigenschaften des P-Integrals.
Die Transformationsformel ergibt folgenden Satz:
Satz 2.75:
Gegeben sei eine (X ; B)-wertige Zufallsvariable X auf (
; A; P) und g : (X ; B) ! (R; B ). Dann gelten
(a) g X P-quasiintegrierbar () g P X -quasiintegrierbar, d.h.
E(g X) =
Z
g X(!) dP (!) =
Z
g(x) dP X (x):
Ist speziell (X ; B) = (R; B ), d.h. g = idRquasiintegrierbar, dann ist
Z
X dP =
Z
x dP X (x).
(b) Hat X die -Dichte f bei -endlichem jB , so gilt
g X P-quasiintegrierbar () Zgf -quasiintegrierbar
Z
)
g X dP = gf d
Ist speziell Zahlma einer abzahlbaren Menge J X , so ist
E(g X) =
X
i2J
g(i)P(X = i):
Beispiel 2.76:
2
(a) (Normalverteilung) ' mit '(x) = p1 e x2 heit Dichte der Standard-Normalverteilung, kurz
2
N(0; 1)-Verteilung. Ihre Verteilungsfunktion wird mit bezeichnet:
Zx 1
(x) = p e
2
1
Ist X N(0; 1), so gilt
EX =
denn
Z0
1
t2
2
Z
x'(x) dx =
x dP X (x) =
Z1
0
x'(x) dx =
Z1
dt:
x'(x) dx = 0;
1
e
x2
2
1 1
1
p
=p :
2 0
2
Ist X N(0; 1), Y := X + ; > 0, so heit Y N(; 2 )-Verteilung. Die 1 -Dichte ist
f Y (y) =
Mit Satz 2.74 (e) folgt
p 1 exp
2
( )
1 x 2 :
2
EY = E(X + ) = |{z}
EX + = :
(b) (Cauchy-Verteilung) Sei X G
; . Dann ist
2 2
=0
f X (x) = 1 I( 2 ; 2 ) (x)
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
53
1 -Dichte von P X . Zum Beispiel haben wir Lichtquellen Q in einer Wand. Der Abstrahlwinkel soll
zufallig gewahlt werden (ist also gleichverteilt). Wir erhalten zu X(!) = x eine neue Zufallsvariable
Y := tan X. Somit gilt fur y 2 R
F Y (y) = P(Y y) = P(tanX y) = P(X arctan y) =
= F X (arctan y) = 21 + 1 arctan y
Die Lebesgue-Dichte von P Y ist f Y (y) = (1 +1 y2 ) . Dies ist die Dichte der Cauchy-Verteilung
C(0; 1). Aber der Erwartungswert von Y existiert nicht, denn fur N > 1 ist
ZN
0
Z
Z
yf Y (y) dy = 1 1 +1 y2 dy > 1 1 +1 y dy =
0
1
1
N
!1
N
= [ln(1 + y)]1 ! 1
N
N
(c) (Poisson-Verteilung) Sei X Po() mit > 0. sei Zahlma auf N0. Dann ist
EX =
Z
1
1
x
x 1
x
X
X
xe x! d(x) = xe x! = e (x 1)! = :
x=0
|x=1 {z }
=1
Denition 2.77:
Ist X numerische P-integrierbare Zufallsvariable (d.h. EX 2 R () E jX j 2 R), so heit
p
Var X := E(X EX)2
Varianz von X. Var X heit Standardabweichung.
Satz 2.78:
Fur eine numerische P-integrierbare Zufallsvariable X und ; 2 R gelten:
(a)
(b)
(c)
(d)
Var X = EX 2 (EX)2 = E(X )2 (EX )2 ,
Var(X + ) = 2 Var X,
Var X < 1 () EX 2 < 1 ( () : X P-quadratintegrierbar),
Var X = 0 () X = EX[P].
Beweis:
(a) Var X = E(X EX)2 = E(X 2 2X EX+(EX)2 ) Satz
= EX 2 2EX EX+(EX)2 = EX 2 (EX)2 .
Den Rest selbst beweisen.
(b) Es ist
Var(X + ) (a)
= E(X + )2 (E(X + ))2 =
= 2EX 2 2 (EX)2 = 2 Var X
(c) Mit Var X = EX 2 (EX)2 und EX < 1 nach Obervoraussetzung folgt die Behauptung.
(d) Es ist 0 = E(X EX)2 () (X EX)2 = 0[P] () X = EX[P].
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
54
Beispiel 2.76 - Fortsetzung:
(a) Sei X N(; 2), dann ist EX = und
)2 =
Var X = E(X
2
p
= 2
Z1
1
42
2
y2 e y
1
1Z
= p 2
R1
Z1
0
1
)2 p 1
(x
2
( 2)
x
1
dx =
exp
2
2Z
p y2 e y2 dy =
dy = 4
e t t 23
1
0
1 dt =
3 22 p
2
2 = p 2 = 2
2
p
mit (x) = e t tx 1 dt und den Substitutionen
0
und
t = y2 ; dt = 2y dy:
y = xp ; dy = p1 dx
2
2
(c) Sei X Po(). Dann ist EX = und
Var X = EX 2 (EX)2 = E(X(X 1)) + EX (EX)2
sowie
1
1
x
x 2
X
X
E(X(X 1)) = x(x 1)e x! = 2 e (x 2)! = 2
|x=2 {z
x=0
=1
}
Damit ergibt sich Var X = 2 + 2 = . Also ist bei der Poisson-Verteilung EX = Var X.
Denition 2.79:
X sei numerische Zufallsvariable und n 2 N. Dann heit, falls die jeweiligen Integrale deniert sind:
(a) EX n n-tes Moment von X,
(b) E jX jn n-tes absolutes Moment von X und
(c) E(X EX)n n-tes zentrales Moment von X.
Satz 2.80 (Multiplikationssatz fur Erwartungswerte):
Fur stochastisch unabhangige Zufallsvariablen X; Y gilt
EXY = EX EY;
falls eine der folgenden Bedingungen erfullt ist:
(a) X 0 und Y 0,
(b) E jX j < 1 und E jY j < 1 ( () X; Y P-integrierbar).
Beweis: Mit dem Satz von Fubini erhalt man wegen P (X;Y ) = P X P Y (da X; Y stochastisch unabhangig)
EXY =
=
Z
XY dP =
ZZ
Z
xy dP X (x) P Y (y) =
xy dP X (x) dP Y (y) =
Z Z
y
x dP X (x)
dP Y (y) = EX EY:
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
55
Denition 2.81:
Seien X; Y P-integrierbare numerische Zufallsvariablen mit deniertem EXY . Dann heit
Cov(X; Y ) := E(X EX)(Y EY )
Kovarianz von X und Y .
Satz 2.82:
Seien X; Y P-integrierbare numerische Zufallsvariablen mit deniertem EXY . Dann gelten
(a)
(b)
(c)
(d)
(e)
Cov(X; Y ) = EXY EX EY ,
Var(X + Y ) = Var X + Var Y + 2 Cov(X; Y ), falls X + Y und die rechte Summe deniert sind,
X; Y stochastisch unabhangig ) Var(X + Y ) = Var X + Var Y , falls X + Y deniert ist,
Cov(X; X) = Var X und Cov(X; Y ) = Cov(Y; X),
Cov(X + Y; Z) = Cov(X; Z) + Cov(Y; Z).
Beweis: Elementares Nachrechnen, zum Beispiel fur
(c) Sind X; Y stochastisch unabhangig, dann sind auch (X EX) und (Y EY ) stochastisch unabhangig.
Somit ist
Var(X + Y ) = E(X EX + Y EY )2 =
= E(X EX)2 + E(Y EY )2 + 2E(X EX)(Y EY ) 2=:80
= Var X + Var Y + 2 E(X
| {z EX)} |E(Y {z EY )}
=0
Beispiel 2.83 (2-dimensionale Normalverteilung):
=0
Seien X; Y N(0; 1) stochastisch unabhangig mit Z := XY P X P Y . Dann ist XY 2-dimensional
standard-normalverteilt ( N(0; I2 )). Sei A 2 R22 mit jAj 6= 0 sowie 2 R2. Dann ist AZ + N(; AAT ) mit 2 -Dichte
1
1
AZ
+
T
1
exp 2 (! ) (! )
f
(!) =
2jj 21
(ergibt sich aus Beispiel 2.69) mit := AAT > 0, d.h. ist positiv denit. Sei nun wie folgt gegeben
2
:= 112 122 > 0
2
mit 1; 2 > 0 und 2 ( 1; 1). Sei weiter 2 R2; Z := ZZ12 N(; ). Dann ist
2
1 2
2
jj 21 = 12(1 2 ) 21
und
1 = j1 j
1 2
12
Dann ist
"
(
2 z z z 2#)
z
1
1
1
1
2 1 1 2 2 + 2 2
exp 2 1 2
1
2
p 12 2
f Z (z) =
212 1 Es ist Z1 N(1 ; 12 ); Z2 N(2 ; 22) durch Berechnung der Randdichten
f Zi (zi ) =
Z
f Z (z1 ; z2 ) dzj
(j 6= i):
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
56
Dann ist
Cov(Z1 ; Z2 ) = E(Z1 1 )(Z2 2) =
=
=
Z1 Z1
1 1
Z1 Z1
(z1 1 )(z2 2)f Z (z1 ; z2) dz1 dz2 Subst
=:
z1 z2 1 1(
exp
1
1
p
212 1 2
2(1 2 )
" 2
z
1
1
2#)
2 z1 z2 + z2
1 2
2
dz1 dz2 =
" 2 2 #)
(
Z1 Z1 z2
z2 1
p
exp 2(1 2 ) z2
=
2
2
2
2
2
12 1
(
) 3
Z1
2
exp 22 (11 2 ) z1 1 z2
dz1 5 dz2 =
4 p zp1
2
2
2
1
1
1
{z
}
|1
()
1
1 z2 Z
1
= 1
2
z22 p
exp
22
1
|
mit
{z
2
2 22 dz2 = 1 2
}
()
() = 21 z2 Erwartungswert einer Zufallsvariable W N 12 z2 ; 12(1 2 ) ,
() = Var V = 22 einer Zufallsvariable V N(0; 22).
Spezialfall: 12 = 22 = 1; 2 ( 1; 1) und 1 = 2 = 0:
1 1 1
2
2
f(z) = p
exp 2 1 2 z1 2z1 z2 + z2 :
2 1 2
Ist f(z) const, dann entspricht dies den Hohenlinien.
Im folgenden werden die wichtigsten Ungleichungen fur Erwartungswerte behandelt.
Vorbemerkung:
Zwei Zahlen p; q 2 [1; 1] mit 1p + q1 = 1 heien konjugierte Exponenten, zum Beispiel fur p = q = 2 oder
p = 1; q = 1.
Satz 2.84:
Seien p; q 2 (0; 1) mit 1p + q1 = 1. Dann gelten fur numerische Zufallsvariablen X; Y auf (
; A; P)
(a) die Holder-Ungleichung
1
E jXY j (E jX jp ) p1 (E jY jq ) q ;
(b) die Cauchy-Ungleichung (Teil (a) fur p = q = 2),
(c) die Minkowsky-Ungleichung fur p 2 [1; 1), falls X + Y deniert ist,
1
1
(E jX + Y jp) p1 (E jX jp ) p + (E jY jp) p :
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
57
Beweis:
1
(a) Sei A = (E jX jp ) p1 und B = (E jY jq ) q .
(i) Falls A = 1 oder B = 1, so ist auch die rechte Seite unendlich.
(ii) Falls A = 0 ) X = 0[P] ) Beh. (B = 0 analog).
(iii) Sei 0 < A; B < 1. Deniere V := jXA j und W := jYBj . Dann gilt: V; W 2 M und V; W 0. Es
ist EV p = EW q = 1.
() Sei 0 < V (!); W (!) < 1: Dann existieren s; t 2 R mit V (!) = e ps und W(!) = e qt . Es
folgt
1 1 e konvex
s t
p
q
V (!)W(!) = e e = exp p s + 1 p t 1 1
1
s
p e + 1 p et = p V p (!) + q1 W q (!) ()
() Fur V (!) oder W(!) 2 f0; 1g gilt () ebenfalls.
Zusammen ergibt die Ungleichung
R jXY j dP
Z
p + 1 EW q = 1
=
V W dP p1 EV
1
1
{z }
|{z}
q
p
q | =1
p
q
(E jX j ) (E jY j )
=1
die Behauptung.
(c) Der Fall p = 1 ist klar:
Z
Fur 1 < p < 1 gilt
Z
jX + Y jp dP
=
()
Z
Z
jX + Y j dP (jX j + jY j) dP = jX j dP + jY j dP:
Z
jX + Y jp 1jX + Y j dP
Z
+
=
Z
jX + Y jp dP
Z
Z
p p 1 Z
jX + Y jp dP
jX + Y jp dP
jX + Y jp 1 jX j dP +
p1
p
jX j dP
p p 1 Z
pp 1
Z
(Z
jX + Y jp 1jY j dP +
p1
p
jY j dP
jX jp dP
Z
=
p1 Z
+
jY jp dP
() Holder-Ungleichung angewandt mit 1q = 1 1p = p p 1 .
Es folgt die Behauptung.
Bemerkung 2.85:
(a) In der Holder-Ungleichung gilt Gleichheit genau dann, wenn
9 ; 0 : + > 0 und jX jp + jY jq [P]:
(b) Deniert man das wesentliche Supremum von jX j vermoge
P-sup jX j := kX k1 := inf r 2 R : P(jX j > r) = 0 ;
p1 )
:
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
58
so gilt die Holder-Ungleichung auch fur p; q 2 f1; 1g:
E jXY j kX k1 E jY j:
Die Minkowsky-Ungleichung gilt ebenfalls fur p = 1:
kX + Y k1 kX k1 + kY k1 :
(c) Die Ungleichungen gelten sogar fur beliebige Mae .
(d) Fur alle 1 p < q < 1 gilt
1
1
(E jX jp ) p (E jX jq ) q ;
denn mit q < 1; r = pq > 1 folgt mit Holder
1
p
E jX jp = E (jX jp 1) (E jX jrp ) r 1 = (E jX jq ) q :
Der Fall q = 1 ist ebenfalls klar.
(e) Aus (d) folgt zum Beispiel
E jX j2 < 1 ) E jX j < 1
und auch (E jX j)2 E jX j2 (vgl. mit Var X 0 () EX 2 (EX)2 ).
Satz 2.86 (Jensen-Ungleichung):
X sei eine integrierbare reelle Zufallsvariable mit Werten in einem oenen Intervall I (I; I B ) ! (R; B) konvex. Dann folgt
R
und h :
(a) Eh(X) 2 I und
(b) h(EX) Eh(X).
Beweis:
(a) Ist = supfx j x 2 I g < 1, so ist zu zeigen, da EX < . Aus X(!) < fur alle ! 2 folgt
EX . Ware EX = , so ist E( X) = 0. Also, da X(!) > 0 fur alle ! 2 , mute
X = 0[P] sein. Widerspruch zu X(!) > 0 fur alle ! 2 . Also gilt EX < .
(b) (Beweisskizze)
(i) Es existiert eine Familie (gj ); j 2 J, so da fur alle y 2 I gilt
h(y) = supfgj (y) j j 2 J g:
(ii) Fur alle y 2 I existiert ein j 2 J, so da
9 a; b 2 R : h(y) = gj (y) = ay + b:
Es folgt
gj (EX) = aEX + b = h(EX)
und
gj (X(!)) h(X(!))
8 ! 2 :
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
59
Stutzgerade
6
h(EX)
- EX
EX
h
Mit h(EX) = Egj (X) Eh(X) folgt die Behauptung.
Bemerkung 2.87:
(a) Fur h(x) = x2 gilt
h(EX) = (EX)2 EX 2 = Eh(X):
(b) Fur p > 1; h(x) = jxjp gilt
h(E jX j) = (E jX j)p E jX jp = Eh(X);
d.h. aus E jX jp < 1 folgt E jX j < 1.
1.
(c) Fur h(x) = x1 und x > 0 folgt E X1 EX
(d) Fur h(x) = ex gilt exp(EX) E exp(X). Sei X diskret verteilt mit P(Xi = xi) = i fur i = 1; : : :; n
Pn
mit i = 1 und existierendem Erwartungswert. Dann gilt
i=1
exp(EX) = exp
n
X
i=1
! X
n
i x i i=1
i exp(xi ):
Mit yi = exp(xi) folgt die Ungleichung zwischen geometrischem und arithmetischem Mittel fur
i = n1
n
Yn i X
yi iyi :
i=1
Satz 2.88:
i=1
Sei X eine numerische Zufallsvariable auf (
; A; P) und p; > 0. Dann gilt die Tschebyschev-MarkovUngleichung
P jX j 1p E jX jp :
Fur p = 2 ist dies die sogenannte Tschebyschev-Ungleichung. Fur eine P-integrierbare Zufallsvariable X
erhalt man
P jX EX j 12 Var X;
bzw. fur 0 < Var X < 1 gilt
jX EX j 1
2 :
P p
Var X
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
Beweis: Es ist B := fjX j g 2 A und
Z
Z
Z
B
B
60
jX jp dP jX jp dP p dP = p P(jX j ):
Bemerkung 2.89:
(a) Ist X P-integrierbar mit EX = 0 und Var X = 1, so erhalt man
P(jX j 2) 14 ; P(jX j 3) 19 ; P(jX j 3) 0:8:
Fur EX = und Var X = 2 mit > 0 erhalt man
P(jX EX j k) k12 ; z.B. fur k = 3: P(jX EX j 3) 0:8:
Man sagt hierzu 3-Bereich um EX. Ist X N(0; 1), dann ist
P(jX j 1) 0:68269; P(jX j 2) 0:9545; P(jX j 3) 0:9973
(b) (Verallgemeinerung von Satz 2.88) Sei g eine isotone Funktion, g : [0; 1) ! [0; 1), so folgt
1 Eg(jX j):
P(jX j ) g()
(c) Sind X1 ; : : :; Xn unkorreliert, d.h. Cov(Xi ; Xj ) = 0 fur alle i 6= j, dann gilt fur alle > 0
! X
X
n
n
P (Xi EXi ) 12 Var Xi :
i=1
i=1
Gilt zusatzlich EXi = und Var Xi = 2 fur alle i, dann gilt fur alle > 0:
!
X
n
1 n2 = 2 n!1
1
P n Xi (n)
2
n2 ! 0;
i=1
Pn
d.h. n1 Xi =: X "strebt\ mit wachsendem n gegen = EXi (siehe Kapitel 3: Schwaches Gesetzt
i=1
der groen Zahlen). Wegen
X
X
X
EX = E n1 Xi = n1 EXi = n1 = ist ^ := X ein "erwartungstreuer\ Schatzer fur n (siehe Kapitel 4).
2.7 Faltungsformel und spezielle Verteilungen
Es ist bereits bekannt:
X1 ; : : :; Xn B(1; p) stochastisch unabhangig )
n
X
i=1
Xi B(n; p):
Allgemeine Frage: Sind X1 ; : : :; Xn P X1 stochastisch unabhangig, wie ist dann
Pn X verteilt?
i
i=1
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
61
Denition 2.90:
Sind X1 ; X2 Rn-wertige Zufallsvariablen auf (
; A; P), so heit die Verteilung von X1 + X2 =: Y Faltung
von P X1 und P X2 genannt. Sie wird mit P X1 P X2 bezeichnet, d.h.
P X1 P X2 (B) = P (X1 ;X2 ) f(x1 ; x2) 2 R2n : x1 + x2 2 B g
8 B 2 Bn:
Satz 2.91:
Unter den Voraussetzungen von Denition 2.90 gilt:
(a) Fur diskrete Zufallsvariablen X1 ; X2 gilt
8 z 2 Rn : P X1 +X2 (fz g) = P X1 P X2 (fz g) =
X
P X1 (fxg)P X2 (fz xg):
n
x 2R
(b) Fur n-stetige stochastisch unabhangige Zufallsvariablen X1 ; X2 mit n -Dichten f; g gilt: P X1 P X2
hat die n -Dichte h deniert durch
8 z 2 Rn :
h(z) =
Z
n
R
f(x)g(z x) dn(x) =: f g(z):
Beweis: Es ist
k(x1; x2) = x1 + x2
Also gilt
P X1 +X2 (B)
() k 1(fz g) = f(x1; x2) : x1 + x2 = z g:
Z
=
k
= Ik 1 (B) (x1 ; x2) dP (X1;X2 ) (x1; x2) Fubini=; Xi stu:
3
Z2Z
Z
4 Ik 1(B) (x1; x2) dP X2 (x2)5 dP X1 (x1) = P X2 (B x1) dP X1 (x1) ()
=
n R
n
R
R
| n
{z
}
X
P k(X1;X2 ) (B) = P (X1 ;X2 )
1 (B)
=P 2 (B x1 )
(a) Sei B = fz g. Dann ist
() =
X
g(z x1)f(x1 ) =
n
x 2R
X
P X2 (fz xg)P X1 (fxg):
n
x 2R
(b) In diesem Fall ist
3
3
Z2 Z
Z2Z
Fub
:;
Trafo
4 g(z) f(x) dn(z)5 dn(x) = = 4 g(z x)f(x) dn(x)5 dn(z):
() =
n B x
n
R
B | R
{z
}
=:h(z)
Bemerkung 2.92:
Seien Xi reellwertige Zufallsvariablen mit den Verteilungsfunktionen Fi (i = 1; 2), i -Dichte fi . Weiter
seien X1 ; X2 stochastisch unabhangig. Dann ist die zugehorige Verteilungsfunktion von X1 + X2 gegeben
durch
Z
Z
G(z) = F1 (z x)f2(x) d2(x) = F2(z x)f1 (x) d1(x):
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
62
Beispiel 2.93 (Faltung von Poisson-/Normalverteilung):
(a) Seien Xi Po(i ), i = 1; 2, stochastisch unabhangig. fi sei die Dichte von P Xi . Dann gilt fur alle
z 2 N0:
X
P(X1 + X2 = z) =
f1 (z x)f2 (x) =
x2N0
z
X
z x
x
e 1 (z1 x)! e 2 x!2 =
x=0
z z z x x
zX
1
2
= e (1 +2 ) (1 +z!2 )
+
+
2
x
1
2
1
x=0
=
|
{z }
B z; 1+22 ; )=1
Also gilt P X1+X2 = Po(1 + 2 ).
(b) Sei X N(; 2) und Y N(; 2) stochastisch unabhangig. Dann ist X + Y N( + ; 2 + 2).
Sei dazu o.E. = = 0. Dann gilt
x2 1
1
Z1 1
2 dx =
p exp 2
p
exp
(z
x)
h(z) =
2
2 2
2
2
1
z2
1
= p p 2 2 exp 2(2 + 2 ) 2 + Z1 r 2 + 2 z2
z2
exp
2
2
2
2
2( + ){z 2 2
| 2 1
Wie sehen
r
2
2
() = 2+2 2 exp
(
=()
x2 + xz
2 2 2
x2 dx
22 }
)
2 z 2 =: w(x)
2 + 2 x
22 2
2 + 2
R1
w(x) entspricht der Dichte einer N 2+2 2 z; 22+22 - Verteilung. Also ist w(x) dx = 1. Damit
1
hat h die 1 -Dichte einer N(0; 2 + 2)-Verteilung.
Beispiel 1.94 (21- und -Verteilungen, Faltungen):
Pn
Sind X1 ; : : :; Xn N(0; 2) stochastisch unabhangig, so eignet sich n1 Xi2 zum Schatzen von 2 , denn
n
1X
En
und
i=1
n
1X
Xi2 = n
i=1
i=1
EXi2 = n1 n2 = 2
n
n
X
X
22
Var n1 Xi2 = n12 Var Xi2 = n1 Var X12 = n1 E(X12 |EX
1}) =
{z
i=1
i=1
=2
4
4
1
= n 4 E(Y 4 2EY 2 + 1) = n (3 2 + 1) = 2n n!1
! 0;
P
wobei Y N(0; 1). Frage jetzt: Wie ist Xi2 verteilt, wenn X1 ; : : :; Xn N(0; 1) stochastisch unabhangig
sind? Beispielsweise fur n = 1 (x > 0):
p
p
p
p
P(X12 x) = P( x X x) = ( x) ( x):
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
63
Dies heit fur die 1-Dichte von P X1 :
d px ( px) = 1 x 12 '(px) + 1 x 12 '( px) = p1 e 12 xx 12 :
f(x) = dx
2
2
2
Pn
P X12 heit 21 -Verteilung. Fur n 1 erhalt man Xi2 2n (zentrale 2-Verteilung) mit n "Freiheitsi=1
graden\. Fur n 2 (0; 1) ist die 1 -Dichte der 2n -Verteilung gegeben durch
f(xjn) = p n 1 n x n2 1 e x2 I(0;1) (x):
2 2
Die 2n-Verteilung ist ein Spezialfall der -Verteilung (; ; ) mit ; > 0; 2 R, mit der 1 -Dichte
x 1
1
g(xj; ; ) = () (x ) exp
I(0;1) (x):
Es gilt
1
n 2
2
n = 2 ; 2; 0 ; 2 = (1; 2; 0) = EXP 2 :
Fur -Verteilungen gilt zum Beispiel
d.h. es ist
Beweis:
Z
Pn X 2 2 (s.o.)
i=1
i
- hier fehlt wieder etwas -
n
g(xj1; ; 0)g(z xj2; ; 0) d1 (x) =
x x z
Z
1
1
1
1
1
2
=
1 +2 (1 ) (2 ) x (z x) exp 2
2 I(0;1) (x) I(0;1) (z x) d (x) =
z 1+2 2 Zz x 1 1 x 2 1
(
+
)
1
1
2
= ( ) ( ) 1 +2 ( + ) exp 2 z
z
1 z
dx =
1
2
1
2
|0
y= xz
Z1
= z
= 1 +2 1( + ) exp 2z z 1 +2
1
2
=^ (1 + 2 ; ; 0)-Dichte
|0
1
{z
}
y1 1 (1 y)2 1 dy
{z
()
}
(z > 0)
1) (2 )
Dabei entspricht () dem vollstandigen Beta-Integral, es ist (
(1 + 2) .
Satz 2.95 (Verteilung des Produktes von stochastisch unabhangigen Zufallsvariablen):
Seien X; Y reellwertige stochastisch unabhangige Zufallsvariablen uber (
; A; P).
(a) Falls X; Y diskret verteilt sind mit Trager X0 bzw. Y0 R, so gilt
8 P
>
< P(X = x)P Y = xz z 2 R n f0g
P(XY = z) = > x6=0
: P(X = 0) + P(X 6= 0)P(Y = 0) z = 0
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
64
(b) Falls X; Y 1 -stetige Zufallsvariablen mit Dichten f; g sind, so ist XY 1 -stetig mit der 1 -Dichte
Z
h(z) = f(x)g xz jx1 j d1 (x):
Beweis:
(a) Sei z 6= 0 und B = f(x; y) 2 X0 Y0 : z = xyg. Dann folgt
P(XY = z) = P (X;Y ) (B) X;Y=stu:
=
() mit
Z
Z
B
dP X P Y Fubini
=
P Y (Bx ) dP X (x) (=)
P Y = xz P(X = x)
x2X0 nf0g
X
8
< P Y 2 y 2 Y0 : y = xz = P Y = xz x 6= 0
Y
P (Bx ) = :
0
x=0
Der Fall z = 0 ist klar.
(b) Sei T : R2 ! R2; T(x; y) = (x; xy). Dann ist T 1 (u; v) = u; uv fur u 6= 0, d.h. T 1 ist auf
(Rnf0g) R deniert (also bis auf eine 2 -Nullmenge). Eine entsprechende Modikation von Corollar
2.68 (Transformationsformel fur n -Dichten) liefert die 2 -Dichte von P T gegeben durch
f(u)g uv j det DT 1 (u; v)j I(Rnf0g)R
(u; v) = f(u)g uv ju1 j (u 6= 0)
mit
1 0 1
1
j det DT (u; v)j = det 0 1 = juj :
u
Also ist die 1 -Dichte von P XY gegeben durch
Z
f(u)g uv ju1 j d1(u):
Analog beweist man folgenden Satz:
Satz 2.96:
Sei Y eine 1 -stetige Zufallsvariable mit 1 -Dichte g. Dann ist Z = Y1 1 -stetige Zufallsvariable mit
1 -Dichte
h(z) = g 1z z12 :
Beispiel 2.97 (t-Verteilung mit n Freiheitsgraden):
Sind X1 ; : : :; Xn N(; 2 ) stochastisch unabhangige Zufallsvariablen, so eignet sich
n
n
X
X
p
T(X1 ; : : :; Xn ) := n X S 0 mit X = n1 Xi ; S 2 = n 1 1 (Xi X )2 ;
i=1
i=1
zum Prufen, ob 0 oder > 0 (0 fest vorgegeben, ; 2 unbekannt). Wenn T "gro\ ist (z.B. 3),
so spricht dies fur > 0. Ist T "klein\, so spricht dies fur 0. Man kann zeigen, da T die gleiche
Verteilung hat wie
s Y0
1P 2
i=1 Yi
mit stochastisch unabhangigen Y0 ; Y1; : : :; Y N(0; 1), = n 1 (falls = 0 ).
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
65
Ein Problem ist jetzt: Was ist
1
0
BB Y CC
LB
B@ s P0 CCA = ?
1
Y2
(Law, Verteilungsgesetz)
i=1 i
Wir denieren W :=
P Y 2. Dann gilt W 2 nach Beispiel 2.94 mit 1-Dichte
i=1
i
f(xj) =
Dann ist die
2 2
1
2
1 -Dichte von W 12
u(x) := 2xf(xj)
x2
1 x
e 2 I(0;1) (x)
1 1 2 1 u x x2 = x3 f x2 =: u~(x)
bzw.
ist die 1 -Dichte von W 21 . Wir konnen somit die 1 -Dichte von Y0 W 21 errechnen:
Z
h(z) =
u~(x)' xz jx1 j d1(x) =
1 z 2
Z1 2 exp 12 1
2
x
p
exp
dx =
=
x4 2 2 2 x 2 2
2 x
0
=
Z1
0
+2
2 w 2
(1 + z 2 ) 21 dw =
2 2 +2
2
2 23 w 23
2 2 2 2 (1 + z 2 ) +2
p
2 +1
2
= (1p+ z ) 2
mit der Substitution
Z1
|0
p
w 21 ( +1) 1e w dw
2
w = 2x1 2 (1 + z 2) ) x = p1 + z ;
2w
Somit ist die 1 -Dichte von pY10W :
{z
}
= ( +1
2 )
p
3
2
dx = 1 +x z 2 dw = 1 + z3 dw:
(2w) 2
+1 2
2
p1 h pz =: t(z j) = p 2 1 + z
2
Y
0
Die Verteilung von p 1 W heit (zentrale) t-Verteilung mit Freiheitsgraden (und ist fur alle 2 (0; 1)
deniert). Eine andere Bezeichnung ist die Student'sche t-Verteilung (Gosset 1908). Bezeichnung: tn .
Beachte: Fur = 1 ist
t(z j1) = 1 1 +1 2 =^ Cauchy(0; 1):
+1
Beispiel 2.98 (F-Verteilung Fn;m ):
Seien X1 ; : : :; Xn N(0; 2 ) und Y1; : : :; Ym N(0; 2) mit unbekannten ; > 0. X1 ; : : :; Xn ; Y1; : : :; Ym
seien stochastisch unabhangig. Dann eignet sich
n
X
T(X1 ; : : :; Ym ) := n1
Xi2
m
P
i=1 m1
Yj2
j =1
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
66
zum Vergleich der unbekannten Variablen 2 ; 2: T gro spricht fur 2 > 2 . Umgekehrt bedeutet es
2 > 2 , wenn T klein ist. Die Verteilung von T heit F-Verteilung mit Freiheitsgraden n und m (falls
2 = 2 ).
1
Allgemeiner: X 2n; Y 2m mit n; m 2 (0; 1). Deniere T := mn1 XY . Dann ist f(xjn) die 1-Dichte von
X sowie f 1y m y12 die 1 -Dichte von Y 1 . Fur die 1 -Dichte von XY 1 berechnen wir
Z
2
f(xjn)f xz m xz 2 jx1 j d1(x) =
Z1 1 n x 1 x m2 1
x 2 1e 2 2 m2 m z
=
e
2 n2 n2
2
g(z jn; m) =
0
=
2 m+2 n
n
=
2
n
1
2
m z m2 +1
2
z n2 1
m (1 + z)
2
Z1
|0
Z1
0
w
x n+2m 1 exp
n+m 1 w
2
e
{z
= ( n+2m )
x
2z
x
z 2 dx =
x 1 2 1 + z dx =
dw
}
1
2wz und dx = 2z dz. Somit ist die 1 -Dichte von n X :
mit der Substitution w = x2 1 + 1z ; x = 1+
z
1+z
1
mY
n g n z n; m =
f(xjn; m) = m
m
n 1
n+m n n2
2
z
2
=
n+m (z > 0):
m m
n
2
2
1 + mn z 2
Beachte: Z tm ) Z 2 F1;m .
Anmerkung:
Die F-Verteilung taucht zum Beispiel in der Varianzanalyse auf: Xij N(i ; 2); j = 1; : : :; ni; i =
1; : : :; k. Prufe, ob 1 = : : : = k . Denn wenn 1 = : : : = k , dann gilt
1
k 1
mit S 2 = ni1 k
PP(X
ij
P(X
i
S2
X )2
Fk
1;ni k
X i ).
Beispiel 2.99 (Beta-Verteilung Beta(; )):
Seien X 2n und Y 2m stochastisch unabhangig, n; m 2 (0; 1). Setze Z = XY 1 und W =
(monotone Transformation). Dann gilt: W Beta(; ) mit = n2 ; = m2 und der 1 -Dichte
Z
1+Z
( + ) w 1(1 w) 1 I (w) (; > 0)
g(wj; ) = ()
(0;1)
()
Die Beta-Verteilung wird in der Bayes'schen Statistik als a-priori-Verteilung des Parameters p 2 (0; 1)
einer B(n; p)-verteilten Zufallsvariable eine wichtige Rolle. Dort nimmt man an, da der "Parameter\ p
einer Beta(; )-Verteilung genugt und wahlt ; > 0 auf der Basis gewisser Vorinformationen
(oder des
personlichen Glaubens). Die Bayes'sche Formel fur Dichten lautet in diesem Fall:
jp)g(pj; )
f(pjx) = R f(xf(x
jp~)g(~pj; ) d1(~p) p 2 (0; 1)
2 ZUFALLSVARIABLE UND INTEGRATIONSTHEORIE
67
mit f(jp) Zahldichte der B(n; p)-Verteilung und g(j; ) 1 -Dichte der Beta(; )-Verteilung, sowie
f(pjx)=^ Beta( + x; n + x)-Dichte entspricht der posteriori-Dichte. Es gilt
Beta(1; 1)^=G (0; 1) :
3 GRENZWERTSATZE
68
3 Grenzwertsatze
3.1 Fragestellungen
(A) Ein Munzexperiment mit den Wahrscheinlichkeiten p fur Kopf und 1 p fur Zahl (p 2 (0; 1)) wird
unendlich oft wiederholt. Wie gro ist die Wahrscheinlichkeit, da (i) unendlich oft Zahl und (ii)
endlich oft Zahl fallt?
(B) Seien X1 ; : : :; Xn stochastisch unabhangig identisch verteilt (kurz: stid., d.h. P Xi = P X1 8 i) mit
EX1 = 2 R; Var X1 = 2 2 (0; 1). Dann gilt
n
X
EX (n) = E n1 Xi = ;
Var X (n) = n1 2 n!1
! 0:
i=1
1. Frage: Konvergiert die Zufallsvariable X (n) in irgendeinem Sinne gegen ? Gilt zum Beispiel
! 0 oder
(i) P(jX (n) j ) n!1
(n)
(ii) nlim
!1 X = [P]?
2. Frage: Zentriert und standardisiert man X (n) gema
(n)
Wn := X ;
so gilt EWn = 0 und
!2
n
n
X
X
1
n
Var Wn = 2 E n (Xi ) (=) n2 n12 |E(X1{z )2} = 1
i=1
i=1
=2
Konvergiert die Verteilung von Wn, also P Wn fur n ! 1 gegen eine bekannte Verteilung?
Bemerkung:
Es fuhrt
(A) zu den Null-Eins-Gesetzen,
(B) 1. (i) zu den schwachen Gesetzen der groen Zahlen (SGGZ) und zum Begri der stochastischen
Konvergenz,
(ii) zu den starken Gesetzen der groen Zahlen (StGGZ) und zum Begri der fast-sicheren
Konvergenz,
2. zu den zentralen Grenzwertsatzen (ZGWS) und zum Begri der schwachen Konvergenz bzw.
Verteilungskonvergenz von Zufallsvariablen.
Eine weitere Fragestellung: Gibt es eine Folge (an)n2N; an 6= 0, so da fur eine stochastisch unabhangig
identisch verteilte Folge (Xn )n2Nmit EXn = 0 und Var Xn = 2 gilt:
P(limsup San = 1) = P(liminf San = 1) = 1 ?
n
n
n
P
Dabei sei Sn := Xi (n 2 N). A quivalent dazu
i=1
limsup San = 1[P]
n
und
liminf San = 1[P]:
n
Dies fuhrt zum Gesetz vom iterierten Logarithmus: Wahle
p
an = 2n loglog n (siehe Bauer, 1991)
3 GRENZWERTSATZE
69
3.2 Null-Eins-Gesetz
Zunachst einige mengentheoretische Vorbereitungen:
Denition 3.1:
Sei =
6 =0; E ; D 2
.
(a) D heit Dynkin-System, falls
(d1) 2 D,
(d2) A; B 2 D; A B ) B n A 2 D und
P
(d3) (An )n2Npaarweise disjunkt ) An 2 D.
n2N
(b) Es heit
\
D(E ) = D0
ED0 D0 Dynkin Syst:
das von E erzeugte Dynkin-System.
Lemman 3.2
(a) Ist D 2
ein Dynkin-System, so sind aquivalent
(i) D ist -Algebra,
(ii) D ist durchschnittstabil, d.h. A; B 2 D ) AB 2 D.
(b) Ist E 2
durchschnittstabil, so gilt D(E ) = (E ).
Beweis: siehe Bauer, 1990.
Bemerkung:
Ist D eine -Algebra, so ist D auch ein Dynkin-System. Die Umkehrung ist im allgemeinen falsch.
Denition 3.3 (-Algebra der terminalen Ereignisse):
Fur eine Folge von -Algebren (An )n2Nuber heit
1
0
\ @[ A
A1 := Am
n2N
mn
die -Algebra der terminalen Ereignisse (der Folge (An )n2N) oder abschnittsinvariante -Algebra. A1 ist
-Algebra: Einfach (1) bis (3) nachrechnen.
Beispiel 3.4:
!
S
Seien (An)n2N; An ; An := (fAn g) = f=0; An; Acn; g und Bn := An . Dann ist
mn
\
A1 =
Setze Ck :=
Bn :
n2N
S A fur k n. Dann ist C 2 B fur alle k n und wegen C # gilt fur alle n 2 N:
m
k
n
k
mk
lim sup Ar =
r!1
1
\
k=1
Ck =
1
\
k=n
Ck 2 Bn ;
3 GRENZWERTSATZE
70
also rlim
!1 sup Ar 2 A1 . Analog kann man zeigen: rlim
!1 inf Ar 2 A1 .
Fur unseren Munzwurf gilt: = f0; 1gN; Ai := f! 2 : !i = 1g. !i = 1 heit: Kopf im i-ten Wurf.
Dann entspricht
lim sup An =^ unendlich viele der An treten ein,
lim inf Acn =^ schlielich alle Acn treten ein, d.h. hochstens endlich oft Kopf.
n!1
n!1
Satz 3.5 (0-1-Gesetz von Kolmogoro):
Gegeben sei ein Wahrscheinlichkeitsraum (
; A; P) und eine stochastisch unabhangige Folge von Algebren (An )n2N A. Dann gilt fur alle A 2 A1 : P(A) 2 f0; 1g.
Beweis: Sei A 2 A1 beliebig. Deniere D := fD 2 A : P(AD) = P(A)P(D)g, d.h. D ist die Menge aller
von A stochastisch unabhangigen Ereignisse. Wie zeigen, da D ein Dynkin-System ist:
(d1) P(A
) = P(A)P(
), also gilt 2 D,
(d2) Seien E; F 2 D mit E F. Dann gilt
P A(F n E) = P(AF ) P(AE) = P(A)P(F) P(A)P(E) = P(A)P(F n E);
also F n E 2 D nach Denition,
(d3) Sei (Dn )n2N D paarweise disjunkt. Dann gilt:
X X
P A
also
Dn =
n2N
P(ADn) =
n2N
P 2 D.
n2N
X
P(A)P(Dn ) = P(A)
n2N
S
X
P(Dn) = P(A)P
n2N
X Dn ;
n2N
Sei Tn := (A1 [ : : : [ An ) und Tn := Am fur alle n 2 N. Dann sind, wegen der stochastischen
mn
Unabhangigkeit der (An )n2N; Tn und Tn+1 stochastisch unabhangig (wegen Lemma 3.6 (c) s.u.). Wegen
A 2 A1 Tn+1 sind daher fAg und Tn stochastisch unabhangig fur alle n 2 N. Nach Konstruktion der
D gilt Tn 2 D fur alle n 2 N und somit
T :=
1
[
n=1
Tn D:
T ist durchschnittstabil, denn Tn ", d.h. fur alle E; F 2 T existiert ein n 2 N mit E; F 2 Tn .
Nach Lemma 3.2 und mit T D folgt (T ) = D(T ) D. Da An T fur alle n 2 N, folgt
8 n 2 N : An (T ) D:
Somit gilt fur alle n 2 N:
[ Am (T ) D;
T1
S
mn
also A1 = Am (T ) D. Fur unser vorgegebenes A folgt damit A 2 D, d.h. A ist von
n=1 mn
sich selbst unabhangig, also mu gelten:
P(A) = P(AA) = P(A)P(A) = P(A) 2 2 f0; 1g:
3 GRENZWERTSATZE
71
Lemma 3.6 (Nachtrag zur stochastischen Unabhangigkeit):
Gegeben sei ein Wahrscheinlichkeitsraum (
; A; P) mit (Ei )i2I ; Ei A. Dann gelten:
(i) (Ei )i2I stochastisch unabhangig ) D(E i ) i2I stochastisch unabhangig,
(ii) Sind (Ei )i2I stochastisch unabhangig, 8 i 2 I : Ei durchschnittstabil. Dann gilt: (Ei ) i2I stochastisch unabhangig,
P
(iii) Sind (Ei )i2I stochastisch unabhangig, 8 i 2 I : Ei durchschnittstabil und I = Ij sowie
Aj := Dann gilt
(Aj )j 2J stochastisch unabhangig
j 2J
[ Ei :
i2Ij
(Zusammenfassen unabhangiger -Algebren).
Satz 3.7 (Lemma von Borel-Cantelli):
Gegeben sei ein Wahrscheinlichkeitsraum (
; A; P); (An )n2N A, und
A1 := nlim
!1 sup An =
Dann gilt
(a) Ist
1 [
\
n=1 mn
1
P
P(An) < 1 ) P(A1) = 0,
n=1
(b) Sind (An )n2Nstochastisch unabhangig und
Beweis:
(a) Wegen
P P(A ) < 1 gilt
n
P(A1 ) = P
1 [
\
n=1 mn
("An 1 oft\):
Am
1
P
P(An) = 1 ) P(A1 ) = 1.
n=1
Am P
[
X
mn
Am mn
P(Am ) n!1
! 0:
(b) Setze An := fAn g = f=0; An; Acn; g. Dann sind (An )n2Nstochastisch unabhangig, d.h. wir sind
in der Situation von Satz 3.5 und nach Beispiel 3.4 ist
A1 2 A1 =
Also gilt P(A1) 2 f0; 1g. Weiter gilt
P(Ac1 ) = P(liminf Acn ) = P
1 \
[
n=1
\k
1 [
\
n=1
m nAcm
mn
Am :
Stetigkeitssatz
c stu
=
k
Y
lim P
n!1
\
mn
1
Y
Acm =
= nlim
P
A
P(Acm ) = nlim
!1 klim
!1 klim
!1 m=n 1 P(Am ) = 0;
!1 m=n m = nlim
!1 m=n
denn fur n 2 [0; 1]; n 2 N, gilt:
X
n < 1 ()
n2N
Y
(1 n) > 0:
n2N
3 GRENZWERTSATZE
72
Q
P
P
P(Am ) = 1 fur alle n 2 N, also
1 P(Am ) = 0 fur alle n 2 N.
Da P(An) = 1, folgt
mn
mn
n2N
Somit ist P(A1 ) = 1.
Beispiel 3.8 (Munzwurf):
Seien (Xn )n2Nstochastisch unabhangige Zufallsvariablen auf (
; A; P) mit P(Xi = 1) = p; P(Xi = 0) =
1 p. Sei deniert An := f! : Xn (!) = 1g fur alle n 2 N. Dann gilt (An )n2Nstochastisch unabhangig.
Dann gilt
A1 = f! 2 : Xn (!) = 1 fur unendlich viele ng = limsup An:
Wegen
1
P
P(An ) = 1 ist P(A1 ) = 1. Weiter gilt fur
n=1
B1 := liminf Acn = f! 2 : Xn (!) = 1 fur hochstens endlich viele ng;
da
c ) = 1 P(A1 ) = 0:
P(B1 ) = 1 P(B1
Bemerkung:
Es lat sich zeigen, da jede endliche Sequenz von Nullen und Einsen, zum Beispiel 010 mit Wahrscheinlichkeit 1 unendlich oft vorkommt.
Beispiel 3.9 (Irrfahrt eines Teilchens):
(Xn )n2Nstochastisch unabhangige Zufallsvariablen auf (
; A; P) mit P(Xi = 1) = p; P(Xi = 1) = 1 p.
Pn
Sei Sn := Xi die Summe der ersten n Zufallsvariablen Xi . Sei An := f! 2 : Sn (!) = 0g. Dann gilt
i=1
(a) Falls p 6= 12 , gilt P(A1 ) = 0,
(b) falls p = 12 , so gilt P(A1 ) = 1, d.h. "egal welchen Wert Sn hat, man kommt mit Wahrscheinlichkeit
1 wieder zu Sm = 0 fur ein m > n\.
Beweis:
(a) Wegen A2n+1 = 1 ) A1 = limsup A2n. Es ist
n
n
P(A2n) = 2n
n p (1 p) :
Mit Hilfe der Stirling-Formel
1
g(n) exp 12n1+ 1 < n! < g(n) exp 12n
p
mit g(n) = ne n 2n erhalt man
2n
2n 1
mit n n!1
! 0:
n = 2 pn (1 + n )
Es folgt
P(A2n) = 22n p1n (1 + n ) p(1 p) n = p1n (1 + n ) |4p(1{z p)} n ;
=:q<1
also schlielich P(A2n) < qn :
X
P(A2n) <
n2N
X
qn < 1 ) P(A1 ) = 0:
n2N
3 GRENZWERTSATZE
73
(b) Problem: (An )n2Nsind nicht stochastisch unabhangig. Wahle deshalb eine Teilfolge (nk )k2N. Dann
gilt fur
[
Ck 2 (Xj ) ;
nk <j nk+1
da (Ck )k2Nstochastisch unabhangig sind. Im folgenden werden nk und Ck so gewahlt, da
P
(i) P(Ck) = 1 und
k 2N
(ii) limsup Ck limsup Ak =: A1 .
Mit Borel-Cantelli folgt dann P(A1 ) P(limsup Ck ) = 1, also P(A1 ) = 1. Angenommen, (nk )
sei schon gewahlt und (mk ) mit nk mk nk+1 . Deniere
Ck := fXnk +1 + : : : + Xmk nk g \ fXmk +1 + : : : + Xnk+1 mk g:
Dann gilt fur alle ! 2 Ck :
Smk (!) 0 und Snk+1 (!) 0; d.h. Ck n[
k+1
j =nk +1
Aj :
Somit gilt limsup Ck A1 , also ist (ii) erfullt.
1
P
Wahle nun (nk ); (mk ) so, da P(Ck ) = 1. Dazu eine Zwischenbehauptung:
k=1
Fur alle 2 (0; 1) und k 2 N existiert ein Index r(k) 2 N mit P(jSr(k)j k) .
Beweis der Zwischenbehauptung: Fur j = n; n + 2; : : :; n 2; n gilt
P(Sn = j) = 21n 1 (n1+ j) :
2
n
j
Es gilt Sn = j genau dann, wenn 2 der X1 ; : : :; Xn = 1 und n n2 j der X1 ; : : :; Xn = 1. Also
folgt
X
X 1 1 X 1 n
lim
P(Sn = j) = nlim
n!1
!1 jj jk 2n 12 (n + j) nlim
!1 jj jk 2n n2 jj jk
j 2f n; n+2;:::;ng
j 2f n; n+2;:::;ng
1 n = (k + 1) lim 1 2n p1 (1 + ) = 0;
(k + 1) nlim
n
n!1 2n
!1 2n n2
n
also folgt die Zwischenbehauptung. Somit existiert fur alle 2 (0; 1) und alle k 2 N ein n = r(k)
mit
X
P(Sn = j) :
jj jk
Deniere (nk ); (mk ) nun wie folgt:
mk := nk + r(nk );
Es folgt:
nk+1 := mk + r(mk ):
P(Ck ) Xi=stu P(Xnk+1 + : : : + Xmk nk ) P(Xmk +1 + : : : + Xnk+1 mk ) =
sym: 1
= 4 P jXnk+1 + : : : + Xmk j nk P jXmk +1 + : : : + Xnk+1 j mk =
= 41 P jSr(nk ) j nk P jSr(mk ) j mk 41 (1 )2 > 0:
P
Also folgt P(Ck ) = 1 und damit die Behauptung.
k 2N
3 GRENZWERTSATZE
74
Bemerkung 3.10 (Erganzung zu Lemma 3.6):
Gegeben sei ein Wahrscheinlichkeitsraum (
; A; P) und stochastisch unabhangige Zufallsvariablen
Xi : (
; A) ! (
i ; Ai)
P
N
fur i 2 I. Sei weiter I := Ij und Tj : (i2Ij i; Ai ) ! (
0j ; A0j ). Dann sind
j 2J
i2Ij
Tj (Xi : i 2 Ij ) j 2J stochastisch unabhangig.
3.3 Gesetze der groen Zahlen
Denition 3.11:
Gegeben (Xn )n2N; X reellwertige Zufallsvariable auf (
; A; P).
P X) : ()
(a) (Xn )n2Nkonvergiert P-stochastisch gegen X (Xn !
= 0:
8 > 0 : nlim
P
j
X
X
j
n
!1
(b) (Xn )n2Nkonvergiert P-fast-sicher gegen X (Xn ! X[P]) : ()
lim X = X[P]:
n!1 n
Dies ist aquivalent zu P f! : nlim
!1 Xn (!) = X(!)g = 1.
Denition 3.12:
Fur eine Folge (Xn )n2Nvon reellwertigen integrierbaren Zufallsvariablen auf (
; A; P) gilt
(a) das schwache Gesetz der groen Zahlen (SGGZ) : ()
8>0:
n
1 X
lim
P
(X
EX
)
i = 0:
n!1
n i=1 i
(b) das starke Gesetz der groen Zahlen (StGGZ) : ()
n
1X
(Xi EXi ) = 0[P]:
lim
n!1 n
i=1
Bemerkung 3.13:
P X. Die Umkehrung gilt i.a. nicht.
(a) Es gilt: Xn ! X[P] ) Xn !
(b) Wegen Teil (a) gilt:
(Xn )n2Ngenugt dem StGGZ ) (Xn ) genugt dem SGGZ.
Die Umkehrung gilt i.a. nicht.
(c) Folgende Aussagen sind aquivalent:
(i) Xn ! X[P] fur eine reellwertige Zufallsvariable X,
3 GRENZWERTSATZE
(ii) 8 > 0 : mlim
!1 P
75
S fjX
nm
n
X j g = 0,
(iii) 8 > 0 : mlim
!1 P sup jXn X j = 0,
nm
(iv) 8 > 0 : mlim
!1 P sup jXn Xm j = 0.
nm
Falls (n )n2N; n > 0; nlim
!1 n = 0 und
(d) Ebenfalls aquivalent sind
1
P
P jXn X j n < 1, dann folgt (i).
i=1
P X,
(i) Xn !
(ii) Zu jeder Teilfolge von (Xn )n2Ngibt es eine fast uberall gegen X konvergente Teilfolge.
Im folgenden sei als generelle Voraussetzung eine Folge (Xn )n2Nvon reellwertigen Zufallsvariablen auf
(
; A; P) gegeben.
Satz 3.14 (SGGZ von Markov, publ. 1906):
Sind die (Xn )n2Nquadrat-integrierbar und ist die Markov-Bedingung
n
1 Var X
=0
lim
X
i
n!1 n2
i=1
erfullt, so gilt das schwache Gesetz der groen Zahlen (SGGZ).
Beweis: Die Tschebyschev-Ungleichung ergibt fur alle > 0:
n
n
n
2
X
X
X
(Xi EXi ) = 21n2 Var Xi ! 0:
P n1 (Xi EXi ) 21n2 E
i=1
i=1
i=1
Corollar 3.15:
(a) Seien Xn B(n; p) fur n 2 N stochastisch unabhangig, dann gilt das schwache Gesetz der groen
Zahlen (SGGZ von Bernoulli, publ. 1718).
(b) Seien (Xn )n2Nquadrat-integrierbar, paarweise unkorrelliert und identisch verteilt, dann gilt das
SGGZ.
(c) Seien (Xn )n2Nstochastisch unabhangig und (Var Xn )n2Nbeschrank, dann gilt das SGGZ.
(d) Seien (Xn )n2Nquadrat-integrierbar, paarweise unkorrelliert und
n
1X
lim
Var Xi = 0;
n!1 n2
i=1
dann gilt das SGGZ.
Beispiel 3.16 (Irrfahrt eines Teilchens, Random Walk):
Seien (Xn )n2Nstochastisch unabhangig mit P(Xn = 1) = P(Xn = 1) = 21 , dann gilt das SGGZ. Fur
Pn
Sn := Xi gilt also
i=1
8 > 0 : P jSnj n n!1
! 0:
Im folgenden beschaftigen wir uns mit dem starken Gesetz der groen Zahlen (StGGZ). Der folgende Satz
fast drei Varianten des StGGZ zusammen.
3 GRENZWERTSATZE
76
Satz 3.17:
Eine Folge (Xn )n2Nreeller integrierbarer Zufallsvariablen genugt dem StGGZ, falls eine der drei folgenden
Bedingungen erfullt ist:
(a) (Xn )n2Nidentisch verteilt und paarweise stochastisch unabhangig (StGGZ von Etemadi, 1981),
(b) (Xn )n2Nquadrat-integrierbar, stochastisch unabhangig und erfullt die Kolmogorov-Bedingung
1 1
X
n2 Var Xn < 1
n=1
(StGGZ fur quadrat-integrierbare, stochastisch unabhangige Zufallsvariablen von Kolmogorov von
1928),
(c) (Xn )n2Nstochastisch unabhangig identisch verteilt (StGGZ fur integrierbare stochastisch unabhangige identisch verteilte Zufallsvariablen von Kolmogoro, 1930).
Wir beweisen hier nur (b) und (c). Einen Beweis von (a) ndet man z.B. in Bauer (1991), S. 86 . Es folgt
(c) naturlich aus (a). Wir werden (c) jedoch auf (b) zuruckfuhren und dabei die Technik des "Stutzens\
von Zufallsvariablen kennenlernen. Zum Beweis von (b) jedoch noch drei vorbemerkende Resultate:
Satz 3.18 (Kolmogorov-Ungleichung, 1930):
Seien X1 ; : : :; Xn stochastisch unabhangig und quadrat-integrierbar mit EXi = 0. Sei weiter
n2 :=
n
X
i=1
Var Xi ; Sj :=
j
X
i=1
Xi :
Dann gilt fur alle > 0 :
n2 :
P 1max
j
S
j
j
j n
2
Beweis: Setze Aj := fjSj j g und A := 1max
j n jSj j sowie
A :=
[n
j =1
Aj =:
n
X
j =1
Bj ; B1 := A1 ; Bj := Aj Ac1 Acj 1:
Bj ! erstmals bei j : jSj j .
Pn Var X = Var S ). Es gilt
i
n
i=1
Z
n Z
X
Also ist zu zeigen: P(A) 12 Var Sn (da n2 =
Var Sn =
=
Z
Sn2 dP n Z
X
j =1Bj
n
X
j =1
A
Sn2 dP =
j =1Bj
(Sj Sn + Sj )2 dP =
(Sj2 + 2Sj (Sj Sn ) + (Sn {zSj )2} dP |
2 P(Bj ) + 2 = 2 P(A) + 2 n Z
X
0
IBj Sj (Sj Sn ) dP =
}
j =1 | stu{z
:; da
(X1 ;:::;Xj );(Xj+1 ;:::;Xn ) stu:
n Z
X
j =1 Bj
Sj dP
E(Sj Sn ) = 2 P(A):
| {z }
=0
3 GRENZWERTSATZE
77
Satz 3.19 (Zweireihensatz):
Seien (Xn )n2Nstochastisch unabhangig und quadrat-integrierbar mit
1
P
EXn konvergiert (in R),
n=1
1
P
(ii) Var X < 1,
(i)
n=1
n
1
P
Xn fast sicher (in R).
i=1
Pn
Beweis: Setze wieder Sn := Xi . Wegen (i) kann ohne Einschrankung EXn = 0 fur alle n 2
i=1
dann konvergiert
N
angenommen werden (ansonsten rechne mit Yn := Xn EXn weiter). Fur m 2 N sei Yi := Xi+m . Dann
gilt mit
j
X
Tj := Yi = Sj +m Sj
i=1
P 1max
jS
S j
j k j +m j
= P max jT j Kolm:Ungl:
1j k j
k
+k
1 mX
1X
Var Xi
2 Var Xi = 2
i=1
i=m+1
Es folgt
1
1 X
P sup jSj +m Sm j = jlim
P
j
S
S
j
j
+
m
m
!1
2 i=m+1 Var Xi
j
Wegen Voraussetzung (ii) gilt fur alle > 0:
= 0:
lim
P
sup
j
S
S
j
j
+
m
m
m!1
j
Also folgt Sn ! S[P] fur eine reellwertige Zufallsvariable S (nach Bemerkung 3.13 (c)) und damit die
Behauptung.
Lemma 3.20 (Kronecker-Lemma):
1
P
Sei 0 < n < 1 mit n monoton gegen 1 konvergent, sowie bn 2 R mit
gilt
bn
n=1 n
n
1X
lim
bj = 0:
n!1 konvergent in R. Dann
n j =1
Pn
Beweis: Setze sn := bii ; b0 := 0; 0 := 0; s0 := 0. Nach Voraussetzung gilt sn ! s 2 R. Wegen
i=1
n (sn sn 1) = b fur n 1 folgt
n
n
n
n
X
1X
1X
1 X
i si
b
=
(s
s
s
i
i
i
i
1) =
i
i
n i=1
n i=1
n i=1
i|=2 {z
1
}
P
= i+1 si
=
n 1
1 nX1
= n
i=1
nX1
(i i+1 )si + n sn = sn 1 (i i 1 )si 1 :
n i=1
i=1
3 GRENZWERTSATZE
78
Aus der Analysis ist der folgende Sachverhalt bekannt:
sn ! s; n 0 mit
Wahle hierfur i := i i 1 )
1
X
: : : + nsn ! s:
n = 1 ) 1s1 +
1 + : : : + n
i=1
Pn = :
i
n
i=1
nX1
n
X
) 1 (i i 1)si 1 ! s; ) 1 bi ! 0:
n i=1
n i=1
Beweis von1 Satz 3.17 (b) (mit dem Zweireihensatz
und dem Kronecker-Lemma):
Setze Yn := n (Xn EXn ) ) EYn = 0 und Var Yn = n12 Var Xn . Nach Voraussetzung folgt
1
X
Weiterhin wissen wir
1
P
n=1
n=1
Var Yn =
1 1
X
n2 Var Xn < 1:
i=1
EYn = 0. Somit folgt, da
1
X
Yn =
1 X EX
X
n
n
n
nach Satz 3.19 (Zweireihensatz) fast sicher konvergiert. Mit dem Kronecker-Lemma folgt
n
1X
n j =1(Xj EXj ) ! 0[P]:
n=1
n=1
Zum Beweis von Satz 3.17 (c) noch folgendes Lemma.
Lemma 3.21:
Seien (Xn )n2N; (Yn )n2Nund Y reellwertige Zufallsvariablen sowie a < an n!1
! 1 mit
1
n
1 X Y ! Y [P] und X P(Y 6= X ) < 1:
n
n
an i=1 i
n=1
Dann folgt a1n
Pn X n!1
i ! Y [P].
i=1
Beweis: Nach Satz 3.7 (Borel-Cantelli) folgt P(nlim
!1 supfYn 6= Xn g) = 0 und damit
P nlim
!1 inf fYn = Xn g = 1:
|
{z
}
=:A=fXn =Yn fur fast alle ng
Pn
1
Betrachte B := n Yi ! Y . Dann gilt P(AB) = 1. Fur ! 2 AB existiert ein n(!) 2
i=1
Yn (!) = Xn (!) 8 n > n(!). Dann folgt fur alle n n(!)
(!)
n
n
1 X
1 X
1 nX
X
(!)
+
X
(!)
=
i
i
an i=1
an i=1
an i=n(!)+1 Xi (!) =
nX
(!)
nX
(!)
n
X
1
1
1
Xi (!) + a
Yi (!) ! Yn
Yi (!) a
= a
n i=1
n i=1
n i=1
|
{z
!0
} |
{z
!Y (!)
} |
{z
!0
}
N
mit
3 GRENZWERTSATZE
79
Beweis von Satz 3.17 (c) (durch "Stutzen\ der Xn und Zuruckfuhrung auf (b)):
Wir stutzen die Xn , um quadrat-integrierbare
Zufallsvariablen zu erhalten:
Un := Xn I[ n;n]:
Dann sind die (Un )n2Nstochastisch unabhangig und quadrat-integrierbar (da beschrankt). Beachte: Die
(Un )n2Nsind nicht identisch verteilt. Der Beweis bedient sich folgender drei Behautungen:
1 1
P
2 Var Un < 1 (Kolmogorov-Bedingung),
n=1 n
Pn
(ii) lim 1 EU = EX und
(i)
n!1 n i=1
(iii)
i
1
1
P
P(Un =
6 Xn ) < 1.
n=1
Aus (i) bis (iii) folgt das StGGZ fur die (Xn )n2N, denn aus (i) folgt das StGGZ fur (Un )n2Nnach Satz
3.17 (b), d.h.
n
1X
n (Ui EUi ) ! 0[P]:
i=1
Pn
Zusammen mit (ii) ergibt dies n1 Ui ! EX1 [P]. Mit Lemma 3.21 (setze an := n) folgt aus (iii)
i=1
schlielich
n
n
1X
1X
n i=1 Xi ! EX1 [P] bzw. n i=1 (Xi EXi ) ! 0[P] (da (Xi ) stid.)
und damit die Behauptung. Zum Beweis von (i) bis (iii):
(i) Setze Aj := fj 1 < jX1j j g fur j 2 N. Dann sind Aj paarweise disjunkt. Somit gilt
Z
1 1
1
1 1
1
n Z
X
X
2 dP = X 1 X X 2 dP Fub: fur=Zahlmae
2=X 1
X
Var
U
EU
n
1
1
2
2 n
2
2
n=1 n
n=1 n j =1Aj
n=1 n
n=1 n fjX1 jng
1Z
1 1 Z
1 X
X
X
2
jX1 j dP = 2 E jX1 j < 1
X1 dP 2 =
2
j =1
j =1 n=j n
| {z2 } A|j R {z }
j j jX1 j dP
Aj
Aj
(ii) Es ist
Damit folgt
(iii) Es ist
Z
Z
1
X
n=1
EUn = x I[ n;n] dP X1 (x) beschr:!Konv: x dP X1 (x) = EX1 :
n
n
1 P
1P
n i=1 EUi ! EX1 (allg.: an ! a ) n i=1 ai ! a).
P(Un 6= Xn ) =
=
=
1
X
n=1
P(jXnj > n) =
1 X
i
X
i=1 n=1
1
X
i=1
1
1 X
X
n=1 i=n
P(i < jX1j i + 1) =
P(i < jX1 j i + 1) =
1
X
i=1
i P(i < jX1 j i + 1) =
i P jX1j (i; i + 1] E jX1j < 1
3 GRENZWERTSATZE
80
Damit ist Teil (c) des Satzes 3.17 bewiesen.
Eine Art Umkehrung des starken Gesetzes der groen Zahlen (StGGZ) ist der folgende Satz.
Satz 3.22:
Sei (Xn )n2Neine stochastisch unabhangige identisch verteilte Folge von reellwertigen Zufallsvariablen auf
(
; A; P). Falls
n
X
1
1
Sn := n Sn := n Xi ! X[P]
i=1
fur eine reellwertige Zufallsvariable X auf (
; A; P), dann sind Xn P-integrierbar fur alle n 2 N und
X = EX1 [P].
Beweis: Da Sn ! X[P] nach Voraussetzung, gilt
1
n 1 S ! 0[P]:
n Xn = Sn
n n 1
Betrachte Cn := fjXnj ng. Dann kann Cn nur mit Wahrscheinlichkeit 1 fur unendlich viele n auftreten,
1
P
d.h. P(limsup Cn) = 0. Mit Satz 3.7 (b) (Borel-Cantelli) folgt P(Cn) < 1. Da (Xn ) eine stid-Folge
n=1
ist, gilt
8 k; n:
P(Cn) = P jXk j > n
Also
1
1
X
X
P(Cn) = P jXk j n < 1:
n=1
n=1
Mit Aj := (j + 1; j] fur j 2 N ist aber
1 >
=
1
X
n=1
1
X
j =1
1
1 X
X
X
P jXk j 2 Aj = (j 1) P jXk j 2 Aj =
n=1 j>n
j =1
1
1Z
X
X
Xk
P jX k j n =
j P jXk j 2 Aj
j =1
|
P jXk j 2 Aj {z
}
=1
j =1Aj
jxj dP (x)
1 = E jXk j 1;
Pn
also ist Xk P-integrierbar. Aus Satz 3.17 folgt sofort Sn = n1 Xi ! EX1 [P]. Nach Voraussetzung aber
i=1
auch Sn ! X[P], also X = EX1 [P].
Bemerkung 3.23:
Zusammen mit der Rechnung im Beweis von Satz 3.17 (c) Teil (iii) ist damit fur jede reellwertige integrierbare Zufallsvariable gezeigt:
1
X
n=1
P jX j n E jX j 1 +
1
X
n=1
1
bzw. X integrierbar () X
P jX j n < 1
P jX j n
n=1
Corollar 3.24:
Seien (Tn )n2Neine stochastisch unabhangige identisch verteilte Folge von (T ; D)-wertigen Zufallsvariablen
sowie g : (T ; D) ! (R; B ) mit E(g T1 ) < 1. Dann gilt
n
1X
n i=1 g(Ti ) ! E(g T1 )[P]:
3 GRENZWERTSATZE
81
Beispiel:
Seien (Xn )n2Nstochastisch unabhangig und Cauchy-verteilt. Dann ist EXi nicht deniert und
n
X
1
X = n Xi
i=1
(n)
ist wieder Cauchy-verteilt. Es gilt
: (X (n) ) ! 0[P] :
Bemerkung 3.26 (Folgerung von Satz 3.17):
(a) (Xn )n2Nstid., EX1 = ) n1
Pn X ! [P],
i
i=1
Pn
n
1X
n i=1 Xi
Pn
1
P
n2 < 1. Dann gilt
2
n=1 n
n
1X
n i=1 i ! 0[P]:
(b) (Xn )n2Nstu., EXn = n; Var Xn = n2 < 1 und
Gilt zusatzlich n1 i ! 2 R, so gilt n1 Xi ! [P].
i=1
i=1
Zum Abschlu dieses Paragraphen noch einige Anwendungen zum starken Gesetz der groen Zahlen
(StGGZ).
Beispiel:
Seien (Xn )n2Nstochastisch unabhangig identisch verteilt, Xn : (
; A) ! (X ; B) und B 2 B vorgegeben.
Schatzer fur P(X1 2 B):
n
= 1 fi n : X (!) 2 Bg =^ relative Haugkeiten
1X
I
X
(!)
i
B
i
n i=1
n
Es gilt
n
1X
n i=1 IB (Xi ) ! P(X1 2 B)[P];
denn Yi := IB (Xi ) B(1; p) stid. mit p = P(X1 2 B). Daraus folgt die Behauptung mit dem StGGZ.
Beispiel 3.27:
Seien (Xn )n2Nstid. und reellwertig. Dann heit
n
X
F^n(x; !) := n1 I( 1;x] Xi (!)
i=1
(x 2 R)
^ ) : ! R ist eine Zufallsvariable fur x 2 R. F^n(; !) ist
empirische Verteilungsfunktion. F^n(x) := F(x;
monoton wachsend, rechtsseitig stetig und es gilt
F^n(x; !) x!1
! 1; F^n(x; 1) x!!1 0 8 ! 2 ;
d.h. F^n(; !) ist Verteilungsfunktion fur alle ! 2 . Wegen Beispiel 3.26 gilt fur alle x 2 R
F^n(x) ! P(X
| {z1 x)}[P]
=F (x)
3 GRENZWERTSATZE
82
mit F Verteilungsfunktion von P X1 . Es gilt sogar starker der folgende Satz:
Satz 3.28 (Satz von Glirenko-Cantelli, Zentralsatz der Statistik):
Seien (Xn )n2Nstid. und reellwertig, F(x) = P(X1 x); x 2 R. Dann gilt
sup F^n(x) F(x) ! 0[P]:
x 2R
Beispiel 3.29 (Erinnerungsprozesse):
Seien (Xn )n2Nstid. und Xn 0, z.B. wenn Xn der Lebensdauer der n-ten Maschine entspricht. Frage:
Wieviel Erneuerungen hat es bis zu einem Zeitpunkt t gegeben? Setze Nt (!) gleich der Anzahl der
Erneuerungen bis einschlielich t und
Sj (!) :=
j
X
i=1
Xi (!); S0 := 0:
Dann gilt f! : Nt (!) = ng = f! : Sn (!) t < Sn+1 (!)g und somit Gleichheit der Ereignisse
fNt < mg = fSm > tg. Dabei heit (Nt )t0 Erneuerungsproze.
Falls diese Xi EXP(), so heit
m
P
(Nt )t0 Poisson-Proze, dann sind Xi EXP(), dann ist Xi m; 1 ; 0 und somit
i=1
P(Sm > t) = 1 P
m
X
i=1
Xi t = 1
Zt m
m 1
(m) e e
0
x dx y==x
Zt m y m 1 1
Zt 1
y
m 1 part: Int:
= 1
e dy = 1
(m) (m) y e dy =
0
0
mX1 (t)j
e t
=
j!
j =0 | {z }
=P (Yj )
mit Y Po(t). Allgemein gilt (vorausgesetzt P(Xn = 1) = 0):
tlim
!1 Nt = 1[P]:
Sei 0 < EX1 < 1; = EX1 . Dann gilt mit dem StGGZ: n1 Sn ! [P]. Da auch Nt ! 1[P], gilt
1 S t!1
Nt Nt ! [P]:
Betrachte jetzt
SNt t < SNt +1 = SNt +1 Nt + 1 :
N
N
N
N +1 N
|{z}t
t
Also gezeigt: tlim
!1 Nt = [P].
![P ]
t
t
| t{z } | {zt }
![P ]
!1
3 GRENZWERTSATZE
83
3.4 Schwache Konvergenz und zentraler Grenzwertsatz (ZGWS)
Problemstellungen:
(1) Seien Pn; n 2 N; P0 Wahrscheinlichkeitsmae auf (
; A; P). Was ist eine sinnvolle Denition von
Pn n!1
! P0, welche Charakterisierungen hat diese Konvergenz?
(2) Seien (Xn )n2Nstochastisch unabhangige Zufallsvariablen und Sn :=
Pn X .
i=1
i
(a) Zentrales Grenzwertproblem: Unter welchen Bedingungen existieren an > 0; bn 2 R, Wahrscheinlichkeitsma P0 uber (R; B ), wobei P0 kein Dirac-Ma, so da
P
Sn bn
an
! P0 ?
(b) Wie sehen mogliche P0's in (a) aus?
(c) Wann gilt P0 = N(0; 1)?
Die in (2) angesprochenen Probleme sind alle gelost. Hier wird nur ein kleiner Ausschnitt behandelt,
namlich (2) (c).
Zunachst zur Frage nach einer sinnvollen Denition von Pn ! P0.
Beispiel 3.30:
Gegeben seien Wahrscheinlichkeitsmae Pn = n1 auf (R; B), d.h.
8
<
8 n 2 N : 8 A 2 B : Pn(A) = : 1
0
1
n
1
n
2A
2= A
Wenn Pn ! P0 , so sollte P0 = 0 sein. Wurde man jedoch denieren
Pn ! P0 : () 8 A 2 B : Pn(A) ! P0(A);
()
so ware dies im Beispiel nicht erfullt:
A = ( 1; 0] ) 8 n 2 N : Pn (A) = 0;
aber P0(A) = 1. Die Bedingung () und selbst die schwachere Forderung an die zugehorigen Verteilungsfunktionen
8 x 2 R : Fn(x) ! F0(x)
scheinen also zu stark. Als sinnvoll erweist sich die Forderung
Fn (x) ! F0(x) 8 x 2 CP(F0 ) := fx 2 R : F0 stetig in xg: ()
Es ist () im obigen Beispiel oensichtlich erfullt. Man spricht dann von Verteilungskonvergenz bzw.
schwacher Konvergenz.
Da eine Reihe von zu () aquivalenten Forderungen existieren, gibt es naturlich auch mehrere Moglichkeiten, "schwache Konvergenz\ zu denieren. Der Einfachheit halber werden nur Wahrscheinlichkeitsmae
auf (R; B ) betrachtet.
Bezeichnung:
Wir bezeichnen indexDenition!Cb(R)@Cb (R)
Cb (R) = f : R ! R : f stetig und beschrankt :
Dabei gilt
f beschrankt () sup jf(x)j < M < 1:
x 2R
3 GRENZWERTSATZE
84
Denition 3.31:
(a) Gegeben Wahrscheinlichkeitsmae Pn ; n 2 N; P0 auf (R; B ). Dann heit (Pn )n2Nschwach konverw
P0, w weak] : ()
gent gegen P0 [kurz: Pn !
8f
2 Cb (R) :
nlim
!1
Z
f dPn =
Z
f dP0:
(b) Gegeben Wahrscheinlichkeitsraume (
n ; An; Pn) und Zufallsvariablen Xn : (
n ; An) ! (R; B ) fur
w X0
P , d.h.
n 2 N0. (Xn )n2Nheit konvergent in Verteilung gegen X0 : () P Xn !
8 f 2 Cb (R) :
Z
lim f dP Xn =
n!1
Z
f dP X0 ;
w
kurz: Xn !
X0 .
Mit
C(v) (R) = ff 2 Cb (R) : f gleichmaig stetig auf Rg
und C(r) (R) = ff 2 Cb (R) : f r-mal dierenzierbar und f (i) 2 C(v) (R); i = 0; 1; : : :; rg
zeigen wir folgenden Satz:
Satz 3.32:
Unter den Voraussetzungen von Denition 3.31 (b) sind fur jedes feste r 2 N0 folgende Aussagen aquivalent:
w
(a) Xn !
X0 ,
R Xn R X0
(b) 8 f 2 C(r) (R) : nlim
!1 f dPn = f dP0 ,
(c) Fur die Verteilungsfunktion Fn (x) = Pn(X x); n 2 N0, gilt:
8 x 2 CP(F0) : nlim
!1 Fn (x) = F0(x):
Bemerkung: Die Bedingung (b) wird sich beim Beweisen des Zentralen Grenzwertsatzes (ZGWS) als
nutzlich erweisen.
Beweis:
(a) ) (b): klar, da C(r) (R) Cb (R).
(b) ) (c): Sei x 2 CP(F0) ) 8 > 0 : 9 > 0 : 8 y 2 [x ; x + ] gilt
F (x) F (y) < :
0
0
Wahle f; f 2 C(r) (R), so da
1 falls y x 1 falls y x
f(y) = 0 falls y x
und f(y) = 0 falls y x + Es folgt
lim Fn (x) = lim
Z
Z
IfXn xg (t) dPnXn (t) lim f(t) dPnXn (t) (b)
=
Z
Z
f(t) dP0X0 (t) IfX0 x+g dP0X0 = F0(x + ) F0 (x) +
3 GRENZWERTSATZE
85
und
Z
lim Fn(x) = lim
Z
IfXn xg dPnXn
Z
lim f
=
dPnXn (b)
Z
f dP0X0 IfX0 x g dP0X0 = F0(x ) F0 (x) Da > 0 beliebig, folgt nlim
!1 Fn (x) = F0(x).
R
R
(c) ) (a): Fur f 2 Cb (R) ist zu zeigen, da f dPnXn ! f dP0X0 . Sei also f 2 Cb (R). Wahle M > 0,
so da M; M 2 CP(F0) und F0 ( M) < sowie F0(M) > 1 ( 2 (0; 12 )). Dann ist f gleichmaig
stetig auf [ M; M]. Ferner existiert eine Folge t0; t1; : : :; tm mit M = t0 < t1 < : : : < tm < M, so
da
n
o
sup f(x) f(y) : x; y 2 [tj 1; tj ] < 8 j = 1; : : :; m:
Dabei seien (o.E.) t0; : : :; tm Stetigkeitspunkte von F0, d.h.
Fn(tj ) ! F0 (tj ) 8 j = 0; : : :; m:
Es folgt
Z
Z
Z
Z
f dPnXn f dP0X0 = f Xn dPn
f X0 dP0 +
fXn M g[fXn >M g fX0 M g[fX0 >M g
Z
Z
f Xn dPn
+
f M<Xn M g
f X0 dP0 f M<X0 M g
+ F0( M) + 1 F0(M)} +
kf k1 |Fn( M) + 1 Fn(M) {z
!2[| F0 ( M )+1
{z F0(M )]}
+
Mit cj := f
tj
= Z
1 +tj
2
m
X
j =1
<4
Z
Z
f X0 dP0 f
X
dP
n n
ftj 1 <X0 tj g
ftj 1 <Xn tj g
|
{z
}
=:
und Bn;j := ftj 1 < Xn tj g fur n 2 N0 ist
Z
f Xn dPn
f X0 dP0 B
B0;j
Z
Zn;j
(f Xn cj I
n ) dPn
(f X0 cj I
0 ) dP0 +
Bn;j
B0;j
+jcj (Fn(tj ) Fn(tj 1)) cj (F0 (tj ) F0 (tj 1))j P| n(B{zn;j }) + |P0(B{z0;j )} +jcj j j |Fn(tj ) {zFn(tj 1)} j + j F| 0(tj ) {zF0(tj 1}) j !
!
Fn (tj ) Fn (tj 1 ) F0 (tj ) F0 (tj 1 )
2 P0(B0;j )
Insgesamt also
Z
lim f dPnXn
Z
Mit ! 0 folgt die Behauptung.
!0
f dP0X0 4kf k1 + 2
m
X
j =1
|
!0
P0(B0;j ) (4kf k1 + 2)
{z
1
}
3 GRENZWERTSATZE
86
Bemerkung 3.33:
Schwache Konvergenz von Wahrscheinlichkeitsmaen kann man naturlich auf allgemeine Wahrscheinlichkeitsraume denieren: Sind (X ; d) ein metrischer Raum und Pn; n 2 N, Wahrscheinlichkeitsmae auf
(X ; B) mit B Borel--Algebra uber X , so deniert man
()
w
Pn !
P0 : ()
8 B 2 B mit P(@B) = 0 : Pn(B) ! P0(B)
A quivalent zu () ist das sogenannte Portmanteau-Theorem:
(a)
(b)
(c)
(d)
8 F 2 B; F abgeschlossen: lim Pn(F) P0(F),
8 G 2 B; G oen: lim Pn(G) P0 (G),
8 f : X ! R stetig und beschrankt: lim R f dPn = R f dP0 und
8 f : X ! R (glm.) stetig und beschrankt: lim R f dPn = R f dP0.
(siehe Billingsley, 1968)
Beispiel 3.34:
(a) Seien xn 2 R fur n 2 N. Dann gilt
xn ! x0
w
x0 :
() xn !
(b) Siehe Satz 1.47 (Poisson'scher Grenzwertsatz): Pn = B(n; pn); pn = n mit > 0; n 2
P0 = Po(). Dann gilt
8 k 2 N0 : Pn(fkg) ! P0(fkg);
d.h.
8 x 2 N0 : FB(n;pn) (x) ! FPo()(x):
Somit gilt sogar
w
8 x 2 N : FB(n;pn ) (x) ! FPo() (x) ) Pn !
P0 :
N
und
Wir gehen noch kurz auf den Zusammenhang zwischen stochastischer und schwacher Konvergenz ein.
Lemma 3.35:
Gegeben Wahrscheinlichkeitsraume (
; A; P), Xn : (
; A) ! (R; B ); n 2 N0:
w
P X , folgt X !
(a) Falls Xn !
0
n X0 . Die Umkehrung ist i.a. falsch, es gilt jedoch
w
P X.
(b) Falls X0 = const[P] und Xn !
X0 , so folgt Xn !
0
Beweis:
(a) Es gilt: 8 2 (0; 1) : 9 M > 0 : P jX0 j M > 1 . Da f 2 Cb (R), ist f gleichmaig stetig auf
[ 2M; 2M], d.h. 9 > 0, so da gilt:
jXn j; jX0j < 2M; jXn X0 j ) jf(Xn ) f(X0 )j :
Fur diese existiert ein n0 2 N, so da
8 n n0 : P jXn X0 j > :
3 GRENZWERTSATZE
87
Es folgt fur alle n n0:
Z
Z
f dP Xn f dP X0 Z
Z
(f Xn f X0 ) dP + (f Xn f X0 ) dP fjX0 jM g
fjX0 j>M g
Z
Z
(f Xn f X0 ) dP (f Xn f X0 ) dP + 2kf k1 + fjX0 jM; jXn X0 j>g
2kf k1 + 2kf k1 + = (4kf k1
w
Somit folgt die Behauptung, d.h. Xn !
X0 .
fjX0 jM; jXn X0 jg
+ 1) !!0 0
P X )X !
w
Im Lemma 3.35 (a) wurde gezeigt: Xn !
0
n X0 . Da die Umkehrung falsch ist, zeigt folgendes
Beispiel:
Beispiel 3.36: Sei X0 B 1; 12 und Xn = 1 X0 fur n 2 N. Dann ist Xn B 1; 12 fur alle n 2 N, d.h. P Xn = P X0
w
fur alle n 2 N und damit Xn !
X0 , aber fur alle 2 (0; 1) gilt
P Xn X0 > = P 2X0 1 > = 1 8 n 2 N:
P X . Dies zeigt auch, da fur X !
w
D.h. es gilt nicht Xn !
0
n X0 zwar P XR0 eindeutigR bestimmt
ist wahrend
X0 nicht eindeutig bestimmt ist. Es gilt: P = Q () 8 f 2 Cb (R) : f dP = f dQ
Im folgenden behandeln wir das angekundigte zentrale Grenzproblem. Generelle Voraussetzungen seien
jetzt: Wahrscheinlichkeitsraum (
; A; P), (Xn ) stochastisch unabhangige reellwertige Zufallsvariablen,
also
Xn : (
; A) ! (R; B )
n
P
sowie Xi =: Sn .
i=1
Denition 3.37:
Sind die Xn quadratintegrierbar mit Var Xn = n2 > 0, so gilt fur die Folge (Xn )n2Nder zentrale
Grenzwertsatz (ZGWS), falls die sogenannten standardisierten Summenvariablen
w
Tn := Spn ESn !
X0 ;
Var Sn
w X0
also schwach gegen X0 konvergieren, wobei X0 N(0; 1), bzw. P Tn !
P :
Bemerkung 3.38:
(a) Beachte: ETn = 0 und Var Tn = 1.
(b) Ist (Xn )n2Neine stid-Folge mit EXi = und Var Xi = 2 > 0, so ist
Pn Tn =
Xi
i=1p
n2
n
n
X
= p1n Xi :
i=1
(c) Gilt in (b) zusatzlich Xi B(1; p) fur p 2 (0; 1), so ist
Tn = pSn np :
np(1 p)
3 GRENZWERTSATZE
Fur den Spezialfall p =
(ZGWS) zuerst gezeigt:
88
1
2
also Tn = p2n Sn n2 . Hierfur wurde der zentrale Grenzwertsatz
Zentraler Grenzwertsatz (ZGWS) von de Moivre-Laplace:
w
N(0; 1):
Sn B(n; p) ) P Tn !
Es gilt
Der zentrale Grenzwertsatz von de Moivre-Laplace wird sich als Spezialfall des Zentralen Grenzwertsatzes
von Lindeberg ergeben. Die entscheidende Bedingung fur die Gultigkeit des zentralen Grenzwertsatzes ist
die Lindeberg-Bedingung:
Lindeberg-Bedingung
(Lindeberg, 1876-1932):
p
Es sei := Var S und fur alle > 0 gelte
n
Z
n
X
Ln () := 12
n j =1
8n2N:
fjXj EXj j>n g
(Xj EXj )2 dP:
(Xn )n2Ngenugt der Lindeberg-Bedingung, falls
(L) 8 > 0 : nlim
!1 Ln () = 0:
Die Lindeberg-Bedingung (L) impliziert, da die Varianzen der Summanden, also Var Xj , gleichmaig
klein gegenuber der Varianz der Summe wird (d.h. Xj hat gegenuber den restlichen Xi in Sn keinen
dominierenden Einu). Um dies einzusehen, fuhren wir die Feller-Bedingung ein:
Feller-Bedingung:
(Xn )n2Ngenugt der Feller-Bedingung, falls
! 0:
max Var 2Xj n!1
n
(F)
1j n
Lemma 3.39:
Sind die Xn quadratintegrierbar und stochastisch unabhangig, so gilt
2
(L) ) (F) ) nlim
!1 n = 1:
Beweis: Sei > 0; Yj := Xj EXj fur j 2 N und sei n 2 N. Dann gilt fur alle j = 1; : : :; n:
Var Xj =
j
Y 2 dP
j
Z
+ Yj2 dP fjYj jn g fjYj j>n g
2n2 +
Also gilt:
Z
EY 2 =
Z
n
X
j =1fjYj j>n g
Yj2 dP = 2 n2 + n2Ln ()
max Var 2Xj 2 + Ln():
n
Damit folgt die Behauptung (L) ) (F). Also ist noch der zweite Teil der Behauptung zu zeigen. Es gilt:
Pn
Da die Xn stochastisch unabhangig sind, ist n2 = Var Xj wachsend in n.
1j n
j =1
Nehmen wir an, da a := sup n2 < 1, dann gilt fur alle n 2 N: 1n2 a1 . Somit gilt fur alle n 2 N:
n2N
Var Xj :
max Var Xj a1 1max
1j n n2
| {z } jn
n!1
! 0 wegen (F)
3 GRENZWERTSATZE
89
! 0. Da 1max
VarXj wachsend in n, mu Var Xj = 0 fur alle j 2 N gelten Also folgt 1max
Var Xj n!1
j n
j n
ein Widerspruch.
Beachte: Fur den Beweis von (L) ) (F) wurde nicht ausgenutzt, da (Xn )n2Nstochastisch unabhangig
sind.
Satz 3.40 (Zentraler Grenzwertsatz von Lindeberg):
Seien (Xn )n2Nstochastisch unabhangig quadratintegrierbar mit Var Xn > 0 fur alle n 2 N. Dann gilt:
Ist (L) erfullt, so gilt der ZGWS fur (Xn )n2N:
Wir beweisen diesen Satz mit Hilfe des folgenden Lemma.
Lemma 3.41:
Seien X; Y reellwertige Zufallsvariablen mit EX = EY; EX 2 = EY 2 < 1; E jY j3 < 1 und sei
f 2 C(3) (R) = ff 2 Cb : f 3-mal dierenzierbar, f (i) 2 Cb ; i = 1; 2; 3g. Dann existiert ein c = c(f), so
da fur alle > 0 gilt
Z
i
h
2
sup Ef(X + z) Ef(Y + z) c EX + X 2 dP + E jY j3 :
z 2R
Beweis: Taylor-Entwicklung von f liefert fur u; z 2 R:
fjX j>g
2
f(z + u) = f(z) + uf 0 (z) + u2 f 00 (z) + R2(z; u) =
= f(z) + uf 0 (z) + R1(z; u)
mit
3
R2(z; u) = u6 f 000(z + 2 u) fur ein 2 = 2 (z; u) 2 (0; 1)
2
R1(z; u) = u2 f 00 (z + 1 u) fur ein 1 = 1 (z; u) 2 (0; 1)
Dann gelten die Abschatzungen
3
jR2(z; u)j u6 kf 000 k1
2
jR2(z; u)j jR1(z; u) u2 f 00 (z)j =
(1)
(2)
2
2
= u2 f 00 (z + 1 u) u2 f 00 (z) u2kf 00 k 1
fur alle u; z 2 R. Fur groe u ist (2) besser, fur kleine u (1); so werden (1) und (2) auch eingesetzt. Sei
c = max 61 kf 000 k1; kf 00 k1 . Dann folgt fur alle z 2 R und alle > 0:
Z
Z
da EX=EY
jEf(X + z) Ef(Y + z)j = f(x + z) dP X (x) f(y + z) dP Y (y) Z
f(x + z) dP X (x) f(z) f 0 (z)EX 21 f 00 (z)EX 2 +
Z
f(y + z) dP Y (y) =
+ f(z) + f 0 (z)EY + 12 f 00 (z)EY 2
Z = f(x + z) f(z) xf 0 (z) 21 x2f 00 (z) dP X (x) +
Z + f(z) + yf 0 (z) + 12 y2 f 00 (z) f(y + z) dP Y (y) Z
Z
X
R2 (z; x) dP (x) + R2(z; y) dP Y (y)
3 GRENZWERTSATZE
R
90
R
Es ist jR2(z; y)j dP Y (y) = jR2(z; Y )j dP c E jY j3 wegen (1). Dann ist fur alle > 0:
Z
Z
R2(z; x) dP X (x) = R2(z; X) dP =
Z
Z
R2(z; X) dP + R2(z; X) dP =
fjX jg
|
{z
} fjX|j>g {z
}
(1) R
(2) R
c jX j3 dP
c jX j3 dP
fjX jg
fjX j>g
Z
c EX 2 + c X 2 dP
fjX j>g
Es folgt die Behauptung.
Beweis von Satz 3.40 (mit der Ersetzungsmethode von Lindeberg/Levy):
Wegen Satz 3.32 genugt es, fur alle f 2 C(3) (R) zu zeigen:
Z
f(Tn ) dP !
Z
f dP0 mit P0 = N(0; 1):
Sei f 2 C(3)(R) und Xnj := 1n (Xj EXj ); 1 j n; n 2 N. Dann gilt
n
X
Tn = Sn ESn = Xnj
n
j =1
und fur alle n 2 N: Xn1 ; : : :; Xnn stu. mit EXnj = 0; Var Xnj = Varn2Xj . Fur jedes n 2 N wahle ein reelle
Zufallsvariablen (auf (
; A; P), evtl. nach geeigneter Erweiterung) Yn1 ; : : :; Ynn mit P Ynj N(0; Var Xnj )
und Xn1 ; : : :; Xnn; Yn1; : : :; Ynn stochastisch unabhangig. Dann ist
X
S~n := Ynj N(0; 1);
n
j =1
da 1 =
Pn Var X . Deniere weiter einen neuen Satz von Zufallsvariablen:
nj
j =1
Znj := Xn1 + : : : + Xn;j 1 + Yn;j +1 + : : : + Ynn fur 1 j n;
speziell also Zn1 = Yn2 + : : : + Ynn und Znn = Xn1 + : : : + Xn;n 1. Es folgt
Znj + Xnj = Zn;j +1 + Yn;j +1 (1 j n 1)
Znn + Xnn = Tn und
Zn1 + Yn1 = S~n
Betrachte nun
Z
Z
f(Tn ) dP f dP0 = Ef(Tn ) Ef(S~n ) =
n X
Ef(Z
+
X
)
= Ef(Z
+
Y
)
nj
nj
nj
nj
{z } | {z } j =1 |
=:aj
=:bj
|
{z
}
a1 b1 +a2 b2+:::+an bn =an b1
n X
Ef(Znj + Xnj ) Ef(Znj + Ynj ) =: ()
j =1
3 GRENZWERTSATZE
91
Da Znj ; Xnj stochastisch unabhangig sind, ebenso wie Znj ; Ynj , gilt
Ef(Z + X ) Ef(Z + Y ) =
nj
nj
nj
Z
Z h Z nj
i
f(z + y) dP Ynj (y) dP Znj (z) = f(z + x) dP Xnj (x)
|
{z
} |
{z
}
=Ef (z+Xnj )
=Ef (z+Ynj )
sup Ef(z + Xnj ) Ef(z + Ynj )
z 2R
Es folgt mit Lemma 3.41
() c n
X
nj + c EX 2
|j=1 {z }
=Var Tn =1
Z
n
X
j =1fjXnj j>g
|
= c + cLn () + cE jX0 j3 X2
{z
n
X
j =1
nj
=Ln ()
Var Xnj
dP + c }
n
X
j =1
E jYnj j3 =
32
mit X0 N(0; 1), denn wegen Ynj N(0; Var Xnj folgt p 1 Ynj N(0; 1) und damit
Var Xnj
3
E jYnj j3 = Var Xnj 2 E jX0j3:
Nun gilt
(i) Fur alle > 0 gilt Ln () ! 0 wegen Voraussetzung (L),
(ii) E jX0j3 < 1, da EX04 < 1,
(iii) Da mit (L) auch (F) erfullt ist, gilt
n
X
j =1
s
n
3
1 X
Var Xnj n!1
Var Xnj 2 1max
! 0:
Var Xnj 2 Var Xnj = 1max
j n
j
n
n2
j =1
| {z }
=1
Also geht gesamter abzuschatzender Ausdruck gegen 0, es folgt die Behauptung.
Corollar 3.42 (ZGWS von Lindeberg/Levy):
Ist (Xn )n2Neine stochastisch unabhangige identisch verteilte Folge von quadrat-integrierbaren Zufallsvariablen mit EXn = und Var Xn = 2 , so gilt der zentrale Grenzwertsatz (ZGWS), d.h.
p1
n
X
w
(X ) !
X0 N(0; 1):
n2 j =1 j
Die folgende nach A. U. Lyapunov (1857 - 1918) benannte Bedingung ist starker als (L):
Lyapunov-Bedingung:
Fur (Xn )n2Nstochastisch unabhangig und quadrat-integrierbar gilt die Lyapunov-Bedingung genau dann,
wenn
n
2 X E jX
(Ly) 9 > 0 : nlim
j EXj j2+ = 0:
!1
j =1
3 GRENZWERTSATZE
92
Corollar 3.43 (ZGWS von Lyapunov):
Ist (Xn )n2Nstochastisch unabhangig und quadrat-integrierbar und gilt (Ly), so genugt (Xn )n2Ndem
zentralen Grenzwertsatz (ZGWS).
Alle bisher behaupteten zentralen Grenzwertsatze und Bedingungen, also (L), (F) und (Ly), lassen sich
nicht nur fur Folgen, sondern sogar fur -Schemata von Zufallsvariablen beweisen bzw. formulieren.
(Xn )n2Nwird ersetzt durch (Xnj )j =1;:::;kn , n 2 N, k1 k2 : : :, wobei Xn1; : : :; Xnkn jeweils als
stochastisch unabhangig angenommen werden. So eine Situation liegt zum Beispiel beim Poisson'schen
Grenzwertsatz vor:
Xni := Xi B(1; pn); i = 1; : : :; n; stu. mit pn = n ; > 0:
In den in (L), (F) und (Ly) auftretenden Groen ist nur n durch kn zu ersetzen, dann n ! 1, also zum
Beispiel
kn
kn Z
X
X
p
Sn = Xj ; n = Var Sn ; Ln () = 12
: : : (etc.)
n j =1
j =1
Auer dieser Verallgemeinerungen liefert der folgende Satz eine wesentlich genauere Charakterisierung der
Gultigkeit eines zentralen Grenzwertsatzes (ZGWS). Auf den Beweis verzichten wir jedoch hier.
Satz 3.44 (ZGWS von Lindeberg/Feller):
Sind Xn1 ; : : :; Xnkn fur n 2 N stochastisch unabhangige reellwertige quadrat-integrierbare Zufallsvariablen
(mit kn ! 1), so sind aquivalent
(a) (Xnj ) j =1;:::;kn erfullt die Feller-Bedingung
n2N
!1
max Var 2Xnj n!1
n
und es gilt der zentrale Grenzwertsatz fur (Xnj ), d.h.
(F)
1j kn
kn
1X
w
n j =1(Xnj EXnj ) ! X0 N(0; 1):
(b) Es gilt die Lindeberg-Bedingung, d.h.
(L)
8>0:
1
lim
n!1 2
Z
(x EXnj )2 dP Xnj (x) = 0
fjxn EXnj jn g
Beispiel 3.45:
Xi B(1; p); i = 1; : : :; n, stochastisch unabhangig (n-facher Munzwurf)
Sn =
n
X
i=1
Xi B(n; p);
zum Beispiel n = 1000; p = 21 . Was ist P(a Sn b) fur a = 450 und b = 550. Dazu
P(a Sn b) = P p a np pSn np p b np
np(1 p)
! np(1 p) !np(1 p)
Bsp:
p b np
p a np
=
np(1 p)
np(1 p)
!
ZGWS
3 GRENZWERTSATZE
93
0
1 0
1 50
450
500
50
550
500
@
@
A
A
q1
15:81 15:81 =
= q1
1000
1000
4
4
50 = 1 2
15:81 1 2 ( 3:16) 1 2 0:001 = 0:998
Bemerkung 3.46:
Ein Problem bei der Anwendung des zentralen Grenzwertsatzes ist die Konvergenzordnung. Man kann
zeigen (Satz von Berry-Esseen)
(a) (Xn ) stu. mit EXn = 0; 0 < VarXn < 1. Dann gilt
n
X
sup Fn (x) (x) 63 E jXk j3;
x 2R
n k=1
wobei Fn(x) := P(Tn x); (x) Verteilungsfunktion der N(0; 1)-Verteilung.
(b) (Xn ) stid. mit Var X1 = 2 > 0. Dann gilt
sup Fn(x) (x) 6 E jX1 EX1 j3 31pn :
x 2R
Im Beispiel 3.45 erhalt man wegen
E jX1 EX1
j3
=
1
X
x=0
jx pj3px (1 p)1 x = p3 (1 p) + (1 p)3p = 81
32 1
=
3
3 = (sigma2 ) 32 = p(1 p) 2 = 41
Somit folgt
8
sup Fn(x) (x) 6 81 1 p1 0:1897
x 2R
8 1000
van Beek (1972) konnte zeigen, da man die Konstante 6 auf der rechten Seite in (b) durch 0.7995 ersetzen
kann. Im Beispiel erhalt man dann fur die rechte Seite 0.025.
Bemerkung 3.47:
Es gibt naturlich auch multivariate zentrale Grenzwertsatze, d.h. zentrale Grenzwertsatze fur k-dimensionale Zufallsvariablen, zum Beispiel den multivariaten zentralen Grenzwertsatz von Lindeberg/Levy:
(Xn )n2Nstochastisch unabhangige identisch verteilte Folge von Rk-wertigen Zufallsvariablen mit EX1 =
2 R und Cov X1 = 2 R+kk. Dann gilt
p1n
n
X
i=1
oder auch formal anders notiert
p1n 1
2
w ~
(Xi ) !
X0 Nk (0; )
n
X
i=1
w ~
(Xi ) !
X 0 Nk (0; Ik ):
Zum Abschlu dieses Kapitels noch ein Resultat (ohne Beweis), welches sich u.a. in der Statistik als
auerst nutzlich erweist (siehe zum Beispiel Roussas (1973), pp. 152).
3 GRENZWERTSATZE
Satz 3.48:
94
w
P c, so folgt
(Xn )n2N; X; (Yn)n2Nreellwertige Zufallsvariablen und c 2 R n f0g. Falls Xn !
X und Yn !
(i)
(ii)
(iii)
w
Xn + Yn !
X + c,
w
Xn Yn !
cX und
w X
Xn !
Yn
c , falls P(Yn 6= 0) = 1 fur alle n 2 N.
4 EINFUHRUNG
IN DIE STATISTIK
95
4 Einfuhrung in die Statistik
4.1 Problemstellungen
Beispiel 4.1 (Meinungsumfrage):
Es werden n zufallig ausgewahlte Personen nach der Partei ihrer Wahl befragt. Bei dieser Meinungsumfrage interessiert nur die Frage FDP JA/NEIN. Es antworten h Personen mit JA. Somit wird die Prognose,
da nh 100 % FDP wahlen werden.
(a) Deskription des Experimentes: Codierung 1 = JA, 0 = Nein. xi entspricht der Antwort der i-ten
befragten Person (i = 1; : : :; n), h sei die Haugkeit, hn die relative Haugkeit.
(b) Statistisches Modell: xi Realisation einer Zufallsvariable Xi mit P(Xi = 1) =: p und P(Xi = 0) =
1 p sowie p 2 (0; 1) sei der "wahre\ Anteil der FDP-Wahler in der wahlberechtigten Bevolkerung.
Dann gilt X B(1; p). Eine weitere Annahmen sei X ; : : :; X stochastisch unabhangig.
i
1
n
Probleme dabei sind
(1) Schatzproblem: p = ?
(2) Testproblem: H : p 0:05 vs. K : p < 0:05. Dabei entspricht H der Nullhypothese und K der
Alternativhypothese.
Ergebnisse aus der Wahrscheinlichkeitstheorie sind
Pn X B(n; p)
i
i=1
Pn
(ii) Es gilt mit X = 1 X
(i) X =
n i=1 i
EX = p
(iii)
(iv)
(v)
(vi)
Var X n!1
!0
P p wegen SGGZ
X !
X ! p[P] wegen StGGZ
Es ist
und
Var X = n1 p(1 p)
jncj] [X
n px (1 p)n x =
P(X c) = P
Xi nc =
x=0 x
iP
=1
= P p Xi np pnc np ZGWS
pnc np
np(1 p)
np(1 p)
np(1 p)
n
X
Man konnte jedoch auch ein asymptotisches Modell betrachten: (Xi )i2N stochastisch unabhangig und
B(1; p)-verteilt. Ein Schatzer d : f0; 1gn ! [0; 1] mit d(x) = x erscheint vernunftig.
Beim Test fur H gegen K konnte man so vorgehen:
(i) Intuitiv: Entscheide fur K, falls
Pp (X x )
5 8 p 2 100 ; 1
sehr klein, d.h. kleiner als 5 % oder auch kleiner als 1 %.
4 EINFUHRUNG
IN DIE STATISTIK
96
(ii) Test: ' : f0; 1gn ! f0; 1g, im Beispiel von der Form
mit geeignetem c.
(iii) Interpretation:
8 Pn
>
< 1 =1 xi < c
'(x) = > iP
n
: 0 i=1 xi c
8
< 1 Hypothese H ablehnen, Entscheidung fur K
'(x) = :
0 Hypothese H kann nicht abgelehnt werden
Hierbei sind jetzt verschiedene Fehlentscheidungen moglich:
Entscheidung fur K
H nicht abgelehnt
wahres p 2 H
Fehler 1. Art
keine Fehlentscheidung
wahres p 2 K keine Fehlentscheidung
Fehler 2. Art
Der Fehler 1. Art ist die Entscheidung fur K, obwohl H richtig ist, der Fehler 2. Art ist die NichtEntscheidung fur K, obwohl K richtig ist.
Mathematische Problemstellungen:
(a) Gibt es in einem gewissen Sinne "optimale\ Schatzer? Zum Beispiel Schatzer fur p mit minimaler
Varianz?
(b) Gibt es in einem gewissen Sinne "optimale\ Tests mit minimaler Fehlerwahrscheinlichkeiten?
Im Beispiel 4.1 wird sich d(x) := x tatsachlich als gleichmaig bester erwartungstreuer Schatzer fur p
erweisen, d.h. fur alle d : f0; 1gn ! [0; 1] mit Ep d(X) = p 8 p 2 (0; 1) gilt:
Varp d(X) Varp d (X) 8 p 2 (0; 1);
d.h. d ist erwartungstreuer Schatzer mit minimaler Varianz.
Beispiel 4.2 (Taxiproblem):
In einer Stadt gibt es t Taxis mit den Taxinummern 1; : : :; t. Ich habe 5 Taxis mit den Nummern 73,
179, 280, 405 und 440 gesehen. Nun mochte ich t schatzen. In der Statistik ist die Frage jetzt: Welcher
erwartungstreuer Schatzer hat die kleinste Varianz?
Nehme folgendes Modell an: X1 ; : : :; Xn G(f1; : : :; tg) stochastisch unabhangig. t 2 N sei unbekannt.
Gesucht ist d : f1; : : :; tgn ! N mit
Et d(X) = t und Vart d (X) Vart d(X) 8 d mit Etd(X) = t:
Dann sind mogliche Schatzer:
(a) d(X) := 2X 1 ist erwartungstreu, denn
EtX1 = t +2 1 ; Et d(X) = Et (2X 1) = 2 n1 n EX1 1 = 2 t +2 1 1 = t:
^
(b) (Median-Schatzer) d(X) := 2M(X)
1 mit
8
<X
n = 2k 1
^
M(X)
:= : X((kk))+X(k+1)
n = 2k
2
Nachteil bei (a) als auch (b) ist, da manchmal d(x) < x(n) ist.
4 EINFUHRUNG
IN DIE STATISTIK
97
(c) (Luckenschatzer) Schatze zunachst die Lucke L zwischen X(n) und t durch das arithmetische Mittel
der Stichprobenlucken:
n
^L := 1 X(X(j ) X(j
n
j =1
1)
1)
mit X(0) := 1:
Dann ist d(X) := X(n) + L^ + 1 = : : : = 1 + n1 X(n)
(d) Der gleichmaig beste erwartungstreue Schatzer ist jedoch
X n+1 (X
1)n+1
d (X) := X(nn) (X(n) 1)n :
(n)
(n)
Leichter Rechnen lat es sich im (nicht diskreten) Modell: X1 ; : : :; Xn G([0; t]) mit t > 0 unbekannt.
Dann ist
n
x 2 [0; t]
P(X(n) x) = P(X1 x)n = xt
Dann ist die 1 -Dichte f(n) (x) = tnn xn 1I[0;t] (x) und somit
Zt n
n 1 xn+1 t = n t
EtX(n) = x tn xn 1 dx = n +
1 tn
0 n+1
0
Wir setzen d(X) := 1 + n1 X(n) und erhalten Etd(X) = t. Dann ist
Zt n
n
EtX(2n) =
0
tn x
n+1 dx = : : : =
2
n + 2t
n 2
n
2
2
Vart X(n) = n + 2 t
n+1 t =
2
n
1
2
= t2 n (n(n+ +1)2)(nn(n1)+2 2) = t2 (n + 2)(n
=
t
2
2
1)
n + 4n + 5 + n2
n + 1 2
1
Vart d(X) =
t2
2
n
n + 4n + 5 + n2
~ := 2X Wir vergleichen mit d(X)
~
= t
Et d(X)
8t
t 2 x3 t t2 1
Zt 1
2
Vart X1 =
x t dx 2 = 3t 0 4 = 12 t2
0
n
X
1 t2 = t2
~
= 4 n12 Var Xi = 4 n1 12
Vart d(X)
3n
i=1
~ mit Gleichheit fur n = 1, d.h. fur groe n ist d(X) besser. Es gilt
Wir erkennen Vart d(X) Vart d(X)
sogar: d(X) ist gleichmaig bester erwartungstreuer Schatzer.
Beim Testen von Hypothesen ist es i.a. nicht moglich, beide Fehlerarten gleichzeitig zu minimieren. Man
versucht deshalb, den Fehler 1. Art unter Kontrolle zu halten, indem man fur ein festes 2 (0; 1), zum
Beispiel = 0:05 oder = 0:01, fordert, da
8 p 2 H : Pp ('(X) = 1)
4 EINFUHRUNG
IN DIE STATISTIK
bzw.
98
sup Pp ('(X) = 1) p2H
bzw.
sup Ep'(X) :
p2H
' heit Test zum Niveau (Signikanzniveau). Sei
n
o
= ' : ' Test zum Niveau fur H vs. K :
Man sucht dann unter allen ' 2 einen Test ' , der die Fehlerwahrscheinlichkeit 2. Art fur alle p 2 K
minimiert, d.h. gesucht ist ' 2 mit
(1) ' 2 ,
(2) 8 ' 2 : 8 p 2 K : Ep' Ep '.
Probleme sind
(i) Haug ist = f' : sup E ' = g = =0 (bei diskreten Verteilungen). Im Beispiel ist
2H
sup Pp
p2H
n
X
i=1
Xi < c = sup
X n k
p2H k<c
k2N0
n k !
k p (1 p) = nur fur ausgewahlte 2 (0; 1) moglich.
(ii) Selbst wenn 6= =0 (v.a. bei stetigen Verteilungen), mu kein ' mit (2) existieren.
Es lat sich (i) leicht durch einen kleinen Kunstgri losen: Man erweitert einfach mit Werten, indem
man alle ' mit Werten in [0; 1] zulat.
Interpretation: Lehne H mit Wahrscheinlichkeit '(X) ab! Im Beispiel wird sich
8 1 T(x) < c
<
' (x) = : T(x) = c
0 T(x) > c
mit eindeutig bestimmten 2 [0; 1); c 2 f0; 1; : : :; ng aus
Ep0 =0:05'(X) = ()
c 1 n
X
k
k=1
k p0 (1
p0 )n k + n
c
n c !
c p0 (1 p0 ) = als optimal erweisen. ' heit gleichmaig bester Test zum Niveau fur H gegen K.
Wird T(x) = c beobachtet, so ist mit Wahrscheinlichkeit fur K zu entscheiden (Dies kann durch ein
Zufallsexperiment realisiert werden: Y G([0; 1]), lehme H ab, falls Y ).
Beispiel 4.3:
Modell: X N(; 1); 2 f0; 2g. Hypothese: H : = 0 gegen K : = 2. Naheliegend ist: Lehne H ab,
falls X(!) "gro\, d.h. ein Test von der Form
1 xc
'(x) =
0 x<c
()
4 EINFUHRUNG
IN DIE STATISTIK
99
Sei dazu 2 (0; 1) vorgegeben. Gesucht ist ein ' der Form () mit P0('(X) = 1) = , also ein c 2 R mit
P0 (X c) = () 1 (c) = () (c) = 1 ()
=0:05
() c = 1(1 ) ()
c 1; 64
Es folgt
P2('(X) = 0) = P2(X < c) = P0 (X + 2 < c) = P0(X < c 2) ( 0; 35) = 1 (0; 35) 1 0; 64 = 0; 36
d.h. ist = 2 wahl\, so ist die Wahrscheinlichkeit fur den Fehler 2. Art ungefahr 0,36 (also die Wahrscheinlichkeit, "H irrtumlich anzunehmen). Nun ist
P(X c) = P0(X + c) = 1 (c )
wachsend in , d.h. obiger Test ' ist auch ein Test zum Niveau fur H~ : 0 gegen K~ : > 0 (im
erweiterten Modell mit 2 R).
Es gilt: ' ist gleichmaig bester Test zum Niveau (= 0:05) fur H~ gegen K~ und heit einseitiger
Gau-Test. Es heit
' () := P ('(X) = 1) = 1 (c )
Gutefunktion von '. Es gibt ' () die Wahrscheinlichkeit bei Vorliegen von an, die Nullhypothese
abzulehnen.
1
6
-
Generelle Voraussetzungen und Bezeichnungen:
Die Beobachtungen sind Realisierungen von Zufallsvariablen (ein- oder mehrdimensionale), deren Verteilungen nicht (vollstandig) bekannt sind. Dies ist haug als Grundannahme der Statistik bezeichnet.
X : (
; A) ! (X ; B) mit moglichen Verteilungen P#X bzw. P#Y ; # 2 :
Verteilungsannahme:
Die wahre, aber unbekannte Verteilung liegt in P := fP# : # 2 g. Es heit Parameterraum. Ist
2 Rk, so spricht man von einer parametrischen Verteilungsannahme, zum Beispiel
o
n
P = P(;2 ) = N(; 2) : (; 2 ) 2 R R+ :
Andernsfalls spricht man von einer nicht-parametrischen Verteilungsannahme, zum Beispiel
n
o n
P = P : P Wk-Ma uber (R1; B 1 ) mit 1 -Dichte = P# : # 2 o
mit = f : f 1 -Dichte
Es heit (X ; B; fP# : # 2 g) statistischer Raum oder statistisches Experiment. Unser Ziel ist es jetzt,
Aussagen uber den unbekannten Parameter # 2 bzw. die unbekannte Verteilung P 2 P zu machen.
4 EINFUHRUNG
IN DIE STATISTIK
100
4.2 Das Fundamentallemma von Neyman und Pearson
Denition 4.4:
Gegeben sei ein statistischer Raum (X ; B; fP# : # 2 g), H + K = mit H; K 6= =0.
(a) ' : (X ; B) ! (f0; 1g; 2f0;1g) heit (nicht-randomisierter) Test.
(b) ' : (X ; B) ! ([0; 1]; [0;1]B1 ) heit (randomisierter) Test, Bezeichnung: ' 2 .
(c) Ein Test ' heit Test zum Niveau ( 2 [0; 1]) fur H gegen K genau dann, wenn fur alle # 2 H
gilt: E#' . Die Bezeichnung ist
n
o
(H) := ' : ' Test mit sup E# ' :
#2H
(d) ' 2 (H) heit gleichmaig bester Test (UMP-Test, uniformly most powerful) fur H gegen K
: ()
8 ' 2 (H) : 8 # 2 K : E# ' E#':
(e) ' 2 (H) heit unverfalscht : () 8 # 2 K : E# ' .
(f) ' 2 (H) schopft das Niveau aus : () sup E# ' = .
#2H
(g) Falls jH j = jK j = 1, d.h. jj = 2, so nennt man das Testproblem "einfach gegen einfach\. Ein
gleichmaig bester Test H gegen K (H : K) heit dann schlicht bester Test.
Wir behandeln und losen zunachst das Testproblem "einfach gegen einfach\. Dazu folgende Vorbemerkung.
Vorbemerkung:
Seien P0; P1 zwei Wahrscheinlichkeitsmae auf X0 = fx1; x2; : : :g mit Zahldichten p0 und p1. Sei H := fP0g
und K := fP1g.
Heuristik: Ist pp01 ((xx)) gro bzw. klein, so spricht dies fur K bzw. H.
Vorgehensweise: Ordne r(x) := pp01 ((xx)) der Groe nach, etwa
r(xi1 ) r(xi2 ) : : :
Wahle nun m mit
mP
+1
m
P
p0 (xij ) > und bestimme aus
p0(xij ) und
j =1
j =1
m
X
j =1
Setze
p0(xij ) + p0 (xim+1 ) =! :
8 1 x 2 fx ; : : :; x g
<
im
i1
' (x) := : x = xim+1
0 sonst
Somit ist EP0 ' = . Ist ' aber auch bester Test fur H = fP0g gegen K = fP1g ?
Bemerkung 4.5:
Interpretiert man p0 als Buchpreis und p1 als Buchdicke und will man moglichst viel Buch fur moglichst
wenig Geld, so wird man zunachst die Bucher, die nichts kosten ( pp10 = 1) und dann die Bucher geordnet
nach Groe ihres Leistung-Preis-Verhaltnisses pp01 kaufen, soweit der Etat reicht.
4 EINFUHRUNG
IN DIE STATISTIK
101
Bemerkung 4.6:
Sind P0; P1 Wahrscheinlichkeitsmae auf (X ; B), so gilt: P0 + P1 Pi fur i = 0; 1, d.h. es existiert stets
ein Ma auf (X ; B), so da -Dichten von P0 und P1 existieren (Radon-Nikodym).
Denition 4.7:
Seien Pi Wahrscheinlichkeitsmae auf (X ; B) mit -Dichten pi; i = 0; 1. Es heit
g : (X ; B) ! [0; 1]; [0; 1]B
Dichtequotient (DQ) von P1 bzgl. P0 genau dann, wenn g = pp10 [P0 + P1], wobei fur alle x 2 fp0 =
0g \ fp1 > 0g gilt: pp10 ((xx)) := +1.
Bemerkung 4.8:
Sind g1 und g2 Dichtequotienten von P1 bzgl. P0 , so gilt: g1 = g2 [P0 + P1 ].
Sei p01 Dichtequotient von P1 bzgl. P0. Dann gilt fur a : R ! [0; 1] mit a(k) = P0 pp10 > k
Lemma
4.9:
p
(a) a ist monoton nicht wachsend, d.h. aus k1 < k2 folgt a(k2 ) a(k1).
(b) a ist rechtsseitig stetig, d.h. a(k+ ) = a(k).
(c) Es gilt a(k ) = P0 pp01 k und a(k ) a(k) = P0 pp01 = k .
(d) Es ist a(0 ) = 1 und a(0) = P0 pp12 > 0 sowie a(1) = 0 = a(1 ).
(e) Fur alle 2 [0; 1] existiert ein k 2 [0; 1] mit a(k ) a(k).
n
o
(f) Gilt (e) fur 0 k1 < k2 1, so ist k1 < pp01 < k2 = =0[P0 + P1 ].
Beweis: (a) - (c) folgen aus
1 a(k) = P0 pp1 k Verteilungsfunktion von pp01 unter P0
0
und pp01 < 1[P0].
(f) Aus a(k1 ) a(k1 ) a(k2 ) a(k2) folgt
0 = a(k1 ) a(k2 ) = P0 pp1 > k1 P0 pp1 k2 = P0 k1 < pp1 < k2 ;
0
0
0
n
o
d.h. N := k1 < pp01 < k2 ist P0 -Nullmenge. Jetzt ist also nur noch zu zeigen, da N auch P1Nullmenge ist:
Z
Z
Z p1
p
d
+
p1 d = 0
P1 (N) = p1 d =
p0 | 0{z }
N
N \fp0 >0g
|
{z =dP0} N|\fp0 =0{zg }
=0; da P0 (N )=0
=0; da N \fp0 =0g==0
4 EINFUHRUNG
IN DIE STATISTIK
102
Satz 4.10 (Fundamentallemma von Neyman und Pearson):
Seien Pi Wahrscheinlichkeitsmae auf (X ; B) mit -Dichten pi ; i = 0; 1; und Dichtequotient pp01 ; 2 [0; 1]
und = f' : ' Testg. Dann gilt:
(a) (Existenz) 9 k 2 [0; 1] 9 ' 2 :
R
(FL1) E0' = , dabei gilt bekanntlich E0' := ' dP0.
(FL2) Es ist
8 p
< 1 1 > k[P + P ]
' (x) = : pp01 0 1
0 p0 < k [P0 + P1]
(b) (Hinreichende Bedingung) Falls ' 2 mit
(i) (FL1), (FL2) mit k 2 [0; 1)
oder
n
o
(ii) (FL1), (FL2) mit k = 1 und f' = 1g pp01 = 1 [P1],
so gilt:
' (gleichmaig) bester Test zum Niveau fur H = fP0g gegen K = fP1g.
(c) (Notwendige Bedingung) Falls ' 2 (H) bester Test fur H gegen K ist, so folgt (FL2), und, falls
(i) (FL2) mit k 2 (0; 1]
oder
(ii) (FL2) mit k = 0 und P0 (p1 > 0) = auch (FL1).
Beweis: Die Grenzfalle = 0 und P0(p1 > 0 sind gesondert
hierzu:
8
<1
= 0 ) k = 1 ) ' = :
0
Sei = 1 := P0(p1 > 0) ) k = 0 )
8
<1
) ' = :
0
p1
p0
p1
p0
>0
=0
8
<1
) ' = : 1
zu behandeln (als U bung). Hinweis
p1
p0
p1
p0
=1
<1
1
1
p1
p0
p1
p0
>0
=0
Sei also 0 < < P0 (p1 > 0).
(a) Nach Lemma 4.9 (e) existiert ein k 2 [0; 1] mit a(k ) a(k ). Angenommen, es sei
(i) k = 1. Dann folgt nach Lemma 4.9 (d), da a(1 ) = 0 . Dies ist aber ein Widerspruch
zur Voraussetzung > 0.
(ii) k = 0. Dann ist aber nach Lemma 4.9 (d) a(0) = P0(p1 > 0) . Widerspruch zur Voraussetzung < P0(p1 > 0).
4 EINFUHRUNG
IN DIE STATISTIK
103
Somit existiert also ein k 2 (0; 1) mit a(k ) a(k ). Deniere damit
8
>
>
<1
'k := > >
:0
8 <
:= : a(k
1
> k
= k
< k
p1
p0
p1
p0
p1
p0
a(k )
) a(k )
a(k ) > a(k )
a(k ) = a(k )
Dann gilt (FL2) trivialerweise und (FL1) wegen
p1 4:9 (c)
p1 E0'k = P0 p > k + P0 p = k = a(k ) + a(k ) a(k ) = :
0
0
(b) ' erfulle (FL1) und (FL2) mit k 2 (0; 1) und es sei ' 2 (H). Zu zeigen ist: E1' E1'.
Wegen E0' = E0 ' ist zunachst folgendes richtig:
k E0' E0' = k ( E0 ') 0;
d.h. die Behauptung folgt, wenn
E1' E1' =! k ( E0')
Dies ist gezeigt, wenn gilt
Z
!
0 E1 (' ') k E0(' ') = (' ')(p1 k p0 ) d =
=
Z
Z
(' ')(p1 k p0) d + (' ')(p1 k p0) d
f' <'g
f' >'g
(i) Sei ' < ' 1. Nach (FL2) gilt pp10 k [P0 + P1], wegen k < 1 gilt p1 k p0[P0 + P1] und
damit
('| {z '})(p| 1 {zk p0}) 0[P0 + P1]
(ii) Sei ' > ' 0. Nach (FL2) gilt
<0
0
p1 k [P + P ] und
0
1
p0
dann p1 k p0[P0 + P1] sowie
('| {z '})(p| 1 {zk p0}) 0[P0 + P1]
>0
0
Es folgt die Behauptung.
(c) Sei ' (gleichmaig) bester Test zum Niveau fur P0 : P1. ' erfulle (FL2) und (FL2) mit k 2 (0; 1)
(9 nach (a), optimal nach (b)). Also zu zeigen: (FL1) und (FL2) gelten fur '. Es ist zunachst
E1' E1' , da ' als bester Test vorausgesetzt wurde, und E0' = E0' . Dann folgt
(b)
0 E1' E1' k (E
| 0' {zE0'}) 0:
n
o
0
Somit gilt f' 6= ' g \ pp01 6= k = =0[P0 + P1], d.h. es gilt (FL2) fur '. Aus (b) folgt E1 ' E1 '
und dann, da ' bester Test ist, E1' = E1'. Insgesamt also E0' = E0' = , d.h. (FL1) fur '.
Bemerkung 4.11:
Merke die konstruktiven Denitionen aus dem Beweis von Satz 4.10 der Tests 'k mit k 2 [0; 1].
4 EINFUHRUNG
IN DIE STATISTIK
1. k = 1 ( = 0):
8
<1
'1 = :
0
104
9
= 1 = 1 p1 > 0; p0 = 0
= 0 p0 > 0
<1 ;
Somit ist E0 '1 = 0 und E1'1 = P1(p0 = 0).
2. 0 < k < 1 (0 < < P0(p1 > 0)):
8
>
>
<1
'k = > >0
:
p1
p0
p1
p0
p1
p0
p1
p0
p1
p0
8
p1 >
1
P
<
0
p0 = k = 0
= > P0 pp01 >k
: P0 pp1 =k sonst
> k
= k
< k
0
) 2 [0; 1]; E0 'k = und E1'k < 1, denn angenommen E1'k = 1 )
f'k = 1g fp1 > 0g[P1]
) P0(p1 > 0) E0 'k = . Widerspruch zur Wahl < P0(p1 > 0).
3. k = 0 ( P0(p1 > 0)):
8
<1
'0 = :
0
p1
p0
p1
p0
9 >0 =
0
= 10 pp1 >
=
0;
p0 > 0
;
1
=0
Somit ist E0 '0 = P0(p1 > 0) und E1 '0 = 1.
Bemerkung 4.12:
Falls 1 = P0(p1 > 0), so gilt fur alle 2 [1; 1]: '0 ist (gleichmaig) bester Test zum Niveau fur
P0 : P1 wegen E1 '0 = 1 und E0'0 = 1 . Fur alle > 1 gilt:
p 1 1 p E0 '~0; = P0 p > 0 + 1 P0 p1 = 0 > E0 '0 ;
| {z0 } | {z 1} | {z0 }
>0
=P0 (p1 >0)
=P0 (p1 =0;p0 >0)
falls P0 (p1 = 0; p0 > 0) > 0.
Bemerkung 4.13:
Fur alle ' 2 ; 8 k 2 [0; 1] gilt
E0' E0'k
E1 ' E1'k
E ' = E '
0 k
) 0
E1' = E1'k
Corollar 4.14:
Unter den Voraussetzungen von Satz 4.10 sei ' bester Test zum Niveau fur P0 : P1 mit
E1' < 1 oder E1 ' = 1 und E0' = P0(p1 > 0):
Dann ist 1 ' bester Test zum Niveau 1 fur P1 : P0.
Beweis: Aus Satz 4.10 (c) folgt (FL2), d.h.
8
<1
' = :
0
p1
p0
p1
p0
> k [P0 + P1 ]
< k [P0 + P1 ]
4 EINFUHRUNG
IN DIE STATISTIK
105
() Sei k 2 (0; 1]. Dann ist
8
<0
1 ' = :
1
p1
p0
p1
p0
> k [P0 + P1 ]
< k [P0 + P1 ]
9 8
= <1
;=: 0
8 = +1 p = 0; p > 0
<
0
1
Dabei ist pp1 : 2 (0; 1) p0 > 0; p1 > 0 mit k1 < 1
0
=0
p0 > 0; p1 = 0
p0
p1
p0
p1
> k1 [P0 + P1]
< k1 [P0 + P1]
1
1 := 0 . Mit Satz 4.10 (b) (setze dort
k0 := k1 2 [0; 1)). Es folgt die Behauptung.
() Sei k = 0. Dann ist nach Voraussetzung
E1' P1 pp1 > k = 0 = P1 (p1 > 0) = 1
0
E0' = P0(p1 > 0)
Weiter ist
Z
Z
Z
E0' = ' p0 d = ' p0 d + ' p0 d
fp0 >0;p1=0g fp0 >0;p1>0g
Wegen fp0 > 0; p1 > 0g = p0 > k = 0 [P0 + P1] f' = 1g[P0 + P1] ist jedoch
o
n p1
Z
Z
und damit
Z
' p0 d = p0 d = P0(p1 > 0)
fp0 >0;p1>0g fp0 >0;p1 >0g
' p0 d = 0. Insgesamt also f' > 0g \ fp0 > 0; p1 = 0g = =0[P0] und damit
fp0 >0;p1=0g
f' > 0g \ fp0 > 0; p1 = 0g = =0[P0 + P1]:
Also ist
8
<1
' = :
0
8
<1
1 ' = :
0
p1
p0
p1
p0
p0
p1
p0
p1
> 0[P1 + P0]
= 0[P1 + P0]
= 1[P0 + P1]
< 1[P0 + P1]
Mit Satz 4.10 (b) folgt die Behauptung.
Die bisherige Wahl einer konstanten Randomisierung mu nicht immer "ideal\ sein, d.h. kann auch
ersetzt werden durch (x), siehe dazu folgendes Beispiel.
Beispiel 4.15 (Rechteckverteilungen mit Skalenparameter):
Seien P0 = G([0; 1]); P1 = G([0; 2]) und 0 < < 21 . Dann ist p0 (x) = I[0;1] (x) und p1 (x) = 21 I[0;2] (x).
Deniere dann
(x) = 1 I (x) + 1I (x):
q(x) := pp1(x)
(1;2]
2 [0;1]
Mit
0
8 1 q(x) > 0; 5 9 <
=
1[P0 + P1 ]
'1 (x) = : q(x) = 0; 5 ; = 1 xx >
1[P0 + P1 ]
0 q(x) < 0; 5
4 EINFUHRUNG
IN DIE STATISTIK
106
ist dann E0 '1 = und E1'1 = 1+2 . Nach dem Fundamentallemma ist '1 bester Test zum Niveau fur
P0 : P1, andererseits auch
1 x1 '2 (x) = 0 x < 1 Der Test '2 hat den Vorteil, da er nicht randomisiert ist. Der N-P-Test ist also keineswegs eindeutig!
4.3 Monotone Dichtequotienten
Beispiel 4.16 (Einseitiger Gau-Test, vgl. Beispiel 4.3):
Modell: X1 ; : : :; Xn N(; 02) stochastisch unabhangig, 2 R1 (02 2 R1+). Die Schreibweise bedeutet,
da getestet werden soll, wahrend 02 (in Klammern geschrieben) bekannt ist. Die Hypothesen seien
H : 0 vs. K : > 0 . Da wir bis dato nur "einfach gegen einfach\-Probleme losen konnen, fuhren
wir folgende Einschrankungen durch:
1. Einschrankung: H~ : = 0 vs. K : > 0 ,
2. Einschrankung: H~ : = 0 vs. K~ : = 1 mit 1 > 0 .
Wir wenden das Fundamentallemma (4.10) auf die 2. Einschrankung an: Die n -Dichte von P (X1 ;:::;Xn )
ist
)
1 n ( 1 X
n
2
p (x) = p 2 exp 22 (xi ) :
20
0 i=1
Der Dichequotient (DQ) ist
1 Pn
n
P
2
2
p1 (x) = exp 202 i=1 xi 21 i=1 xi + n1 =
Pn x2 2 Pn x + n2
p0 (x)
exp 21 2
0
i
i
0
i=1
!)
( 0 i=1 X
n 1
2
2
xi (1 0 ) + n(1 0 ) =
= exp 22 2
0
i
=1
(
n )
X
n
1
0
2
2
= exp 22 (1 0 ) + 2
xi
0
0 i=1
Nach dem Fundamentallemma ist dann
8
<1
' = :
0
p1 (x)
p0 (x)
p1 (x)
p0 (x)
k
<k
P
mit E0 ' = . Dabei kann = 1 gewahlt werden, da pp01 ((xx)) stetig verteilt ist. Nun gilt mit x = xi
n(2 2) p1 (x) k
1
0
1
0 exp
() exp
2
2 x k
p0 (x)
2
0
0
|
{z
}
e mon: wachs:
()
()
()
1 >00 exp
02 x k1
1 0 x k
02 2
x k3;
4 EINFUHRUNG
IN DIE STATISTIK
107
d.h. wir konnen den Test schreiben als
1 x k
' (x) = 0 x < k3
3
E0 ' = P0 (X k3) =! :
Unter = 0 gilt X N(n0 ; n02) und somit
Xp
n0 = pn X 0 N(0; 1):
0
n02
Insgesamt also
= P0 (X k3) = P0
p X 0 k4
n
| {z0 }
N(0;1)
mit k4 = u (u deniert durch (u ) = 1 , u heit -Fraktil der N(0; 1)-Verteilung). Der Test hat
somit folgende Gestalt:
8 p
>
< 1 n x 0 u
' (x) = > p x 0
: 0 n 0 0 < u
' ist bester Test zum Niveau fur H~ : = 0 gegen K~ : = 1 fur alle 1 < 0 (da unabhangig von
1 ). Damit ist ' gleichmaig bester Test zum Niveau fur H~ : = 0 gegen K : > 0 . Weiter ist
p
' () := E ' = P n X 0 > u =
0
pn
= P0 (X + 0) > u =
p0nX p
= P0 > u n 0 =
0
| {z0 }
N(0;1)
8
p 0 < < < 0
= 1 u n : => => 00
0
Damit ist ' Test zum Niveau fur H : 0 gegen K : 0 . Sei ' ein beliebiger Test zum Niveau
fur H : K, dann ist auch ' Test zum Niveau fur H~ : = 0 vs. K : > 0 . Dann gilt fur alle > 0:
E ' E ' , d.h. ' ist gleichmaig bester Test zum Niveau fur H : K.
Die letzten U berlegungen im Beispiel 4.16 gelten ganz allgemein:
() Fur alle # 2 K: ' bester Test zum Niveau fur H~ : f#g ()
() ' glm. bester Test zum Niveau fur H~ : K )
~ ' Test zum Niveau fur H : K
H H;
) ' ist gleichmaig bester Test zum Niveau fur H : K.
Entscheidend fur () war, da der Dichtequotient pp01 eine spezielle Gestalt hatte, so da der NeymanPearson-Text unabhangig von 1 war. Es galt namlich fur alle 0 : 8 x 2 Rn
p1 (x) = exp n( 0 )2 exp n 0 x = C (; ) exp fC (; )x g =: H T(x)
1
0
2
0 0
2
p0 (x)
|
{z20 } | {z0 }
=:C1 (;0 )
=:C2 (;0 )
4 EINFUHRUNG
IN DIE STATISTIK
108
mit T(x) := x unabhangig von und
H0 (t) := C1 (; 0) exp fC2(; 0 )tg ;
wobei H0 (t) monoton wachsend in t ist, falls > 0 . Dies nutzen wir zur Verallgemeinerung.
Voraussetzungend und Bezeichnungen:
(X ; B; P = fP# : # 2 g) statistischer Raum mit R1, H : K Testproblem (=0 6= H ; K = n H)
und 2 R.
Denition 4.17:
P hat monotonen Dichtequotienten in bzgl. H : K : ()
(i) 9 T : (X ; B) ! (R1; B 1 ) und
(ii) 8 # 2 K (# 2 H) : 9 H# :
Dichtequotienten gilt:
R1
! [0; 1] monoton nicht fallend (wachsend), so da fur die
p# (x) = H T (x)[P + P ]:
#
# p (x)
Bemerkung:
Aus H# monoton folgt H# mebar.
Satz 4.18 (Erweitertes Fundamentallemma):
Gegeben: (X ; B; P = fP# : # 2 g), Testproblem H : K, 2 (0; 1), 2 H, so da P monotonen
Dichtequotienten in bzgl. H : K besitzt. Dann ist
8 1 T >k
<
' := : T = k
0 T < k
gleichmaig bester Test zum Niveau fur H : K.
Beweis:
(i) Seien # 2 K und
Wegen H# " gilt
(x)
H# T (x) = pp# (x)
mit E ' = >
~
< k := H# (k)[P# + P ]:
8
<1
T (x) < k[P# + P ] und damit ' = :
0
>
p#
p
p#
p
> k~[P# + P ]
;
< k~[P# + P ]
also (FL2) und E ' = nach Voraussetzung, also (FL1). Mit FL (b), falls k~ < 1, ist ' bester
Test zum Niveau fur P# : P .
Angenommen k~ = 1, dann gilt
= E ' = P (T > k) + P (T =k) P (T > k) P H# (T ) H# (k) = k~ = P pp# 1 = P (p# > 0; p = 0) = 0
Dies ist aber ein Widerspruch zur Voraussetzung 2 (0; 1).
4 EINFUHRUNG
IN DIE STATISTIK
109
(ii) Teil (i) gilt fur alle # 2 K. Damit ist ' gleichmaig bester Test zum Niveau fur f g : K. Bleibt
noch zu zeigen, da ' 2 (H) (vgl. Bemerkung nach Beispiel 4.16), d.h. fur alle # 2 H : E# ' .
Falls nun H = f g, so gezeigt nach (i). Sei also H f g. Verwende 1 ' als Test zum Niveau
1 fur P : P# fur # 2 H n f g und zeige wie in (i):
1 ' ist bester Test zum Niveau 1 fur P : P#
Damit ist 1 ' gleichmaig bester Test zum Niveau 1 fur f g : H n f g. Vergleiche dann
1 ' mit dem konstanten Test : 1 . Dann ist E = 1 , also Test zum Niveau 1 fur : H n f g. Dann gilt fur alle # 2 H n f g
E# (1 ' ) E# = 1 und damit fur alle # 2 H n f#g : E# ' . Es folgt die Behauptung.
Bemerkung 4.19:
' aus Satz 4.18 minimiert auch noch die Fehlerwahrscheinlichkeit 1. Art unter E ' = . Denn eine
Beweisanalyse zeigt: ' ist Losung von
(i) 8 # 2 K : E# ' = sup unter E ' = und auch von
(ii) 8 # 2 H n f g : E# ' = inf unter E ' .
Damit ist ' sowohl Losung von
(iii) 8 # 2 K : E# ' = sup und 8 # 2 H : E# ' als auch von
(iv) 8 # 2 K : E# ' = sup und 8 # 2 H n f g : E# ' = inf; E ' = .
Beispiel 4.20 (1-seitiger Binomialtest):
Modell: X1 ; : : :; Xn B(1; p) stochastisch unabhangig mit p 2 (0; 1). Hypothese: H : p p0 vs. K : p > p0
mit p0 2 (0; 1). Dann ist die Zahldichte
P
P
fp (x) = p xi (1 p)n xi ; x 2 f0; 1gn
und der Dichtequotient
fp (x) = px (1 p)n x = 1 p n = px (1 p0 )n x =: H T (x)
pp0
fp0 (x) px0 (1 p0 )n x
1 p0
px0 (1 p)n x
mit T(x) := x und
1 p n p(1 p ) 0
Hpp0 (t) := 1 p exp t ln p (1 p)
0
0
ist monoton wachsend (monoton fallend) genau dann, wenn
p(1 p ) 0 >0
ln p (1 p)
(" < \);
0
d.h. genau dann, wenn p > p0 (p < p0 ). Somit ist
8 1 x >k
<
' (x) = : x = k
mit Ep0 ' = 0 x < k
4 EINFUHRUNG
IN DIE STATISTIK
110
ist gleichmaig bester Test zum Niveau 2 (0; 1) fur H : K. Bestimme k aus Ep0 ' =! , also
n n
X
t
t p0(1
t=k+1
bzw.
kX1 n
t=0
bzw.
t
pt (1
p0)n t + p0 )n t + (1
0
n
k
n k !
k p0 (1 p0 ) = n
) k pk0 (1 p0 )n k =! 1 Fp0 (k 1) + (1 )fp0 (k) =! 1 mit Fp0 Verteilungsfunktion und fp0 Zahldichte der B(n; p0)-Verteilung.
Verteilungsfamilien wie P = fB(n; p) : p 2 (0; 1)g, P = fN(; 02) : 2 Rg oder auch P = fPo() : > 0g
haben eine "ahnliche\ Struktur, so da die Bestimmung der Tests ohne "lange Herleitung\ moglich wird.
Die "ahnliche\
Struktur fuhrt zum Begri der 1-parametrigen Exponentialfamilie.
Denition 4.21:
(X ; B; P = fP# : # 2 g) statistischer Raum mit eindeutiger Parametrisierung und Rk. P heit 1parametrige Exponentialfamilie in (#) und T(x) : () 9 -endlich mit P (d.h. 8 # 2 : P# )
und
#
8 # 2 : dP
d (x) = C(#) exp f(#) T(x)g h(x)[]
mit Funktionen C : ! R1+, : ! R1, T : (X ; B) ! (R1; B 1 ) und h : (X ; B) ! (R1(+); B 1 \ R1(+)).
Beispiel 4.22:
(a) (Poisson-Verteilung) X1 ; : : :; Xn Po() stochastisch unabhangig und 2 R+. Gemeinsame Dichte
bzgl. :=Zahlma auf (N0; 2N0)
f (x) =
Dann ist P =
n Nn
i=1
n
Y
i=1
o
e
x
i
xi !
n
n oY
n 1
X
= e|{z} exp (ln
| {z)} i=1 xi i=1 xi!
=:C (x)
(x) | {z } | {z }
n
T (x)
h(x)
PXi : > 0 1-parametrige Exponentialfamilie in () = ln und T(x) =
(b) (Normal-Verteilung) X1 ; : : :; Xn N(; 01 ) stochastisch unabhangig, 2 R1 (02 > 0 fest)
1 n ( 1 X
n x 2 )
i
=
exp 2
f (x) = p
0
20
i=1
(
1 n n2 n 1 X
n o
n )
X
1
exp 22 exp 2 xi exp 22 x2i
= p
2
0
0 }
{z
|
| {z0 } |i=1{z } |
{z0 i=1 }
=C ()
=()
=T (x)
=h(x)
Bemerkung 4.23 (Einfache Eigenschaften von 1-parametrigen Exponentialfamilien):
Gegeben sei eine 1-parametrige Exponentialfamilie P in (#) und T (x). Dann gilt
1 = Z e(#)T (x) h(x) d(x)
(a) C(#)
(b) : ! R1 injektiv
Pn x .
i=1
i
4 EINFUHRUNG
IN DIE STATISTIK
111
(c) T ist nicht P -fast sicher konstant, d.h.
8 c 2 R : 9 # 2 : P# (T 6= c) > 0
R
(d) , deniert durch 8 B 2 B mit (B) := h(x) d(x), ist -endliches Ma mit
B
8 # 2 : P#
(e) 9 -endlich: P und
mit
P : ()
(d.h. P# und P# )
#
(#)T (x) []
8 # 2 : dP
d (x) = C(#)e
h
P und 8 N 2 B gilt 8 # 2 : P# (N) = 0 ) (N) = 0
i
(f) 8 ; # 2 gilt: P# P
R
(g) Es ist Z := 2 R1 : 0 < expfT(x)gh(x) d(x) < 1 konvex, also ein Intervall. Z heit
naturlicher Parameterraum von P .
(h) und T sind bis auf ane Transformationen bestimmt. Genauer gilt die A quivalenz folgender zwei
Aussagen:
~
(i) P ist 1-parametrige Exponentialfamilien in ~(#) und T(x)
1
(ii) 9 a; b; c 2 R; a 6= 0 : T = aT~ + b[P ]; = a ~ + c
(i) Ist P 1-parametrige Exponentialfamilie in (#) und T (x), so ist
P (n) =
n
nO
1-parametrige Exponentialfamilie in (#) und
i=1
Pn
i=1
P :P 2P
o
T(xi )
Satz 4.24:
Sei P 1-parametrige Exponentialfamilie in (#) und T(x); 2 , so da
6 =0; K = # 2 : (#) > () 6= =0:
H = # 2 : (#) () =
Dann hat P einen monotonen Dichtequotienten in .
Beweis: Es ist
mit
p# (x) = C(#) exp ((#) ())T(x) =: H T(x)[]
#
p (x) C()
H# monoton wachsend () (#) > () () # 2 H1
H# monoton fallend () (#) < () () # 2 H n f g
Nach dem erweiterten Fundamentallemma existiert ein gleichmaig bester Test zum Niveau fur H : 0 vs. K : > 0 und naturlich auch fur H~ : 0 vs. K~ : < 0 . Ist also : ! R monoton wachsend
(fallend), so gilt = (#) < (#0) = 0 genau dann, wenn # < #0 (# > #0).
Somit existiert ein gleichmaig bester Test zum Niveau fur H : # #0 vs. K : # > #0 und fur
H~ : # #0 vs. K~ : # < #0
4 EINFUHRUNG
IN DIE STATISTIK
112
Beispiel 4.22 - Fortsetzung:
(a) (Poisson-Verteilung) X1 ; : : :; Xn Po() stu., H : 0 vs. K : > 0. Es war
n
n exp (ln )
f (x) = e|{z}
| {z }
=:C (x)
(x)
n 1
n oY
X
xi
xi !
|i=1{z } i|=1{z }
T (x)
h(x)
Mit = () und 0 = (0 ) gilt somit: < 0 () 0. Dann ist
8 1 T(x) > k
<
' (x) = : T (x) = k
mit E0 ' = 0 T(x) < k
Pn
Pn
gleichmaig bester Test zum Niveau fur H : K. Wegen T (x) = xi und Xi Po(n) sind
i=1
i=1
k und 2 [0; 1] zu bestimmen aus
kX1
j =1
bzw.
j
k
e n0 (nj!0 ) + (1 )e n0 (nk!0 ) =! 1 Fn0 (k 1) + (1 )fn0 (k) =! 1 Beispiel 4.25 (Stichprobenumfang, Versuchsplanung):
Seien X1 ; : : :; Xn N(; 02 ) stu., 2 R (02 > 0). H : 0 vs. K : > 0. Problem: Wie gro mu
der Stichprobenumfang n sein, damit man H bei Vorliegen von 1 (> 0 ) mit Wahrscheinlichkeit ablehnt? (z.B. 0 = 100; 1 = 101; 02 = 100; = 0:9)
Ziel: ' () fur alle 1 . Es war
8 p
>
< 1 n x 0 > u
' (x) = > p 0
: 0 n x00 u
Fur alle 1 ist dann (vgl. Beispiel 4.16)
p !
p ! ' mon:
1
0
() 1 u n 1 0 = ' () = 1 u n 0
0
p
1
0
() u n = 1 (1 )
0
2
0
1
() n = u (1 )
1
0
2
10
()
=0:05
n 101 100 (1:6499 1:2816) 13:17
Wahle also n = 14.
Bemerkung 4.26:
Tests fur Hypothesen der Form
(1) H : # 2 [#1; #2] vs. K : # 2= [#1; #2] (#1 #2 ) ("innen:auen\) oder
(2) H : # 2= [#1; #2] vs. K : # 2 [#1; #2] (#1 < #2 ) ("auen:innen\)
4 EINFUHRUNG
IN DIE STATISTIK
113
wurden bisher nicht behandelt. Wahrend fur (2) bei 1-parametrigen Exponentialfamilien sogar gleichmaig
beste Tests zum Niveau der
8 1FormT(x) 2 (k; k)
<
1 2
' (x) = : 1 T(x) = ki ; i = 1; 2
mit E#1 ' = E#2 ' = 0 T(x) 2= (k1 ; k2 )
existieren, ist dies bei (1) i.a. nicht mehr der Fall. Man betrachtet deshalb nur noch unverfalschte Tests,
d.h. Tests ' mit E# ' fur alle # 2 K. Bei 1-parametrigen Exponentialfamilien (mit naturlichem
Parameterraum ) ist ein gleichmaig bester Test zum Nivau fur (1) von der Form
8 1 T(x) 2= (k; k)
<
1 2
' (x) = : i T(x) = ki ; i = 1; 2
0 T(x) 2 (k1 ; k2 )
Dabei werden ki ; i bestimmt aus
r
rr
r
rr r
(a) falls #1 = #2 =: #0, d.h. H : # = #0 vs. K : # 6= #0: E#0 ' = d E ' !
d# # #=#0 = 0 () E#0 (' T) = E#0 T
61
' (#)
-
#0
(b) falls #1 < #2: E#1 ' = E#2 ' = 61
#1
' (#)
#2
-
Beispiel 4.27 (2-seitiger Gau-Test):
X1 ; : : :; Xn N(; 02) stu., 2 R (02 > 0). H : = 0 vs. K : 6= 0 . Dann gilt
8 p >
< 1 n x 0 u=2
' (x) = > p 0 : 0 n x00 < u=2
ist UMPV-Test zum Niveau . Es gilt: (u=2 ( u=2 ) = 1 .
Beispiel 4.28 (2-seitiger Binomialtest):
X1 ; : : :; Xn B(1; p) stu., p 2 (0; 1). H : p = p0 vs. K : p 6= p0. Dann ist
8 1 T(x) 2= fk; : : :; kg
<
1
2
' (x) = : i T(x) = ki ; i = 1; 2
T (x) = x
0 T(x) 2 fk1 + 1; : : :; k2 1g
4 EINFUHRUNG
IN DIE STATISTIK
114
mit ki ; i , i 2 [0; 1], bestimmt durch
2 n x + X j n pkj (1 p0)n kj =! p
(1
p
)
0
kj 0
x ;:::;n0 g
j =1
x2f0;:::;k1 1;k2 +1
(1)
(2)
X n x
2
X
X n x
x x p0 (1 p0 )n x + j kj kn pk0j (1 p0 )n
j
x2f0;:::;k1 1;k2+1;:::;ng
j =1
genau dann, wenn
(10) F(k2 1jn; p0) F(k1jn; p0) +
kj =!
np0
2
X
j =1
(20) F(k2 2jn 1; p0) F(k1 1jn 1; p0) +
(1 j )f(kj jn; p0) =! 1 2
X
j =1
(1 j )f(kj 1jn 1; p0) =! 1 mit F(jm; p) bzw. f(jm; p) Verteilungsfunktion bzw. Dichte der B(m; p)-Verteilung.
Bemerkung 4.29:
Noch schwieriger wird die Situation, wenn # mehrdimensional ist. Zum Beispiel
(1) # = (; 2) bei Normalverteilungen N(; 2 ),
(2) # = (p1; p2) bei einem 2-Stichproben-Binomialmodell Xij B(1; pi); j = 1; : : :; ni ; i = 1; 2, stu.
Hypothese p1 = p2 vs. p1 6= p2.
Dies fuhrt zu sogenannten "bedingten Tests\.
Beispiel 4.30 (1-seitiger t-Test):
X1 ; : : :; Xn N(; 2) stu., 2 R; 2 > 0. H : 0 vs. K : > 0 (0 2 R).
Behauptung:
p
T(X) = n X S 0 0 tn
Beweis: Sei Q 2 Rnn orthonormal, d.h. QT
2
6
Q = 64
p1n
=Q
p1n
1
3
77
5
mit S 2 = n 1 1
1, also
etwa
n
X
i=1
(Xi X )2
( = orthonormal erganzt)
X = (X1 ; : : :; Xn)T ) X 0 Nn (0 1n; 2In ). Dann ist Y := QX Nn (; 2In ) mit
0 pn
BB 0 0
= 0 Q1n = B
@ ...
0
1
CC
CA
und somit Y1 = pnX . Es gilt: Y1 ; : : :; Yn stochastisch unabhangig mit
n
X
i=2
Yi2 = Y T Y
n
n
X
X
Y12 = (QX)T (QX) nX 2 Q orthon
= : Xi2 nX 2 = (Xi X )2
i=1
i=1
4 EINFUHRUNG
IN DIE STATISTIK
115
Somit folgt
8
>
0 p N(0;1)
>
1 2 = tn 1
>
p
<
1 (Y1
n 1 n 1
n
)
0
T(X) = P
1
n Y 2 2 > =
6 0 t pn 0 1
i2
(nicht-zentrale tn 1-Verteilung)
>
n 1
n 1 i=2 >
| {z }
:
Nicht Zentralitatsparameter
Es folgt:
' (x) =
1 T (x) t
n
1;
0 T(x) < tn 1;
mit P(W tn 1;) = 1 (W tn 1) ist UMPV-Test zum Niveau fur H : K.
r
6
s
b eobachtetes (s; x)
BMB Nicht-Ablehnungsbereich
B Ablehnungsbereich
r BN
!!0 x
-
X 2 N(0; 2) stu. R2 = S 2 + X 2 ; tan = S ) R; stu.
S2 2
X
2
Somit ist P unabhangig von und
h i
P(
!) = 21 FBeta( 2 ; 12 ) (sin2 !);
! 2 0; 2
und es gilt
P(
!jR = r) R;
=stu P(
!):
Wahlt man 8 r > 0 !0 so, da P(
!0) = , ist
Z
P(
!0 ) =
P(
!0jR = r) dP R (r) =
Z
Z
=
Es gilt
Also
P(
!0) dP R(r) = 1 dP R(r) = !0 () tan tan !0
() XS tan !0
p
() p1XS tan !
0
P(
!0) =! 1
< 2
1
()
sin2 !0 = FBeta
( 2 ; 12 ) (2)
() !0 = arc sin
r
1
FBeta
( ; 1 ) (2)
2 2
4 EINFUHRUNG
IN DIE STATISTIK
116
p
Es gilt: tan !0 = t; .
Beispiel 4.31 (2-Stichproben t-Test):
Modell: Xij N(i ; 2 ); j = 1; : : :; ni; i = 1; 2, stu., i 2 R; 2 > 0 (ni 2 N : n := n1 + n2 3). Somit
8
>
p >
1 n1nn2 x1 s x2 > tn
<
' (x) = >
>
: 0 p n1n2 x1 x2 tn
n
mit s2 = n 1 2
ni
P2 P
(x
i=1 j =1
ij
2; x2
2; x2
s
xi)2 und tn 2; 2 2 -Fraktil der tn 2-Verteilung. Es gilt:
pn n n X 1 X 2 1=2 t
1 2
n
S
2
Beispiel 4.32 (2-Stichproben Binomialtest, (2 2)-Tafel, exakter Test von Fischer):
Xij B(1; pi); j = 1; : : :; ni; i = 1; 2, stu., pi 2 (0; 1). Hypothese H : p1 p2 vs. K : p1 > p2 (oder auch
H~ : p1 = p2 vs. K~ : p1 6= p2 ), zum Beispiel
8
< 1 Medikament i bei Patient j in Gruppe i wirksam
Xij = :
0 Medikament i bei Patient j in Gruppe i nicht wirksam
Klar: Xi B(ni ; pi); i = 1; 2, stu., X B(n ; p), falls p := p1 = p2
Anz. Erfolge
Anz. Mierfolge
P
Gruppe 1
X1
n1 X1
n1
Gruppe 2
X2
n2 X2
n2
X
n X
n
~ ablehnen, wenn X1 gro\ ist (bzw.
Idee: Ware X1 + X2 = v fest gegeben, so sollte man H (bzw. H)
"
"gro\ oder "klein\).
Nun gilt fur u 2 f0; 1; : : :; vg; v 2 f0; 1; : : :; ug; U := X1; V := X
P(p1 ;p2 ) (U = u; V = v) =
= P(p1 ;p2 ) (X1 = u; X = v) = P(p1 ;p2 ) (X1 = u; X2 = v u) =
= nu1 pu1 (1 p1)n1 u v n2 u p2v u(1 p2)n2 (v u) =
p2
n 1 (1 p2 )n2 exp u ln p1 (1 p2 ) +v ln
= nu1 v n2 u |(1 p1 )n{z
}
(1 p )p
1 p
|
{z
=:h(u;v)
}
=:C (;)
|
=: P; (U = u; V = v)
und
p1 < p2
>0
p1 = p2 () = 0
p1 > p2
<0
{z
=:
1 2
}
|
{z
=:
2
o
}
=
4 EINFUHRUNG
IN DIE STATISTIK
117
; (X1 = u; X2 = v u) =
P; (U = ujV = v) = P;P(U =(Vu;=Vv)= v) = PP
n1
;
P; (X1 = u0; V = v)
u0 =0
=
C(; ) expfu + v gh(u; v)
1
= P
expfugh(u; v) =
n1
n1
P
0
0
0
0
C(; ) expfu + v gh(u ; v) 0 expfu gh(u ; v)
u0 =0
|u =0 {z
}
C~v ()
=: PU jV =v (fug)
bei festem v unabhangig von und 1-parametriger Exponentialfamilie in und u. D.h. wir haben einen
monotonen Dichtequotienten, konnen das erweiterte Fundamentallemma anwenden und erhalten
8 1 u > k(v)
Z
<
v (u) = (v) u = k(v)
mit E=0 v = v (u) dPU jV =v (u) =! : 0 u < k(v)
als gleichmaig besten Test zum Niveau fur H~ v : 0 vs. K~ v : > 0. Setze (u; v) := v (u). Dann
ist 8 0
E (; ) =
=
Z
(u; v) dP (U;V ) (u; v) = X X (u; v)P (U;V ) (f(u; v)g) =
;
;
n X
v
X
v=0 u|=0
u v
(u; v)P (U = ujV = v) P; (V = v) {z
}
und "=\ fur = 0. Damit ist (; ) Test zum Niveau fur H : K. Weiter kann man zeigen: (; ) ist
gleichmaig bester unverfalschter Test zum Niveau fur H : K.
Zur Berechnung des kritischen Wertes k(v) benotigen wir noch PU=0jV =v . Es ist (s.o.)
PU=0jV =v (fug)
= C~v (0)eu0h(u; v) =
n1
X
u0 =0
!
h(u0 ; v)
1
h(u; v) =
n1 X
n2 1 n1 n2 =
n1
=
0
0
u v u
u|0 =0 u {z v u }
n +n
n1 n2 u v u
n1 +n2
v
=
=( 1 v 2 )
=^ Dichte der hypergeometrischen Verteilung H(n; v; n1)
d.h.
Z
U jV =v !
v (u) dP=0 = X nu1 vn2u nk1 vn2k !
()
n1 +n2 + n1 +n2 = u>k
v
v
Entsprechend berechnet man ki ; i fur den 2-seitigen Test ~v fur H~ : p1 = p2 vs. K~ : p1 6= p2 aus
(1)
(2)
X
u<k1
g(u) + 1 g(k1 ) + 2 g(k2 ) +
X
u<k1 1
X
u>k2
g(u) = g~(u) + 1 g~(k1 1) + 2 g~(k2 1)
X
u>k2 1
g~(u) = mit g bzw. g~ Zahldichte der H(n ; v; n1)- bzw. H(n 1; v 1; n1 1)-Verteilung.
4 EINFUHRUNG
IN DIE STATISTIK
118
Bemerkung 4.33:
Bei 2-seitigen Hypothesen werden haug nicht die exakten Tests, sondern einfach zwei einseitige nichtrandomisierte Tests verwendet (in der Honung, da diese sich nicht allzusehr von den exakten Tests
unterscheiden.
Im Beispiel 4.32 bestimmt man fur H~ : p1 = p2 die kritischen Werte k1 ; k2 einfach aus
X
k1 moglichst "gro\
P=0 (U = ujV = v) 2
uk1
X
uk2
P=0 (U = ujV = v) 2
k2 moglichst "klein\
Lehne H~ ab, falls X1 k1 oder X1 k2.
Bemerkung 4.34:
In statistischen Programmpaketen (z.B. SAS, SPSS) werden haug sogenannte p-Werte (U berschreitungswahrscheinlichkeiten, p-values) zum Testen einer Hypothese ausgegeben. Ist z.B. T eine Teststatistik zum
Testen von H : K, die unter K zu "groren Werten neigt\ und x 2 X beobachtet wurde, so heit
p(x) := sup P# (T T (x))
#2H
p-Wert (zum Testen von H : K). Es gilt:
8 # 2 H : P# (p(x) ) ;
d.h. '(x) = 10 p(x)
p(x) > ist Test zum Niveau fur H : K.
4.4 Kondenzbereiche
Generelle Voraussetzungen: (X ; B; P = fP# : # 2 g) statistischer Raum, : ! , z.B. fur ' = (; 2):
(#) = , := (#). Schatzproblem: ^ =? bzw. 2?
(i) Punktschatzer: ^ : (X ; B ! ( ~ ; ), ~ . Nachteil von Punktschatzern: Haug gilt:
P# ^() = (#) = 0
(ii) Bereichsschatzer: ^ : (X ; B) ! (2 ; A ) mit A geeigneter -Algebra.
Achtung: ^ ist Schatzer (als Zufallsvariable), ^(x) ist Schatzung (nach Beobachtung von x).
Denition 4.35:
(a) C : X ! 2 heit Bereichsschatzer (BS) fur 2 : ()
8 0 2 : A( 0 ) := fx : C(x) 3 0 g 2 B
(b) Sei C : X ! 2 Bereichsschatzer fur 2 und sei 2 [0; 1]. Dann heit C := (C(x) : x 2 X )
Familie von Kondenzbereichen (KB) zum Kondenzniveau 1 fur 2 : ()
8 # 2 : P# x : C(x) 3 (#) 1 Kurzsprechweise: C ist (1 )-Kondenzbereich. Es bezeichne '1 ( ) die Menge aller (1 )Kondenzbereiche C fur 2 .
4 EINFUHRUNG
IN DIE STATISTIK
119
Beispiel 4.36:
X1 ; : : :; Xn N(; 2) stu., 2 R; 2 > 0; # = (; 2 ), (#) := . Dann ist
(i) fur alle (; 2)
p X pn
n S u = P;2 X Su
su
n
1 = P;2
h
Damit ist C = C(x) = x pn ; 1 : x 2 R ein (1 )-Kondenzbereich fur . Es heit C(x)
pn untere (1 )-Kondenzschranke.
1-seitiges Kondenzintervall fur . (x) := x su
(ii)
su p jX j
su
2
2
1 = P;2 n S u 2 = P;2 X pn X + pn
Damit ist
su su C = C(x) = x
pn2 ; x + pn2 : x 2 Rn
(1 )-Kondenzbereich fur . C(x) heit 2-seitiges Kondenzintervall.
Eine allgemeine Konstruktionsmethode fur Kondenzbereiche beruht auf foldendem Satz. Dazu vorher
eine Bezeichnung:
( ) :=
n
' = (' : 2 ) : 8 2 : ' : (X ; B) ! (f0; 1g; 2f0;1g);
o
' Test z. N. fur H := f# 2 : (#) = g vs. K := n H
Satz 4.37 (Korrespondenzsatz, Dualitat von Tests und Kondenzbereichen):
(a) Sei ' = (' : 2 ) 2 ( ) und sei 8 x 2 X C(x) := f 2 : ' (x) = 0g, so da C = (C(x) :
x 2 X ) Bereichsschatzer, dann gilt C 2 '1 ( ).
(b) Sei C 2 '1 ( ) und 8 x 2 X : 8 2 : ' (x) = 1 IC (x) (). Dann gilt
' = (' : 2 ) 2 ( ):
Beweis:
(a) Fur alle # 2 :
P# x : C(x) 3 (#)
Def=: ' P x : ' (x) = 0 () 1 #
(#)
() da ' Test zum Niveau fur H = f# 2 : (#) = g vs. K .
(b) Fur alle # 2 H# :
P#(' = 0) = P# x : 1 IC (x) () = 0 = P# x : C(x) 3 () da C 2 '1 ( ).
() 1
4 EINFUHRUNG
IN DIE STATISTIK
120
Bemerkung 4.38:
Die Dualitat von Tests und Kondenzbereichen wird haug wie folgt beschrieben:
C(x) 3 () ' (x) = 0
x
r
r
6
r
r
9
>
>
>
>
>
=
{z
}
C(x) |
>
'
(x)
=
0
>
>
>
>
;
X-
Bemerkung 4.39
Achtung: Nach Beobachtung von x 2 X bedeutet die Angabe von C(x) nicht
" liegt mit Wahrscheinlichkeit 1 in C(x)\
U ber ist kein Wahrscheinlichkeitsma gegeben! C(x) hangt oensichtlich von der aktuellen Beobachtung
von x ab, ist also zufallig. Das Kondenzniveau 1 besagt nur, da bei N-maliger unabhangiger
Wiederholung des Experimentes der Anteil mit C(x) 3 ( der wahre Parameter) gegen 1 (meist
noch 1 ) strebt.
1 x : C(x ) 3 ; i 2 f1; : : :; N g N !1
! 1 ( 1 ) f.s.
i
N i
Die gleiche Interpretation gilt naturlich auch fur Niveau--Tests fur H : K. Wird das Experiment N-mal
unabhangig wiederholt mit # 2 H und den Ausgangen x1; : : :; xN , so gilt:
1 x : '(x ) = 1 N !1
! ( ) f.s.
i
N i
(frequentistischer Ansatz der Statistik)
Beispiel 4.40 (Kondenzellipsoide):
X N(; 0); 2 Rp (0 2 Rp+p > 0). Hypothese H0 : = 0 vs. K0 : 6= 0 mit 0 2 Rp ( = Rp).
Test fur H0 :
8
< 1 T (x) 2p;
'0 (x) = :
0 T(x) < 2p;
4 EINFUHRUNG
IN DIE STATISTIK
121
0
mit T(x) = (X 0 )T 0 1 (X 0 ) und P(2p 2p; ) = 1 . Es gilt T(X) = 2p , denn
0
1
Y 0 2 (X 0) = Np (0; Ip )
Y TY =
p
X
i=1
0
Yi2 = 2p
Somit ist C = C(x) : x 2 Rp 2 '1 () mit
C(x) = 0 : '0 (x) = 0 = 0 : (x 0 )T 0 1 (x 0 ) 2p;
'$
r&%
(1 )-Kondenzellipsoid, z.B. p = 2 und 0 = I2
6
x
C(x)
-
Bemerkung 4.41:
(a) Kondenzbereiche sind "informativer\ als Tests. Ist zum Beispiel ' ein (nicht-randomisierter) Test
zum Niveau fur H : K, so fat man das Testergebnis formal als Entscheidung fur , falls '(x) = 0
bzw. K, falls '(x) = 1. Setzt man
8
< '(x) = 0
C' (x) = :
K '(x) = 1
so ist C' = C' (x) : x 2 X ein (1 )-Kondenzbereich fur # 2 , denn
8
9
<
#2H =
P fx : '(x) = 0g 1 P# fx : C'(x) 3 #g = : #
1 P# fx : '(x) = 0 _ '(x) = 1g = 1 # 2 K ;
Beobachtet man ein x 2 X , so da C' (x) = , so ist dies naturlich wenig "informativ\.
(b) Will man zusatzlich zur Entscheidung eines Tests ' einen (1 )-Kondenzbereich C angeben, so
sollten ' und C "kompatibel\ sein, d.h. man fordert, da fur alle x 2 X gilt:
C' (x) C(x):
Sind ' und C kompatibel und C 2 '1 ( ), so gilt:
8 # 2 : P# | x : C'{z(x) 3 # } \ x : C(x) 3 # 1 d.h. kein Fehler 1. Art
Beispiel hierzu: 1-seitiger t-Text fur 0 gegen > 0 ist kompatibel mit dem entsprechenden
1-seitigen Kondenzintervall.
4 EINFUHRUNG
IN DIE STATISTIK
122
4.5 Maximum-Likelihood-Schatzer (ML-Schatzer)
Generelle Voraussetzungen: (X ; B; P = fP# : # 2 g) statistischer Raum, p# -Dichte von P# , # 2 .
Denition 4.42:
(a) l(#jx) := p# (x) heit Likelihood-Funktion (bei gegebenem x 2 X )
(b) L(#jx) := log p# (x) heit Log-Likelihood-Funktion (bei gegebenem x 2 X )
(c) Fur x 2 X heit jeder Wert #^(x) 2 Maximum-Likelihood-Schatzer fur # 2 : () #^(x) ist eine
Losung t der Gleichung
l(tjx) = sup l(#jx):
#2
Es heit #^ ML-Schatzer.
Beispiel 4.43:
(a) X1 ; : : :; Xn B(1; #) stu., # 2 (0; 1). Dann ist l(#jx) = #x (1 #)n x
d
x 1
n x (n x)#x (1 #)n x 1 =
d# l(#jx) = x# (1 #)
= #x 1(1 #)n x 1 |x (1 #) {z (n x )#} =! 0
x =n# () #=x
Dann ist #^(x) = x ML-Schatzer fur #, falls 0 < x < n ist. Fur x = 0 ist l(#jx) = (1 #)n,
maximal fur #^(x) = 0 2= , fur x = n ist l(#jx) = #n, maximal fur #^(x) = 1 2= , aber jeweils 2 .
(b) X B(n; #); # 2 [0; 1] =: n
l(#jx) = x #x(1 #)n x
#^ deniert durch #^(x) = nx ist ML-Schatzer fur # 2 (s.o.)
(c) X1 ; : : :; Xn N(; 2 ) stochastisch unabhangig, 2 R; 2 > 0 und # = (; 2 ). Da l(#jx) !
logl(#jx) (nur) eine monotone Transformation ist, konnen wir auch eine Losung suchen von
logl(#jx) ! sup
!
log l(#jx) = log p 1 n n
(2) n2 log(2 )
Es gilt:
Also noch zu bilden:
Setze h() := n2 log n
X
i=1
(xi )2 ! inf
n (x )2
1X
i
2 i=1 2
n (x )2
1X
i
2 i=1 2
#
! sup2
;
! sup2
;
() = x
n (x x )2
n log2 1 X
i
! sup
2
2
2 i=1 2
1c
c
0
2 ! sup und bilde h () = 0. Dies gilt fur = n . Also ist
n
X
^(x); ^ 2(x) = x; n1 (xi x)2
i=1
4 EINFUHRUNG
IN DIE STATISTIK
ML-Schatzer fur (; 2).
(d) X1 ; : : :; Xn Po() stochastisch unabhangig, > 0
d log l(jx) =
d
n
Y
n
n X
xi X
e x ! = n +
log(xi !) ! sup
xi log i
i=1
i=1
i=1
n
X
n + 1 xi =! 0 ) ^ (x) = x
i=1
log l(jx) = log
123
A DISKRETE VERTEILUNGEN
124
A Diskrete Verteilungen
Angegeben werden jeweils die Zahldichten p(!) fur ! 2 ~ , wobei ~ hochtens abzahlbar ist und 0 ~ erfullt, also nicht notwendig gleich dem Trager 0 der Verteilung ist.
1. Dirac- oder 1-Punkt-Verteilung ! :
~ = f!g; p(!) = 1:
2. Gleich-Verteilung G(
~ ):
0 < j
~ j < jNj; p(!) = ~1 fur ! 2 ~ :
j
j
3. Binominal-Verteilung B(n; p):
n 2 N; p 2 [0; 1]; ~ = f0; 1; : : :; ng. Dann ist
n
p(i) = i pi(1 p)n i fur i = 0; 1; : : :; n:
4. Multinominal-Verteilung M(n; p1; : : :; pk ):
Pk
n; k 2 N; k 2; pj 2 [0; 1] mit pj = 1 und ~ = f0; 1; : : :; ngk.
j =1
8
k
k
>
n Y
>
< i1 ik pijj falls jP=1 ij = n
j =1
p(i1 ; : : :; ik ) = >
>
:
0
sonst
mit dem Multinomialkoezienten i n i := Qkn! .
1
k
i!
5. Hypergeometrische Verteilung H(n; m; k):
m n; k n; ~ = f0; 1; : : :; ng.
8
>
<
p(i) = >
:
m n m
i k i
n
k
0
j =1
j
falls maxf0; k + m ng i minfm; kg
sonst
6. Polya-Verteilung:
b; c; n 2 N; s 2 Z; minfb; cg + (n 1) s 0; ~ = f0; : : :; ng.
n tY1
nY
t 1
nY1
(b + c + s)
(c + js)
(b + is)
p(t) = t
=0
j =0
i=1
fur t = 0; : : :; n:
7. Geometrische Verteilung NB(1; p):
p 2]0; 1]; ~ = N0; p(i) = p(1 p)i fur i 2 N0:
8. Negative Binominal-Verteilung NB(m; p):
m 2 N; p 2]0; 1]; ~ = N0; p(i) = mm 1 +1 i pm (1 p)i fur i 2 N0:
9. Poisson-Verteilung Po():
i
0; ~ = N0; p(i) = e i! fur i 2 N0:
B ABSOLUT STETIGE VERTEILUNGEN
125
B Absolut stetige Verteilungen
Angegeben werden jeweils die Lebesgue-Dichten p(x) fur x 2 0 , wobei 0 ein Trager der jeweiligen
Verteilung ist.
1. (Stetige) GleichVerteilung
G(ha; bi(n)):
0 = [a; b](n); ha; bi(n) 2 ]a; b](n); ]a; b[(n); [a; b[(n); [a; b](n) ; a; b 2 Rn; a < b; n 2 N.
p(x) =
n
Y
1
bi ai :
i=1
2. Exponential-Verteilung EXP():
0 = R(+); > 0; p(x) = exp( x):
3. Doppelte Exponential-Verteilung DEXP():
0 = R; > 0; p(x) = 2 exp( jxj):
4. Weibull-Verteilung WEI(; ; ):
x 1
exp
0 =]; 1[; ; > 0; 2 R; p(x) = x !
:
Beachte: WEI(; 1; 0) = EXP 1 .
5. Cauchy-Verteilung CAU(; ):
0 = R; > 0; 2 R; p(x) = 2 + (x1 )2 :
6. Logistische Verteilung LOG(; ):
x exp
:
0 = R; > 0; 2 R; p(x) =
1 + exp x 2
7. Gamma-Verteilung (; ; ):
0 =]; 1[; ; > 0; 2 R; p(x) = 1() (x ) 1 exp x :
Beachte: (1; ; 0) = EXP 1 .
8. (Zentrale) 2n-Verteilung 2n :
0 = R+; n 2 N; p(x) = n2 1 n x n2 1 exp x2 :
2 2
Beachte: 2n = n2 ; 2; 0 ; 22 = (1; 2; 0) = EXP
9. (Zentrale) tn-Verteilung tn :
1
2
0 = R; n 2 N; p(x) = p1n
Beachte: t1 = CAU(1; 0).
.
n+1 2 n+1
2
2 1+ x
n
n
2
:
B ABSOLUT STETIGE VERTEILUNGEN
10. (Zentrale) Fn;m -Verteilung Fn;m :
0 = R+; n; m 2 N; p(x) =
126
n+m 2
n m 2
2
n n2 n 1
m x2
n+m :
1 + mn x 2
11. Beta-Verteilung Beta(p; q):
(p + q) xp 1 (1 x)q 1 :
0 =]0; 1[; p; q > 0; p(x) = (p)
(q)
Beachte: Beta(1; 1) = G(h0; 1i(1)).
12. n-dimensionale Normalverteilung N(; V ):
0 = Rn; 2 Rn; V 2 Rn+n, d.h. V positiv denit ( () V 0 = V; V > 0).
p(x) = p 1n
(2)
1
0
1
exp 2 (x ) V (x ) :
det V
13. Lognormale Verteilung LOGN(; ):
0 = R+; 2 R; > 0; p(x) = p 1 2 exp
x 2
Beachte: X LOGN(; ) () log X N(; 2 ).
(log x )2 :
22
C MENGEN UND INDIKATOREN
127
C Mengen und Indikatoren
Es seien eine beliebige nicht-leere Menge und T eine beliebige nicht-leere Indexmenge. A; B; C (mit
oder ohne Index) seien Teilmengen von .
Rechenregeln fur Mengen:
S c T
T c S
A = A und
A = A .
2T
2T
2T
2T
S S
T T
A B = (A B). Wir setzen AB := A \ B.
(b)
A [ B = (A [ B) sowie
2T
2T
2T
2T
S
S A [ S B und S A B S A S B .
(c) (A [ B ) =
(a)
(d)
2T
2T
2T
2T
2T
1 jT1 c
S1 A = A + A Ac + : : : + A Ac Ac + : : : = P
Aj Ak . Es gelten die Konventionen
i
1
2 1
n n 1
1
j =1 k=1
i=1
\
[
k2=0
(f)
2T
P (A + B ) = P A + P B . A + B ist genau dann deniert, wenn A und B disjunkt sind. In
2T
2T
2T
P
diesem Falle gilt A + B := A [ B. Entsprechend ist A deniert.
2T
(e)
Ak = und
k2=0
Ak = =0:
Sn Tm A Tm Sn A . Gleichheit gilt i.a. nicht.
ij
ij
i=1 j =1
j =1 i=1
(g) A [ B = A + Ac B = AB + AB. Dabei ist AB := AB c + Ac B.
(h) C(AB) = (CA)(CB).
(i)
S S S
B (A B ).
A 2T
2T
2T
Rechenregeln fur Indikatorfunktionen:
Bei festem A heit IA : ! f0; 1g R mit
1 !2A
IA (!) :=
c
0 !2A
Indikatorfunktion (kurz: Indikator) von A. Samtliche mengenalgebraischen Relationen lassen sich ubertragen auf Eigenschaften von Indikatorfunktionen. Es gilt
(a)
(b)
(c)
(d)
(e)
I
= 1; I=0 = 0,
IAc = 1 IA ,
IA\B = IAB = IA IB = minfIA ; IB g,
IA[B = maxfIA ; IB g und IA+B = IA + IB ,
IA B = IA IB . Dabei ist A B genau dann deniert, wenn gilt B A. In diesem Falle ist
A B := A \ B c .
(f) IAB = jIA IB j,
C MENGEN UND INDIKATOREN
(g) IS1n=1 An = sup IAn ,
(h) IT1n=1 An = inf IAn ,
(i) IT1n=1 Skn Ak = limsup IAn ,
(j) IS1n=1 Tkn Ak = liminf IAn .
128
Index
schwaches Gesetz der groen Zahlen (SGGZ),
74
-Algebra, 6
der terminalen Ereignisse, 69
Standardabweichung, 53
starkes Gesetz der groen Zahlen (StGGZ),
74
stochastische Unabhangigkeit, 21
stochastische Unabhangigkeit (Familien), 29
stochastische Unabhangigkeit von Mengensystemen, 28
Test, 100
gleichmaig bester, 100
unverfalschter, 100
Varianz, 53
Verteilungsfunktion, 33
von X erzeugte -Algebra, 29
Zufallsvariable, 26
Dirac, 7
-Ma, 7
diskrete Wahrscheinlichkeitsverteilungen, 24
Dualitat
von Tests und Kondenzbereichen, 119
asymptotisches Modell, 95
Bayes'sche Formel, 20
van Beek, 93
Beispiel
Beta-Verteilung, 66
Cauchy-Verteilung, 52
21 -Verteilung, 62
F-Verteilung, 65
Faltung von Poisson-/Normalverteilung, 62
-Verteilung, 62
Normalverteilung, 52
Normalverteilung (2-dimensional), 55
Poisson-Verteilung, 53
t-Verteilung, 64
Taxiproblem, 96
Binominalverteilung, 23
Bonterroni-Ungleichung, 11
Borel-Cantelli, 71
Borel--Algebra, 8
Cauchy-Ungleichung, 56
Denition
1-parametrige Exponentialfamilie, 110
A; B-mebar, 27
A quivalenz von Maen, 43
bedingte, 18
Bereichsschatzer, 118
Dichtequotient, 101
monotoner, 108
diskreter Wahrscheinlichkeitsraum, 24
Dynkin-System, 69
Erwartungswert, 51
Faltung, 61
Kondenzbereich, 118
Kovarianz, 55
Ma, 7
Momente (absolute/zentrale), 54
-fast sicher, 41
-Integral, 37
-integrierbar, 40
-quasiintegrierbar, 40
-stetig, totalstetig bzgl. , 43
P-fast sichere Konvergenz, 74
P-stochastische Konvergenz, 74
Permutation/Kombination, 15
Produkt von Maraumen, 31
Produkt--Algebra, 31
Radon-Nikodym-Dichte, 44
schwache Konvergenz, 84
Ereignisse
stochastische Unabhangigkeit von, 21
Erinnerungsprozesse, 82
Ersetzungsmethode von Lindeberg/Levy, 90
Faltungsformel, 61
Fatou, 41
Fehler
1. Art, 96
2. Art, 96
Feller-Bedingung, 88
Fubini, 46
Fundamentallemma
erweitertes, 108
Fundamentallemma von Neyman und Pearson,
102
Grundannahme der Statistik, 99
Hilberth, 2
Holder-Ungleichung, 56
Integrationstheorie, 26, 37
iterierter Logarithmus, 68
Jensen-Ungleichung, 58
Kettenregel fur Mae, 44
Kolmogoro, 4
129
INDEX
Null-Eins-Gesetz von, 70
Kolmogorov
-Bedingung, 76
-Ungleichung, 76
Kombinatorik, 15
Kondenzellipsoide, 120
konjugierte Exponenten, 56
Konvergenz
P-fast sichere, 74
P-stochastische, 74
schwache, 83
Konvergenz von Mengen, 12
Laplace
-Experimente, 14
Rechenregeln fur, 14
Lebesgue
-Ma, 8
Satz von, 42
Lemma
erweitertes Fundamental-, 108
Fundamental- von Neyman und Pearson, 102
Kronecker-, 77
von Borel-Cantelli, 71
von Fatou, 41
Lindeberg-Bedingung, 88
Lyapunov-Bedingung, 91
Mae
diskretes Wahrscheinlichkeits-, 27
Produktwahrscheinlichkeits-, 31
Rechenregeln, 10
Stetigkeit, 12
Maximum-Likelihood-Schatzer, 122
Mengen
Konvergenz von, 12
Mebarkeit, 28
Minkowsky-Ungleichung, 56
ML-Schatzer, 122
Momente, 54
absolute, 54
zentrale, 54
de Morgan, 9
-Integral
Isotonie, 39
Linearitat, 39
Multinominalkoezient, 16
Multiplikationssatz fur bedingte Ereignisse, 19
Nikodym, 44
Niveau
Test zum, 100
Null-Eins-Gesetz, 68
von Kolmogoro, 70
130
Paradoxon
Bertrand'sches, 3
von Chevalier de Mere, 3
Poincare
Siebformel von, 10
Poisson, 25
Poisson'scher Grenzwertsatz, 25
Portmanteau-Theorem, 86
Produktwahrscheinlichkeitsma, 31
Projektionsabbildung, 31
Radon, 44
Recente-Problem, 11, 20
Satz
Bayes'sche Formel, 20
Eigenschaften der Verteilungsfunktion, 33
Eigenschaften von Erwartungswerten, 51
Korrespondenz-, 119
Multiplikationssatz fur Erwartungswerte, 54
Poisson'scher Grenzwert-, 25
Transformationsformel, 46
Verteilung des Produktes von stochastisch
unabhangigen Zufallsvariablen, 63
von Berry-Esseen, 93
von der beschrankten Konvergenz (Lebesgue), 42
von der monotonen Konvergenz, 41
von der totalen Wahrscheinlichkeit, 20
von der totalen Zerlegung, 20
von Fubini fur Mae, 46
von Glirenko-Cantelli, 82
von Lebesgue, 42
von Radon/Nikodym, 44
Zentral- der Statistik, 82
Zweireihen-, 77
Schatzer
Lucken-, 97
Median-, 96
SGGZ, 74
von Markov, 75
Siebformel
Anwendung der, 11
Siebformel von Sylvester/Poincare, 10
Signikanzniveau, 98
Statistik
Grundannahme der, 99
statistischer Raum, 99
statistisches Experiment, 99
StGGZ, 74
von Etemadi, 76
von Kolmogorov, 76
Stochastische Unabhangigkeit, 21
von endlich vielen Ereignissen, 22
stochastische Unabhangigkeit
INDEX
von Mengensystemen, 28
Sub--Additivitat, 10
subjektive Wahrscheinlichkeit, 4
Sylvester
Siebformel von, 10
Technik des "Stutzens\, 76
Test, 98, 100
einfach gegen einfach\, 100
2" 2-Tafel, 116
auen:innen\, 112
"1-seitiger
Binomialtest, 109
1-seitiger Gau-Test, 106
1-seitiger t-Test, 114
exakter Test von Fischer, 116
gleichmaig bester, 98
innen:auen\, 112
"2-Stichproben
t-, 116
2-Stichproben Binomial-, 116
2-seitiger Binomialtest, 113
2-seitiger Gau-Test, 113
Transformationsformel, 46
Transformationsformel fur n-Dichten, 46
Transformationsformel fur n-Integral, 46
Ungleichung
Bonterroni-, 11
Tschebyschev-Markov-, 59
Verteilung
Bernoulli-, 24
Beta-, 66
Binominal-, 23, 24
Cantor-, 50
21 -, 62
diskrete Wahrscheinlichkeits-, 24
Exponential-, 44
F-, 65
-, 62
geometrische, 24
Gleich-, 24
hypergeometrische, 25
Multinominal-, 25
negative Binominal-, 25
nicht zentrale t-, 115
Poisson-, 25
t-, 64
Verteilungsannahme, 99
Verteilungsfamilien, 110
Wahrscheinlichkeit
-sbegri, 2
axiomatische, 4
bedingte, 18
Multiplikationssatz fur, 19
131
diskrete, 24
subjektive, 4
Zentralsatz der Statistik, 82
ZGWS
multivariater, 93
Lindeberg/Levy, 93
von de Moivre-Laplace, 88
von Lindeberg, 89
von Lindeberg/Feller, 92
von Lindeberg/Levy, 91
von Lyapunov, 92
Zufallsvariable, 26
Bild/Urbild, 26
Bildma, 27
diskrete, 27
ganzzahlige, 27
k-dimensionale, 27
numerische, 27
Operationstreue der Umkehrabbildung, 26
reelle, 27
Urbildabbildung einer Komposition, 27
vektorwertige, 27
