1. Grundbegriffe der Stochastik - iks.hs

1. Grundbegri¤e der Stochastik
Raum der Ereignisse. Die einelementigen Teilmengen f!g heiß
en auch Elementarereignisse.
Das Ereignis A tritt ein, wenn ein ! 2 A eintritt.
A ist ein geeignetes System von Teilmengen A von .
B Operationen mit Ereignissen A; B; A1 ; A2 ; : : : 2 A
A [ B Ereignis A oder B tritt ein
A \ B Ereignisse A und B treten ein
AnB Ereignis A tritt ein, nicht aber B
A B Ereignis B schließ
t A ein
Sn
Ai mindestens eines der Ereignisse Ai tritt ein
Tni=1
i=1 Ai alle Ai treten ein
nA = A das zu A komplementäre Ereignis, tritt ein, wenn A nicht eintritt.
A \ B = ; bedeutet Ereignisse A und B sind unvereinbar.
Axiome: P (A) heiß
t Wahrscheinlichkeit des zufälligen Ereignisses, falls
(1) Für alle A 2 A gilt: 0 P (A) 1.
Wahrscheinlichkeiten liegen zwischen 0 und 1.
(2) P ( ) = 1:
(3) Für unvereinbare Ereignisse A1 ; : : : ; An 2 A (Ai \ Aj = ; für i 6= j) gilt:
P
n
[
i=1
Ai
!
=
n
X
P (Ai ).
i=1
allgemeiner: für alle unvereinbaren Ereignisse A1 ; : : : ; An ; : : : 2 A gilt:
!
1
1
[
X
P
Ai =
P (Ai ).
i=1
i=1
B Daraus lassen sich weitere Formeln ableiten:
(4) P (;) = 0
(5) Unter der Voraussetzung A \ B = ; =) P (A [ B) = P (A) + P (B)
(6) P (A) = 1 P (A)
(7) Unter der Voraussetzung A B =) P (A) P (B)
(8)
P (A [ B) = P (A) + P (B) P (A \ B)
(9) P (A [ B) P (A) + P (B)
(10) P (A) = P (A \ B) + P (A \ B)
1
Definition: Es seien A; B 2 A mit P (B) > 0. Dann heiß
t
P (A j B) =
P (A \ B)
P (B)
die bedingte Wahrscheinlichkeit von A unter der Bedingung B.
Formeln:
P (A j C) = 1
P (A j C)
P (A j C) = P (A \ B j C) + P (A \ B j C)
Definition: Die Ereignisse A und B 2 A heiß
en unabhängig, wenn P (A \ B) =
P (A)P (B):
B A und B sind genau dann unabhängig, wenn P (A j B) = P (A):
Formel der totalen Wahrscheinlichkeit - Bayessche Formel
B Gegeben seien Ereignisse A; B 2 A.
P (A) = P (A j B) P (B) + P (A j B) P (B)
P (A j B)P (B)
P (B j A) =
P (A)
B Gegeben seien Ereignisse A; B1 ; : : : ; Bn 2 A, P (Bi ) > 0.
S
Die Bi bilden ein vollständiges System von Ereignissen:
= ni=1 Bi , Bi \ Bj = ; für
i 6= j, d.h. die Bi sind unvereinbar und schöpfen alle Möglichkeiten in
aus. Das
bedeutet, dass genau ein Bi immer eintritt.
Formel der totalen Wkt.
P (A) =
n
X
i=1
P (A j Bi )P (Bi )
Bayessche Formel
P (Bi j A) =
P (A j Bi )P (Bi )
P (A j Bi )P (Bi )
= n
X
P (A)
P (A j Bj )P (Bj )
j=1
2
Zuverlässigkeit und Verfügbarkeit von Systemen
Gegeben System mit Elementen e1 ; : : : ; en .
p1 ; : : : ; pn Wahrscheinlichkeiten mit der die Elemente funktionstüchtig sind,
p Verfügbarkeit des Systems; ist die Wahrscheinlichkeit, mit der das System funktioniert.
Verfügbarkeit des Seriensystems
p = p1 p2 : : : pn
Verfügbarkeit des Parallelsystems
p=1
(1
p1 ) (1
3
p2 ) : : : (1
pn )
2. Zufallsgröß
en
Diskrete Zufallsgröß
en
Verteilungstabelle:
Wert
x1
x2
Wahrscheinlichkeit p1
p2
:::
xr
evtl. unendlich viele Werte
pr
pi = P (X = xi )
r
X
Bedingungen:
0 < pi < 1;
pi = 1
i=1
B oft ist xi = i. Dann Formel für Wahrscheinlichkeiten:
P (m
X
l) =
l
X
pi
i=m
Diskrete Verteilungen
Verteilung
Parameter
Einzelwktn.
pi
Gleichverteilung
Poisson-Verteilung
Binomialverteilung
hypergeometrische
Verteilung
geometrische
Verteilung
1
n
n2N
>0
(i = 1 : : : n)
i
i!
e
(i = 0; 1; : : :)
n i
p (1 p)n i
i
M N M
i
n i
(i
N
n
n 2 N; p 2 (0; 1)
N; M; n 2 N
N M; n N
p 2 (0; 1)
(i = 0; : : : ; n)
= q; : : : ; r)
p)i 1 p (i = 1; 2; : : :)
(1
Verteilung
Erwartungs- Varianz
wert E(X)
Var(X)
Gleichverteilung
n+1
2
1 2
n
12
1
12
np
np(1
p)
Mn
N
M n(N M )(N
N 2 (N 1)
Poisson-Verteilung
Binomialverteilung
hypergeometrische
Verteilung
geometrische
Verteilung
q = maxf0; n + M
1
1 p
p
p2
N g; r = minfM; ng
4
n)
Kenngröß
en diskreter Verteilungen
Erwartungswert:
E (X) =
r
X
xi pi
i=1
Varianz (Streuung):
Var (X) =
r
X
E (X))2 pi =
(xi
i=1
Standardabweichung:
(X) =
r
X
x2i pi
(E (X))2
i=1
p
Var (X)
Stetige Zufallsgröß
en
B Verteilungsfunktion:
F (x) = P (X
x)
Eigenschaften der Verteilungsfunktion einer stetigen Zufallsgröß
e:
(a)
lim F (x) = 0; lim F (x) = 1
x! 1
x!1
(b) F ist monoton wachsend, d.h. F (x) F (y) für x < y.
(c) F ist stetig, d.h.
lim F (x) = F (x0 ) für alle x0 :
x!x0
B Wahrscheinlichkeitsdichte (Dichtefunktion) der Zufallsgröß
e:
f (x) = F 0 (x)
=)
P (a
P (X
P (X
X
a) =
b) =
b) =
Z a
Z
1
1
Z
b
f (x) dx = F (b)
a
f (x) dx = F (a)
f (x) dx = 1
F (b)
b
Das Argument x, für das f (x) maximal wird, heiß
t Modalwert.
B Eine Funktion f ist Dichte einer Zufallsgröß
e, falls
Z 1
1) f (x) 0, 2)
f (x) dx = 1
1
5
F (a)
Stetige Verteilungen
Verteilung
Parameter
Gleichverteilung auf [a,b]
Normalverteilung N ( ;
Dichtefunktion
a; b 2 R; a < b
2
2 R;
)
Exponentialverteil. Exp( )
>0
Gammaverteilung
; >0
2
>0
2
-Verteilung
n Freiheitsgrade
n2N
Weibullverteilung
f (x)
1
(x 2 [a; b])
b a
1
(x
)2
p
für x 2 R
exp
2 2
2
e x für x > 0
1
x 1 e x= für x > 0
( )
1
xn=2 1 e x=2 für x > 0
2n=2 (n=2)
; >0
logarithmische
Normalverteilung
2 R;
t-Verteilung
n Freiheitsgrade
exp(x) bedeutet ex
x
n2N
e
(x= )
für x > 0
1
exp
2 x
(ln(x)
2
((n + 1)=2)
p
(n=2) n
x2
1+
n
p
>0
1
)2
für x > 0
2
(n+1)=2
Normalverteilung N (0; 1) ist die standardisierte Normalverteilung
(x) ist Verteilungsfunktion der standardisierten Normalverteilung ! Tabelle
Verteilung
Gleichverteilung [a,b]
Verteilungsfunktion F (x)
Erwartungswert Varianz
E(X)
Var(X)
x
b
a+b
2
Normalverteilung
Exponentialverteilung
Gammaverteilung
Weibullverteilung
2
n -Verteilung
logarithmische
Normalverteilung
tn -Verteilung
a
a
x
a)2
12
(b
2
1 e x
für x > 0
1
>0
1
2
2
nicht explizit
1
exp( (x= ) )
für x > 0
nicht explizit
1+
n
ln(x)
e
nicht explizit
0
6
1
2
1+
2
1+
2n
+
2 =2
e2
+
2
n
n
2
e
2
1
1
2
(p) ist Gammafunktion !Tabelle;
(m) = (m
p
1
( )=
;
2
3
1p
( )=
;
2
2
(1) = 1;
B Wahrscheinlichkeiten der Normalverteilung: X
P (X
P (a
a) =
X
a
;
1)! für m 2 N
N( ;
P (X
b
b) =
5
3p
( )=
2
4
(2) = 1;
2
)
b
b) = 1
a
;
;
Beachte: ( x) = 1
(x) für alle x,
(0) = 0:5
Satz: Ist X N ( ; 2 ), dann Y = aX + b N (a + b; a2
2
):
Kenngröß
en stetiger Verteilungen
Erwartungswert:
E(X) =
Varianz :
Var(X) =
=
Standardabweichung:
(X) =
Schiefe:
Z
Z
sZ
Z
1
1
1
1
xf (x) dx
1
E(X))2 f (x) dx
(x
x2 f (x) dx
(E(X))2
1
1
(x
E(X))2 f (x) dx
1
(X) =
R1
1
(x E(X))3 f (x) dx
p
(Var (X))3
(X) > 0 bedeutet rechtsschiefe Verteilung, Modalwert liegt i.A. links neben E(X)
(X) < 0 bedeutet linksschiefe Verteilung, Modalwert liegt i.A. rechts neben E(X)
(X) = 0 symmetrische Verteilung
Schiefe spezieller Verteilungen: Normalverteilung N ( ; 2 ) ! (X) = 0
Exponentialverteilung Exp( ) ! (X) = 2
Definition: Eine Zahl q heiß
t Quantil der Ordnung
mit der Verteilungsfunktion F , falls
F (q ) =
7
der stetigen Zufallsgröß
eX
Dies bedeutet:
P (X
q )=
Z
q
f (x) dx =
1
Median: m = q0:5
P (X
m) = P (X > m) = 0:5
z( ) Quantil der Standardnormalverteilung N (0; 1),
tn ( ) Quantil der tn -Verteilung,
2
2
n ( ) Quantil der n -Verteilung
Unabhängigkeit von Zufallsgröß
en
Definition: Zwei Zufallsgröß
en X und Y heiß
en unabhängig, falls gilt:
P (X 2 A; Y 2 B) = P (X 2 A) P (Y 2 B)
für alle geeigneten Mengen A; B
R.
Satz: Die Summe von unabhängigen normalverteilten Zufallsgröß
en ist wieder normalverteilt.
N ( 2 ; 22 ) unabhängig
X N ( 1 ; 21 ); Y
=) X + Y
N ( 1 + 2 ; 21 + 22 )
Rechenregeln für Wahrscheinlichkeiten und Kenngröß
en
B Seien
(1)
(2)
(3)
(4)
(5)
(6)
=)
X; Y zwei Zufallsgröß
en. Dann gilt für reelle Zahlen a; b:
E(X + Y ) = E(X) + E(Y )
E(aX) = aE(X)
E(XY ) = E(X) E(Y ), falls X und Y unabhängig
Var(X) = E(X E(X))2 = EX 2 (EX)2
Var(aX) = a2 Var(X)
Var(X + Y ) = Var(X) + Var(Y ), falls X und Y unabhängig
E(aX + b) = aE(X) + b
Var(aX + b) = a2 Var(X)
8
(a; b 2 R)
Zentraler Grenzwertsatz
B Folge unabhängiger Zufallsgröß
en X1 ; X2 ; : : :, jedes der Xi besitzt die Verteilungsfunk2
tion F , E(Xi ) = , Var(Xi ) = .
Satz: Der zentrale Grenzwertsatz besagt, dass die Verteilungsfunktion der Größ
e
n
1 X
Yn = p
(Xi
n i=1
)
gegen die Verteilungsfunktion der N (0; 1)-Verteilung konvergiert. Für groß
es n besitzt
n
X
Xi näherungsweise (asymptotisch) die Verteilung N (n ; n 2 ):
i=1
X
bin(n; p)
P (k
X
l np + 0:5
p
np(1 p)
l)
!
k np 0:5
p
np(1 p)
!
Diskrete Zufallsvektoren
Zufallsvektor (X; Y ),
X nimmt Werte x1 ; : : : ; xr an
Y nimmt Werte y1 ; : : : ; ys an
Darstellung als Verteilungstabelle (Kreuztabelle):
X
x1
..
.
xr
..
.Y
y1
ys
p11
..
.
pr1
p1s
..
.
prs
p1:
..
.
pr:
p:1
p:s
1
pij = P (X = xi ; Y = yj );
pi: = P (X = xi );
p:j = P (Y = yj )
p1: ; : : : ; pr: nennt man die Randverteilung von X, p:1 ; : : : ; p:s die Randverteilung von Y .
pi: = pi1 + : : : + pis
(Zeilensumme)
p:j = p1j + : : : + prj
(Spaltensumme)
9
r X
s
X
pij = 1
i=1 j=1
Unabhängigkeit von X und Y bedeutet:
pij = pi: p:j
8i; j
B Abhängigkeitsmaßzweier Zufallsgröß
en X und Y : Korrelationskoe¢ zient
cov(X; Y )
= corr(X; Y ) = p
Var(X) Var(Y )
Kovarianz für diskrete Zufallsgröß
en:
cov(X; Y ) =
r X
s
X
E(X)E(Y ) mit xi ; yj ; pij wie oben,
xi yj pij
i=1 j=1
1
1
Stetige Zufallsvektoren
(X; Y ) zweidimensionaler stetiger Zufallsvektor, Paar zweier Zufallsgröß
en
Verteilungsfunktion:
F (x; y) = P (X x; Y
y)
monoton wachsend in jedem Argument
Verteilungsdichte:
f (x; y) =
F (x; y) =
Z
y
1
@2
F (x; y)
@x@y
Z x
f (u; v) dudv
1
Eine Funktion f ist Dichte von (X; Y ), falls
1) f (x; y)
0, 2)
Z
1
1
Z
1
f (x; y) dxdy = 1
1
Formel für Wahrscheinlichkeiten:
P (a
X
b; c
Y
d) =
Z bZ
a
= F (b; d)
F (b; c)
10
d
f (x; y) dydx
c
F (a; d) + F (a; c)
Randverteilungen FX und FY von X bzw. Y :
FX (x) = lim F (x; y);
FY (y) = lim F (x; y):
y!1
x!1
Für die Randdichten fX und fY gilt:
Z
fX (x) =
1
f (x; y) dy;
fY (y) =
1
Z
1
f (x; y) dx
1
Satz: Die beiden Zufallsgröß
en X; Y mit der gemeinsamen Dichte f (x; y) sind genau
dann unabhängig, wenn
P (X
x; Y
y) = P (X
y) bzw. f (x; y) = fX (x)fY (y) 8x; y 2 R:
x) P (Y
B Korrelationskoe¢ zient
cov(X; Y )
= corr(X; Y ) = p
Var(X) Var(Y )
mit cov(X; Y ) =
Es gilt:
1
Z
+1
1
Z
+1
xyf (x; y) dxdy
1
1:
11
E(X)E(Y )
3. Erzeugung von Zufallszahlen
Die Erzeugung gleichverteilter Zufallszahlen
modulare Arithmetik
a b mod m; m ist der Modul (a; b 2 Z; m 2 N; m 2)
a und b lassen bei der Division durch m den gleichen Rest
a = km + r; b = lm + r mit k; l; r 2 Z; 0 r < m.
B lineare Kongruenzmethode
xi = (axi
1
+ b) mod m mit 0
xi < m
Vorzugeben sind a; b und eine so genannte Saatzahl x0 , dann Iteration beliebig oft durchführen.
Eine Skalierung ui = xi =m führt auf Zufallszahlen aus [0,1].
Um eine sehr groß
e Periodenlänge durch die Wahl von a; b; m zu erhalten, sollte man
folgende Bedingungen berücksichtigen:
- b ist teilerfremd zu m.
- a 1 mod p für jeden Primfaktor p von m.
- Ist m durch 4 teilbar, so ist auch a 1 durch 4 teilbar.
Dann ist m die Periodenlänge.
L’Ecuyer-Generator MRG32k3a
L’Ecuyer 1999
Variable xi ; yi ; zi 2 Z; ui 2 R
Rechnung mit "double precision"-Zahlen auf 32bit-Rechner
Saatzahlen: x0 ; x1 ; x2 ; y0 ; y1 ; y2 2 Z
Schleife bez. i = 3; 4; : : :
xi = (1403580xi
yi = (527612yi
1
2
810728xi 3 ) mod 4294 967 087
1370589yi 3 ) mod 4294 944 443
zi = (xi
ui
yi ) mod 4294 967 087;
zi
=
4294 967 088
Ausgabe: Folge u1 ; u2 ; : : : von Pseudozufallszahlen, die auf [0,1] gleichverteilt sind.
12
Erzeugung von Zufallszahlen mit einer beliebigen stetigen Verteilung
Wir erzeugen gleichverteilte Pseudozufallszahlen:
U1 ; : : : ; Un und bilden die
1
Umkehrfunktion F (x) zur Verteilungsfunktion.
Die Folge F 1 (U1 ); : : : ; F 1 (Un ) stellt dann Pseudozufallszahlen zur Verteilungsfunktion
F dar.
B Box-Müller-Methode (Polar-Methode) zur Erzeugung von normalverteilten Zufallszahlen
Schritt 1: Erzeuge Zufallszahlen U1 ; U2 aus G[0; 1]
Berechne Z1 = 2U1 1; Z2 = 2U2 1; S = Z12 + Z22
Schritt 2: Falls S 1 gehe zu Schritt 1
Schritt 3: Bilde
r
r
2 ln(S)
2 ln(S)
; X2 = Z2
X1 = Z1
S
S
X1 ; X2 stellen Pseudozufallszahlen zu zwei unabhängigen N (0; 1)-verteilten Zufallsgröß
en
dar.
Erzeugung von Zufallszahlen einer diskreten Verteilung
Gegeben diskrete Verteilung:
Wert
x1
x2
Wahrscheinlichkeiten p1
p2
kumulierte Wktn.
q2 = p 1 + p 2
q1 = p 1
:::
xr
pr
:::
qr = 1
P
qi = ik=1 pk . Wir bilden Intervalle I1 = [0; q1 ); I2 = [q1 ; q2 ); : : : Ir = [qr 1 ; 1]:
B Erzeugung von Pseudozufallszahlen der diskreten Verteilung:
(1) Erzeugung der gleichverteilten Pseudozufallszahlen: U1 ; : : : ; Un
(2) Für jedes Uj suche man das k, so dass Uj 2 Ik , dann Xj = xk . Wir erhalten Pseudozufallszahlen X1 ; : : : ; Xn
13