StochastikKurz

Stochastik ganz kurz
Beispiel diskret
Würfelwurf
Beispiel stetig
Wassertemperatur

[1 : 6]
U  V , " und"
U  V , " oder"
{5}
[0,100]
W  A  [25,39]
W  A  [20,45]
Zufallsexperiment
1,2,3,4,5,6
x  [0,100]
Ergebnisse
Ergebnisraum (-menge)  {1,2,3,4,5,6}  [1 : 6] [0,100]
Ereignis U  
U  {1,3,5},V  {5,6} W  [25,45], A  [20,39]
{}, 
ØΘ
U   \U,
{1,3,5,6}
{2,4,6}
" komplement är"
U  G  Ø,
{1,3,5},{2,4,6}
A  [0,20)
 (39,100]
[0,10], [20,25]
" unvereinba r, disjunkt"
Stoch
1
Ereignisse A  A "  Algebra"
1.   A , 2. A  A  A  A ,
3. Ai  A für alle i  Ν  iΝ Ai  A
W - Maß P : A  [0,1]
1. P( A)  0 A  A , 2. P()  1,
3. P


A
i 
P{
A
i}, Ai disjunkt
i

Ν
iΝ
W - Raum (, A , P)
Bsp. P{j} = 1/6, j=1,...,6, P{U} = 1/6+1/6+1/6=1/2;
P{[a,b]}= (b-a)/100
Stoch
2
Bedingte W. P{V|U }  P{V  U }/P{U }
P({5,6}  {1,3,5})
P{5}
1/6
Bsp. P{V | U} 


 1/ 3
P{1,3,5}
P{1,3,5} 1/2
Sei   A1  A2  ...  Ak , Ai paarweise disjunkt, P{ Ai}  0 :
Satz von der totale n W. :
P{U }  i 1 P{U | Ai}P{ Ai}.
k
P{ Ai}
Satz von Bayes : P{ Ai | U }  P{U | Ai}
.
P{U }
Stoch
3
Zufallsvar iable (ZV), diskret oder stetig
(Gutartige ) Abbildung X :   
Beispiel, diskret : Würfelwur f,   [1 : 6],
X  Augennzahl div 2 : (0,1,1,2,2,3),
Wertmenge W ( X )  [0 : 3],
P{ X  2}  P{ X 1 ( 2)}  P{4,5}  1/6  1/6  1/3.
Verteilung
x
0
1
2
3
px  P{ X  x} 1/6 1/3 1/3 1/6
Verteilung sfunktion FX ( x)  P{ X  x}   py
y x
x
0
1
2
3
FX ( x)  P{ X  x} 1/6 1/2 5/6 1
Stoch
4
Stoch
5
Beispiel, stetig : W - Raum Wassertem peratur
  [0,100], S (t )  t / 100, t  , WS  [0,1],
für x  0
0

FS ( x)   x für 0  x  1
1
für 1  x

Dichte f S  x  bei stetiger Z V S : FS ( x) 
x
f
S
( y )dy,
y  
d
f S x  
FS ( x)
dx
für x  0
0

Beispiel : f S ( x)   1 für 0  x  1
0
für 1  x

Stoch
6
Stoch
7
e
x/ 
/
1  e x / 
Stoch
8
b
P{ X  [a, b]}   f X x dx
a
Stoch
9
Seien X1,...,Xn IID, exponentiell verteilt. Dann ist
Y = X1+...+Xn Erlang-n-verteilt;
der Variationskoefizient ist 1/n.
Seien X1 und X2 unabhängig und exponentiell verteilt mit
i. allg. unterschiedlichen Mittelwerten. Dann ist
 X 1 mit W. p
Y 
 X 2 mit W. 1  p
hyperexponentiell verteilt;
der Variationskoefizient ist  1.
Stoch
10
Erwartungs werte (EW) E[ g ( X )]
   X  E[ X ] 
 x p
xW X
x
 x  f x dx
   S  E[ S ] 
S
xWS

oder
 ...

Beispiele
 X  0 1 / 6  11 / 3  2 1 / 3  3 1 / 6  1.5
1
 S   x 1  dx x / 2 |  1 / 2  0  0.5
2
1
0
0
Stoch
11
Allgemeine r
E[ g ( X )] 
 g ( x)  p
xW X
E[ g ( S )] 
x
 g ( x)  f x dx
S
xWS
Rechenrege l E[ a  g (Y )  b  h(Y )]  a  E[ g (Y )]  b  E[ h(Y )]
Beispiel Varianz
 2   Y2  E[(Y  Y ) 2 ]  E[Y 2 ]  Y2 ,
ein Maß für die Streuung um den Mittelwert .
Streuung (Standarda bweichung)    2 .
Variation( -skoeffizi ent)  /  falls   0.
Stoch
12
Stoch
13
Median x0.5 : Der kleinste Wert x mit FX ( x)  0.5.
Median x0.5 : Der kleinste Wert x mit FX ( x)  0.5.
Stoch
a-Quantil xa,
0< a <1:
Der kleinste Wert
xa mit F(xa) a
14
Zufallsvek toren (Y ( x), Z ( x)), x  .
Verteilung sfunktion (VF) FY , Z ( y, z )  P{Y  y, Z  z}
Beispiel Würfelwur f, Y ( x)  x mod 2, Z ( x)  x div 2
x 1 2 3 4 5 6
y 1 0 1 0 1 0
z 0 1 1 2 2 3
Gemeinsame Verteilung
( y, z )  WY , Z
(1,0) (0,1) (1,1) (0,2) (1,2) (0,3)
P{Y  y, Z  z} 1/6 1/6 1/6 1/6 1/6 1/6
Randwahrsc heinlichke iten, z.B. P{Y  1}  1 / 2, P{Z  2}  1/3, allgemein
P{Y  y} 
 P{Y  x, Z  z}
( x , z )WY ,Z ,
x y
y
P{Y  y}
0
1
2
3
1/6 1/3 1/3 1/6
z
P{Z  z}
Stoch
0
1
1/2 1/2
15
Verteilung sfunktion für Y und für Z , Randverteilungen
FY  y   FY , Z  y,  ,
FZ z   FY , Z , z .
Y , Z stochastis ch unabhängig gdw.
FY , Z  y, z   FY  y   FZ  z 
oder äquivalent bei diskreten ZVektoren
P{Y  y, Z  z}  P{Y  y}  P{Z  z}.
Beispiel
1 1
P{Y  1, Z  0}  1 / 6  P{Y  1}  P{Z  0}   .
2 6
Erwartungs werte bei diskreten ZVektoren :
E[ g (Y , Z )] 
 g ( y, z )P{Y  y, Z  z}.
( y , z )WY ,Z
Stoch
16
E[Y  Z ]  E[Y ]  E[ Z ] immer wenn existent,
E[Y  Z ]  E[Y ]  E[ Z ] nur wenn Y und Z unabhängig .
Kovarianz KOV[Y , Z ]  E[(Y  Y )( Z   Z )]  E[YZ ]  Y  Z ,
ein Maß für die lineare Abhängigke it von Y und Z .
Y und Z unabhängig  KOV[Y , Z ]  0; die Umkehrung gilt nicht.
KOV[Y , Z ]
Korrelatio n(-skoeffi zient)  Y , Z  
,  1   Y , Z   1
 Y Z
(Y und Z negativ, nicht oder positiv korreliert ).
 Y2 Z   Y2   Z2  2  KOV[Y , Z ]
  Y2   Z2 , wenn Y und Z unabhängig .
Stoch
17
Faltung unabhängig er ZV
P{Y  Z  x} 
 P{Y  y}P{Z  x  y}.
yWY ,
x  yWZ

Erzeugende Funktion für WX  Ν : E[ z X ]   p x z x , z    .
x 0
Eindeutig,
1 dx
X
px 
E[
z
] , x  WX ,
x
x! dz
0
2
d
d
E[ X ]  E[ z X ] , E[ X 2 ]  2 E[ z X ]  E[ X ], usw.,
dz
dz
1
1
E[ z X Y ]  E[ z X ]  E[ z Y ] falls X und Y unabhängig .
Stoch
18
Gemeinsame Dichte fY , Z  y, z  bei stetigen Z ufallsvekt oren :
P{Y  y, Z  z}  FY , Z  y, z  
y z
  f u, v dudv,
Y ,Z
  
 
fY ,Z  y, z  
FY , Z  y, z  wo stetig.
y z
Randdichte fY  y  

 f  y, z dz, f z  entspreche nd.
Y ,Z
Z

Randvertei lungsfunkt ion wie vorne FY  y   FY , Z  y,  ,
FZ  z  entspreche nd.
 
E[ g (Y , Z )] 
  g ( y, z ) f  y, z dydz.
Y ,Z
  
Stoch
19
Y und Z stochastis ch unabhängig gdw. fY , Z  y, z   fY  y  f Z  z  oder
wenn FY , Z  y, z   FY  y FZ z .
Faltung fY  Z x  

 f  y  f x  y dy
Y
Z
wenn Y und Z unabhängig .

Laplace - Stieltjes - Transformi erte E[ e X ] für WX   0 ,   0 ,
sonst charakteri stische Funktion (ähnlich, E[ eX ], WX  ,  imaginär).
n
d
X
E[ X n ]  (1) n
E[
e
] wenn existent,
n
d
 0
E[ e  ( X Y ) ]  E[ e X ]E[ e Y ] wenn X und Y unabhängig .
Stoch
20
Stochastis cher Prozeß : Eine Familie von Zufal lsvariable n
mit derselben diskreten oder kontinuier lichen Wer tmenge W ,
dem Zustandsr aum :
X 1 , X 2 ,... mit diskreter Zeit, T  {0,1,2,...} oder
{ X (t ), t  0} mit kontinuier licher (stetiger) Zeit T   0
Beispiel Wartezeit en in einer WS, D1  0,
Di 1  max{ Di  Si  Ai 1 ,0}, i  1,2,...,
wobei Si Bedienzeit en und Ai Zwischen ankunftsze iten;
mit diskreter Zeit und kontinuier licher Wer tmenge.
Beispiel Anzahl der warten den Kunden in der WS, Q(t );
mit kontinuier licher Zei t und diskreter Wertmenge.
Beispiel monatliche Gesamtkost en Ci im Lagerhaltu ngsmodell.
Stoch
21
Kovarianzs tationärer Stochastis cher Prozess X 1 , X 2 ,... mit diskreter Zeit :
i   , i  1,2,..., endlich,
 i2   2 , i  1,2,..., endlich,
Ci ,i  j  KOV[ X i , X i  j ], i  1,2,...,
j  0,1,2,..., unabhängig von i.
Ähnlich mit stetiger Z eit.
Hier daher C j und  j Kovarianz bzw. Korrelatio n.
Stoch
22
  E[ S ]/E[ A] ist die Auslastung des Bedieners.
Stoch
23
Vereinfachte Lagerhaltungsstrategie (s,S)
Stoch
24
Stochastische Prozesse, die sich bei einer Simulation
ergeben, sind sicher im allgemeinen nicht kovarianzstationär, höchstens nach der Einschwingphase
näherungsweise.
Stoch
25
Normalverteilung
Stoch
26
N(0,1) heißt Standard-Normalverteilung. Verteilungsfunktion aus Tabellen.
Chi_Quadrat-Verteilung
X 1 ,..., X n IID N(0,1) - verteilt,
 n2  X 12  ...  X n2 ist chi - quadrat - verteilt mit n
Freiheitsg raden. Verteilung sfunktion aus Tabellen.
Student´sche t-Verteilung
Tn 
X
 /n
2
n
ist t - verteilt mit n Freiheitsg raden,
wobei X N(0,1) - verteilt ist und X und  n2 unabhängig sind.
Stoch
27
Schätzer, Schätzfunktionen
Seien X1,...,Xn IID ZV (mathematische Stichprobe) mit endlichem
Erwartungswert  und endlicher Varianz 2.
Das Stichprobenmittel (sample mean)
n
X ( n) 
X
i 1
i
n
ist ein erwartungstreuer Schätzer für den Erwartungswert ,
d.h.
E[ X (n)]  
sogar wenn die ZV abhängig sind.
Stoch
28
Die Stichprobenvarianz
n
S 2 ( n) 
2
[
X

X
(
n
)]
 i
i 1
n 1
ist ein erwartungstreuer Schätzer für die Varianz,
E[ S 2 (n)]   2 .
Das gilt aber nur bei Unabhängigkeit der Xi, sonst ist
n 1


(
1

j
/
n
)


j
j 1
2
2

E[ S (n)]   1  2


n 1


Immerhin, wenn die Summe konvergiert, ist der Schätzer
asymptotisch erwartungstreu (konsistent).
Stoch
29
Die Varianz des Stichprobenmittels ist sehr wichtig für die
Beurteilung der statistischen Güte von Simulationsergebnissen,
nämlich für Vertrauensintervalle.
Für die Varianz des Stichprobenmittels gilt VAR[ X (n)]   2 / n,
aber nur bei Unabhängigkeit der Xi, sonst ist
1

2
(
1

j
/
n
)


j
j

1
2
n 1
VAR[ X (n)]  
n
.
Da es schwierig ist, die Korrelationen j zu schätzen, ist die
Anwendung dieser Formel nicht einfach.
Abhilfe: Durch mehrere unabhängige Simulationsläufe
(Replikationen) werden unabhängige Ergebnisse erzwungen.
Stoch
30
Schätzung der Korrelationen j für große Stichproben:
Da dieser Schätzer nicht erwartungstreu ist, muß n groß sein.
Stoch
31
Beispiel mit kleinem n:
Stoch
32
Vertrauensintervalle
(VI) Seien X1,...,Xn IID ZV (mathematische Stichprobe), normalverteilt
mit endlichem Erwartungswert  und endlicher Varianz 2>0.
X (n)  z1 / 2  2 / n
ist ein Vertrauensintervall für den EW  zum Niveau 1-, d.h.


P X (n)  z1 / 2  2 / n    X (n)  z1 / 2  2 / n  1  
Hier ergibt sich das (1- /2)-Quantil
aus
z1 / 2
( z1 / 2 )  1   / 2,
wobei  die Verteilung sfunktion der Standard - Normalvert eilung ist.
Stoch
33
Stoch
34
Ist die Varianz 2 unbekannt, so ist das (1-)-Vertrauensintervall
X (n)  tn1,1 / 2 S (n) / n
2
X (n)  tn1,1 / 2 S 2 (n) / n
Stoch
35
Ist die mathematische Stichprobe X1,...,Xn nicht normalverteilt,
so gilt aber der zentrale Grenzwertsatz:
Satz Sei Fn(z) die Verteilungsfunktion der ZV
[ X ( n)   ] /  2 / n .
Damit gilt Fn ( z )  ( z ) mit n  .
Unter diesen Umständen sind die oben angegebenen VI nur
Näherungen, d.h. die Wahrscheinlichkeit ist nur ungefähr
1-.
Sind die X1,...,Xn nicht unabhängig, gelten die VI gar nicht.
Dieser Fall wird mit besonderen Methoden behandelt.
Stoch
36
Ein Statistischer
Test ist ein Verfahren zur Überprüfung einer
(Null-)Hypothese H0 über die Verteilung einer ZV X.
Beispiele: - E[X]= 0, 0 gegeben.
- Die ZV X und Y sind unabhängig.
- Die ZV X ist exponentiell verteilt mit Mittelwert .
Ergebnis des Tests: „ H0 ist abzulehnen“ oder
„ Der Test ergibt keinen Grund, H0 abzulehnen“
Für die Durchführung wird eine Meßreihe x1,...,xn erhoben;
das ist eine Realisation einer mathematische Stichprobe X1,...,Xn,
(oder auch Zufallsvektoren, (x1,y1),...,(xn,yn), (X1,Y1),...,(Xn,Yn) ).
Stoch
37
Zu jedem Test gibt es eine Testfunktion (Testgröße) T=T(X1,..., Xn),
eine ZV mit bekannter Verteilung.
Alle Meßreihen, für die die Nullhypothese H0 abgelehnt wird,
bilden den kritischen Bereich (Ablehnungsbereich) der Testfunktion
K={T( x1,...,xn ) | H0 ist abzulehnen }.
Der Ablehnungsbereich K wird so gewählt, daß die W., daß T(X1,...,
Xn)  K, wenn H0 zutrifft, klein ist,
und daß sie durch  beschränkt ist:
P{T(X1,..., Xn)  K}  .
 heißt Testniveau, 1-  Sicherheitswahrscheinlichkeit.
 zum Beispiel 0.05, 0.01, 0.001 (5%, 1%, 1‰).
Stoch
38
Wenn die Nullhypothese H0 zutrifft, wird sie mit der kleinen W.
P{T(X1,..., Xn)  K} abgelehnt. Folglich produziert der Test
falsche Ergebnisse.
Diesen Fehler nennt man Fehler 1. Art. Er tritt mit einer W. von
höchstens  auf.
Es passiert aber auch, daß die Nullhypothese H0 nicht zutrifft, und
der Test das Ergebnis „Es gibt keinen Grund, H0 abzulehnen“ hat.
Dabei spricht man von einem Fehler 2. Art.
Stoch
39
Beispiel t-Test 1) Mathematische Stichprobe N(,2)-verteilt
2) Nullhypothese H0 :  = 0
3) Testfunktion
T( X 1 ,..., X n ) 
X ( n)   0
S 2 ( n) / n
t n1  verteilt w enn H 0 zutrifft.
4) Kritischer Bereich der Testfunkti on :
T( X 1 ,..., X n )  t n 1;1 / 2
Letzteres ist das (1-/2) - Quantil der t-Verteilung mit n-1
Freiheitsgraden.
5) H0 wir verworfen, wenn mit der Meßreihe T( x1 ,..., xn )  t n1;1 / 2 ,
sonst wird nichts gegen H0 eingewendet
Stoch
40
Beispiel Chi-Quadrat-Unabhängigkeitstest
Mathematische Stichprobe: (X1,Y1),..., (Xn,Yn).
Nullhypothese H0 : Die ZV X und Y sind unabhängig.
Testfunktion : Die Wertebereiche W(X) und W(Y) werden in disjunkte
Intervalle zerlegt:
W(X)=I1I2... Ia, W(Y) =J 1 J 2...  Jb.
Zählen, wie oft Xk in Ii liegt: Ni. Mal,
Yk in Jj: N. j Mal,
(Xk, Yk) in Ii Jj: Ni, j Mal, k=1,...,n.
 N i , j N i N  j


a
b 
n
n n

Q[( X 1 , Y1 ),..., ( X n , Yn )]  
N i N  j
i 1 j 1
n n
Stoch



2
41
Kritischer Bereich der Testfunktion:
Q[(X1,Y1),..., (Xn,Yn)] > , wobei  das (1- )-Quantil der Chi-QuadratVerteilung mit (a-1)(b-1) Freiheitsgraden ist.
Nullhypothese H0 ablehnen, wenn Q[(x1,y1),..., (xn,yn)] >  für eine
Meßreihe (x1,y1),..., (xn,yn) ist.
Stoch
42