Diskrete Zufallsvariablen und Erwartungswerte

Diskrete Zufallsvariablen und Erwartungswerte
Grundlegende Definitionen
• Eine Zufallsvariable auf einem Wahrscheinlichkeitsraum Ω ist eine Funktion X:ΩR.
• Eine diskrete Zufallsvariable ist eine Zufallsvariable, die nur abzählbar viele Werte
annimmt.
• Falls X eine diskrete Zufallsvariable ist, entspricht das Ereignis „X=a“ der Menge
{s∈Ω|X(s)=a}.
Pr( X = a ) =
∑ Pr( s)
s∈Ω : X ( s ) = a
• Die Zufallsvariablen X1,X2,…,Xk sind unabhängig ⇔ ∀ I ⊆ {1,2,…,k}, ∀ xi ∈R, i∈I:
o


Pr  I X i = xi  = ∏ Pr( X i = xi )
 i∈I
 i∈I
o z.B. X,Y sind unabhängig ⇔ ∀x,y ∈R: Pr((X=x)∩(Y=y))= Pr(X = x)*Pr(Y=y)
• Erwartungswert E[X] einer diskreten Zufallsvariable X:
o Festlegung: Im X := Bild von X (d.h. Im X = {x∈R|∃w∈Ω x=X(w)})
o
E[ X ] =
∑ i Pr( X = i) , falls diese Reihe absolut konvergiert.
i∈Im X
o Falls die Reihe absolut konvergiert sagt man auch: Der Erwartungswert ist
endlich.
• Linearität von Erwartungswerten:
o Für jede endliche Kollektion X1,X2,…,Xn von diskreten Zufallsvariablen mit
n
 n
endlichen Erwartungswerten gilt: E ∑ X i  = ∑ E[ X i ]
 i =1  i =1
o Für alle c∈R und diskreten Zufallsvariablen X: E[cX]= cE[X]
• Jensens Ungleichung:
o E[f(X)] ≥ f(E[X]), wobei
f eine konvexe Funktion ist
X eine Zufallsvariable ist
o Beispiel: f(x) = x² E[X²] ≥ (E[X])²
Bernoulli- und Binomial-Zufallsvariablen
• X ist Bernoulli-Zufallsvariable (oder auch: Indikator-Zufallsvariable), falls Im X =
{0,1}, Pr(X = 1)= p, Pr(X = 0) = 1-p
o E[X]=1*p+ 0*(1-p)=p
• X ist Binomial-Zufallsvariable mit Parametern n, p, falls Im X= {0,1,…n} und
n
Pr( X = k ) =   p k (1 − p) n−k , k = 0, 1, ...n
k 
o Erwartungswert einer Binomial-Zufallsvariablen X: E[X] = np
Die Geometrische Verteilung
• X ist geometrische Zufallsvariable mit Parameter p, falls für n∈N+:
Pr( X = n) = (1 − p) n−1 p
o Erwartungswert einer geometrischen Zufallsvariablen X: E[X] = 1/p
• Eine geometrische Zufallsvariable ist gedächtnislos, d.h.
Seite 1 von 3
o ∀geometrischen Zufallsvariablen X und n∈N+:
Pr( X = n + k | X > k ) = Pr( X = n)
o informell: Die Wahrscheinlichkeit, dass der erste Erfolg nach n Versuchen
ausgehend vom momentanen Zeitpunkt auftritt (linke Seite der Gleichung) ist
unabhängig von bisher aufgetretenen Fehlversuchen.
Coupon Collector´s Problem
Ausgangssituation: Es gibt verschiedene Coupons in Frühstücksflockenverpackungen. In
jeder Verpackung befindet sich ein Coupon. Wenn man alle Coupons gesammelt hat, erhält
man eine Prämie. Die Coupons wurden zufällig unabhängig und gleichverteilt auf die
Verpackungen aufgeteilt.
Frage: Wie viele Schachteln Frühstücksflocken müssen gekauft werden, bis man alle
verschiedenen Coupons gesammelt hat?
Sei n= #verschiedener Coupons (insgesamt)
Sei X = #gekaufter Schachteln bis man alle verschiedenen Coupons gesammelt hat.
Die Frage entspricht: Was ist E[X]?
Sei Xi = #gekaufter Schachteln, während man genau i-1 verschiedene Coupons hatte
n
X =
∑X
i
i =1
Xi ist eine geometrische Zufallsvariable mit Parameter pi, wobei
i −1
pi = 1 −
= Pr(neuer Coupon in der nächsten Schachtel)
n
E[Xi]= 1 =
pi
n
n − i +1
n
n
n
1
n
n
n
 n

E[X] = E ∑ X i  = ∑ E [ X i ] = ∑
= + ... + = n∑
n
1
i =1 i
i =1 n − i + 1
i =1
 i =1 
= n ⋅ H (n) = n ⋅ (ln n + Θ(1))
|(dabei ist H(n)=ln n+Θ(1) die harmonische Zahl)
= n ln n + Θ(n)
Erwartete Laufzeit von Quicksort
Annahme: Alle Elemente verschieden
Behauptung: Pivot-Element zufällig unabhängig und gleichverteilt gewählt erwartete
Quicksort-Laufzeit für Eingaben der Länge n: 2n*ln n + O(n)
Beweis:
Seien
• <x1, x2,…,xn> die Eingabefolge
• <y1,y2,…,yn> die sortierte Eingabefolge
• Xij (für 1 ≤ i,j ≤ n) Zufallsvariablen mit
o Xij = 1, falls yi und yj irgendwann verglichen werden
o Xij = 0, sonst
• X = #Vergleiche in Quicksort-Ausführung
n −1
X =
n
∑ ∑X
ij
i =1 j =i +1
n −1
n
[ ]
E[ X ] = ∑ ∑ E X ij
i =1 j =i +1
Seite 2 von 3
1. Ermittlung von E[Xij]
E[Xij] := Pr(yi und yj werden verglichen), da Xij Indikator-Zufallsvariable
Sei Yij = {yi,yi+1,…,yj}
Behauptung: yi und yj werden verglichen ⇔ yi oder yj ist das erste Pivot-Element, das aus Yij
ausgewählt wird.
Beweis:
: (durch Kontraposition)
Ann.: Sei z das erste Pivot-Element, das aus Yij gewählt wird und yi≠z≠yj
yi < z < yj
yi kommt in eine andere rekursiv zu sortierende Liste als yj
kein Vergleich von yi und yj mehr möglich
Vor der Wahl von z als Pivot-Element ist auch kein Vergleich von yi und yj möglich, da
bis dahin weder yi noch yj als Pivot-Element gewählt wurde und immer nur das PivotElement mit anderen Elementen verglichen wird.
: Ann.: yi (oder yj) ist das erste Pivot-Element, das aus Yij gewählt wird
für alle bisher gewählten Pivot-Elemente x gilt: x < yi oder x > yj
Alle Elemente ∈ Yij kamen beim Aufteilen der Eingabe mit x als Pivot-Element immer
in dieselbe rekursiv zu sortierende Liste
yi und yj sind bei der Wahl von yi (bzw. yj) als Pivot-Element in der Eingabefolge
desselben Quicksort-Aufrufs
yi und yj werden verglichen
E[Xij] = Pr(yi und yj werden verglichen)
= Pr(yi oder yj ist das erste Pivot-Element, das aus Yij ausgewählt wird)
2
=
, denn |Yij|=j-i+1
j − i +1
2. Ermittlung von E[X] mittels E[Xij]
n −1
n
2
E[X]= ∑ ∑
=
i =1 j =i +1 j − i + 1
n −1 n −i +1
2
∑ ∑k
i =1 k = 2
daraus ergibt sich folgende Tabelle:
k=2
k=3 … k=n-1
k=n
2
2
2
2
i=1
…
2
3
n −1
n
2
2
2
i=2
…
2
3
n −1
…
…
2
i=n-1
2
Aufsummieren der Spalten ergibt: (n − 1) ⋅
n
2
2
2
2
+ (n − 2) ⋅ + ... + 1 ⋅ = ∑ (n + 1 − k ) ⋅
2
3
n k =2
k
n
n
 n 1  
2
2 
1

= ∑ (n + 1) ⋅ − k ⋅  =  (2n + 2)∑  − 2(n − 1) = (2n + 2)  ∑  − 1 − 2n + 2
k
k 
k =2 
k =2 k 
  k =1 k  
= (2n + 2) ⋅ H (n) − 2n − 2 − 2n + 2 = (2n + 2) ⋅ (ln n + Θ(1)) − 4n |(H(n)=harmonische Zahl)
= 2n ⋅ ln n + O(n)
Seite 3 von 3