Stochastik f¨ur InformatikerInnen - Institut für Informatik

Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Stochastik für InformatikerInnen
Wintersemester 2009/10
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Wolfgang Kössler
Humboldt-Universität zu Berlin, Institut für Informatik
7. Charakteristika
8. Exponential
10. Februar 2010
9. Normal
10.Transformation
1 / 895
Inhalt (1)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1
1. Grundbegriffe
2
2. Kombinatorik
3
3. Bedingte Wahrscheinlichkeit, Unabhängigkeit
4
4. Klassische Wahrscheinlichkeitsräume
5
5. Zufallsvariablen (allgemein)
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
2 / 895
Inhalt (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
6
6. Diskrete zufällige Variablen
7
7. Charakteristika von Verteilungsfunktionen
8
8. Die Exponentialverteilung
9
9. Die Normalverteilung
10
10. Transformation von Zufallsvariablen
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
3 / 895
Inhalt (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
11
11. Zufallsvektoren
12
12. Korrelation
13
13. Ungleichungen
14
14. Grenzwertsätze
15
15.Schätzmethoden
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
4 / 895
Inhalt (4)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
16
16. Grundlagen der Simulation
17
17. Markov’sche Ketten
18
18. Zusammenfassung
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
5 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1.1 Einleitung, Geschichte
1. Grundbegriffe
1.2 Zufällige Ereignisse
Einleitung
1.3 Ereignisfeld
Ereignisse
Ereignisfeld
1.4 Kolmogorov’sches Axiomensystem
Axiomensystem
Folgerungen
1.5 Folgerungen aus dem Kolmogorov-
Klass. Definition
2. Kombinatorik
Axiomensystem
3. Bedingte Wkt
1.6 Die klassische Definition der
4. Klass. Wkt.
Wahrscheinlichkeit
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
6 / 895
1. Grundbegriffe
Geschichte (1)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Einleitung
Ereignisse
antikes Griechenland
Begriff der Wkt.
Naturgesetze drücken sich durch eine Vielzahl
Ereignisfeld
Axiomensystem
von zufälligen Erscheinungen aus.
Folgerungen
Klass. Definition
2. Kombinatorik
1654, Chevalier de Mere, Pascal
Würfelspiele, Würfe mit 2 Würfeln. Wenn in 25
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Würfen einmal eine Doppelsechs so hat C.d.M.
gewonnen, sonst sein Gegner.
6. Diskrete ZV
7. Charakteristika
7 / 895
Geschichte (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Einleitung
Ereignisse
Ereignisfeld
Axiomensystem
Folgerungen
Klass. Definition
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8 / 895
Geschichte (3)
Pascal, Fermat (Briefwechsel)
Stochastik für
InformatikerInnen
2 Personen-Spiele. Gespielt wird eine Serie von
Wolfgang Kössler
Partien, z.B. Schach (nur 0,1). Gewinnen soll der
1. Grundbegriffe
Spieler, der zuerst S Partien gewonnen hat, d.h.
Einleitung
Ereignisse
dieser Spieler erhält den vollen Einsatz.
Ereignisfeld
Axiomensystem
Abbruch des Spiels (z.B. wegen Zeitmangel)
Folgerungen
Klass. Definition
A hat a Gewinnpartien, a < S
2. Kombinatorik
B hat b Gewinnpartien, b < S
3. Bedingte Wkt
Wie ist der Einsatz gerecht zu verteilen?
4. Klass. Wkt.
Variante: ba , aber S wird nicht berücksichtigt!
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Es wäre also der weitere mögliche Verlauf nach dem
Abbruch zu analysieren.
9 / 895
Geschichte (4)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
1662, Graunt; 1693 Halley
Sterlichkeitstafeln (Überlebenswkt. in
Abhängigkeit vom Lebensalter) →
Einleitung
Ereignisse
Rentenberechnung, Schiffsversicherung
Ereignisfeld
Axiomensystem
1713, Jacob Bernoulli
Folgerungen
Klass. Definition
“Ars conjectandi”: 1. Lehrbuch der Wkt.rechnung
2. Kombinatorik
Bernoulli-Gesetz der Großen Zahlen, p = P(A)
3. Bedingte Wkt
hn (A) = n1 # Auftreten v. A, hn (A) − p →n→∞ 0
4. Klass. Wkt.
1733, Moivre
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Grenzwertsatz von Moivre-Laplace
√ X −µ
n · σ → N (0, 1)
10 / 895
Geschichte (5)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Einleitung
Ereignisse
Ereignisfeld
Axiomensystem
Folgerungen
Klass. Definition
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
11 / 895
Geschichte (6)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1812, Laplace
1. Grundbegriffe
klassische Definition der Wkt.
Einleitung
Ereignisse
Ereignisfeld
Axiomensystem
P(A) =
#für A günstigen Elem.ereignisse
#möglichen Elementarereignisse
Folgerungen
Klass. Definition
2. Kombinatorik
1800, Laplace, Gauss
Untersuchung von Beobachtungsfehlern
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Kleinste Quadrat-Schätzung
Ende 19. Jh., Tschebyschev, Markov, Ljapunov
6. Diskrete ZV
7. Charakteristika
12 / 895
Geschichte (7)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Einleitung
Ereignisse
Ereignisfeld
Axiomensystem
Folgerungen
Klass. Definition
2. Kombinatorik
1900, David Hilbert
(2. Intern.Mathematikerkongress Paris)
23 Probleme der Mathematik,
u.a. Axiomatik der Wkt.rechnung.
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
13 / 895
Geschichte (8)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
1919 R.v. Mises
Einleitung
Ereignisse
Ereignisfeld
Axiomensystem
Folgerungen
Klass. Definition
statistische Definition der Wkt,
Erfahrung: P(A) := limn→∞ hn (A)
Existiert der Grenzwert?
2. Kombinatorik
1933, A.N. Kolmogorov
3. Bedingte Wkt
Axiomsystem der Wkt.rechnung
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
14 / 895
Stochastik
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Statistik:
Gesamtheit aller Methoden zur Analyse
zufallsbehafteter Datenmengen
Einleitung
Ereignisse
→ Aussagen über die zugrundeliegende
Ereignisfeld
Axiomensystem
Grundgesamtheit treffen.
Folgerungen
Klass. Definition
Wahrscheinlichkeitsrechnung:
2. Kombinatorik
gegebene Grundgesamtheit (Verteilung)
3. Bedingte Wkt
→ Aussagen über Realisierungen einer
4. Klass. Wkt.
Zufallsvariablen treffen.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
———————————————
Stochastik: (grch.) im Rechnen geschickt.
15 / 895
Literatur
Stochastik für
InformatikerInnen
Wolfgang Kössler
Mathar, R. und Pfeiffer, D. (1990) Stochastik für
Informatiker, Stuttgart
1. Grundbegriffe
Einleitung
Pflug, G. (1986). Stochastische Modelle in der Informatik,
Ereignisse
Ereignisfeld
Stuttgart
Axiomensystem
Folgerungen
Klass. Definition
2. Kombinatorik
3. Bedingte Wkt
Greiner, M. und Tinhofer, G. (1996) Stochastik für
Studienanfänger der Informatik, München
Rosanov, J.A. (1970). Wahrscheinlichkeitstheorie, Berlin
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Flachsmeyer, J. (1970). Kombinatorik, Berlin
Henze, N. (2004), Stochastik für Einsteiger, Wiesbaden
16 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1.1 Einleitung, Geschichte
1. Grundbegriffe
1.2 Zufällige Ereignisse
Einleitung
1.3 Ereignisfeld
Ereignisse
Ereignisfeld
1.4 Kolmogorov’sches Axiomensystem
Axiomensystem
Folgerungen
1.5 Folgerungen aus dem Kolmogorov-
Klass. Definition
2. Kombinatorik
Axiomensystem
3. Bedingte Wkt
1.6 Die klassische Definition der
4. Klass. Wkt.
Wahrscheinlichkeit
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
17 / 895
1.2 Zufällige Ereignisse
Stochastik für
InformatikerInnen
Wolfgang Kössler
Def. 1 Ein zufälliger Versuch (Experiment)
ist ein Versuch mit ungewissem Ausgang.
1. Grundbegriffe
Einleitung
Beispiel: Glücksspiele.
Ereignisse
Ereignisfeld
Axiomensystem
Folgerungen
Klass. Definition
2. Kombinatorik
Wichtig bei solchen Experimenten ist:
die Beschreibung des Experiments
3. Bedingte Wkt
4. Klass. Wkt.
(Kartenspiele, Münzwurf),
5. Zufallsvariablen
die Erfassung der Menge aller möglichen
6. Diskrete ZV
Ausgänge des Experiments.
7. Charakteristika
18 / 895
Zufällige Ereignisse (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Def. 2 (Grundbegriffe)
Elementarereignis: möglicher Versuchsausgang,
Bez.: ω, ω ∈ Ω.
Einleitung
Ereignisse
Ereignis: Menge von El.ereignissen, A ⊂ Ω
Ereignisfeld
Axiomensystem
Folgerungen
Klass. Definition
sicheres Ereignis: Menge aller El.ereignisse: Ω.
unmögiches Ereignis: ∅.
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Komplementärereignis: A = Ω \ A
Ein Experiment kann diskret sein, d.h. endlich oder
abzählbar viele Ausgänge besitzen, oder es kann
6. Diskrete ZV
7. Charakteristika
überabzählbar viele Ausgänge haben.
19 / 895
Zufällige Ereignisse (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Experimente mit einer endlichen
Anzahl von Elementarereignissen
Münzwurf
Einleitung
Ereignisse
Ereignisfeld
Axiomensystem
zwei Elementarereignisse: {Zahl (z)},
{Wappen (w)};
Folgerungen
Klass. Definition
2. Kombinatorik
das unmögliche Ereignis ∅ = {z} ∩ {w};
das sichere Ereignis Ω := {z, w}.
3. Bedingte Wkt
4. Klass. Wkt.
Die Menge der auftretenden Ereignisse ist
5. Zufallsvariablen
P(Ω) := {∅, {z}, {w}, Ω},
6. Diskrete ZV
die Potenzmenge von Ω.
7. Charakteristika
20 / 895
Zufällige Ereignisse (4)
Stochastik für
InformatikerInnen
Würfeln (1 mal)
Wolfgang Kössler
1. Grundbegriffe
Elementarereignisse:
Einleitung
Ereignisse
{1}, {2}, {3}, {4}, {5}, {6},
Ereignisfeld
Axiomensystem
Folgerungen
Klass. Definition
d.h. Ω = {1, 2, 3, 4, 5, 6}.
Damit erhalten wir für
2. Kombinatorik
paarweise verschiedene
3. Bedingte Wkt
i, j, k, l, m ∈
4. Klass. Wkt.
{1, 2, 3, 4, 5, 6} die
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
möglichen Ereignisse :
Ereignistyp
Anzahl
∅
1
{i}
6
{i, j}
15
{i, j, k}
20
{i, j, k, l}
15
{i, j, k , l, m}
6
Ω
1
insgesamt 26 = 64
21 / 895
Zufällige Ereignisse (5)
Stochastik für
InformatikerInnen
Experimente mit abzählbar
Wolfgang Kössler
vielen Elementarereignissen
1. Grundbegriffe
1
Einleitung
Ereignisse
Werfen einer Münze, bis zum ersten Mal die
Zahl fällt
Ereignisfeld
Axiomensystem
Folgerungen
Ω = {z, wz, wwz, wwz, wwwz, . . .}.
Klass. Definition
2. Kombinatorik
3. Bedingte Wkt
Anzahl der ankommenden Fahrzeuge an einer
4. Klass. Wkt.
Kreuzung in einem bestimmten Zeitbereich
2
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Ω = {0, 1, 2, . . .}.
22 / 895
Zufällige Ereignisse (6)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Experimente mit überabzählbar
vielen Elementarereignissen
Lebensdauer einer Glühbirne
Einleitung
Ereignisse
Ereignisfeld
Ω = [0, ∞[ = R+ .
Axiomensystem
Folgerungen
Klass. Definition
2. Kombinatorik
3. Bedingte Wkt
Ereignisse sind bei diesem Experiment
z.B. Intervalle und Punkte.
Es gilt beispielsweise: ∅ = [0, 1] ∩ [3, 5] .
4. Klass. Wkt.
5. Zufallsvariablen
Das Ereignis A = {[0.4, 3.1], {7}} bedeutet, daß
6. Diskrete ZV
die Glühbirne eine Lebensdauer von 7s oder
7. Charakteristika
eine Lebensdauer zwischen 0.4s und 3.1s hat.23 / 895
Zufällige Ereignisse (7)
Stochastik für
InformatikerInnen
Wolfgang Kössler
überabzählbar viele Elementarereignisse
Messung einer physikalischen Konstante
1. Grundbegriffe
Einleitung
Ereignisse
Ereignisfeld
y = |{z}
ε .
m + |{z}
|{z}
Meßwert
Konstante
Meßfehler
Axiomensystem
Folgerungen
Die Meßfehler sind die Elementarereignisse.
Klass. Definition
2. Kombinatorik
Ereignisse sind beispielsweise Intervalle.
3. Bedingte Wkt
Experimente, deren Ausgänge Funktionen der
4. Klass. Wkt.
Zeit sind, Ω = Ω0 × T . Ereignisse im Experiment
5. Zufallsvariablen
sind dann bestimmte Funktionsverläufe =⇒
6. Diskrete ZV
7. Charakteristika
stochastische Prozesse.
24 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1.1 Einleitung, Geschichte
1. Grundbegriffe
1.2 Zufällige Ereignisse
Einleitung
1.3 Ereignisfeld
Ereignisse
Ereignisfeld
1.4 Kolmogorov’sches Axiomensystem
Axiomensystem
Folgerungen
1.5 Folgerungen aus dem Kolmogorov-
Klass. Definition
2. Kombinatorik
Axiomensystem
3. Bedingte Wkt
1.6 Die klassische Definition der
4. Klass. Wkt.
Wahrscheinlichkeit
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
25 / 895
1.3 Ereignisfeld
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Einleitung
Ereignisse
Ereignisfeld
Axiomensystem
Folgerungen
Klass. Definition
2. Kombinatorik
Ein Ereignisfeld E ist (grob) ein System von
Teilmengen der Menge Ω. Es gilt: E ⊆ P(Ω).
Def. 3 (∪, ∩, Komplement)
Es seien A1 ∈ E und A2 ∈ E Ereignisse. Dann
A3 := A1 ∩ A2 = {ω ∈ Ω : ω ∈ A1 und ω ∈ A2 } das
Ereignis, bei dem A1 und A2 eintreten;
3. Bedingte Wkt
A3 := A1 ∪ A2 = {ω ∈ Ω : ω ∈ A1 oder ω ∈ A2 }
4. Klass. Wkt.
das Ereignis, bei dem A1 oder A2 eintreten;
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
A1 = Ω \ A1 = {ω ∈ Ω : ω ∈
/ A1 } das zu A1
komplementäre Ereignis.
26 / 895
Ereignisfeld (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Einleitung
Ereignisse
Es gilt offenbar:
Ereignisfeld
Axiomensystem
A ∪ A = Ω (sicheres Ereignis),
Folgerungen
Klass. Definition
A ∩ A = ∅ (unmögliches Ereignis).
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
27 / 895
Ereignisfeld (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Satz (Rechenregeln für Ereignisse)
(i) A ∪ B = B ∪ A (Kommutativgesetz)
(ii)
(A ∪ B) ∪ C = A ∪ (B ∪ C)
Einleitung
(Assoziativgesetz)
Ereignisse
Ereignisfeld
Axiomensystem
Folgerungen
Klass. Definition
(iii)
A ∩ (B ∪ C) = (A ∩ B) ∪ (A ∩ C)
(iv)
A ∪ (B ∩ C) = (A ∪ B) ∩ (A ∪ C)
2. Kombinatorik
(Distributivgesetze)
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
(v)
(De’Morgansche Regeln)
(A ∪ B) = A ∩ B
(A ∩ B) = A ∪ B
28 / 895
Ereignisfeld (4)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Einleitung
Ereignisse
Ereignisfeld
Axiomensystem
Folgerungen
Klass. Definition
2. Kombinatorik
3. Bedingte Wkt
Def. 4
Seien A1 , . . . , An , . . . Ereignisse. Die Vereinigung
S∞
i=1 Ai ist das Ereignis, das eintritt, wenn
mindestens eines Ereignisse A1 , A2 , A3 , . . . eintritt.
T
Der Durchschnitt ∞
i=1 Ai ist das Ereignis, das eintritt,
wenn alle Ereignisse A1 , A2 , A3 , . . . eintreten.
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
29 / 895
Ereignisfeld (5)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Einleitung
Ereignisse
Ereignisfeld
Verallgemeinerungen der Rechenregeln
Seien A, A1 , . . . Ereignisse.
S
S∞
(iii) A ∩ ( ∞
i=1 Ai ) =
i=1 (A ∩ Ai )
T∞
T∞
(iv) A ∪ ( i=1 Ai ) = i=1 (A ∪ Ai )
Axiomensystem
Folgerungen
(v)
Klass. Definition
2. Kombinatorik
∞
[
3. Bedingte Wkt
Ai =
i=1
4. Klass. Wkt.
5. Zufallsvariablen
∞
\
6. Diskrete ZV
i=1
7. Charakteristika
∞
\
Ai
i=1
Ai =
∞
[
Ai
i=1
30 / 895
Ereignisfeld (6)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Def. 5
E ⊆ P(Ω) heißt Ereignisfeld über Ω
1. Grundbegriffe
Einleitung
falls folgendes gilt:
Ereignisse
Ereignisfeld
1
Ω ∈ E;
2
Gilt Ai ∈ E für i ∈ N, dann folgt
Axiomensystem
Folgerungen
Klass. Definition
3
4. Klass. Wkt.
Ai ∈ E;
i=1
2. Kombinatorik
3. Bedingte Wkt
∞
T
A ∈ E =⇒ A ∈ E.
E heißt auch σ–Algebra über Ω.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
31 / 895
Ereignisfeld (7)
Grundlegende Eigenschaften
Stochastik für
Elementarereignisse schließen sich gegenseitig
InformatikerInnen
Wolfgang Kössler
aus.
1. Grundbegriffe
Es tritt immer nur genau ein Elementarereignis
Einleitung
ein.
Ereignisse
Ereignisfeld
Ein Ereignis tritt genau dann ein, wenn eines
Axiomensystem
Folgerungen
seiner Elementarereignisse eintritt.
Klass. Definition
2. Kombinatorik
Folgerung
3. Bedingte Wkt
4. Klass. Wkt.
1
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Ist Ai ∈ E
∀i ∈ N, so folgt:
∞
S
Ai ∈ E.
i=1
2
Für das unmögliche Ereignis gilt: ∅ ∈ E.
32 / 895
Ereignisfeld (8)
Beweis der Folgerung
Stochastik für
InformatikerInnen
1
Wolfgang Kössler
Ai ∈ E, ∀i ∈ N =⇒ Ai ∈ E, ∀i ∈ N (Def. 5.3)
∞
\
=⇒
Ai ∈ E (Def. 5.2)
1. Grundbegriffe
Einleitung
Ereignisse
Ereignisfeld
i=1
Axiomensystem
∞
[
Folgerungen
=⇒
Klass. Definition
2. Kombinatorik
3. Bedingte Wkt
=⇒
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
i=1
∞
[
Ai ∈ E (de Morgan)
Ai ∈ E (Def. 5.3)
i=1
2
Nach Def. 5.1 gilt: Ω ∈ E. Wegen ∅ = Ω und Def.
5.3 folgt dann: ∅ ∈ E.
33 / 895
Ereignisfeld (9)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Einleitung
Ereignisse
Ereignisfeld
Axiomensystem
Folgerungen
Def. 6 Zwei Ereignisse A1 , A2 ∈ E heißen
unvereinbar (disjunkt), falls A1 ∩ A2 = ∅ gilt. Wir
sagen dann auch, diese beiden Ereignisse schließen
Klass. Definition
2. Kombinatorik
einander aus.
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
34 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1.1 Einleitung, Geschichte
1. Grundbegriffe
1.2 Zufällige Ereignisse
Einleitung
1.3 Ereignisfeld
Ereignisse
Ereignisfeld
1.4 Kolmogorov’sches Axiomensystem
Axiomensystem
Folgerungen
1.5 Folgerungen aus dem Kolmogorov-
Klass. Definition
2. Kombinatorik
Axiomensystem
3. Bedingte Wkt
1.6 Die klassische Definition der
4. Klass. Wkt.
Wahrscheinlichkeit
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
35 / 895
1.4 Kolmogorov- Axiomensystem
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Def. 7 (Wahrscheinlichkeit) Sei E ein Ereignisfeld.
Eine Abbildung P : E −→ R heißt Wahrscheinlichkeit,
falls sie die folgenden Eigenschaften hat:
Einleitung
Ereignisse
1
Für alle A ∈ E gilt: 0 ≤ P(A) ≤ 1;
2
P(Ω) = 1;
3
2. Kombinatorik
Sind die Ereignisse A1 , A2 , . . . paarweise
3. Bedingte Wkt
unvereinbar (d.h. Ai ∩ Aj = ∅ für i 6= j, i, j ∈ N),
Ereignisfeld
Axiomensystem
Folgerungen
Klass. Definition
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
so gilt die sogenannte σ–Additivitätseigenschaft:
!
∞
∞
[
X
P
Ai =
P(Ai ).
i=1
i=1
36 / 895
Kolmogorov’sches Axiomensystem (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Def. 8 (Wahrscheinlichkeitsraum)
Sei Ω die Menge der Elementarereignisse, E ein
Einleitung
Ereignisse
Ereignisfeld
Axiomensystem
Folgerungen
Klass. Definition
Ereignisfeld über Ω (E ⊆ P(Ω)) und P genüge den
KOLMOGOROV–Axiomen, dann heißt das Tripel
(Ω, E, P) Wahrscheinlichkeitsraum.
2. Kombinatorik
3. Bedingte Wkt
Mittels dieses Begriffes ist eine vollständige
4. Klass. Wkt.
Beschreibung eines zufälligen Experimentes
5. Zufallsvariablen
möglich.
6. Diskrete ZV
7. Charakteristika
37 / 895
Kolmogorov’sches Axiomensystem (3)
Stochastik für
InformatikerInnen
Wir betrachten nun A ⊆ P(Ω), ein System von
Wolfgang Kössler
Teilmengen der Menge Ω. Dann können wir die
1. Grundbegriffe
folgende Menge bilden:
Einleitung
Ereignisse
Ereignisfeld
E(A) = {E : A ⊆ E, E ist Ereignisfeld} .
Axiomensystem
Folgerungen
Klass. Definition
Dann ist die Menge
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
EA =
\
E
E∈E(A)
5. Zufallsvariablen
die von A erzeugte σ–Algebra (Ereignisfeld) bzw. die
6. Diskrete ZV
kleinste σ–Algebra über Ω, die A enthält.
7. Charakteristika
38 / 895
Kolmogorov’sches Axiomensystem (4)
Beispiele für Wahrscheinlichkeitsräume (Ω, E, P)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Einleitung
Ereignisse
Ereignisfeld
Axiomensystem
Folgerungen
Klass. Definition
Klassische Wahrscheinlichkeitsräume
Ω = {ω1 , . . . , ωN }, E = P(Ω).
P(ω) = P({ωi }) =
1
N
∀i = 1, . . . , N. D.h. alle
Elementarereignisse sind gleichwahrscheinlich.
Def. 9(klassische Def. der Wkt.) Sei A ∈ E.
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
P(A) =
#{ω, ω ∈ A}
#für A günstigen El. ereign.
=
N
#möglichen El.ereignisse
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
39 / 895
Kolmogorov’sches Axiomensystem (5)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Borel-Mengen
Es sei Ω = R und
Einleitung
Ereignisse
Ereignisfeld
A = {[a, b[ : − ∞ < a < b < ∞} ⊆ P(Ω).
Axiomensystem
Folgerungen
Klass. Definition
die Menge der halboffenen Intervalle. Dann ist
2. Kombinatorik
B 1 := EA die σ-Algebra der B OREL–Mengen.
3. Bedingte Wkt
(R, B 1 , P) ist dann ein Wahrscheinlichkeitsraum mit
4. Klass. Wkt.
5. Zufallsvariablen
irgendeiner Wahrscheinlichkeit P.
6. Diskrete ZV
7. Charakteristika
40 / 895
Kolmogorov’sches Axiomensystem (6)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Es sei Ω = [0, 1]. Weiterhin betrachten wir:
E = {A : A = B ∩ [0, 1], B ∈ B 1 }.
1. Grundbegriffe
Einleitung
Ereignisse
Ereignisfeld
Axiomensystem
die Menge der Borelmengen auf dem Intervall [0, 1].
R
P : A −→ R mit P(A) := dx.
A
Folgerungen
Klass. Definition
3. Bedingte Wkt
4. Klass. Wkt.
P(Ω) =
P 12 , 34
=
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
1
Z
2. Kombinatorik
P
1 2
dx = 1
0
1
4
1
2
Z
dx = 0
=
1
2
41 / 895
Kolmogorov’sches Axiomensystem (7)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Q : A −→ R mit Q(A) :=
R
A
3
(1
2
− x 2 )dx
1. Grundbegriffe
Einleitung
Z
Ereignisse
Ereignisfeld
Q(Ω) =
Axiomensystem
Folgerungen
Klass. Definition
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
=
1
3
(1 − x 2 )dx
0 2
1
3
x 3 x−
2
3 0
= 1
(Ω, E, P) und (Ω, E, Q) sind
Wahrscheinlichkeitsräume.
6. Diskrete ZV
7. Charakteristika
42 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1.1 Einleitung, Geschichte
1. Grundbegriffe
1.2 Zufällige Ereignisse
Einleitung
1.3 Ereignisfeld
Ereignisse
Ereignisfeld
1.4 Kolmogorov’sches Axiomensystem
Axiomensystem
Folgerungen
1.5 Folgerungen aus dem Kolmogorov-
Klass. Definition
2. Kombinatorik
Axiomensystem
3. Bedingte Wkt
1.6 Die klassische Definition der
4. Klass. Wkt.
Wahrscheinlichkeit
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
43 / 895
1.5 Folgerungen aus dem
Kolmogorov- Axiomensystem
Stochastik für
InformatikerInnen
Wolfgang Kössler
Sei (Ω, E, P) W.-raum und A, B, A1 , . . . , An Ereignisse.
1
P(A) = 1 − P(A).
2
P(∅) = 0.
3
Sei A ⊆ B. Dann gilt:
1. Grundbegriffe
Einleitung
Ereignisse
Ereignisfeld
Axiomensystem
Folgerungen
1
B \ A ∈ E;
2. Kombinatorik
2
P(B \ A) = P(B) − P(A) (Subtraktivität);
3. Bedingte Wkt
3
P(A) ≤ P(B) (Monotonie der Wkt).
Klass. Definition
4. Klass. Wkt.
5. Zufallsvariablen
4
P(A ∪ B) = P(A) + P(B) − P(A ∩ B),
P(A ∪ B) ≤ P(A) + P(B).
6. Diskrete ZV
7. Charakteristika
Sind A und B unvereinbar, so gilt die Gleichheit.
44 / 895
Folgerungen (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Es sei {An : n ∈ N} eine Folge von Ereignissen
5
1. Grundbegriffe
Einleitung
Ereignisse
Es sei An ⊆ An+1 , ∀n ∈ N. Dann gilt:
P lim An = lim P(An ).
n→∞
Ereignisfeld
n→∞
Axiomensystem
Folgerungen
Klass. Definition
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
6
Stetigkeit (des Wkts.maßes) von unten“
”
Es sei An ⊇ An+1 , ∀n ∈ N. Dann gilt:
P lim An = lim P(An ).
n→∞
n→∞
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Stetigkeit (des Wkts.maßes) von oben“
”
45 / 895
Beweis Folgerungen 1 und 2
Stochastik für
InformatikerInnen
Wolfgang Kössler
1
Es gilt: Ω = A ∪ (Ω \ A) = A ∪ A, für alle A ∈ E.
Wegen A ∩ A = ∅ folgt:
1. Grundbegriffe
Einleitung
1 = P(Ω) = P(A ∪ A)
Ereignisse
Ereignisfeld
Axiomensystem
= P(A) + P(A)
Folgerungen
Klass. Definition
Wir stellen um und erhalten: P(A) = 1 − P(A).
2. Kombinatorik
3. Bedingte Wkt
2
Wegen ∅ = Ω \ Ω = Ω folgt aus Aussage 1:
4. Klass. Wkt.
5. Zufallsvariablen
P(∅) = 1 − P(Ω) = 0.
6. Diskrete ZV
7. Charakteristika
46 / 895
Beweis Folgerungen 3
Stochastik für
InformatikerInnen
Wolfgang Kössler
3
Es seien A, B ∈ E zwei Ereignisse mit A ⊆ B.
1
Es gilt:
B \ A = B ∩ A.
1. Grundbegriffe
Einleitung
Wegen B ∈ E und A ∈ E folgt nach Def. 5.(2.),
Ereignisse
Ereignisfeld
dass auch die Menge B \ A ∈ E ist.
Axiomensystem
Folgerungen
Klass. Definition
2. Kombinatorik
3. Bedingte Wkt
2
Aus B = A ∪ (B \ A) und A ∩ (B \ A) = ∅ folgt:
P(B) = P(A ∪ (B \ A))
= P(A) + P(B \ A)
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Wir stellen um und erhalten:
P(B) − P(A) = P(B \ A).
47 / 895
Beweis Folgerungen 4.-6.
Stochastik für
InformatikerInnen
4
Wenn wir die Subtraktivitätsgleichung etwas
Wolfgang Kössler
umstellen, erhalten wir:
1. Grundbegriffe
Einleitung
P(B) = P(A) + P(B \ A).
Ereignisse
Ereignisfeld
Axiomensystem
Wegen Definition 7.(1.) folgt daraus sofort:
Folgerungen
Klass. Definition
P(A) ≤ P(B).
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5
Es sei nun {An : n ∈ N} eine Folge von
5. Zufallsvariablen
Ereignissen mit An ⊆ An+1 , ∀n ∈ N.
6. Diskrete ZV
Nach Definition der Ereignisfolge (An ) gilt:
7. Charakteristika
48 / 895
Beweis Folgerung 5 (1)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Einleitung
Ereignisse
Ereignisfeld
lim An =
n→∞
∞
[
Ak .
k =1
Wir definieren:
B1 := A1
Axiomensystem
Folgerungen
Klass. Definition
2. Kombinatorik
3. Bedingte Wkt
B2 := A2 \ A1
..
.
Bn := An \ An−1
usw.
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Offenbar gilt für alle i, j ∈ N mit i 6= j:
∞
∞
[
[
Bi ∩ Bj = ∅
Ak =
Bk .
k =1
k =1
49 / 895
Beweis Folgerung 5 (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
P
1. Grundbegriffe
lim An
n→∞
= P
Einleitung
Ereignisse
∞
[
=
Ereignisfeld
Ak
3. Bedingte Wkt
4. Klass. Wkt.
k =1
= P(A1 ) +
6. Diskrete ZV
7. Charakteristika
∞
X
P(Ak \ Ak −1 )
= P(A1 ) + lim
n→∞
=
=
Bk
k =1
k =2
5. Zufallsvariablen
!
P(Bk ) (Definition 7.(3.))
Klass. Definition
2. Kombinatorik
=P
∞ k =1
X
Axiomensystem
Folgerungen
∞
[
!
lim
n→∞
n
X
k =2
n
X
P(A1 ) +
lim P(An ).
P(Ak \ Ak −1 )
!
(P(Ak ) − P(Ak −1 ))
k =2
n→∞
50 / 895
Beweis Folgerung 6 (1)
Stochastik für
InformatikerInnen
6
Es sei nun {An : n ∈ N} eine Folge von
Wolfgang Kössler
Ereignissen mit der Eigenschaft An ⊇ An+1 ,
1. Grundbegriffe
∀n ∈ N.
Einleitung
Ereignisse
Dann gilt:
Ereignisfeld
Axiomensystem
Folgerungen
lim An =
n→∞
Unter Anwendung der
3. Bedingte Wkt
Regeln erhalten wir:
DE
4. Klass. Wkt.
5. Zufallsvariablen
lim An =
n→∞
6. Diskrete ZV
7. Charakteristika
Ak .
k =1
Klass. Definition
2. Kombinatorik
∞
\
M ORGAN’schen
∞
[
Ak .
k =1
Außerdem gilt: Ak ⊆ Ak +1 . Dann
51 / 895
Beweis Folgerung 6 (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
P
lim An
n→∞
∞
[
= P
!
Ak
k =1
Einleitung
∞
[
Ereignisse
Ereignisfeld
Axiomensystem
Folgerungen
Klass. Definition
2. Kombinatorik
3. Bedingte Wkt
= 1−P
!
Ak
(Aussage 1)
k =1
= 1 − P lim An
n→∞
= 1 − lim P(An ) (Aussage 4)
n→∞
4. Klass. Wkt.
= 1 − lim (1 − P(An ))
n→∞
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
=
lim P(An ).
n→∞
52 / 895
Folgerungen (Fortsetz.)
Subadditivität von P
Stochastik für
InformatikerInnen
Seien A1 , A2 , . . . Ereignisse. Dann gilt:
Wolfgang Kössler
P(
1. Grundbegriffe
Ai ) ≤
∞
X
i=1
Einleitung
Ereignisse
∞
[
Beweis:
[
Ereignisfeld
Axiomensystem
Folgerungen
Klass. Definition
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
B1 := A1
B2 := A2 \ A1
B3 := A3 \ (A1 ∪ A2 )
... [
Bi := Ai \ ( Aj ) ...
j<i
Bi paarw. disjunkt, Bi ⊆ Ai .
P(Ai )
i=1
P(
Bi
=
i≥1
∞
[
[
Ai ⇒
i≥1
Ai ) = P(
i=1
∞
[
Bi )
i=1
=
≤
∞
X
i=1
∞
X
P(Bi ) (3.Ax.)
P(Ai ) (Mon.)
i=1
53 / 895
Folgerungen (8)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Siebformel, Prinzip von Inklusion und Exklusion
Seien A1 , . . . , An Ereignisse. Dann gilt:
1. Grundbegriffe
Einleitung
P(
n
[
\
(−1)|I|−1 P( Ai )
X
Ai ) =
Ereignisse
Ereignisfeld
I⊆{1,...,n},I6=∅
i=1
Axiomensystem
Folgerungen
Klass. Definition
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
=
n
X
i∈I
P(Ai ) −
i=1
(−1)n+1
X
P(Ai ∩ Aj ) + −...
i<j
X
i1 <i2 <···<in
P(
n
\
Aiν )
ν=1
5. Zufallsvariablen
6. Diskrete ZV
auch: Formel von Poincare-Sylvester
7. Charakteristika
(Montmort: Briefwechsel mit Bernoulli)
54 / 895
Siebformel
Beweis: (Induktion nach n)
Stochastik für
1
InformatikerInnen
Wolfgang Kössler
IA n = 1 trivial, (n = 2 : Subtraktivität)
P(A1 ∪ A2 ) = P(A1 ) + P(A2 ) − P(A1 ∩ A2 )
2
X
X
=
P(Ai ) −
P(Ai ∩ Aj )
1. Grundbegriffe
Einleitung
Ereignisse
i=1
Ereignisfeld
Axiomensystem
=
Folgerungen
Klass. Definition
I={1,2}
X
\
(−1)|I|−1 P( Ai )
I⊆{1,...,n},I6=∅
i∈I
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
2
IS: Aussage der Folgerung gelte für n. Dann
n+1
[
P(
i=1
Ai ) = P(
n
[
Ai ) + P(An+1 ) − P(
i=1
n
[
(Ai ∩ An+1 ))
i=1
wegen Subtraktivität.
55 / 895
Siebformel
Beweis (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Auf den ersten und dritten Summanden wird jeweils
1. Grundbegriffe
die IV angewendet. Der dritte Summand ist gleich
Einleitung
Ereignisse
Ereignisfeld
Axiomensystem
Folgerungen
Klass. Definition
− P(
n
[
(Ai ∩ An+1 ))
i=1
=−
\
(−1)|J|−1 P( (Ai ∩ An+1 ))
X
2. Kombinatorik
J⊆{1,...,n},J6=∅
3. Bedingte Wkt
4. Klass. Wkt.
=
i∈J
X
{n+1}⊆J⊆{1,...,n+1},J6={n+1}
\
(−1)|J|−1 P( Ai ).
i∈J
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
56 / 895
Siebformel
Beweis (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Einleitung
Untersuchung der Indexmengen:
1. Summe: alle nichtleeren Teilmengen von
{1, . . . , n}
Ereignisse
Ereignisfeld
Axiomensystem
Folgerungen
3. Summe: alle nicht-1-Element. Teilmengen von
{1, . . . , n + 1}, die das Element n + 1 enthalten
Klass. Definition
2. Kombinatorik
2. Summe: das Element n + 1.
3. Bedingte Wkt
Damit tauchen alle nichtleeren Teilmengen von
4. Klass. Wkt.
{1, . . . , n + 1} in einer der Summanden auf.
5. Zufallsvariablen
Alle Summanden haben die gleiche Form, wie in der
6. Diskrete ZV
Siebformel.
7. Charakteristika
57 / 895
Beispiele zur Siebformel (1)
Stochastik für
InformatikerInnen
Rencontre-Problem
Wolfgang Kössler
n Studenten sollen schriftlich von einer Änderung
1. Grundbegriffe
Einleitung
Ereignisse
Ereignisfeld
Axiomensystem
Folgerungen
Klass. Definition
2. Kombinatorik
3. Bedingte Wkt
des Vorlesungstermins benachrichtigt werden. Im
irrtümlichen Glauben, daß jeder der n Briefe den
gleichen Inhalt aufweist, verteilt eine Sekretärin die
Briefe willkürlich in die verschiedenen Umschläge.
Wie groß ist die Wahrscheinlichkeit, daß mindestens
ein Brief in den richtigen Umschlag gelangt?
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Welchen Wert erhält man für n → ∞?
Lösung: Übung.
58 / 895
Beispiele zur Siebformel (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Einleitung
Sortierprobleme
geg.: Feld der Länge n
Daten zufällig angeordnet, gleichverteilt mit Wkt.
Ereignisse
Ereignisfeld
1
.
n!
Wie groß ist die Wahrscheinlichkeit, daß mindestens
Axiomensystem
Folgerungen
Klass. Definition
ein Feldelement schon an der richtigen Stelle liegt.?
Welchen Wert erhält man für n → ∞?
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
das ist dasselbe wie beim Rencontre-Problem.
Wie groß ist die Wkt., daß genau k Elemente bereits
am richtigen Platz stehen? → Übung
6. Diskrete ZV
7. Charakteristika
59 / 895
Folgerungen aus der Siebformel
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Bonferroni-Ungleichungen (1)
Die Ungleichung
Einleitung
Ereignisse
Ereignisfeld
P(A ∪ B) ≤ P(A) + P(B)
Axiomensystem
Folgerungen
Klass. Definition
2. Kombinatorik
3. Bedingte Wkt
heißt Bonferroni-Ungleichung.
Weitere (Bonferroni)- Ungleichungen erhält man
durch Abbruch der Siebformel nach Gliedern mit
4. Klass. Wkt.
5. Zufallsvariablen
positivem (≤) bzw. negativem (≥) Vorzeichen.
6. Diskrete ZV
7. Charakteristika
60 / 895
Folgerungen aus der Siebformel
Stochastik für
InformatikerInnen
Bonferroni-Ungleichungen (2)
Wolfgang Kössler
1. Grundbegriffe
P(A ∪ B ∪ C) ≤ P(A) + P(B) + P(C)
(n = 1)
P(A ∪ B ∪ C) ≥ P(A) + P(B) + P(C)
(n = 2)
Einleitung
Ereignisse
Ereignisfeld
Axiomensystem
Folgerungen
−P(A ∩ B) − P(A ∩ C) − P(B ∩ C)
Klass. Definition
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
P(A ∪ B ∪ C) ≤ P(A) + P(B) + P(C)
−P(A ∩ B) − P(A ∩ C) − P(B ∩ C)
+P(A ∩ B ∩ C)
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
(n=3, es gilt hier sogar Gleichheit)
61 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1.1 Einleitung, Geschichte
1. Grundbegriffe
1.2 Zufällige Ereignisse
Einleitung
1.3 Ereignisfeld
Ereignisse
Ereignisfeld
1.4 Kolmogorov’sches Axiomensystem
Axiomensystem
Folgerungen
1.5 Folgerungen aus dem Kolmogorov-
Klass. Definition
2. Kombinatorik
Axiomensystem
3. Bedingte Wkt
1.6 Die klassische Definition der
4. Klass. Wkt.
Wahrscheinlichkeit
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
62 / 895
1.6 Die klassische Definition der
Wahrscheinlichkeit
Stochastik für
InformatikerInnen
Wolfgang Kössler
Wir betrachten für ein zufälliges Experiment die
1. Grundbegriffe
Einleitung
Ereignisse
Ereignisfeld
Menge der Elementarereignisse Ω = {ω1 , . . . , ωN }.
Sei E = P(Ω) und P({ωi }) =
1
, ∀i
N
= 1, . . . , N).
Axiomensystem
Folgerungen
Klass. Definition
2. Kombinatorik
3. Bedingte Wkt
#{ω : ω ∈ A}
= n(A)
N
N
# der für A günstigen Elem.Ereignisse
=
# der möglichen Elementarereignisse
P(A) =
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
63 / 895
D E M ÉR É (1)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Würfeln mit 3 Würfeln
Folgende Ereignisse werden betrachtet:
1. Grundbegriffe
Einleitung
Ereignisse
Ereignisfeld
A = Es fallen 11 Augen.
B = Es fallen 12 Augen.
Axiomensystem
Folgerungen
Klass. Definition
2. Kombinatorik
Frage: P(A), P(B)?
Die Menge der Elementarereignisse ist
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Ω = {(i, j, k) : 1 ≤ i, j, k ≤ 6}.
Anzahl der Elementarereignisse N := 63 = 216,
P((i, j, k)) =
1
.
216
64 / 895
D E M ÉR É (2)
Anzahl der Ereignisse
Stochastik für
A (11 Augen)
B (12 Augen)
6-4-1
6
6-5-1
6
6-3-2
6
6-4-2
6
5-5-1
3
6-3-3
3
5-4-2
6
5-5-2
3
2. Kombinatorik
5-3-3
3
5-4-3
6
3. Bedingte Wkt
4-4-3
3
4-4-4
1
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Einleitung
Ereignisse
Ereignisfeld
Axiomensystem
Folgerungen
Klass. Definition
4. Klass. Wkt.
n(A)=27
n(B)=25
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
P(A) =
27
25
>
= P(B).
216
216
65 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
2.1 Klassische kombinatorische Probleme
1. Grundbegriffe
2. Kombinatorik
Problemstellungen
2.2 Beispiele
2.3 Arithmetische Beziehungen zwischen den
Beispiele
Binomialkoeffizienten
Binomialkoeffizienten
Stirling-Formel
3. Bedingte Wkt
2.4 Die Stirling Formel
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
66 / 895
2.1 Klassische kombinatorische
Probleme, Aufgabenstellung
Stochastik für
InformatikerInnen
Anzahl der verschiedenen Zusammenstellungen von
Wolfgang Kössler
Objekten. Je nach Art der zusätzlichen Forderungen,
1. Grundbegriffe
ist zu unterscheiden, welche Zusammenstellungen
2. Kombinatorik
als gleich, und welche als verschieden angesehen
Problemstellungen
Beispiele
werden.
Binomialkoeffizienten
Stirling-Formel
3. Bedingte Wkt
4. Klass. Wkt.
Permutation (ohne Wiederholung)
Permutation mit Wiederholung
Variation ohne Wiederholung
5. Zufallsvariablen
6. Diskrete ZV
Variation mit Wiederholung
7. Charakteristika
Kombination (ohne Wiederholung)
8. Exponential
Kombination mit Wiederholung
67 / 895
Klassische kombinatorische Probleme
(1)
Wolfgang Kössler
Permutation (ohne Wiederholung)
Jede eineindeutige Abbildung Π der geordenten
1. Grundbegriffe
Menge {1, . . . , n} auf eine n-elementige Menge
2. Kombinatorik
M = {s1 , . . . , sn } heißt Permutation oder Permutation
Stochastik für
InformatikerInnen
Problemstellungen
Beispiele
Binomialkoeffizienten
Stirling-Formel
3. Bedingte Wkt
ohne Wiederholung,
∀i ∈ {1, . . . , n} : Π(i) = si , si ∈ M, si 6= sj (i 6= j)
Anzahl:
N = n!
4. Klass. Wkt.
5. Zufallsvariablen
Wiewiel Möglichkeiten gibt es, die Eisenbahnwagen
6. Diskrete ZV
32,33,34,35,36,37 hintereinander zu hängen?
7. Charakteristika
8. Exponential
N = 6!
68 / 895
Klassische kombinatorische Probleme
(2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Permutation mit Wiederholung
Sei M = {s1 , . . . , sk }, ki > 0 ∀i = 1, . . . , k mit
Pk
i=1 ki = n. Jedes geordnete n-Tupel von
Elementen aus M, wobei jedes Element si genau ki
Problemstellungen
Beispiele
mal vorkommt, heißt Permutation mit Wiederholung.
Binomialkoeffizienten
Stirling-Formel
3. Bedingte Wkt
N=
Anzahl:
n!
k1 !···kk !
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Wiewiel Möglichkeiten gibt es, die Karten beim
Skatspiel zu vergeben?
N=
32!
10!10!10!2!
69 / 895
Klassische kombinatorische Probleme
(3)
Stochastik für
InformatikerInnen
Variation ohne Wiederholung
Wolfgang Kössler
Sei M = {s1 , . . . , sn }. Jedes geordnete k-Tupel,
1. Grundbegriffe
k ≤ n von verschiedenen Elementen aus M heißt
2. Kombinatorik
Variation ohne Wiederholung.
Problemstellungen
Beispiele
Binomialkoeffizienten
Anzahl:
N = n(n − 1) · · · (n − k + 1)
Stirling-Formel
3. Bedingte Wkt
Aufteilung von k Elementen auf n Fächer.
4. Klass. Wkt.
5. Zufallsvariablen
Wieviele Möglichkeiten für die drei Erstplazierten im
6. Diskrete ZV
100m Endlauf gibt es?
7. Charakteristika
8. Exponential
N = 8 · 7 · 6 = 336.
70 / 895
Klassische kombinatorische Probleme
(4)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Variation mit Wiederholung
Auswahl von k Elementen aus einer Menge
1. Grundbegriffe
M = {s1 , . . . , sn } mit Zurücklegen. Die Frage ist:
2. Kombinatorik
Wieviel verschiedene Möglichkeiten gibt es, k
Problemstellungen
Beispiele
Elemente aus dieser Menge zu entnehmen, wobei
Binomialkoeffizienten
Stirling-Formel
Elemente mehrfach entnommen werden können?
3. Bedingte Wkt
4. Klass. Wkt.
N = nk .
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Anzahl der 10stelligen Dualzahlen:
N = 210 .
71 / 895
Klassische kombinatorische Probleme
(5)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Kombinationen (ohne Wiederholung)
Jede k-elementige Teilmenge aus einer
n-elementigen Menge M heißt Kombination (ohne
2. Kombinatorik
Problemstellungen
Beispiele
Binomialkoeffizienten
Stirling-Formel
Wiederholung) (von k aus n Elementen). Dabei sind
Wiederholungen nicht erlaubt und die Reihenfolge
der k Elemente wird nicht berücksichtigt.
3. Bedingte Wkt
4. Klass. Wkt.
N=
n·(n−1)·...·(n−k +1)
k!
=
n
k
=
n!
.
(n−k )!k!
5. Zufallsvariablen
6. Diskrete ZV
Anzahl der 5er im Lotto: ÜA
7. Charakteristika
8. Exponential
72 / 895
Klassische kombinatorische Probleme
(6)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Kombination (mit Wiederholung)
Faßt man alle Variationen mit Wiederholung (n
1. Grundbegriffe
Elemente, Ordnung k) zu Äquivalenzklassen
2. Kombinatorik
zusammen, so daß sie aus aus den gleichen
Problemstellungen
Beispiele
Elementen der gleichen Anzahl bestehen, so heißt
Binomialkoeffizienten
Stirling-Formel
jede solche Klasse Kombination mit Wiederholung.
3. Bedingte Wkt
4. Klass. Wkt.
N=
n+k−1
k
5. Zufallsvariablen
7. Charakteristika
n = 2, k = 3: 4 Klassen:
{aaa}, {aab, aba, baa}, {abb, bab, bba}, {bbb}
8. Exponential
werden jeweils zu einer Klasse zusammengefaßt.
6. Diskrete ZV
73 / 895
Klassische kombinatorische Probleme
(6a)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Problemstellungen
Beispiele
Binomialkoeffizienten
Stirling-Formel
3. Bedingte Wkt
Erläuterung zur Kombination mit Wiederholung:
siehe Beispiele 4, 5 und 6.
(Dieses Problem wird auf den Fall unterscheidbarer
Würfel zurückgeführt.)
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
74 / 895
Klassische kombinatorische Probleme
(7)
Stochastik für
InformatikerInnen
Kombination von Elementen aus mehreren Mengen
Wolfgang Kössler
Wir betrachten beliebige Mengen S1 , . . . , Sk , wobei
1. Grundbegriffe
2. Kombinatorik
Problemstellungen
Beispiele
Binomialkoeffizienten
Stirling-Formel
Si = {si1 , . . . , sini } (i = 1, . . . , k) gilt.
Wieviel verschiedene Kombinationen von je einem
Element der Mengen S1 , . . . , Sk können gebildet
werden?
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Solche Kombinationen haben die Form
(s1i1 , . . . , skik ), wobei skik ∈ Sk gilt für alle i = 1, . . . , k.
6. Diskrete ZV
7. Charakteristika
8. Exponential
Anzahl:
N = n1 · n2 · . . . · nk .
75 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
2.1 Klassische kombinatorische Probleme
1. Grundbegriffe
2. Kombinatorik
Problemstellungen
2.2 Beispiele
2.3 Arithmetische Beziehungen zwischen den
Beispiele
Binomialkoeffizienten
Binomialkoeffizienten
Stirling-Formel
3. Bedingte Wkt
2.4 Die Stirling Formel
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
76 / 895
Beispiele (1)
Stochastik für
InformatikerInnen
Eine Gruppe von r Studenten verreist in einem Zug
Wolfgang Kössler
Die Studenten verteilen sich zufällig auf n ≥ r
1. Grundbegriffe
Abteile. Es sei A das Ereignis, daß alle Studenten in
2. Kombinatorik
verschiedenen Abteilen sitzen.
Problemstellungen
Beispiele
Binomialkoeffizienten
Stirling-Formel
3. Bedingte Wkt
4. Klass. Wkt.
n(A)
.
N
N = nr = #Möglichkeiten für die Verteilung der
P(A) =
r Studenten auf die n Abteile
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
n(A) = n · (n − 1) · . . . · (n − r + 1)
n(A)
n · (n − 1) · . . . · (n − r + 1)
P(A) =
=
.
N
nr
77 / 895
Beispiele (2)
Stochastik für
InformatikerInnen
Ziehen von Kugeln
Wolfgang Kössler
In einer Urne sollen sich n Kugeln befinden. Von
1. Grundbegriffe
2. Kombinatorik
Problemstellungen
diesen seien n1 schwarz, n − n1 dagegen weiß. Nun
werden k Kugeln (zufällig) entnommen, und zwar
Beispiele
Binomialkoeffizienten
ohne Zurücklegen.
Stirling-Formel
3. Bedingte Wkt
A: “von diesen k Kugeln genau k1 schwarz”
4. Klass. Wkt.
P(A) =
5. Zufallsvariablen
n(A)
.
N
6. Diskrete ZV
7. Charakteristika
8. Exponential
N=
n
k
=# Möglichkeiten, k Kugeln aus n Kugeln
auszuwählen.
78 / 895
Beispiele (2a)
Stochastik für
InformatikerInnen
Ziehen von Kugeln (Fortsetzung)
Wolfgang Kössler
n(A)= Anzahl der Möglichkeiten zur Entnahme von k
1. Grundbegriffe
Kugeln, bei denen genau k1 schwarze Kugeln
2. Kombinatorik
ausgewählt werden.
Problemstellungen
Beispiele
Binomialkoeffizienten
Stirling-Formel
In einem solchen Fall sind dann auch genau k − k1
weiße Kugeln entnommen worden. Also
3. Bedingte Wkt
1
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Die Anzahl der Möglichkeiten, aus n1 schwarzen
Kugeln k1 schwarze auszuwählen (ohne
Wiederholung und ohne Berücksichtigung der
Reihenfolge) ist nk11 .
79 / 895
Beispiele (2b)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Ziehen von Kugeln (Fortsetzung)
1
Die Anzahl der Möglichkeiten, aus n − n1
1. Grundbegriffe
weißen Kugeln k − k1 weiße auszuwählen
2. Kombinatorik
(ebenfalls ohne Wiederholung und ohne
Problemstellungen
Beispiele
Berücksichtigung der Reihenfolge) ist
Binomialkoeffizienten
n−n1
k−k1
.
Stirling-Formel
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
n1
n − n1
#günstige Ereignisse = n(A) =
·
k1
k −k
n−n1 1
n1
· k −k
n(A)
k
P(A) =
= 1 n 1
N
k
7. Charakteristika
8. Exponential
Hypergeometrische Wahrscheinlichkeit.
80 / 895
Beispiele (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Lotto 6 aus 49
Wenn wir uns die Zahlen als Kugeln denken, die aus
1. Grundbegriffe
einer Urne entnommen werden, und außerdem
2. Kombinatorik
gezogene Zahlen im nachhinein als schwarze
Problemstellungen
Beispiele
Kugeln ansehen, so kann jeder Tip durch die
Binomialkoeffizienten
Stirling-Formel
3. Bedingte Wkt
Entnahme von 6 Kugeln verkörpert werden. A:
Ereignis , daß vier Richtige getippt werden.
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
n = 49,
n1 = 6,
k = 6,
k1 = 4,
49−6
6
·
P(A) = 4 496−4
6
81 / 895
Beispiele (4)
Stochastik für
InformatikerInnen
1. Grundbegriffe
Zwei nicht unterscheidbare Würfel
Wie groß ist die Anzahl der Würfe mit 2 nicht zu
2. Kombinatorik
unterscheidenden Würfeln?
Wolfgang Kössler
Problemstellungen
Beispiele
Seien i, j die Augenzahlen und o.B.d.A. i ≤ j.
Binomialkoeffizienten
Stirling-Formel
Wir vergeben die Tupel (i, j), wenn i 6= j.
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Wir vergeben die Tupel (i, 7), wenn i = j.
Die gesuchte Anzahl ist die Anzahl der möglichen
Auswahlen aus der Menge {1, . . . , 7}, d.h.
7
2
.
7. Charakteristika
8. Exponential
82 / 895
Beispiele (5)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Problemstellungen
Beispiele
Binomialkoeffizienten
Stirling-Formel
3. Bedingte Wkt
Wie groß ist die Anzahl der Würfe mit 3
nicht zu unterscheidenden Würfeln?
Seien i, j, k die Augenzahlen und o.B.d.A. i ≤ j ≤ k.
Wir vergeben die Tripel
(i, j, k), wenn i < j < k.
(i, k, 7), wenn i = j < k.
(i, j, 8), wenn i < j = k.
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
(i, 7, 8), wenn i = j = k.
Die gesuchte Anzahl ist die Anzahl der möglichen
Auswahlen aus der Menge {1, . . . , 8}, d.h.
8
3
.
83 / 895
Beispiele (6)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Verteilen von n Geldstücken an k Studenten (k ≤ n)
Auf wieviele Weisen ist das möglich?
Problemstellungen
Beispiele
Binomialkoeffizienten
Stirling-Formel
3. Bedingte Wkt
4. Klass. Wkt.
a) jeder Student bekommt mindestens ein Stück.
Geldstücke nebeneinander legen und k − 1
Trennstriche verteilen unter n − 1 möglichen
N = kn−1
−1
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
84 / 895
Beispiele (6a)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Verteilen von n Geldstücken
b) es wird zugelassen, dass Studenten nichts
erhalten.
Problemstellungen
Beispiele
Trick: Borgen von k Stücken −→ n + k Stück
Binomialkoeffizienten
Stirling-Formel
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
k − 1 Trennstriche verteilen unter den jetzt
n + k − 1 möglichen
N = n+k−1
k −1
Dann gibt jeder Student genau ein Stück zurück.
7. Charakteristika
8. Exponential
85 / 895
Beispiele (6b)
Stochastik für
InformatikerInnen
Wolfgang Kössler
ein weiterer Zugang:
1. Grundbegriffe
2. Kombinatorik
Problemstellungen
Verteilen von n Geldstücken an k Studenten
Wir basteln einen Würfel mit k Flächen und würfeln n
Beispiele
Binomialkoeffizienten
mal.
Stirling-Formel
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Beim i-ten Wurf bekommt der Student das
Geldstück, dessen Nummer gewürfelt wurde.
−1
N = n+k
k −1
6. Diskrete ZV
7. Charakteristika
8. Exponential
86 / 895
Beispiele (7)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Hashing
Beobachtungen (oder Daten) abspeichern auf einem
1. Grundbegriffe
Feld.
2. Kombinatorik
k: Anzahl der Beobachtungen
Problemstellungen
Beispiele
Binomialkoeffizienten
Stirling-Formel
3. Bedingte Wkt
4. Klass. Wkt.
n: Feldlänge (k ≤ n)
Das Abspeichern geschieht mit Hilfe von
Hashfunktionen (oder Hashtafeln).
zufällige Daten: Kollisionen können auftreten.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Ak ,n : Ereignis, daß Kollisionen auftreten. ges.:
P(Ak ,n )
87 / 895
Beispiele (7a)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Hashing (Fortsetzung)
k−1
i
n(n − 1) · · · (n − k + 1) Y
=
(1 − )
P(Ak ,n ) =
k
n
n
i=0
2. Kombinatorik
Problemstellungen
Beispiele
Binomialkoeffizienten
Stirling-Formel
3. Bedingte Wkt
4. Klass. Wkt.
= exp
k −1
X
i=0
k−1
X
i
)
≤ exp(−
n
i=0
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
i ln(1 − )
n
= exp(−
(k − 1)k
k2
) ≈ exp(− )
2n
2n
ln(1 − x) < −x für x < 1
88 / 895
Beispiele (8)
Stochastik für
InformatikerInnen
Suche von Elementen. Sei n = |Ω|
Wolfgang Kössler
Greifen zufällig eine k -elementige Teilmenge A ⊆ Ω
1. Grundbegriffe
heraus.
2. Kombinatorik
ω1 , ...: Schlüsselelemente (vorgegeben), ω1 , ... ∈ Ω
Problemstellungen
Beispiele
Binomialkoeffizienten
Stirling-Formel
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Frage: Mit welcher Wkt. ω1 ∈ A?
n−1
P(A) =
k −1
n
k
=
k
n
Frage: Mit welcher Wkt. ω1 , . . . , ωr ∈ A?
n−r
k(k − 1) · · · (k − r + 1)
k−r
P(A) = n =
n(n − 1) · · · (n − r + 1)
k
89 / 895
Beispiele (8a)
Stochastik für
InformatikerInnen
Suche von Elementen (Fortsetzung)
Wolfgang Kössler
Sei r fest,
1. Grundbegriffe
≈
2. Kombinatorik
P(A) ≥
Problemstellungen
Beispiele
Binomialkoeffizienten
Stirling-Formel
k
n
→ p: P(A) ∼ pr
1
,
2
falls pr ≥
1
2
falls k ≥
Soll also die Wkt., daß alle r Schlüsselelemente in
3. Bedingte Wkt
der Teilmenge enthalten sind, größer als
4. Klass. Wkt.
muß
5. Zufallsvariablen
k≥
6. Diskrete ZV
7. Charakteristika
8. Exponential
n
21/r
1
2
sein, so
n
21/r
gewählt werden.
90 / 895
Kombinatorik
Zusammenfassung
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
n: # Elemente = |Ω|
k: # auszuwählende Elemente
k1 , . . . , km : Häufigkeit der einzelnen Elemente
Problemstellungen
Beispiele
Binomialkoeffizienten
Stirling-Formel
ohne Wiederholung
mit Wiederhol.
n!
n!
k1 !···km !
n(n − 1) · · · (n − k + 1)
nk
n
k
n+k −1
k
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Permutationen
Variationen
Kombinationen
91 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
2.1 Klassische kombinatorische Probleme
1. Grundbegriffe
2. Kombinatorik
Problemstellungen
2.2 Beispiele
2.3 Arithmetische Beziehungen zwischen den
Beispiele
Binomialkoeffizienten
Binomialkoeffizienten
Stirling-Formel
3. Bedingte Wkt
2.4 Die Stirling Formel
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
92 / 895
2.3 Arithmetische Beziehungen
zwischen den Binomialkoeffizienten
Stochastik für
InformatikerInnen
(1)
1.
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
2.
Problemstellungen
Beispiele
n
n
=
k
n−k
n
n−1
n−1
=
+
k
k
k −1
Binomialkoeffizienten
Stirling-Formel
3.
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
n X
n
k=0
4.
n
X
k =0
k
= 2n
n
(−1)
=0
k
k
93 / 895
Arithmetische Beziehungen zwischen
den Binomialkoeffizienten (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
5.
n 2
X
n
1. Grundbegriffe
2. Kombinatorik
k =0
k
=
2n
n
Problemstellungen
Beispiele
6.
Binomialkoeffizienten
Stirling-Formel
i=0
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
n X
m
n
n+m
=
k −i
k
i
7.
n
X
n
= n · 2n−1
k
k
k =1
7. Charakteristika
8. Exponential
94 / 895
Arithmetische Beziehungen zwischen
den Binomialkoeffizienten (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
8. Definieren die Folge
b n+1
c
2
1. Grundbegriffe
Sn =
2. Kombinatorik
X
k =0
Problemstellungen
n−k
k
Beispiele
Binomialkoeffizienten
Stirling-Formel
Zeigen Sie: Sn+1 = Sn + Sn−1 .
3. Bedingte Wkt
Beweis:
4. Klass. Wkt.
vollständige Induktion
5. Zufallsvariablen
3 Methoden,
algebraisch
6. Diskrete ZV
7. Charakteristika
8. Exponential
kombinatorisch
teilweise Übungsaufgabe, teilweise Übung
2
95 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
2.1 Klassische kombinatorische Probleme
1. Grundbegriffe
2. Kombinatorik
Problemstellungen
2.2 Beispiele
2.3 Arithmetische Beziehungen zwischen den
Beispiele
Binomialkoeffizienten
Binomialkoeffizienten
Stirling-Formel
3. Bedingte Wkt
2.4 Die Stirling Formel
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
96 / 895
2.4 Die Stirling Formel
Stochastik für
InformatikerInnen
Satz: Es gilt
Wolfgang Kössler
1. Grundbegriffe
n! ∼
√
n
n
2πn
.
e
2. Kombinatorik
Problemstellungen
Beispiele
Binomialkoeffizienten
Stirling-Formel
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Beweis: Die Aussage des Satzes ist äquivalent zu
√
1
ln n! ∼ ln 2π + (n + ) ln n − n.
2
Sei
1
dn := ln n! − (n + ) ln n + n.
2
Es genügt zu zeigen,
√
lim dn = ln 2π.
n→∞
8. Exponential
97 / 895
Beweis der Stirling-Formel (2)
Stochastik für
InformatikerInnen
Wir schätzen die Differenz dn − dn+1 ab, dann das
Wolfgang Kössler
Verhalten der Folge {dn } und versuchen den
1. Grundbegriffe
Grenzwert zu bestimmen. Die Differenz dn − dn+1 ist
= ln n! − ln(n + 1)!
1
1
−(n + ) ln n + (n + 1 + ) ln(n + 1) + n − (n + 1)
2
2
n!
= ln (n+1)!
+ (n + 12 )(ln(n + 1) − ln n) + ln(n + 1) − 1
1
n+1
= − ln(n + 1) + (n + ) ln
+ ln(n + 1) − 1
2
n
2n + 1 n + 1
=
ln
−1
2
n
1
1 1 + 2n+1
= (2n + 1) · ln
− 1.
1
2 1 − 2n+1
2. Kombinatorik
Problemstellungen
Beispiele
Binomialkoeffizienten
Stirling-Formel
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
98 / 895
Beweis der Stirling-Formel (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Es gilt für −1 < x < 1:
1. Grundbegriffe
2. Kombinatorik
ln(1 + x) =
Problemstellungen
Beispiele
Binomialkoeffizienten
Stirling-Formel
ln(1 − x) =
5. Zufallsvariablen
i=1
∞
X
i=1
3. Bedingte Wkt
4. Klass. Wkt.
∞
X
ln
1+x
1−x
(−1)i+1
xi
i
(−1)i+1
(−x)i
i
= ln(1 + x) − ln(1 − x) = 2
∞
X
x 2i+1
2i + 1
i=0
6. Diskrete ZV
7. Charakteristika
8. Exponential
99 / 895
Beweis der Stirling-Formel (4)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
dn − dn+1
1
2n+1
und erhalten (x 6= 0)
∞
X
1
1 1
2i+1
· ·2 x +
x
−1
=
x 2
2i + 1
Setzen x :=
i=1
2. Kombinatorik
Problemstellungen
Beispiele
=
Binomialkoeffizienten
i=1
Stirling-Formel
3. Bedingte Wkt
<
6. Diskrete ZV
7. Charakteristika
8. Exponential
1
1
2i + 1 (2n + 1)2i
∞
X
1
i=1
4. Klass. Wkt.
5. Zufallsvariablen
∞
X
1
3 (2n + 1)2i
1
1
1
− 1 wobei q =
3 1−q
(2n + 1)2
1
=
3((2n + 1)2 − 1)
=
100 / 895
Beweis der Stirling-Formel (5)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Offenbar gilt auch
1. Grundbegriffe
2. Kombinatorik
Problemstellungen
Beispiele
1
X 1
1
1
=
·
< dn − dn+1 ,
2
3(2n + 1)
2i + 1 (2n + 1)2i
i=1
Binomialkoeffizienten
Stirling-Formel
also
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
1
1
< dn − dn+1 <
.
2
3(2n + 1)
3((2n + 1)2 − 1)
6. Diskrete ZV
7. Charakteristika
8. Exponential
101 / 895
Beweis der Stirling-Formel (6)
Abschätzung der Schranken
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Problemstellungen
Beispiele
Binomialkoeffizienten
Stirling-Formel
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
1
1
1
1
=
=
−
3((2n + 1)2 −1)
12n(n + 1)
12n 12(n + 1)
1
12
1
=
=
3(2n + 1)2
12n(n + 1) + 3
12(12n(n + 1) +
12
=
12 · 12n(n + 1) + 36
12
>
2
12 · 12n + 12 · 12n + 24n + 13
12
=
12 · 12n2 + 12 · 14n + 13
12
=
(12n + 1)(12n + 13)
1
1
=
−
12n + 1 12(n + 1) + 1
102 / 895
Beweis der Stirling-Formel (7)
Stochastik für
InformatikerInnen
Beide Ungleichungen zusammen
Wolfgang Kössler
1. Grundbegriffe
1
1
1
1
−
< dn −dn+1 <
−
12n + 1 12(n + 1) + 1
12n 12(n + 1)
2. Kombinatorik
Problemstellungen
Beispiele
Binomialkoeffizienten
Stirling-Formel
3. Bedingte Wkt
4. Klass. Wkt.
(dn −
1
1
) − (dn+1 −
)<0<
12n
12(n + 1)
1
1
) − (dn+1 −
)
(dn −
12n + 1
12(n + 1) + 1
5. Zufallsvariablen
6. Diskrete ZV
Folge {dn −
7. Charakteristika
Folge {dn −
8. Exponential
1
} ist monoton fallend
12n+1
1
} ist monoton wachsend.
12n
103 / 895
Beweis der Stirling-Formel (8)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Problemstellungen
Beispiele
Binomialkoeffizienten
Stirling-Formel
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Beide Folgen haben denselben Grenzwert
c := lim dn ,
1
1
< c < dn −
12n
12n + 1
1
1
c+
< dn < c +
12n + 1
12n
dn −
Erinnerung:
1
dn = ln n! − (n + ) ln n + n
2
1
n
−n
n− 2
⇒ edn = n!
e
104 / 895
Beweis der Stirling-Formel (9)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
1
2. Kombinatorik
Problemstellungen
Beispiele
Binomialkoeffizienten
Stirling-Formel
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
ec+ 12n+1
1
ec e 12n+1
√ n n 1
ec n
e 12n+1
e
1
ec+ 12n
< edn <
−n − 1
1
< n! en
n 2 < ec e 12n
√ n n 1
< n! <
ec n
e 12n
e
Bleibt zu zeigen
ec =
√
2π.
6. Diskrete ZV
7. Charakteristika
8. Exponential
105 / 895
Beweis der Stirling-Formel (10)
Hilfsrechnungen
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Z
0
Z
In
Problemstellungen
Beispiele
Binomialkoeffizienten
Stirling-Formel
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
π/2
sinn−1 x · sin x dx
0
π/2
= sinn−1 x · (− cos x)0 −
Z π/2
(n − 1) sinn−2 x cos x · (− cos x) dx
0
Z π/2
= (n − 1)
sinn−2 x(1 − sin2 x) dx
=
0
6. Diskrete ZV
8. Exponential
sinn x dx
In :=
2. Kombinatorik
7. Charakteristika
π/2
In
= (n − 1)(In−2 − In )
n−1
=
In−2
n
106 / 895
Beweis der Stirling-Formel (11)
Hilfsrechnungen (Fortsetzung, 1)
Stochastik für
InformatikerInnen
Wolfgang Kössler
I1 = 1
I2
I3 =
1. Grundbegriffe
2. Kombinatorik
Problemstellungen
π
2
1
1 π
=
I0 = ·
2
2 2
I0 =
2
2
I1 =
3
3
Beispiele
Binomialkoeffizienten
Stirling-Formel
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
1 · 3 · 5 · · · (2n − 1) π
2 · 4 · 6 · · · (2n) 2
2 · 4 · 6 · · · (2n)
=
3 · 5 · 7 · · · (2n + 1)
I2n =
I2n+1
6. Diskrete ZV
7. Charakteristika
8. Exponential
107 / 895
Beweis der Stirling-Formel (12)
Hilfsrechnungen (Fortsetzung, 2)
Stochastik für
InformatikerInnen
0<x <
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
π
2
⇒
0 < sin x < 1
⇒
sin2n−1 x > sin2n x > sin2n+1 x
⇒
I2n−1 > I2n > I2n+1
Problemstellungen
Beispiele
Binomialkoeffizienten
Stirling-Formel
3. Bedingte Wkt
⇒
⇒
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
⇒
⇒
I2n−1
I2n
> I2n+1
>1
I2n+1
2n+1
> 1·3·3·5·5·7···(2n−1)·(2n+1)
· π2 >
2n
2·2·4·4·6·6···(2n)·(2n)
lim 1·3·3·5·5·7···(2n−1)·(2n+1)
· π2 = 1
2·2·4·4·6·6···(2n)·(2n)
2
2·4·6···(2n)
π
1
· 2n+1
= lim 1·3·5···(2n−1)
2
4n
1
4
2 (n!)
= lim ((2n)!)
2 (2n+1)
108 / 895
Beweis der Stirling-Formel (13)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Problemstellungen
Beispiele
√
n! = ec nnn e−n eαn
√
(2n)! = ec 2n22n n2n e−2n eβn
Binomialkoeffizienten
Stirling-Formel
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
wobei limn→∞ αn = limn→∞ βn = 0.
Einsetzen oben liefert
ec =
√
2π.
6. Diskrete ZV
7. Charakteristika
8. Exponential
109 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Einführung
Totale Wkt
Satz von Bayes
Anwendungen
3.1 Einführung
3.2 Satz der Totalen Wahrscheinlichkeit
3.3 Satz von Bayes
3.4 Anwendung bedingter
Wahrscheinlichkeiten
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
110 / 895
3. Bedingte Wahrscheinlichkeit
3.1 Einführung
Stochastik für
InformatikerInnen
Wolfgang Kössler
3-maliges Werfen einer Münze
Menge der Elementarereignisse:
1. Grundbegriffe
Ω = {zzz, zzw, zwz, wzz, zww, wzw, wwz, www}.
2. Kombinatorik
|Ω| = 23 = 8 = N Wir definieren zwei Ereignisse:
3. Bedingte Wkt
Einführung
Totale Wkt
Satz von Bayes
Anwendungen
4. Klass. Wkt.
A: Das Wappen fällt genau einmal, d.h.
n(A)
3
A = {zzw, zwz, wzz}.
P(A) =
= .
N
8
B: # Wappenwürfe ungerade,d.h.:
5. Zufallsvariablen
6. Diskrete ZV
B = {zzw, zwz, wzz, www}. P(B) =
4
n(B)
=
N
8
7. Charakteristika
8. Exponential
Offenbar A ⊂ B.
111 / 895
3-maliges Werfen einer Münze
(Fortsetz.)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Einführung
Totale Wkt
Satz von Bayes
Anwendungen
Angenommen, Ereignis B sei bereits eingetreten.
Wahrscheinlichkeit, daß unter dieser Bedingung das
Ereignis A eintritt?
Bei diesem Experiment ist die Menge der
Elementarereignisse die Menge B. Damit gilt N = 4.
Folglich erhalten wir:
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
P(A, falls B bereits eingetreten ist) = P(A/B) =
3
.
4
7. Charakteristika
8. Exponential
112 / 895
Bedingte Wahrscheinlichkeit
Einführung (2)
Stochastik für
InformatikerInnen
Def. 10 (Bedingte Wahrscheinlichkeit)
Wolfgang Kössler
1. Grundbegriffe
Es seien A, B ∈ E zwei zufällige Ereignisse und es
2. Kombinatorik
gelte P(B) > 0. Dann wird
3. Bedingte Wkt
Einführung
P(A/B) =
Totale Wkt
Satz von Bayes
Anwendungen
4. Klass. Wkt.
P(A ∩ B)
.
P(B)
als bedingte Wahrscheinlichkeit von A unter der
Bedingung B bezeichnet.
5. Zufallsvariablen
6. Diskrete ZV
Bem.: Oft wird auch die folgende Bezeichnung
7. Charakteristika
verwendet: PB (A) := P(A/B).
8. Exponential
113 / 895
Bedingte Wahrscheinlichkeit
Einführung (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Bem.: Wir unterscheiden folgende Fälle:
1
1. Grundbegriffe
A ⊇ B: Dann gilt:
2. Kombinatorik
P(A/B) =
3. Bedingte Wkt
Einführung
2
A ⊆ B:
P(A ∩ B)
P(B)
=
=1
P(B)
P(B)
Dann gilt:
Totale Wkt
Satz von Bayes
P(A/B) =
Anwendungen
4. Klass. Wkt.
P(A)
P(A ∩ B)
=
P(B)
P(B)
5. Zufallsvariablen
A ∩ B 6= ∅ (teilweise Überschneidung):
6. Diskrete ZV
Dann gilt:
3
7. Charakteristika
8. Exponential
P(A/B) =
P(A ∩ B)
P(B)
114 / 895
Unabhängigkeit
Definition
Stochastik für
InformatikerInnen
1. Grundbegriffe
Def. 11 (Unabhängigkeit)
Zwei Ereignisse A, B ∈ E heißen
2. Kombinatorik
unabhängig, wenn gilt:
Wolfgang Kössler
3. Bedingte Wkt
Einführung
Totale Wkt
P(A/B) = P(A).
Satz von Bayes
Anwendungen
4. Klass. Wkt.
5. Zufallsvariablen
Bem.: Für zwei unabhängige Ereignisse gilt:
P(A ∩ B) = P(A) · P(B).
6. Diskrete ZV
7. Charakteristika
8. Exponential
115 / 895
Unabhängigkeit
Beispiel
Stochastik für
InformatikerInnen
Skatspiel mit 32 Karten
Wolfgang Kössler
Daraus wird eine Karte gezogen. (N = |Ω| = 32).
1. Grundbegriffe
Wir betrachten die zufälligen Ereignisse:
2. Kombinatorik
3. Bedingte Wkt
Einführung
Totale Wkt
Satz von Bayes
Anwendungen
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
A: Ziehen eines Königs.
n(A)
4
1
P(A) =
=
= .
N
32
8
B: Ziehen einer Herzkarte.
n(B)
8
1
P(B) =
=
= .
N
32
4
Sind diese beiden Ereignisse voneinander
unabhängig?
116 / 895
Unabhängigkeit
Beispiel (Fortsetzung)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Skatspiel mit 32 Karten, Fortsetzung
Offenbar P(B) > 0. Es sei eine Herzkarte gezogen
1. Grundbegriffe
worden (Ereignis B also eingetreten).
2. Kombinatorik
3. Bedingte Wkt
Einführung
Wahrscheinlichkeit, daß dann der Herzkönig
gezogen wurde:
Totale Wkt
Satz von Bayes
Anwendungen
4. Klass. Wkt.
P(A ∩ B)
P(A/B) =
=
P(B)
1
32
1
4
=
1
= P(A).
8
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Folglich sind nach Definition die Ereignisse A und B
voneinander unabhängig.
117 / 895
PB ist Wahrscheinlichkeit
Stochastik für
InformatikerInnen
Wolfgang Kössler
Satz:
Es seien A, B ∈ E zwei Ereignisse, wobei P(B) > 0
1. Grundbegriffe
gelte. Dann genügt die bedingte Wahrscheinlichkeit
2. Kombinatorik
PB den KOLMOGOROV–Axiomen. D.h. das Tripel
3. Bedingte Wkt
(Ω, E, PB ) ist ein Wahrscheinlichkeitsraum.
Einführung
Totale Wkt
Satz von Bayes
Beweis: Wir zeigen stellvertretend Axiom 2. Es gilt:
Anwendungen
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
PB (Ω) = P(Ω/B)
P(Ω ∩ B)
P(B)
=
=
=1
P(B)
P(B)
Die anderen beiden Axiome (vgl. Definition 7) sind
ebenfalls erfüllt.
2
118 / 895
Bedingte Wahrscheinlichkeit
Stochastik für
InformatikerInnen
Wolfgang Kössler
Satz
Es seien A, B, C ∈ E drei Ereignisse. Dann gilt:
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Einführung
Totale Wkt
Satz von Bayes
Anwendungen
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
PB (A/C) = P(A/B ∩ C).
Beweis: Es gilt:
PB (A ∩ C)
PB (A/C) =
PB (C)
P(A ∩ C/B)
=
P(C/B)
P(A ∩ B ∩ C) · P(B)
=
P(B) · P(B ∩ C)
P(A ∩ B ∩ C)
=
= P(A/B ∩ C)
P(B ∩ C)
2
119 / 895
Unabhängigkeit
Fortsetzung (1)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Einführung
Lemma
Es seien A, B ∈ E zwei unabhängige Ereignisse.
Dann sind die Ereignisse A und B ebenfalls
unabhängig. Gleiches gilt für die Ereignisse A und B
Totale Wkt
Satz von Bayes
sowie für A und B.
Anwendungen
4. Klass. Wkt.
Beweis: Wir zeigen die Aussage am Beispiel der
5. Zufallsvariablen
Ereignisse A und B. Es gilt:
6. Diskrete ZV
7. Charakteristika
8. Exponential
120 / 895
Unabhängigkeit
Fortsetzung (2)
Stochastik für
InformatikerInnen
Beweis des Lemma, Fortsetzung
Wolfgang Kössler
P(A/B) =
1. Grundbegriffe
2. Kombinatorik
=
3. Bedingte Wkt
Einführung
Totale Wkt
=
Satz von Bayes
Anwendungen
4. Klass. Wkt.
=
5. Zufallsvariablen
6. Diskrete ZV
=
P(A ∩ B)
P(B)
P(A \ (A ∩ B))
(Folgerung 2.1))
1 − P(B)
P(A) − P(A ∩ B)
(Folgerung 2.3b))
1 − P(B)
P(A) − P(A)P(B)
1 − P(B)
P(A)(1 − P(B))
= P(A)
1 − P(B)
7. Charakteristika
8. Exponential
Diese beiden Ereignisse sind folglich unabhängig. 121 / 895
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Beweis des Lemma, Fortsetzung
Zusammenfassend gilt
P(A/B) = P(A) ⇐⇒ P(A/B) = P(A)
2. Kombinatorik
3. Bedingte Wkt
Einführung
Totale Wkt
⇐⇒ P(A/B) = P(A)
⇐⇒ P(A/B) = P(A)
Satz von Bayes
Anwendungen
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
122 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Einführung
Totale Wkt
Satz von Bayes
Anwendungen
3.1 Einführung
3.2 Satz der Totalen Wahrscheinlichkeit
3.3 Satz von Bayes
3.4 Anwendung bedingter
Wahrscheinlichkeiten
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
122 / 895
3.2 Satz der Totalen
Wahrscheinlichkeit
Stochastik für
InformatikerInnen
Def. 12 (Vollständigkeit)
Wolfgang Kössler
Es sei (Ω, E, P) ein Wahrscheinlichkeitsraum. Eine
1. Grundbegriffe
Folge von Ereignissen
2. Kombinatorik
{An }∞
n=1 (An ∈ E, ∀n ∈ N)
3. Bedingte Wkt
Einführung
Totale Wkt
Satz von Bayes
Anwendungen
4. Klass. Wkt.
5. Zufallsvariablen
heißt vollständig (oder ausschöpfend), falls folgende
Bedingungen erfüllt sind:
∞
S
1
An = Ω;
n=1
6. Diskrete ZV
7. Charakteristika
8. Exponential
2
Ai ∩ Aj = ∅, für alle i 6= j.
123 / 895
Satz der Totalen Wahrscheinlichkeit
Stochastik für
InformatikerInnen
1. Grundbegriffe
Satz
Es sei A1 , A2 , . . . eine vollständige Folge von
2. Kombinatorik
Ereignissen. Weiterhin sei B ein beliebiges Ereignis
3. Bedingte Wkt
und es gelte P(Ai ) 6= 0 für alle i . Dann gilt:
Wolfgang Kössler
Einführung
Totale Wkt
Satz von Bayes
Anwendungen
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
P(B) =
∞
X
P(B|Ai )P(Ai ).
i=1
Dieser Ausdruck heißt
Formel der totalen Wahrscheinlichkeit.
7. Charakteristika
8. Exponential
124 / 895
Satz der Totalen Wahrscheinlichkeit
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
S
S∞
Beweis: Aus B = B ∩ ( ∞
i=1 Ai ) =
i=1 (B ∩ Ai ) folgt
(da die (B ∩ Ai ) ebenfalls unvereinbar sind):
!
∞
[
P(B) = P
(B ∩ Ai )
i=1
Einführung
Totale Wkt
Satz von Bayes
Anwendungen
=
6. Diskrete ZV
7. Charakteristika
8. Exponential
P(B ∩ Ai )
i=1
4. Klass. Wkt.
5. Zufallsvariablen
∞
X
=
∞
X
P(B|Ai )P(Ai )
i=1
2
125 / 895
Satz der Totalen Wahrscheinlichkeit
Beispiel
Stochastik für
InformatikerInnen
Binärkanal
Wolfgang Kössler
Bei der Übertragung auf einem binären kanal
1. Grundbegriffe
kommen die Zeichen ‘0’ und ‘1’ im Verhältnis 3:4 vor.
2. Kombinatorik
Ein ‘0’ wird mit Wkt. von 0.2 fehlerhaft übertragen
3. Bedingte Wkt
Ein ‘1’ wird mit Wkt. von 0.3 fehlerhaft übertragen
Einführung
Totale Wkt
Satz von Bayes
ges.: Wkt. für eine fehlerhafte Übertragung?
Anwendungen
4. Klass. Wkt.
Wkt., dass ein ‘0’ empfangen wird?
5. Zufallsvariablen
Ereignisse:
6. Diskrete ZV
S0 : ‘0’ wird gesendet,
P(S0 ) =
7. Charakteristika
S1 : ‘1’ wird gesendet,
P(S1 ) =
8. Exponential
E0 : ‘0’ wird empfangen,
3
7
4
7
E1 : ‘1’ wird empfangen
126 / 895
Satz der Totalen Wahrscheinlichkeit
Beispiel
Stochastik für
InformatikerInnen
Binärkanal, Fortsetzung
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
P(E1 |S0 ) = 0.2,
P(E0 |S1 ) = 0.3
F : Ereignis, das ein Übertragungsfehler vorliegt
3. Bedingte Wkt
Einführung
Totale Wkt
P(F ) = P(E1 , S0 ) + P(E0 , S1 )
Satz von Bayes
Anwendungen
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
= P(E1 |S0 ) · P(S0 ) + P(E0 |S1 ) · P(S1 )
1 3
3 4
18
=
· +
· =
≈ 0.2571
5 7 10 7
70
P(E0 ) = P(E0 |S0 ) · P(S0 ) + P(E0 |S1 ) · P(S1 )
8 3
3 4
18
=
· +
· =
≈ 0.5143
10 7 10 7
35
127 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Einführung
Totale Wkt
Satz von Bayes
Anwendungen
3.1 Einführung
3.2 Satz der Totalen Wahrscheinlichkeit
3.3 Satz von Bayes
3.4 Anwendung bedingter
Wahrscheinlichkeiten
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
128 / 895
3.3 Satz von Bayes
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Gegeben: P(Ai ) und P(A/Ai ), (i ∈ N).
2. Kombinatorik
3. Bedingte Wkt
Gesucht: P(Ai /A).
Einführung
Totale Wkt
Unter Benutzung der Definition der bedingte
Satz von Bayes
Anwendungen
4. Klass. Wkt.
Wahrscheinlichkeit und der Formel für die totale
Wahrscheinlichkeit erhalten wir:
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
129 / 895
Satz von Bayes
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Einführung
P(Ai ∩ A)
P(A)
P(Ai ) · P(A/Ai )
=
P(A)
P(Ai /A) =
Totale Wkt
Satz von Bayes
Wenden die Formel der totalen Wkt an,
Anwendungen
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Satz von B AYES, Formel von B AYES
P(Ai ) · P(A/Ai )
P(Ai /A) = P
∞
(P(A/Aj ) · P(Aj ))
j=1
130 / 895
Satz von Bayes
Beispiel
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Einführung
Totale Wkt
Satz von Bayes
Anwendungen
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Binärkanal, Fortsetzung
P(E0 |S0 )P(S0 )
P(E0 |S0 )P(S0 ) + P(E0 |S1 )P(S1 )
8
·3
2
24
10 7
=
= 8 3
=
3
4
24 + 12
3
· + 10 · 7
10 7
P(S0 |E0 ) =
P(E1 |S1 )P(S1 )
P(E1 |S0 )P(S0 ) + P(E1 |S1 )P(S1 )
7
·4
28
14
10 7
= 2 3
=
=
7
4
28 + 6
17
· + 10 · 7
10 7
P(S1 |E1 ) =
7. Charakteristika
8. Exponential
131 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Einführung
Totale Wkt
Satz von Bayes
Anwendungen
3.1 Einführung
3.2 Satz der Totalen Wahrscheinlichkeit
3.3 Satz von Bayes
3.4 Anwendung bedingter
Wahrscheinlichkeiten
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
132 / 895
3.4 Anwendung bedingter Wktn.
Expertensystem
Stochastik für
InformatikerInnen
Wolfgang Kössler
Aufbau der Wissensbasis:
1. Grundbegriffe
2. Kombinatorik
Ki – bestimmte Ereignisse (z.B. Krankheiten)
3. Bedingte Wkt
Einführung
Totale Wkt
Satz von Bayes
Anwendungen
4. Klass. Wkt.
P0 (Ki ) – a–priori–Wahrscheinlichkeit für Ki
Sj – bestimmte Symptome
P(S/K ) – Wkt für Symptom S, falls K vorliegt
5. Zufallsvariablen
6. Diskrete ZV
P(S/K ) – Wkt für Symptom S, falls K nicht vorliegt
7. Charakteristika
8. Exponential
133 / 895
Expertensystem (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
“Inferenzmaschine”
1. Grundbegriffe
2. Kombinatorik
P(K |S) =
3. Bedingte Wkt
Einführung
Totale Wkt
Satz von Bayes
Anwendungen
P(K |S) =
P(S|K ) · P(K )
P(S)
P(S|K ) · P(K )
P(S)
P(S) = P(S|K ) · P(K ) + P(S|K ) · P(K )
4. Klass. Wkt.
5. Zufallsvariablen
P(S) = 1 − P(S)
6. Diskrete ZV
7. Charakteristika
8. Exponential
134 / 895
Expertensystem (3)
Stochastik für
InformatikerInnen
Arbeitsweise:
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Krankheiten K1 , . . . , KK
Symptome S1 , . . . , SS
3. Bedingte Wkt
Einführung
I0 = {1, . . . , K }
Totale Wkt
Indexmenge der möglichen
Krankheiten (wird laufend aktualisiert)
Satz von Bayes
Anwendungen
4. Klass. Wkt.
J = {1, . . . , S}
5. Zufallsvariablen
l:
6. Diskrete ZV
l = 0;
7. Charakteristika
P0 = P;
8. Exponential
Indexmenge der Symptome
laufender Index
ärztliches (Basis-)Wissen
∀(i, j) ∈ Il xJ:
135 / 895
Expertensystem (4)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Einführung
Totale Wkt
Satz von Bayes
Berechnen der bedingten Wahrscheinlichkeiten
Pl (Sj ) := P(Sj |Ki ) · Pl (Ki ) + P(Sj |K i ) · Pl (K i )
P(Sj |Ki ) · Pl (Ki )
Pl (Ki |Sj ) =
P(Sj )
Anwendungen
4. Klass. Wkt.
Pl (Ki |S j ) =
Pl (Sj |Ki ) · Pl (Ki )
Pl (S j )
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
136 / 895
Expertensystem (5)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
A. Bestimmen des Symptoms, das am besten die
2. Kombinatorik
Menge der Krankheiten charakterisiert
X
r (j) :=
|Pl (Ki |Sj ) − P(Ki |S j )| ∀ j ∈ J;
3. Bedingte Wkt
Einführung
Totale Wkt
Satz von Bayes
i∈Il
Anwendungen
4. Klass. Wkt.
jl := argmaxj∈J r (j) das Symptom mit dem größten r (j).
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
137 / 895
Expertensystem (6)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Einführung
Totale Wkt
Satz von Bayes
Anwendungen
4. Klass. Wkt.
B. Frage an den Patienten nach Symptom Sjl
P(Ki ) wird aktualisiert:


P (K |S )


 l i jl
Pl+1 (Ki ) = Pl (Ki |S jl )



P (K )
l
i
falls JA
falls NEIN
falls WEIS NICHT
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
138 / 895
Expertensystem (7)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Aktualisieren der bedingten Wktn.
1. Grundbegriffe
∀(i, j) ∈ Il xJ:
2. Kombinatorik
3. Bedingte Wkt
Einführung
Totale Wkt
Satz von Bayes
Anwendungen
4. Klass. Wkt.
5. Zufallsvariablen
Pl+1 (Sj ) := P(Sj |Ki ) · Pl+1 (Ki ) + P(Sj |K i ) · Pl+1 (K i )
P(Sj |Ki ) · Pl+1 (Ki )
Pl+1 (Ki |Sj ) :=
P(Sj )
Pl+1 (Ki |S j ) :=
P(Sj |Ki ) · Pl+1 (Ki )
P(S j )
6. Diskrete ZV
7. Charakteristika
8. Exponential
139 / 895
Expertensystem (8)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
C: Bestimmen des Symptoms, das am besten die
Krankheit i charakterisiert
Einführung
Totale Wkt
Satz von Bayes
Anwendungen
mi := max |Pl+1 (Ki |Sj ) − Pl+1 (Ki |S j )|,
j∈J
∀i ∈ Il
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
140 / 895
Expertensystem (9)
Stochastik für
InformatikerInnen
Krankheiten mit zu kleinen Abständen werden aus
Wolfgang Kössler
der Indexmenge entfernt.
1. Grundbegriffe
Symptom jl ist abgearbeitet.
2. Kombinatorik
Il+1 = Il \ {i ∈ Il : mi < c}
3. Bedingte Wkt
Jl+1 = Jl \ {jl };
Einführung
Totale Wkt
Satz von Bayes
Anwendungen
l := l + 1;
4. Klass. Wkt.
Abbruchbedingung nicht erfüllt: goto A.
5. Zufallsvariablen
Abbruchbedingung, z.B.
6. Diskrete ZV
7. Charakteristika
8. Exponential
Il = Il+1 , Sjl = Sjl+1 , Il+1 = {i} oder Jl+1 = ∅
end.
141 / 895
Ein–Prozessorsystem mit I/O–Einheit
Stochastik für
InformatikerInnen
Wolfgang Kössler
Langzeitverhalten eines
Ein–Prozessorsystems mit einer I/O–Einheit
1. Grundbegriffe
2. Kombinatorik
Wir betrachten ein Ein–Prozessorsystem, das auf
3. Bedingte Wkt
folgende Weise arbeiten soll: Wenn ein Programm
Einführung
Totale Wkt
beendet wird, so wird mit Wahrscheinlichkeit p
Satz von Bayes
Anwendungen
4. Klass. Wkt.
5. Zufallsvariablen
(0 < p < 1) die I/O–Einheit aktiviert, und mit
Wahrscheinlichkeit q = 1 − p erfolgt ein erneuter
Programmstart. Nach Beendigung eines
6. Diskrete ZV
7. Charakteristika
8. Exponential
I/O–Vorgangs wird immer ein neues Programm
gestartet.
142 / 895
Ein–Prozessorsystem mit I/O–Einheit
(2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Frage: Mit welcher Wahrscheinlichkeit befindet sich
das System im n–ten Zyklus im Programmzustand?
1. Grundbegriffe
2. Kombinatorik
Wir legen fest (n = 1, 2, 3, . . .):
3. Bedingte Wkt
Einführung
An - Ereignis, daß im n–ten Zyklus ein Programm
Totale Wkt
Satz von Bayes
startet
Anwendungen
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
An - Ereignis, daß im n–ten Zyklus die I/O–Einheit
aktiviert wird
gesucht: P(An ) . Langzeitverhalten ( lim P(An )).
n→∞
143 / 895
Ein–Prozessorsystem mit I/O–Einheit
(3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
P(A1 ) = 1, denn es wird beim Einschalten des
Systems immer mit einem Programm begonnen.
1. Grundbegriffe
2. Kombinatorik
Aus der anfangs angegebenen Beschreibung der
3. Bedingte Wkt
Arbeitsweise des Systems folgt:
Einführung
Totale Wkt
P(An+1 /An ) = q = 1 − p
Satz von Bayes
Anwendungen
P(An+1 /An ) = p
4. Klass. Wkt.
5. Zufallsvariablen
P(An+1 /An ) = 0
6. Diskrete ZV
P(An+1 /An ) = 1
7. Charakteristika
8. Exponential
qn := P(An ). Die ersten drei Werte sind:
144 / 895
Einprozessorsystem mit I/O–Einheit
(4)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Einführung
Totale Wkt
Satz von Bayes
Anwendungen
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
q1 = P(A1 ) = 1
q2 = P(A2 )
= P(A2 /A1 ) · P(A1 ) + P(A2 /A1 ) · P(A1 ) totale W.
|
{z
}
=0
= q =1−p
q3 = P(A3 )
= P(A3 /A2 ) · P(A2 ) + P(A3 /A2 ) · P(A2 )
= q · q + 1 · (1 − q) = (1 − p)2 + p = 1 − p + p2
145 / 895
Einprozessorsystem mit I/O–Einheit
(5)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Vermutung:
1. Grundbegriffe
2. Kombinatorik
qn = P(An ) =
3. Bedingte Wkt
n−1
X
(−p)i .
i=0
Einführung
Totale Wkt
Beweis: (vollständige Induktion):
Satz von Bayes
Anwendungen
IA: Es sei n = 1: q1 = 1.
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
IS: Wir nehmen an, daß die Formel für n gilt. Wir
zeigen die Gültigkeit für n + 1:
7. Charakteristika
8. Exponential
146 / 895
Einprozessorsystem mit I/O–Einheit
(6)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
qn+1 = P(An+1 )
2. Kombinatorik
= P(An+1 /An ) · P(An ) + P(An+1 /An ) · P(An )
3. Bedingte Wkt
= q · qn + 1 · (1 − qn ) = 1 + (q − 1) · qn
Einführung
Totale Wkt
Satz von Bayes
Anwendungen
4. Klass. Wkt.
= 1 − p · qn
n−1
X
= 1−p·
(−p)i (nach IV)
i=0
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
= 1+
n
X
i=1
i
(−p) =
n
X
(−p)i
i=0
147 / 895
Einprozessorsystem I/O–Einheit
(7)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Einführung
Untersuchen wir noch das Langzeitverhalten:
lim P(An ) =
n→∞
=
Satz von Bayes
4. Klass. Wkt.
5. Zufallsvariablen
(−p)i
i=0
Totale Wkt
Anwendungen
lim qn
n→∞
∞
X
=
1
1
=
,
1 − (−p)
1+p
geometrische Reihe mit | − p| < 1.
6. Diskrete ZV
7. Charakteristika
8. Exponential
Frage: Sind die Ereignisse An+1 und An unabhängig?
148 / 895
Einprozessorsystem I/O–Einheit
(8)
Stochastik für
InformatikerInnen
Sind die Ereignisse An+1 und An unabhängig?
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
P(An+1 ∩ An ) = P(An+1 /An ) · P(An )
= q · qn
3. Bedingte Wkt
Einführung
Totale Wkt
Angen., die beiden Ereignisse sind unabhängig,
Satz von Bayes
Anwendungen
4. Klass. Wkt.
5. Zufallsvariablen
P(An+1 /An ) = P(An+1 )
q = qn+1
6. Diskrete ZV
7. Charakteristika
Aber, für n ≥ 2 gilt q 6= qn+1 . Also sind die Ereignisse
8. Exponential
An und An+1 nicht unabhängig.
149 / 895
Einprozessorsystem I/O–Einheit
(9)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Der gesamte Ablauf läßt sich eindeutig in Matrixform
2. Kombinatorik
darstellen:
3. Bedingte Wkt
I/O
A
I/O
0
1
A
p
1−p
Einführung
Totale Wkt
Satz von Bayes
Anwendungen
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
150 / 895
Weitere Anwendungen
(1)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Zuverlässigkeitstheorie
Wir betrachten ein Reihen-System mit 2 Bauteilen,
die unabhängig voneinander ausfallen,
3. Bedingte Wkt
Einführung
Totale Wkt
pi : Ausfallwkt. für Bauteil i
Satz von Bayes
Anwendungen
Fall: System fällt (innerhalb eines best. Zeitraumes)
4. Klass. Wkt.
aus. Wie groß ist Wkt., dass genau das
5. Zufallsvariablen
erste Bauteil ausgefallen ist?
6. Diskrete ZV
7. Charakteristika
8. Exponential
151 / 895
Zuverlässigkeitstheorie
Beispiel, Fortsetzung
Stochastik für
InformatikerInnen
Wolfgang Kössler
Ai : Ereignis, dass Bauteil i ausfällt.
1. Grundbegriffe
geg.: P(Ai ) = pi , i = 1, 2
2. Kombinatorik
ges.: P(A1 ∩ A2 |A1 ∪ A2 )?
3. Bedingte Wkt
Einführung
P(A1 ∩ A2 |A1 ∪ A2 ) =
Totale Wkt
Satz von Bayes
=
Anwendungen
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
P((A1 ∩ A2 ) ∩ (A1 ∪ A2 ))
P(A1 ∪ A2 )
P(A1 ∩ A2 )
P(A1 ∪ A2 )
P(A1 ) · P(A2 )
P(A1 ) + P(A2 ) − P(A1 ∩ A2 )
p1 (1 − p2 )
=
p1 + p2 − p1 p2
=
Distr.gesetz
ÜA, Subtraktivität
152 / 895
Zuverlässigkeitstheorie
Beispiel, Fortsetzung 2
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Analog
3. Bedingte Wkt
Einführung
Totale Wkt
P(A2 ∩ A1 |A1 ∪ A2 ) =
p2 (1 − p1 )
p1 + p2 − p1 p2
Satz von Bayes
Anwendungen
Wkt. für Ausfall beider Bauteile: ÜA
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
153 / 895
Weitere Anwendungen
(2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Münzwurf-Spiel
A und B spielen: Münze wird abwechselnd geworfen.
Es gewinnt, wer zuerst Blatt hat.
3. Bedingte Wkt
Einführung
B: Ereignis, dass bei einem Wurf Blatt kommt
Totale Wkt
Satz von Bayes
Z : Ereignis, dass bei einem Wurf Zahl kommt
Anwendungen
4. Klass. Wkt.
E: Ereignis, dass A gewinnt
5. Zufallsvariablen
F : Ereignis, dass B gewinnt
6. Diskrete ZV
G: Spiel endet nicht.
7. Charakteristika
8. Exponential
154 / 895
Münzwurf-Spiel
(Fortsetzung)
Stochastik für
InformatikerInnen
Münzwurf-Spiel (Fortsetzung)
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
P(E) = P(B) + P(ZZB) + P(ZZZZB) + · · ·
∞
1
1X 1
1 1
=
+ +
+ ··· =
2
4i
2 8 32
i=0
3. Bedingte Wkt
Einführung
Totale Wkt
Satz von Bayes
1
1
=
·
2 1−
1
4
2
=
3
Anwendungen
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
P(F ) = P(ZB) + P(ZZZB) + P(ZZZZZB) + · · ·
1
1
1
=
+
+
+ ···
4 16 64
∞
1X 1
1
=
=
i
4
4
3
i=0
155 / 895
Weitere Anwendungen
(Fortsetzung, 2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Münzwurf-Spiel (Fortsetzung)
oder (unter Anwendung der bedingten Wktn.)
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Einführung
Totale Wkt
Satz von Bayes
Anwendungen
4. Klass. Wkt.
P(F ) = P(F |B) · P(B) + P(F |Z ) · P(Z )
1
1
= 0 · + P(E) ·
2. wird 1. Spieler
2
2
P(E) = P(E|B) · P(B) + P(E|Z ) · P(Z )
1
1
= 1 · + P(F ) ·
2
2
5. Zufallsvariablen
6. Diskrete ZV
lineares Gleichungssystem lösen → obiges
7. Charakteristika
Ergebnis.
8. Exponential
156 / 895
Weitere Anwendungen
(3)
Stochastik für
InformatikerInnen
Ruin des Spielers
Wolfgang Kössler
Irrfahrt auf der Geraden mit 2 absorbierenden
1. Grundbegriffe
Zuständen, 0 und a + b
2. Kombinatorik
a:
Startkapital Spieler A
b:
Startkapital Spieler B
3. Bedingte Wkt
Einführung
Totale Wkt
Satz von Bayes
Anwendungen
4. Klass. Wkt.
Ek :
Ereignis, dass der Spieler, der k Euro besitzt,
ruiniert wird,
A−1 :
pk = P(Ek )
Ereignis, im nächsten Schritt einen Euro zu
5. Zufallsvariablen
6. Diskrete ZV
verlieren.
7. Charakteristika
A+1 :
Ereignis, im nächsten Schritt einen Euro zu
8. Exponential
gewinnen.
157 / 895
Ruin des Spielers
(Fortsetzung)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Nach dem Satz der Totalen Wahrscheinlichkeit gilt:
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Einführung
pk = P(Ek |A−1 ) · P(A−1 ) + P(Ek |A+1 ) · P(A+1 )
1
(pk−1 + pk +1 )
=
2
Totale Wkt
Satz von Bayes
Daraus folgt:
Anwendungen
4. Klass. Wkt.
2pk = pk +1 + pk −1
5. Zufallsvariablen
6. Diskrete ZV
pk +1 − pk = pk − pk −1 =: d
7. Charakteristika
8. Exponential
158 / 895
Ruin des Spielers
(Fortsetzung, 2)
Stochastik für
InformatikerInnen
Offenbar: p0 = 1,
pa+b = 0
Wolfgang Kössler
1. Grundbegriffe
pk = pk − pk −1 +pk −1 − + · · · + p1 − p0 +p0
| {z }
| {z }
=d
2. Kombinatorik
3. Bedingte Wkt
Einführung
pa+b = (a + b)d + 1 = 0 ⇒ d = −
Totale Wkt
Satz von Bayes
Anwendungen
pa
6. Diskrete ZV
7. Charakteristika
8. Exponential
1
a+b
k
a+b
a
b
= 1−
=
a+b
a+b
a
=
a+b
pk = 1 −
4. Klass. Wkt.
5. Zufallsvariablen
=d
= kd + 1
pb
159 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
4.1 Binomiale Wahrscheinlichkeiten
2. Kombinatorik
4.2 Multinomiale Wahrscheinlichkeiten
3. Bedingte Wkt
4.3 P OISSON–Wahrscheinlichkeiten
4. Klass. Wkt.
Binomiale Wkt.
Multinomiale Wkt
Poisson-Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
160 / 895
4. Klassische
Wahrscheinlichkeitsräume
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Versuche mit zwei möglichen Ausgängen:
A (gut) und A (schlecht).
Ω = {A, A} = { gut“, schlecht“}
”
”
E = {∅, A, A, Ω}
P(A) = p
Binomiale Wkt.
Multinomiale Wkt
Poisson-Wkt.
5. Zufallsvariablen
P(A) = q = 1 − p
Beispiele
1
2
6. Diskrete ZV
Münzwurf: p =
7. Charakteristika
Würfeln: p =
8. Exponential
Qualitätskontrolle: p · 100% die Ausschußquote.
1
6
161 / 895
Binomiale Wahrscheinlichkeiten
(2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2–malige Durchführung (unabhängig voneinander)
Elementarereignisse: (A, A), (A, A), (A, A), (A, A). mit
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Binomiale Wkt.
Multinomiale Wkt
Poisson-Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
den Wahrscheinlichkeiten
P((A, A)) = p2
P((A, A)) = p · (1 − p)
P((A, A)) = p · (1 − p)
P((A, A)) = (1 − p)2
8. Exponential
162 / 895
Binomiale Wahrscheinlichkeiten
(Zweifaches Bernoulli-Schema)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Bk : Ereignis, daß A k–mal auftritt, wobei k = 0, 1, 2.
P(B0 ) = (1 − p)2
2. Kombinatorik
3. Bedingte Wkt
P(B1 ) = 2 · (p · (1 − p))
4. Klass. Wkt.
P(B2 ) = p2
Binomiale Wkt.
Multinomiale Wkt
Poisson-Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Man kann leicht überprüfen, daß allgemein gilt:
2 k
P(Bk ) =
p (1 − p)2−k .
k
7. Charakteristika
8. Exponential
163 / 895
Binomiale Wahrscheinlichkeiten
(n-faches Bernoulli-Schema)
Stochastik für
InformatikerInnen
Wolfgang Kössler
n–malige Durchführung (unabhängig voneinander)
Analog zum vorigen Experiment sei jetzt Bk das
1. Grundbegriffe
Ereignis, daß A genau k–mal auftritt, k = 0, . . . , n.
2. Kombinatorik
analog zu oben:
3. Bedingte Wkt
4. Klass. Wkt.
P(Bk ) =
n
k
pk (1 − p)n−k .
Binomiale Wkt.
Multinomiale Wkt
Poisson-Wkt.
Formel für das n–fache B ERNOULLI–Schema.
5. Zufallsvariablen
6. Diskrete ZV
Bezeichnung: B(p, n) oder auch Bi(p, n)
7. Charakteristika
Die Wahrscheinlichkeiten P(Bk ) bezeichnen wir auch
8. Exponential
als Binomialwahrscheinlichkeiten.
164 / 895
n-faches Bernoulli-Schema
(2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Offenbar:
2. Kombinatorik
3. Bedingte Wkt
n
X
4. Klass. Wkt.
Binomiale Wkt.
Multinomiale Wkt
i=0
P(Bi ) =
n X
n
i=0
i
pi (1 − p)n−i
= (p + 1 − p)n = 1
Poisson-Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
165 / 895
Binomiale Wahrscheinlichkeiten
Beispiel
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Binomiale Wkt.
Multinomiale Wkt
Poisson-Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Fünfmal eine Münze werfen
A: das Ereignis, daß bei einem Wurf Zahl“ fällt,
”
P(A) = p = 12
B3 : Ereignis, daß A genau dreimal auftritt:
5−3
5 1 3
P(B3 ) =
1 − 12
2
3
5 1 5
=
3 2
5
.
=
16
8. Exponential
166 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
4.1 Binomiale Wahrscheinlichkeiten
2. Kombinatorik
4.2 Multinomiale Wahrscheinlichkeiten
3. Bedingte Wkt
4.3 P OISSON–Wahrscheinlichkeiten
4. Klass. Wkt.
Binomiale Wkt.
Multinomiale Wkt
Poisson-Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
167 / 895
4.2 Multinomiale Wahrscheinlichkeiten
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Wir betrachten ein zufälliges Experiment mit den
Ausgängen A1 , A2 , . . . , Al . Wir setzen
Pl
pi = P(Ai ),
i=1 pi = 1.
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Binomiale Wkt.
Multinomiale Wkt
Poisson-Wkt.
5. Zufallsvariablen
Es sei ein Behälter mit k Kugeln in l verschiedenen
Farben gegeben, wobei ki Kugeln die Farbe i
P
(i = 1, . . . , l) besitzen, li=1 ki = k.
Wahrscheinlichkeit, mit der eine Kugel einer
bestimmten Farbe aus dem Behälter entnommen
6. Diskrete ZV
7. Charakteristika
8. Exponential
wird:
P(Kugel der Farbe i) = pi =
ki
.
k
168 / 895
Multinomiale Wahrscheinlichkeiten
(2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Binomiale Wkt.
Multinomiale Wkt
Poisson-Wkt.
Das Experiment soll nun n–mal wiederholt werden.
Bn1 ,n2 ,...,nl : das Ereignis, daß die Ereignisse A1
n1 –mal, A2 n2 –mal, . . ., und Al nl –mal eintreten.
n!
· p1n1 · p2n2 · . . . · plnl .
n1 ! · n2 ! · . . . · nl !
Derartige Wahrscheinlichkeiten bezeichnen wir auch
P(Bn1 ,n2 ,...,nl ) =
5. Zufallsvariablen
als multinomiale Wahrscheinlichkeiten (polynomiale
6. Diskrete ZV
Wktn.)
7. Charakteristika
8. Exponential
169 / 895
Potenzen von Summen
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Vergleichen Sie:
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Binomiale Wkt.
Multinomiale Wkt
Poisson-Wkt.
5. Zufallsvariablen
(a1 + . . . + al )n =
X
n!
a1n1 · · · alnl
n1 ! · · · nl !
wobei die Summe über alle Tupel (n1 , . . . , nl )
P
gebildet wird mit li=1 ni = n.
6. Diskrete ZV
7. Charakteristika
8. Exponential
170 / 895
Multinomiale Wahrscheinlichkeiten
Beispiel
Stochastik für
InformatikerInnen
Wolfgang Kössler
Fragebogen
Bei einem Fragebogen wird (u.a.) nach dem Alter
1. Grundbegriffe
der befragten Personen gefragt. Das Alter ist in
2. Kombinatorik
Klassen eingeteilt, 10-20, 21-40, 41-60, über 60
3. Bedingte Wkt
Jahre. Der Bevölkerungsanteil beträgt jeweils pi für
P
die i-te Altersklasse, i = 1, . . . , 4,
i pi = 1.
4. Klass. Wkt.
Binomiale Wkt.
Multinomiale Wkt
Poisson-Wkt.
Es werden n=1000 Personen befragt.
5. Zufallsvariablen
Wie groß ist die Wkt., daß
6. Diskrete ZV
höchstens 10% der befragten bis zu 20 Jahre,
7. Charakteristika
und außerdem bis zu 10% der Befragten älter als 60
8. Exponential
Jahre alt waren?
171 / 895
Multinomiale Wahrscheinlichkeiten
Beispiel, Fortsetzung
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Sei Xi = (Xi1 , Xi2 , Xi3 , Xi4 ), wobei
2. Kombinatorik
Xij = 1 falls Person i zur j-ten Altersklasse gehört,
3. Bedingte Wkt
4. Klass. Wkt.
und Xij = 0 sonst. Dann ist
Binomiale Wkt.
Multinomiale Wkt
Poisson-Wkt.
5. Zufallsvariablen
Y=
n
X
Xi =: (Y1 , . . . , Y4 ) ∼ Mult(n, p1 , p2 , p3 , p4 )
i=1
6. Diskrete ZV
7. Charakteristika
8. Exponential
172 / 895
Multinomiale Wahrscheinlichkeiten
Beispiel, Fortsetzung
Stochastik für
InformatikerInnen
Wolfgang Kössler
Sei a := 100
1. Grundbegriffe
P(Y1 , Y4 ≤ a) =
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Binomiale Wkt.
Multinomiale Wkt
= P(Y1 ≤ a, Y2 + Y3 = n − Y1 − Y4 , Y4 ≤ a)
a X
a
X
=
P(Y1 = i, Y2 + Y3 = n − i − j, Y4 = j)
i=1 j=1
Poisson-Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
=
a X
a
X
i=1 j=1
n!
pi pj (p2 + p3 )n−i−j
i!j!(n − i − j)! 1 4
8. Exponential
173 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
4.1 Binomiale Wahrscheinlichkeiten
2. Kombinatorik
4.2 Multinomiale Wahrscheinlichkeiten
3. Bedingte Wkt
4.3 P OISSON–Wahrscheinlichkeiten
4. Klass. Wkt.
Binomiale Wkt.
Multinomiale Wkt
Poisson-Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
174 / 895
4.3 P OISSON–Wahrscheinlichkeiten
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Beispiele, bei denen P OISSON–Wahrscheinlichkeiten
auftreten, sind
die Anzahl von Verkehrsunfällen in einem Ort in
einem bestimmten Zeitintervall,
3. Bedingte Wkt
4. Klass. Wkt.
Binomiale Wkt.
Multinomiale Wkt
Poisson-Wkt.
die Ankünfte von Kunden an einem Schalter
oder
der radioaktive Zerfall von α–Teilchen.
5. Zufallsvariablen
6. Diskrete ZV
In einer Telefonzentrale wird ermittelt, wieviel
7. Charakteristika
Anrufe in einer bestimmten Zeiteinheit
8. Exponential
ankommen.
175 / 895
P OISSON–Wahrscheinlichkeiten
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Elementarereignisse sind hier Anzahlen, z.B. das
Ereignis, daß in einer Zeiteinheit genau i Anrufe
eintreffen.
λi −λ
e .
i!
λ ist dabei ein noch unbestimmter Parameter. Er
P(ωi ) =
kann als mittlere Rate aufgefaßt werden.
Binomiale Wkt.
Multinomiale Wkt
Poisson-Wkt.
5. Zufallsvariablen
P(Ω) =
∞
X
i=0
6. Diskrete ZV
P(ωi ) =
∞
X
i=0
λi −λ
e
i!
=e
−λ
∞
X
λi
i!
=1
i=0
| {z }
=eλ
7. Charakteristika
Wir werden später sehen, daß diese Verteilung
8. Exponential
“natürlich” ist.
176 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
5.1 Grundbegriffe
1. Grundbegriffe
2. Kombinatorik
5.2 Diskrete Zufallsvariablen
3. Bedingte Wkt
5.3 Stetige Zufallsvariablen
4. Klass. Wkt.
5.4 Allgemeine Eigenschaften einer
5. Zufallsvariablen
Verteilungsfunktion
Grundbegriffe
Diskrete ZV
Stetige ZV
Verteilungsfunktion
6. Diskrete ZV
7. Charakteristika
8. Exponential
177 / 895
5. Zufallsvariablen (allgemein)
5.1 Grundbegriffe
Stochastik für
InformatikerInnen
Def. 13 (Messbarkeit von Abbildungen)
Wolfgang Kössler
Es seien (Ω1 , E1 , P1 ) und (Ω2 , E2 , P2 )
1. Grundbegriffe
Wahrscheinlichkeitsräume. Eine Abbildung
2. Kombinatorik
X : Ω1 −→ Ω2
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Grundbegriffe
Diskrete ZV
Stetige ZV
Verteilungsfunktion
heißt E1 –E2 –messbar, falls für alle Ereignisse A ∈ E2
gilt:
X −1 (A) = {ω ∈ Ω1 : X (ω) ∈ A} ∈ E1 .
6. Diskrete ZV
7. Charakteristika
Bem.: Oftmals wird die Menge B 1 der
8. Exponential
B OREL–Mengen als Ereignisfeld E2 betrachtet.
178 / 895
Zufällige Variable
Stochastik für
InformatikerInnen
Wolfgang Kössler
Def. 14 (Zufällige Variable, Zufallsgröße)
1. Grundbegriffe
Es sei (Ω, E, P) ein Wahrscheinlichkeitsraum. Eine
2. Kombinatorik
E–B 1 –meßbare Abbildung X von Ω in R heißt
3. Bedingte Wkt
(reellwertige) zufällige Variable oder Zufallsgröße.
4. Klass. Wkt.
5. Zufallsvariablen
Grundbegriffe
Diskrete ZV
Stetige ZV
Verteilungsfunktion
6. Diskrete ZV
Bem.: (R, B 1 , P 0 ) bildet hier den zweiten
Wahrscheinlichkeitsraum, wobei P 0 eine Abbildung
von B 1 in R ist, die den KOLMOGOROV–Axiomen
genügt.
7. Charakteristika
8. Exponential
179 / 895
Zufällige Variable
Beispiel (1)
Stochastik für
InformatikerInnen
Augensumme beim zweimaligen Würfeln
Wolfgang Kössler
Ω = {(i, j), 1 ≤ i, j ≤ 6}:
1. Grundbegriffe
E = P(Ω):
2. Kombinatorik
P(ω) = P(i, j) =
Ereignisfeld
1
:
36
Laplace-Wkt.
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Grundbegriffe
Diskrete ZV
Paare von Augenzahlen
Ω → Ω0
X :
Ω0 = {S : 2 ≤ S ≤ 12} oder Ω0 = R, S: Augensumme
E 0 = P(Ω0 ) oder E 0 = B:
Ereignisfeld
Stetige ZV
Verteilungsfunktion
6. Diskrete ZV
P 0 (ω 0 ) = P(S = s) =
#(i, j) : i + j = s
|X −1 (s)|
=
36
36
7. Charakteristika
8. Exponential
Bedingung z.B.: X −1 (s) ∈ E oder X −1 ({s1 , s2 }) ∈ E
180 / 895
Zufällige Variable
Beispiel (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Die Indikatorfunktion ist Zufallsvariable
Sei A ein Ereignis, Ω = {A, A} und E = {A, A, ∅, Ω}.
Die Abbildung
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen

1
IA (x) =
0
falls x ∈ A
sonst
Grundbegriffe
Diskrete ZV
ist messbar, und also Zufallsvariable, denn
Stetige ZV
Verteilungsfunktion
6. Diskrete ZV
7. Charakteristika
8. Exponential
IA−1 (1) = A ∈ E,
IA−1 ({0, 1}) = Ω ∈ E,
IA−1 (0) = A ∈ E,
IA−1 (y) = ∅ ∈ E(y 6= 0, 1),
181 / 895
Zufällige Variable
Fortsetzung
Stochastik für
InformatikerInnen
X : Ω −→ R sei eine zufällige Variable,
Wolfgang Kössler
X : (Ω, E, P) −→ (R, B 1 , PX ).
1. Grundbegriffe
Sei x ∈ R beliebig, aber fest. Betrachten das
2. Kombinatorik
zufällige Ereignis
3. Bedingte Wkt
4. Klass. Wkt.
B = (−∞, x) = {X < x} := {ω ∈ Ω : X (ω) < x} ∈ B 1 .
5. Zufallsvariablen
Grundbegriffe
Für die Wahrscheinlichkeit dieses Ereignisses gilt:
Diskrete ZV
Stetige ZV
Verteilungsfunktion
6. Diskrete ZV
7. Charakteristika
8. Exponential
P(X < x) = P({ω : X (ω) < x}) = P({ω : X (ω) ∈ B})
= P(X −1 (B)) =: PX (B)
182 / 895
Verteilungsfunktion
Stochastik für
InformatikerInnen
Wolfgang Kössler
Def. 15 (Verteilungsfunktion von X )
FX (x) := P(X < x) = PX ((−∞, x))
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Bem.: Der Einfachheit halber werden wir die
4. Klass. Wkt.
Funktion FX einfach nur mit F bezeichnen.
5. Zufallsvariablen
Bem.: Manchmal wird die Verteilungsfunktion auch
Grundbegriffe
Diskrete ZV
Stetige ZV
Verteilungsfunktion
6. Diskrete ZV
durch
FX (x) = P(X ≤ x)
definiert (bei SAS z.B.)
7. Charakteristika
8. Exponential
183 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
5.1 Grundbegriffe
1. Grundbegriffe
2. Kombinatorik
5.2 Diskrete Zufallsvariablen
3. Bedingte Wkt
5.3 Stetige Zufallsvariablen
4. Klass. Wkt.
5.4 Allgemeine Eigenschaften einer
5. Zufallsvariablen
Verteilungsfunktion
Grundbegriffe
Diskrete ZV
Stetige ZV
Verteilungsfunktion
6. Diskrete ZV
7. Charakteristika
8. Exponential
184 / 895
5.2 Diskrete Zufallsvariablen
Stochastik für
InformatikerInnen
Eine diskrete Zufallsgröße
Wolfgang Kössler
X : Ω −→ {xi : i ∈ N} =: W ⊂ R.
1. Grundbegriffe
2. Kombinatorik
nimmt höchstens abzählbar viele verschiedene
3. Bedingte Wkt
Werte mit positiver Wahrscheinlichkeit an.
4. Klass. Wkt.
Notation:
5. Zufallsvariablen
Grundbegriffe
Diskrete ZV
Stetige ZV
Verteilungsfunktion
6. Diskrete ZV

X :
x1 x2 . . . xn . . .


p1 p2 . . . pn . . .
xi ∈ R: Werte, die die Zufallsgröße annehmen kann
7. Charakteristika
8. Exponential
pi : die entsrechenden Wahrscheinlichkeiten.
185 / 895
Diskrete Zufallsvariablen
Fortsetzung
Stochastik für
InformatikerInnen
Es gilt:
Wolfgang Kössler
1. Grundbegriffe
pi ≥ 0,
∞
X
pi = 1,
pi = P(X = xi ).
i=1
2. Kombinatorik
Wenn wir Mengen Ai definieren durch
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Grundbegriffe
Diskrete ZV
Stetige ZV
Verteilungsfunktion
6. Diskrete ZV
7. Charakteristika
8. Exponential
Ai := {ω : X (ω) = xi }, ∀i ∈ N,
so gilt offenbar: Ai ∩ Aj = ∅,
Allgemein gilt dann:

 pi , falls x = xi
P(X = x) =
 0, falls x 6= x
i
∀i, j ∈ N, i 6= j.
∀xi ∈ W , i ∈ N.
186 / 895
Diskrete Zufallsvariablen
Verteilungsfunktion
Stochastik für
InformatikerInnen
Wolfgang Kössler
F (x) = P(X < x) = P 
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Grundbegriffe
Diskrete ZV
Stetige ZV
Verteilungsfunktion
6. Diskrete ZV
7. Charakteristika
8. Exponential


[
Ai 
i : xi <x
=
X
P(Ai ) =
i : xi <x
X
pi
i : xi <x
D.h.: Eine diskrete Zufallsgröße, die die Werte
{xi : i ∈ N} annimmt, wobei x1 < x2 < x3 < . . . gilt,
hat die folgende Verteilungsfunktion:



0,
falls x ≤ x1
F (x) =
P

pi , falls x1 < x

i : xi <x
187 / 895
Diskrete Zufallsvariablen
Beispiele (1)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Diskrete Gleichverteilung


x1 x2 . . . xn

X : 
1
1
1
... n
n
n
Grundbegriffe
Diskrete ZV
Stetige ZV
Verteilungsfunktion
6. Diskrete ZV
7. Charakteristika
8. Exponential
188 / 895
Diskrete Zufallsvariablen
Beispiele (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Binomialverteilung, X ∼ B(p, n) oder X ∼ Bi(p, n).


0 1 ... n

X : 
p0 p1 . . . pn
n i
P(X = i) = pi =
p ·(1−p)n−i > 0,
0 < p < 1.
i
5. Zufallsvariablen
Grundbegriffe
Diskrete ZV
Wir haben oben gesehen, dass
Stetige ZV
Verteilungsfunktion
6. Diskrete ZV
7. Charakteristika
8. Exponential
n
X
i=0
pi =
n X
n
i=0
i
pi (1 − p)n−i = (p + 1 − p)n = 1.
189 / 895
Diskrete Zufallsvariablen
Wahrscheinlichkeitsfunktionen
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Binomial
Poisson
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Grundbegriffe
Diskrete ZV
Stetige ZV
Verteilungsfunktion
6. Diskrete ZV
7. Charakteristika
8. Exponential
190 / 895
Diskrete Zufallsvariablen
Beispiele (3)
Stochastik für
P OISSON–Verteilung, X ∼ Poi(λ)
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Grundbegriffe
Diskrete ZV
Stetige ZV
Verteilungsfunktion
6. Diskrete ZV
7. Charakteristika
Es sei X eine diskrete Zufallsgröße,


0 1 ... n ...

X : 
p0 p1 . . . pn . . .
λn −λ
e , λ > 0.
n!
Wir haben oben gesehen, daß
∞
∞
∞
X
X
X
λn −λ
λn
pn =
e = e−λ
=1
n!
n!
n=0
n=0
|n=0{z }
P(X = n) = pn =
=eλ
8. Exponential
191 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
5.1 Grundbegriffe
1. Grundbegriffe
2. Kombinatorik
5.2 Diskrete Zufallsvariablen
3. Bedingte Wkt
5.3 Stetige Zufallsvariablen
4. Klass. Wkt.
5.4 Allgemeine Eigenschaften einer
5. Zufallsvariablen
Verteilungsfunktion
Grundbegriffe
Diskrete ZV
Stetige ZV
Verteilungsfunktion
6. Diskrete ZV
7. Charakteristika
8. Exponential
192 / 895
5.3 Stetige Zufallsvariablen
Stochastik für
Wolfgang Kössler
Def. 16 (Dichtefunktion)
Eine Funktion f : R −→ R heißt Dichtefunktion, falls
1. Grundbegriffe
sie die folgenden Eigenschaften hat:
InformatikerInnen
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Grundbegriffe
Diskrete ZV
1
2
Für alle x ∈ R gilt: f (x) ≥ 0.
R
Es gilt: f (x) dx = 1.
R
Def. 17 (Stetige Zufallsvariable)
Eine zufällige Variable X heißt stetig, falls eine
Stetige ZV
Verteilungsfunktion
Dichtefunktion f existiert, so daß gilt:
6. Diskrete ZV
7. Charakteristika
8. Exponential
Zx
P(X < x) = F (x) =
f (t) dt.
−∞
193 / 895
Stetige Zufallsvariablen
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Bem.: Für die Wahrscheinlichkeit P(X = x) gilt
Zx
P(X = x) = f (t) dt = 0,
2. Kombinatorik
x
3. Bedingte Wkt
sogar wenn X den Wert x tatsächlich annehmen
4. Klass. Wkt.
5. Zufallsvariablen
kann! D.h. z.B.
Grundbegriffe
P(X ≤ x) = P(X < x).
Diskrete ZV
Stetige ZV
Verteilungsfunktion
Außerdem gilt:
Zb
6. Diskrete ZV
7. Charakteristika
8. Exponential
P(a ≤ X ≤ b) =
f (t) dt.
a
194 / 895
Stetige Zufallsvariablen
Veranschaulichung
Stochastik für
InformatikerInnen
Es sei X eine stetige Zufallsgröße. Wir teilen den
Wolfgang Kössler
Wertebereich von X in Intervalle Ij ein und
1. Grundbegriffe
beobachten für jeden der Versuche Xi , in welches
2. Kombinatorik
der Intervalle Ij der Wert Xi (i = 1, . . . , n) fällt. Es sei
3. Bedingte Wkt
nj = #{Xi ∈ Ij }. ∆j : Länge eines Intervalls Ij . Sei
4. Klass. Wkt.
5. Zufallsvariablen
∆0 = max{∆j }.
j
Grundbegriffe
Diskrete ZV
femp. (x) :=
Stetige ZV
Verteilungsfunktion
6. Diskrete ZV
7. Charakteristika
8. Exponential
nj
n
∆j
, ∀x ∈ Ij .
Dann gilt:
f (x) = n→∞
lim femp. (x).
∆0 →0
195 / 895
Stetige Zufallsvariablen
Veranschaulichung (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Grundbegriffe
Diskrete ZV
Stetige ZV
Verteilungsfunktion
6. Diskrete ZV
∆0 groß
∆0 klein
7. Charakteristika
8. Exponential
196 / 895
Stetige Zufallsvariablen
Beispiele (1)
Stochastik für
InformatikerInnen
Gleichverteilung, bez. X ∼ R(0, 1) oder X ∼ U(0, 1)
Wolfgang Kössler
Es sei die Zufallsvariable X auf dem Intervall [0, 1[
1. Grundbegriffe
definiert mit der Verteilungsfunktion



0, falls x < 0



F (x) =
x, falls 0 ≤ x < 1 .




 1, falls x ≥ 1
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Grundbegriffe
Diskrete ZV
Stetige ZV
Verteilungsfunktion
6. Diskrete ZV
7. Charakteristika
8. Exponential
Die Dichtefunktion ist die Funktion f ;

 1, falls 0 ≤ x < 1
f (x) =
.
 0, sonst
197 / 895
Stetige Zufallsvariablen
Beispiele (2)
Stochastik für
InformatikerInnen
Gleichverteilung, bez. X ∼ R(a, b) oder X ∼ U(a, b)
Wolfgang Kössler
Sei X gleichverteilt auf dem Intervall [a, b),
1. Grundbegriffe
X ∼ R(a, b), dann hat X die Dichtefunktion:



0, falls x < a



1
f (x) =
, falls a ≤ x < b
b−a




 0, falls x ≥ b
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Grundbegriffe
Diskrete ZV
Stetige ZV
Verteilungsfunktion
6. Diskrete ZV
7. Charakteristika
8. Exponential
P({ω : X (ω) ∈ [a, b]) = P(a ≤ X ≤ b)
Zb
Z
1
=
f (x) dx = b−a
a
b
dx = 1
a
198 / 895
Stetige Zufallsvariablen
Beispiele (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Exponentialverteilung, X ∼ Exp(λ)
Die Zufallsvariable X habe die Verteilungsfunktion

 1 − e−λ·x , falls x ≥ 0
F (x) =
.
 0,
falls x < 0
4. Klass. Wkt.
5. Zufallsvariablen
Grundbegriffe
Diskrete ZV
Stetige ZV
Verteilungsfunktion
6. Diskrete ZV
7. Charakteristika
8. Exponential
Die Dichtefunktion ist

 λ · e−λ·x , falls x ≥ 0
0
f (x) = F (x) =
.
 0,
falls x < 0
limx→−∞ F (x) = 0,
limx→+∞ F (x) = 1.
199 / 895
Stetige Zufallsvariablen
Beispiele (4)
Stochastik für
InformatikerInnen
Normalverteilung, X ∼ N (µ, σ 2 )
Wolfgang Kössler
X :
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
(Ω, E, P) → (R1 , B 1 , PX )
sei der Messfehler bei Messung einer physikalischen
Konstanten.
Der Wkt.raum (Ω, E, P) ist ein Modell eines im
5. Zufallsvariablen
Grundbegriffe
Diskrete ZV
Stetige ZV
Verteilungsfunktion
6. Diskrete ZV
7. Charakteristika
8. Exponential
Hintergrund wirkenden Zufallsmechanismus, der nicht
näher beschrieben werden kann,
Fehler im Meßinstrument; zufällige äußere Einflüsse.
Er enthält alle nicht näher bestimmbaren zufälligen
Effekte. Zur Beschreibung dient der Bildraum (R1 , B 1 , PX ).
200 / 895
Stetige Zufallsvariablen
Beispiele (4a)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Normalverteilung, X ∼ N (µ, σ 2 )
Die Zufallsvariable X mit der Verteilungsfunktion
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
F (x) = √
2πσ
4. Klass. Wkt.
5. Zufallsvariablen
Grundbegriffe
Diskrete ZV
Stetige ZV
Zx
1
1
e− 2 (
t−µ 2
σ
) dt.
−∞
heißt normalverteilt mit den Parametern (µ, σ 2 ). Die
zugehörige Dichtefunktion hat die Form:
Verteilungsfunktion
6. Diskrete ZV
7. Charakteristika
8. Exponential
f (x) = √
1
2πσ
1
e− 2 (
x−µ 2
σ
),
σ > 0.
201 / 895
Stetige Zufallsvariablen
Beispiele (4b)
Stochastik für
InformatikerInnen
Satz: f (x) ist eine Dichtefunktion
Wolfgang Kössler
Offensichtlich ist f (x) ≥ 0 für alle x ∈ R und σ > 0.
1. Grundbegriffe
Es bleibt zu zeigen
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Z+∞
Z+∞
1 t−µ 2
√ 1 e − 2 ( σ ) dt = 1.
lim F (x) =
f (t) dt =
2πσ
x→∞
−∞
−∞
Grundbegriffe
Diskrete ZV
Wir bezeichnen
Stetige ZV
Verteilungsfunktion
Z+∞
6. Diskrete ZV
7. Charakteristika
8. Exponential
1
√ 1 e− 2 (
2πσ
x−µ 2
σ
) dx =: I.
−∞
202 / 895
Stetige Zufallsvariablen
Beispiele (4c)
Stochastik für
Wolfgang Kössler
1
I 2 =  √2πσ
1. Grundbegriffe
−∞

1
2πσ 2
  +∞

Z+∞
Z
1 x−µ 2
1 y −µ 2

e− 2 ( σ ) dx  
e− 2 ( σ ) dy 
1
2πσ 2


Z+∞ Z+∞
1 y −µ 2
1 x−µ 2

e− 2 ( σ ) dx  e− 2 ( σ ) dy
2. Kombinatorik
3. Bedingte Wkt
=
−∞
4. Klass. Wkt.
5. Zufallsvariablen
Grundbegriffe
=
Diskrete ZV
−∞
Stetige ZV
Verteilungsfunktion
6. Diskrete ZV
7. Charakteristika
2
Z+∞
1 x−µ 2
e− 2 ( σ ) dx 

InformatikerInnen
=
1
2πσ 2
−∞
−∞
Z+∞ Z+∞
1 x−µ 2
1 y −µ 2
e− 2 ( σ ) e− 2 ( σ ) dx dy
−∞ −∞
8. Exponential
203 / 895
Stetige Zufallsvariablen
Beispiele (4d)
Stochastik für
InformatikerInnen
Substitution: s :=
x−µ
σ
t :=
y −µ
.
σ
Dann gilt:
Wolfgang Kössler
1. Grundbegriffe
x = sσ + µ
y = tσ + µ,
dx = σ ds
dy = σ dt.
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Grundbegriffe
I2 =
1
2πσ 2
−∞ −∞
Diskrete ZV
Stetige ZV
Verteilungsfunktion
6. Diskrete ZV
7. Charakteristika
8. Exponential
Z+∞ Z+∞
1 2
1 2
e− 2 s e− 2 t σ 2 ds dt
=
1
2π
Z+∞ Z+∞
1 2
2
e− 2 (s +t ) ds dt
−∞ −∞
204 / 895
Stetige Zufallsvariablen
Beispiele (4e)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Wir führen eine weitere Substitution durch,
Polarkoordinaten:
2. Kombinatorik
3. Bedingte Wkt
s = r cos ϕ
t = r sin ϕ.
4. Klass. Wkt.
5. Zufallsvariablen
Grundbegriffe
Diskrete ZV
Stetige ZV
Dann gilt allgemein nach der Substitutionsregel:
Z Z
Z Z
g(s, t) ds dt =
g(r , ϕ) det J dr dϕ,
Verteilungsfunktion
6. Diskrete ZV
7. Charakteristika
8. Exponential
205 / 895
Stetige Zufallsvariablen
Beispiele (4f)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
det J = |J| = 2. Kombinatorik
5. Zufallsvariablen
Grundbegriffe
I
2
=
Stetige ZV
1
2π
∂t
∂ϕ
Z2π Z∞
0
Verteilungsfunktion
6. Diskrete ZV
8. Exponential
∂t
∂r
cos ϕ −r sin ϕ
=
sin ϕ r cos ϕ
= r (cos2 ϕ + sin2 ϕ) = r
4. Klass. Wkt.
7. Charakteristika
∂s
∂ϕ
= r cos2 ϕ + r sin2 ϕ
3. Bedingte Wkt
Diskrete ZV
∂s
∂r
=
1
2π
2
cos2 ϕ+r 2 sin2 ϕ)
r dr dϕ
0
Z2π Z∞
0
1
e− 2 (r
0
1 2
e− 2 r r dr dϕ
206 / 895
Stetige Zufallsvariablen
Beispiele (4g)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
I2 =
2. Kombinatorik
1
2π
3. Bedingte Wkt
4. Klass. Wkt.
=
1
2π
Z2π Z∞
0
0
Z2π
h
1 2
e− 2 r r dr dϕ
r2
−e− 2
0
Grundbegriffe
Diskrete ZV
1
=
2π
Stetige ZV
Verteilungsfunktion
Z2π
dϕ =
1
2π = 1
2π
0
6. Diskrete ZV
8. Exponential
dϕ
0
5. Zufallsvariablen
7. Charakteristika
i∞
=⇒
I = 1, d.h. f ist eine Dichtefunktion.
207 / 895
Zufallsvariable, Grundbegriffe
Zusammenfassung (1)
Stochastik für
InformatikerInnen
Eine Zufallsvariable ist eine (meßbare) Abbildung
Wolfgang Kössler
1. Grundbegriffe
X :
Ω −→ R
2. Kombinatorik
Jedem Element ω des Stichprobenraumes Ω wird
3. Bedingte Wkt
eine reelle Zahl zugeordnet.
4. Klass. Wkt.
Die Zufallsvariable X heißt diskret, wenn X nur
5. Zufallsvariablen
endlich viele oder abzählbar unendlich viele Werte xi
Grundbegriffe
Diskrete ZV
Stetige ZV
Verteilungsfunktion
annehmen kann. Jeder dieser Werte kann mit einer
gewissen Wkt. pi = P(X = xi ) auftreten.
6. Diskrete ZV
7. Charakteristika
8. Exponential
geografische Lage (N,O,S,W); Länge einer
Warteschlange; Anzahl der Punkte in der Klausur.
208 / 895
Zufallsvariable, Grundbegriffe
Zusammenfassung (2)
Stochastik für
InformatikerInnen
Die Zufallsvariable X heißt stetig, falls X beliebige
Wolfgang Kössler
Werte in einem Intervall (a, b), [a, b], (a, b], (a, b],
1. Grundbegriffe
(−∞, a), (b, ∞), (−∞, a], [b, ∞), (−∞, ∞) annehmen
2. Kombinatorik
kann.
3. Bedingte Wkt
Bem.: Jeder einzelne Wert xi ∈ (a, b) (oder in einem
4. Klass. Wkt.
5. Zufallsvariablen
Grundbegriffe
der anderen Intervalle) hat die Wkt. Null.
Die Verteilungsfunktion F wird dann durch die
Diskrete ZV
Stetige ZV
Verteilungsfunktion
6. Diskrete ZV
7. Charakteristika
8. Exponential
sogen. Dichtefunktion f beschrieben,
Z
F (x) = P(X < x) = P(X ≤ x) =
x
f (t) dt
−∞
209 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
5.1 Grundbegriffe
1. Grundbegriffe
2. Kombinatorik
5.2 Diskrete Zufallsvariablen
3. Bedingte Wkt
5.3 Stetige Zufallsvariablen
4. Klass. Wkt.
5.4 Allgemeine Eigenschaften einer
5. Zufallsvariablen
Verteilungsfunktion
Grundbegriffe
Diskrete ZV
Stetige ZV
Verteilungsfunktion
6. Diskrete ZV
7. Charakteristika
8. Exponential
210 / 895
5.4 Allgemeine Eigenschaften einer
Verteilungsfunktion
Stochastik für
InformatikerInnen
Wolfgang Kössler
Satz: Sei X eine Zufallsariable mit
der Verteilungsfunktion
1. Grundbegriffe
2. Kombinatorik
F (x) = P(X < x) = P({ω : X (ω) < x}) = PX ((−∞, x)).
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Dann gelten die folgenden Aussagen:
1
Die Funktion F (x) ist monoton wachsend.
Grundbegriffe
Diskrete ZV
2
Verteilungsfunktion
3
6. Diskrete ZV
x→+∞
Die Funktion F (x) ist linksseitig stetig. Es gilt
also: lim F (x) = F (x0 ).
x→x0 −
7. Charakteristika
8. Exponential
lim F (x) = 0, lim F (x) = 1.
x→−∞
Stetige ZV
4
P(a ≤ X < b) = F (b) − F (a).
211 / 895
Eigenschaften der Verteilungsfunktion
Beweis des Satzes (1)
Stochastik für
InformatikerInnen
1
Es sei x1 < x2 < x. Wir definieren zwei Mengen:
Wolfgang Kössler
A := {ω : X (ω) < x1 },
1. Grundbegriffe
B := {ω : X (ω) < x2 }.
2. Kombinatorik
3. Bedingte Wkt
Dann gilt:
4. Klass. Wkt.
5. Zufallsvariablen
Grundbegriffe
Diskrete ZV
F (x1 ) = P({ω : X (ω) < x1 }) = P(A),
F (x2 ) = P({ω : X (ω) < x2 }) = P(B).
Stetige ZV
Verteilungsfunktion
6. Diskrete ZV
7. Charakteristika
8. Exponential
Wegen A ⊆ B folgt: P(A) ≤ P(B), d.h.
F (x1 ) ≤ F (x2 ),
d.h. die Funktion F (x) monoton wachsend.
212 / 895
Eigenschaften der Verteilungsfunktion
Beweis des Satzes (2)
Stochastik für
InformatikerInnen
2
Sei (xn ) eine monoton fallende Folge mit
Wolfgang Kössler
xn → −∞ und (yn ) eine monoton wachsende
1. Grundbegriffe
Folge mit yn → ∞. Wir definieren:
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Grundbegriffe
Diskrete ZV
Stetige ZV
Verteilungsfunktion
6. Diskrete ZV
An := {ω : X (ω) < xn },
Bn := {ω : X (ω) < yn }.
Für die Folgen (An ) und Bn ) gilt:
(An ) ist monoton fallend (An ⊇ An+1 , ∀n ∈ N),
(Bn ) monoton wachsend (Bn ⊆ Bn+1 , ∀n ∈ N).
Offensichtlich gilt:
7. Charakteristika
8. Exponential
F (xn ) = P(An ),
F (yn ) = P(Bn ).
213 / 895
Eigenschaften der Verteilungsfunktion
Beweis des Satzes (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Wegen der Stetigkeit der Wkt. von oben und unten ist
lim P(An ) = P( lim An ) = P(X < −∞) = 0.
n→∞
n→∞
lim P(Bn ) = P( lim Bn ) = P(X < +∞) = 1.
n→∞
n→∞
4. Klass. Wkt.
5. Zufallsvariablen
Das bedeutet jedoch nichts anderes als:
Grundbegriffe
Diskrete ZV
Stetige ZV
lim F (x) = lim F (xn ) = 0,
x→−∞
n→∞
Verteilungsfunktion
6. Diskrete ZV
lim F (x) = lim F (yn ) = 1.
x→+∞
n→∞
7. Charakteristika
8. Exponential
214 / 895
Eigenschaften der Verteilungsfunktion
Beweis des Satzes (4)
Stochastik für
InformatikerInnen
3
Wir definieren eine Menge
Wolfgang Kössler
A = {ω : X (ω) < x0 }
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
und eine Folge von Mengen
An = {ω : X (ω) < xn },
4. Klass. Wkt.
5. Zufallsvariablen
Grundbegriffe
Diskrete ZV
Stetige ZV
Verteilungsfunktion
6. Diskrete ZV
7. Charakteristika
8. Exponential
wobei (xn ) eine monotone Folge ist, die von links
gegen x0 konvergiert (xn −→ x0 − 0). Offenbar
ist die Folge (An ) monoton wachsend
(An ⊆ An+1 ). Außerdem gilt:
lim An = A.
n→∞
215 / 895
Eigenschaften der Verteilungsfunktion
Beweis des Satzes (5)
Stochastik für
InformatikerInnen
Dann können wir schlußfolgern:
Wolfgang Kössler
1. Grundbegriffe
lim F (xn ) =
n→∞
=
2. Kombinatorik
lim P(X < xn )
n→∞
lim P(An )
n→∞
= P( lim An )
3. Bedingte Wkt
n→∞
4. Klass. Wkt.
= P(A) = P(X < x0 )
5. Zufallsvariablen
= F (x0 )
Grundbegriffe
Diskrete ZV
Stetige ZV
Verteilungsfunktion
Das bedeutet aber:
6. Diskrete ZV
7. Charakteristika
8. Exponential
lim F (x) = F (x0 ).
x→x0 −
216 / 895
Eigenschaften der Verteilungsfunktion
Beweis des Satzes (6)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
4
Es gilt:
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Grundbegriffe
Diskrete ZV
Stetige ZV
P(a ≤ X < b) = P({X < b} \ {X < a})
= P(X < b) − P(X < a)
(Subtraktivität (vgl. Folgerung 2)
= F (b) − F (a)
Verteilungsfunktion
6. Diskrete ZV
7. Charakteristika
8. Exponential
217 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
6.1 Allgemeine Übersicht
1. Grundbegriffe
2. Kombinatorik
6.2 Binomialverteilung
3. Bedingte Wkt
6.3 Geometrische Verteilung
4. Klass. Wkt.
6.4 Poisson-Verteilung
5. Zufallsvariablen
6.5 Negative Binomialverteilung
6. Diskrete ZV
Allgemeine Übersicht
Binomialverteilung
Geometrische Verteilung
Poisson-Verteilung
Negative Binomial
7. Charakteristika
218 / 895
6. Diskrete zufällige Variablen
6.1 Allgemeine Übersicht
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Erinnerung: Wir beschreiben diskrete
Zufallsvariablen durch


x1 x2 x3 · · · xn · · ·

X :
p1 p2 p3 · · · pn · · ·
3. Bedingte Wkt
4. Klass. Wkt.
pi = P(X = xi ) > 0,
i = 1, 2, 3, . . .
5. Zufallsvariablen
6. Diskrete ZV
Allgemeine Übersicht
Binomialverteilung
Geometrische Verteilung
Poisson-Verteilung
∞
X
pi = 1
i=1
Def. 18 (Wahrscheinlichkeitsfunktion, Zähldichte)
Die Funktion
f (xi ) = pi
Negative Binomial
7. Charakteristika
heißt Wahrscheinlichkeitsfunktion.
219 / 895
Allgemeine Übersicht
Binomialwahrscheinlichkeit
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
a) Zweimaliges Werfen einer Münze


0 1 2
Ω = ZZ , ZB, BZ , BB

X :
1
1
1
X := Anzahl von Blatt
4
2. Kombinatorik
2
4
4. Klass. Wkt.
b) Erfolge bei n Versuchen
X : Anzahl der “Erfolge” bei n Versuchen, wobei jeder
5. Zufallsvariablen
der n Versuche eine Erfolgswahrscheinlichkeit p hat.
3. Bedingte Wkt
6. Diskrete ZV
Allgemeine Übersicht
Binomialverteilung
Geometrische Verteilung
Poisson-Verteilung
Negative Binomial
7. Charakteristika
n k
p (1 − p)n−k Binomialwkt.
P(X = k) =
k
k −1 X
n i
FX (k) = P(X < k) =
p (1 − p)n−i
i
i=0
220 / 895
Binomialwahrscheinlichkeit
Beispiele (1)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Es seien p =
1
2
und n = 5. Für x = 2.5 gilt:
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Allgemeine Übersicht
Binomialverteilung
Geometrische Verteilung
Poisson-Verteilung
Negative Binomial
F (2.5) =
X
pi
i : i<2,5
= p0 + p1 + p2
5 5 5
1
5
1
5
1
5
+
+
=
0
2
1
2
2
2
1
5
10
=
+
+
32 32 32
= 0.5
7. Charakteristika
221 / 895
Binomialwahrscheinlichkeit
Beispiele (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Würfeln 20 mal. Wie groß ist die Wkt. für mindestens
4 Sechsen?
X : Anzahl der Sechsen.
P(X ≥ 4) = 1 − P(X < 4) = 1 − FX (4)
3
X
= 1−
P(X = i) =
i=0
5. Zufallsvariablen
6. Diskrete ZV
Allgemeine Übersicht
1−
Binomialverteilung
Geometrische Verteilung
Poisson-Verteilung
Negative Binomial
7. Charakteristika
≈ 0.43.
5 20
1 5 19 20 · 19 1 2 5 18
− 20
−
−
6
6 6
2
6
6
20 · 19 · 18 1 3 5 17
−
6
6
6
222 / 895
Poisson-Wahrscheinlichkeit
Beispiel
Stochastik für
InformatikerInnen
Telefonzentrale, X ∼ Poi(λ)
Wolfgang Kössler
X : Anzahl der Anrufe, die pro Zeiteinheit von einer
1. Grundbegriffe
Telefonzentrale vermittelt werden.


0 1 2 3 ···

X :
p0 p1 p2 p3 · · ·
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
P(X = i) = pi =
Allgemeine Übersicht
Binomialverteilung
Geometrische Verteilung
∞
X
Poisson-Verteilung
Negative Binomial
7. Charakteristika
i=0
pi =
λi −λ
e ,
i!
∞
X
λi
i!
|i=0{z }
λ>0
e−λ = 1.
223 / 895
Binomial und Poisson
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Satz: Seien Xn ∼ Bi(n, p), Y ∼ Poi(λ)
Für
n · p = λ gilt:
=
6. Diskrete ZV
Allgemeine Übersicht
Binomialverteilung
=
Geometrische Verteilung
Poisson-Verteilung
Negative Binomial
7. Charakteristika
P(Xn = k) −→n→∞ P(Y = k).
n k
P(Xn = k) =
p (1 − p)n−k
k
n(n − 1) · · · (n − k + 1) λ k
λ
=
( ) (1 − )n−k
k!
n
n
=
n(n − 1) · · · (n − k + 1) (n − λ)k λk (n − λ)n−k
k!(n − λ)k
nk
nn−k
1 n(n − 1) · · · (n − k + 1) k
λ
λ (1 − )n
k
k!
n
(n − λ)
|
{z
} | {z }
−→ 1
λk −λ
e = P(Y = k)
k!
−→ e−λ
224 / 895
Geometrische Verteilung
Stochastik für
InformatikerInnen
d) Münzwurf solange bis B(Blatt) kommt
Wolfgang Kössler
Ω = {B, ZB, ZZB, ...}
1. Grundbegriffe
X := Anzahl der Würfe bis zum ersten Blatt.


1 2
3
4 ··· n ···

X =
1
1 2
1 3
1 4
1 n
(2) (2) (2) · · · (2) · · ·
2
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
∞
X
Allgemeine Übersicht
Binomialverteilung
Geometrische Verteilung
Poisson-Verteilung
i=1
pi =
∞
X
i=1
(1/2)i =
1
1−
1
2
−1=1
geometrische Reihe
Negative Binomial
7. Charakteristika
geometrische Verteilung mit p=1/2, pi = (1/2)i .
225 / 895
Geometrische Verteilung
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Def. 19 (Geometrische Verteilung)
Eine Zufallsvariable X mit
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
P(X = i) = p(1 − p)i−1 ,
i = 1, 2, . . .
heißt geometrisch verteilt, bez. X ∼ Geo(p)
6. Diskrete ZV
Allgemeine Übersicht
Binomialverteilung
Anzahl der Schritte bis zum ersten “Erfolg”.
Geometrische Verteilung
Poisson-Verteilung
Negative Binomial
7. Charakteristika
226 / 895
Geometrische Verteilung
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Allgemeine Übersicht
Binomialverteilung
Geometrische Verteilung
Poisson-Verteilung
Negative Binomial
7. Charakteristika
227 / 895
Hypergeometrische Verteilung
Stochastik für
InformatikerInnen
Wolfgang Kössler
e) Qualitätskontrolle
Gegeben sei eine Grundgesamtheit (z.B. eine
1. Grundbegriffe
Warenlieferung) mit N Stücken, von denen genau n
2. Kombinatorik
schlecht seien. Wie groß ist die Wkt., daß in einer
3. Bedingte Wkt
Stichprobe vom Umfang m höchstens k Stück
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
schlecht sind?
X : zufällige Anzahl der schlechten Stücke in der
Allgemeine Übersicht
Binomialverteilung
Stichprobe.
Geometrische Verteilung
Poisson-Verteilung
Negative Binomial
7. Charakteristika
P(X = x) =
n
x
·
N−n
m−x
N
m
228 / 895
Hypergeometrische Verteilung
Fortsetzung
Stochastik für
InformatikerInnen
N
m
:
# möglichen Stichproben.
n
x
:
# Möglichkeiten, aus n schlechten Stücken in
Wolfgang Kössler
1. Grundbegriffe
der Grundgesamtheit x schlechte Stücke
2. Kombinatorik
zu ziehen.
3. Bedingte Wkt
4. Klass. Wkt.
N−n
m−x
:
# Möglichkeiten, aus N − n guten Stücken
5. Zufallsvariablen
in der Grundgesamtheit m − x gute Stücke
6. Diskrete ZV
zu ziehen.
Allgemeine Übersicht
Binomialverteilung
Geometrische Verteilung
Poisson-Verteilung
Negative Binomial
7. Charakteristika
Offenbar:
0 ≤ x ≤ min(n, m)
m − x ≤ N − n.
229 / 895
Hypergeometrische Verteilung
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Def. 20 (Hypergeometrische Verteilung)
Eine Zufallsvariable X mit der Wkt.funktion
N−n n
·
f (x|HN,n,m ) = x N m−x
m
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Allgemeine Übersicht
Binomialverteilung
Geometrische Verteilung
Poisson-Verteilung
Negative Binomial
7. Charakteristika
heißt hypergeometrisch verteilt.
Bez.: X ∼ HN,n,m . Verteilungsfunktion:
N−n k −1 n
X
· m−x
x
F (k|HN,n,m ) =
N
x=0
∞, Nn →
m
Satz: Für N → ∞, n →
p gilt:
m x
f (x|HN,n,m ) →
p (1 − p)m−x = f (x|Bi(m, p))
x
230 / 895
Hypergeometrische Verteilung
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Allgemeine Übersicht
Binomialverteilung
Geometrische Verteilung
Poisson-Verteilung
Negative Binomial
7. Charakteristika
231 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
6.1 Allgemeine Übersicht
1. Grundbegriffe
2. Kombinatorik
6.2 Binomialverteilung
3. Bedingte Wkt
6.3 Geometrische Verteilung
4. Klass. Wkt.
6.4 Poisson-Verteilung
5. Zufallsvariablen
6.5 Negative Binomialverteilung
6. Diskrete ZV
Allgemeine Übersicht
Binomialverteilung
Geometrische Verteilung
Poisson-Verteilung
Negative Binomial
7. Charakteristika
232 / 895
6.2 Binomialverteilung
Weitere Beispiele (1)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Kommunikationskanal
Schicken Binärzahlen durch einen
2. Kombinatorik
Kommunikationskanal.
3. Bedingte Wkt
p: Wkt. einer fehlerhaften Übertragung
4. Klass. Wkt.
n: Anzahl der übertragenen Zeichen
5. Zufallsvariablen
6. Diskrete ZV
Allgemeine Übersicht
Binomialverteilung
Geometrische Verteilung
Wkt. für genau i Fehler:
n i
P(i) =
p (1 − p)n−i =: b(i; n, p)
i
Poisson-Verteilung
Negative Binomial
7. Charakteristika
233 / 895
Binomialverteilung
Weitere Beispiele (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Qualitätskontrolle
Stichprobe (hier: mit Zurücklegen) von 10
2. Kombinatorik
Computerchips aus einer sehr großen Lieferung
3. Bedingte Wkt
(Los). Wenn keine defekt, so wird die Lieferung
4. Klass. Wkt.
angenommen, sonst nicht.
5. Zufallsvariablen
6. Diskrete ZV
Allgemeine Übersicht
p: Wkt., ein zufällig ausgewählter Chip ist defekt.
Wkt. für genau i defekte Stücke = b(i; 10, p).
Binomialverteilung
Geometrische Verteilung
Poisson-Verteilung
P(Los angenommen) = (1 − p)10
Negative Binomial
7. Charakteristika
234 / 895
Binomialverteilung
Weitere Beispiele (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
k aus n Systeme
Jede Komponente habe die Intaktwkt. p.
Wkt., daß genau i Komponenten ausfallen:
n n−i
p (1 − p)i
P(X = i) =
i
Wkt., daß höchstens k Komponenten ausfallen:
6. Diskrete ZV
Allgemeine Übersicht
Binomialverteilung
Geometrische Verteilung
Poisson-Verteilung
Negative Binomial
7. Charakteristika
k X
n
pn−i (1 − p)i
i
i=0
n
X
n i
=
p (1 − p)n−i
i
P(X ≤ k) =
i=n−k
235 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
6.1 Allgemeine Übersicht
1. Grundbegriffe
2. Kombinatorik
6.2 Binomialverteilung
3. Bedingte Wkt
6.3 Geometrische Verteilung
4. Klass. Wkt.
6.4 Poisson-Verteilung
5. Zufallsvariablen
6.5 Negative Binomialverteilung
6. Diskrete ZV
Allgemeine Übersicht
Binomialverteilung
Geometrische Verteilung
Poisson-Verteilung
Negative Binomial
7. Charakteristika
236 / 895
6.3 Geometrische Verteilung (1)
Stochastik für
InformatikerInnen
Sei Y ∼ Geo(p), d.h.
Wolfgang Kössler
1. Grundbegriffe
P(Y > s) = 1 −
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
P(Y > t) = 1 −
s
X
i=1
t
X
(1 − p)i−1 · p = (1 − p)s
(1 − p)i−1 · p = (1 − p)t
i=1
5. Zufallsvariablen
6. Diskrete ZV
Allgemeine Übersicht
Binomialverteilung
Geometrische Verteilung
Poisson-Verteilung
Negative Binomial
7. Charakteristika
P(Y > s) · P(Y > t) = (1 − p)s+t
s+t
X
= 1−
(1 − p)i−1 · p
i=1
= P(Y > s + t).
237 / 895
Geometrische Verteilung (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
also:
P(Y > s + t, Y > t)
P(Y > t)
P(Y > s + t)
=
P(Y > t)
= P(Y > s)
Def. 21 (Markov-Eigenschaft, Gedächtnislosigkeit)
Verteilungen mit der Markov-Eigenschaft
P(Y > s + t|Y > t) =
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Allgemeine Übersicht
Binomialverteilung
Geometrische Verteilung
P(Y > s + t|Y > t) = P(Y > s)
Poisson-Verteilung
Negative Binomial
7. Charakteristika
heißen gedächtnislos.
238 / 895
Geometrische Verteilung (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Satz: Sei X diskrete Zufallsvariable mit Werten in N+
und X habe die Markov-Eigenschaft. Dann ist
X ∼ Geo(p) für ein p, p ∈ (0, 1)
2. Kombinatorik
3. Bedingte Wkt
Beweis: Sei
1
X :
4. Klass. Wkt.
2
3
...


p1 p2 p3 . . .
5. Zufallsvariablen
6. Diskrete ZV

Aus der Markov-Eigenschaft folgt:
Allgemeine Übersicht
Binomialverteilung
Geometrische Verteilung
Poisson-Verteilung
Negative Binomial
7. Charakteristika
P(X > s) · P(X > t) = P(X > s + t) ∀s, t
s
t
s+t
X
X
X
(1 −
pi )(1 −
pi ) = 1 −
pi
i=1
i=1
i=1
239 / 895
Geometrische Verteilung (4)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Setzen p := p1 . Einsetzen von
1. Grundbegriffe
2. Kombinatorik
s = 1, t = 1 liefert (1 − p)2 = (1 − p − p2 );
p2 = p(1 − p).
3. Bedingte Wkt
4. Klass. Wkt.
s = 1, t = 2 liefert
5. Zufallsvariablen
6. Diskrete ZV
Allgemeine Übersicht
(1 − p)(1 − p − p2 ) = (1 − p − p2 − p3 );
(1 − p − p2 )(1 − p − 1) = −p3 ;
also p3 = p(1 − p)2
Binomialverteilung
Geometrische Verteilung
usw.
Poisson-Verteilung
Negative Binomial
7. Charakteristika
240 / 895
Geometrische Verteilung (5)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Qualitätskontrolle
Wkt., daß das i-te Item das erste defekte ist.
Time-sharing computer system
mit festen Zeitscheiben.
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Allgemeine Übersicht
Programm wird in der Zeitscheibe vollständig
abgearbeitet mit Wkt. p
Wenn nicht, neuer Versuch in der neuen Zeitscheibe
Binomialverteilung
Geometrische Verteilung
Poisson-Verteilung
X : # benötigten Zeitscheiben
Negative Binomial
7. Charakteristika
X ∼ Geo(p).
241 / 895
Geometrische Verteilung (6)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Repeat-Schleife
A: aussagenlogischer Ausdruck, A = true mit Wkt. p.
4. Klass. Wkt.
repeat S until A.
5. Zufallsvariablen
X = # der Durchläufe von S: ∼ Geo(p).
6. Diskrete ZV
Allgemeine Übersicht
Binomialverteilung
Geometrische Verteilung
Poisson-Verteilung
Negative Binomial
7. Charakteristika
242 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
6.1 Allgemeine Übersicht
1. Grundbegriffe
2. Kombinatorik
6.2 Binomialverteilung
3. Bedingte Wkt
6.3 Geometrische Verteilung
4. Klass. Wkt.
6.4 Poisson-Verteilung
5. Zufallsvariablen
6.5 Negative Binomialverteilung
6. Diskrete ZV
Allgemeine Übersicht
Binomialverteilung
Geometrische Verteilung
Poisson-Verteilung
Negative Binomial
7. Charakteristika
243 / 895
6.4 Poisson-Verteilung
Vorbemerkung, Definition Unabhängigkeit von Zufallsvariablen
Stochastik für
InformatikerInnen
Wolfgang Kössler
Erinnerung: Unabhängigkeit von Ereignissen
Die Ereignisse A und B heißen unabhängig, falls
1. Grundbegriffe
P(A, B) = P(A) · P(B)
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Allgemeine Übersicht
Binomialverteilung
Geometrische Verteilung
Def. 22 (Unabhängigkeit von Zufallsvariablen)
Zwei Zufallsvariablen X und Y heißen unabhängig,
falls
Poisson-Verteilung
Negative Binomial
7. Charakteristika
∀A, B ∈ B;
P(X ∈ A, Y ∈ B) = P(X ∈ A) · P(X ∈ B)
244 / 895
Poisson-Verteilung (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Sei {Nt }t∈T eine Menge von Zufallsvariablen (ein
stochastischer Prozeß ) mit folgenden Eigenschaften:
V1:
Zuwächse sind unabhängig, dh. die Zufallsvariablen
2. Kombinatorik
Nt+h − Nt und Nt − Nt−h sind unabhängig.
3. Bedingte Wkt
4. Klass. Wkt.
V2:
5. Zufallsvariablen
es ist egal wo wir Zeitintervall betrachten, dh.
Nt+h und Nt haben dieselbe Verteilung
6. Diskrete ZV
Allgemeine Übersicht
V3:
Wkt., daß mindestens ein Ereignis in der Zeit h
Binomialverteilung
eintritt, z.B. ein Kunde ankommt.
Geometrische Verteilung
Poisson-Verteilung
p(h) = a · h + o(h),
Negative Binomial
a > 0, h → 0
7. Charakteristika
V4:
Wkt. für ≥ 2 Ereignisse in der Zeit h: o(h)
245 / 895
Poisson-Verteilung (3)
Stochastik für
InformatikerInnen
Frage: Wkt. daß bis zum Zeitpunkt t genau k
Wolfgang Kössler
Ereignisse eintreten? (z.B. eingetroffene Kunden,
1. Grundbegriffe
zerfallene Teilchen)
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Pk (t) := P(N
= k),
∞ t
X
p(h) :=
Pk (h)
5. Zufallsvariablen
6. Diskrete ZV
Allgemeine Übersicht
1 =
k∞
=1
X
Pk (t) := 0
für k < 0
≥ 1Ereignis tritt ein
Pk (t)
k=0
Binomialverteilung
Geometrische Verteilung
Poisson-Verteilung
Negative Binomial
7. Charakteristika
V 3 ⇒ P0 (h) = 1 − p(h) = 1 − ah + o(h)
∞
X
V4 ⇒
Pk (h) = o(h),
(h → 0)
k =2
246 / 895
Poisson-Verteilung (4)
Stochastik für
InformatikerInnen
1. Schritt: Bestimmen P0 (t).
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
P0 (t + h) = P(Nt = 0, Nt+h − Nt = 0)
= P0 (t)P(Nt+h − Nt = 0) wegen V1
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Allgemeine Übersicht
Binomialverteilung
Geometrische Verteilung
= P0 (t)P(Nh − N0 = 0) wegen V2
= P0 (t)P0 (h) wegen N0 = 0
= P0 (t)(1 − p(h))
= P0 (t)(1 − ah + o(h)) wegen V4
Poisson-Verteilung
Negative Binomial
7. Charakteristika
247 / 895
Poisson-Verteilung (5)
Stochastik für
InformatikerInnen
Nacheinander folgt:
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
P0 (t + h) − P0 (t)
o(h)
= P0 (t)(−a +
)
h
h
o(h)
P0 (t + h) − P0 (t)
= lim P0 (t)(−a +
)
lim
h→0
h→0
h
h
P00 (t) = −aP0 (t)
P0 (t) = ce−at
6. Diskrete ZV
Allgemeine Übersicht
Binomialverteilung
Wegen P0 (0) = 1 folgt: c = 1 und
Geometrische Verteilung
Poisson-Verteilung
Negative Binomial
P0 (t) = e−at
7. Charakteristika
248 / 895
Poisson-Verteilung (6)
Stochastik für
InformatikerInnen
Wolfgang Kössler
2. Schritt: Bestimmen Pk (t).
1. Grundbegriffe
Zerlegen das Ereignis {Nt+h = k} in disjunkte
2. Kombinatorik
Teilereignisse.
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Allgemeine Übersicht
{Nt+h = k} = {Nt = 0, Nt+h − Nt = k} ∪
{Nt = 1, Nt+h − Nt = k − 1} ∪
{Nt = 2, Nt+h − Nt = k − 2} ∪ . . . ∪
Binomialverteilung
Geometrische Verteilung
{Nt = k, Nt+h − Nt = 0}
Poisson-Verteilung
Negative Binomial
7. Charakteristika
249 / 895
Poisson-Verteilung (7)
Stochastik für
InformatikerInnen
Pk (t + h) =
Wolfgang Kössler
1. Grundbegriffe
=
=
4. Klass. Wkt.
k
X
j=0
5. Zufallsvariablen
6. Diskrete ZV
=
k
X
Allgemeine Übersicht
Binomialverteilung
P(Nt = k − j, Nt+h − Nt = j)
j=0
2. Kombinatorik
3. Bedingte Wkt
k
X
Pk−j (t) P(Nt+h − Nt = j)
{z
}
|
=P(Nh −N0 =j)
Pk −j (t)Pj (h) wegen V2
j=0
Geometrische Verteilung
Poisson-Verteilung
Negative Binomial
7. Charakteristika
wegen V1
= Pk (t)P0 (h) + Pk −1 (t)P1 (h) +
k
X
Pk −j (t)Pj (h)
j=2
250 / 895
Poisson-Verteilung (8)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
P1 (h) =
2. Kombinatorik
∞
X
Pj (h) −
j=1
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
= ah + o(h)
Allgemeine Übersicht
∞
X
Binomialverteilung
Geometrische Verteilung
j=2
Pk −j (t)Pj (h) ≤
∞
X
Pj (h)
j=2
= p(h) + o(h)
6. Diskrete ZV
∞
X
Pj (h) = o(h) wegen V2
j=2
Poisson-Verteilung
Negative Binomial
7. Charakteristika
251 / 895
Poisson-Verteilung (9)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Nacheinander folgt:
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Allgemeine Übersicht
Binomialverteilung
Geometrische Verteilung
Pk (t + h) − Pk (t) = (P0 (h) − 1)Pk (t) + Pk −1 (t)P1 (h)
+o(h)
= −ahPk (t) + ahPk −1 (t) + o(h)
Pk (t + h) − Pk (t)
o(h)
= −aPk (t) + aPk −1 (t) +
h
h
Pk0 (t) = −aPk (t) + aPk −1 (t),
Pk (0) = 0
Poisson-Verteilung
Negative Binomial
7. Charakteristika
252 / 895
Poisson-Verteilung (10)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Qk (t) := Pk (t)eat
Qk0 (t) = Pk0 (t)eat + Pk (t)aeat
Qk0 (t) = eat (−aPk (t) + aPk −1 (t) +aPk (t))
|
{z
}
Pk0 (t)
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Allgemeine Übersicht
Binomialverteilung
= aQk −1 (t)
Q10 (t)
= aQ0 (t) = ae−at eat = a ⇒ Q1 (t) = at
a2 t 2
Q20 (t) = aQ1 (t) = a2 t ⇒ Q2 (t) =
2
Durch vollständige Induktion:
Geometrische Verteilung
Poisson-Verteilung
Negative Binomial
7. Charakteristika
ak t k
ak t k −at
Pk (t) =
e
k!
k!
Poisson-Verteilung mit Parameter λ = at.
Qk (t) =
253 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
6.1 Allgemeine Übersicht
1. Grundbegriffe
2. Kombinatorik
6.2 Binomialverteilung
3. Bedingte Wkt
6.3 Geometrische Verteilung
4. Klass. Wkt.
6.4 Poisson-Verteilung
5. Zufallsvariablen
6.5 Negative Binomialverteilung
6. Diskrete ZV
Allgemeine Übersicht
Binomialverteilung
Geometrische Verteilung
Poisson-Verteilung
Negative Binomial
7. Charakteristika
254 / 895
6.5 Negative Binomialverteilung
Anzahl der Versuche bis zum m-ten “Erfolg”
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Def. 23 (Negative Binomialverteilung)
Eine Zufallsvariable X mit der Wkt.funktion
m+k −1 m
P(X = m + k) =
p (1 − p)k
m−1
heißt negativ Binomialverteilt mit Parametern (m, p)
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Allgemeine Übersicht
Qualitätskontrolle
Prüfen solange bis wir m defekte Stücke entdecken.
Wenn m + k “klein” → Los ablehnen
Binomialverteilung
Geometrische Verteilung
Wenn m + k “groß” → Los annehmen
Poisson-Verteilung
Negative Binomial
7. Charakteristika
(hier kann die Prüfung evtl. vorzeitig abgebrochen
werden.)
255 / 895
Negative Binomialverteilung (2)
Stochastik für
InformatikerInnen
Diese Verteilung entsteht auch, wenn man
Wolfgang Kössler
Poisson-Verteilung mit einer Gamma-Verteilung
1. Grundbegriffe
mischt.
2. Kombinatorik
Deshalb wird sie verwendet, wenn sich Zähldaten
3. Bedingte Wkt
aus verschiedenen Quellen zusammensetzen (und
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Allgemeine Übersicht
Poisson nicht geeignet scheint).
File-Dokumentenserver
Die Gesamt-Anzahl der Zugriffe auf ein bestimmtes
Binomialverteilung
Geometrische Verteilung
Dokument setzt sich aus Teil-Anzahlen von
Poisson-Verteilung
Negative Binomial
7. Charakteristika
vielfältigen Zugriffen aus verschiedenartigen Quellen
zusammen.
256 / 895
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Bem: In den Wahrscheinlichkeiten können Parameter
2. Kombinatorik
3. Bedingte Wkt
auftreten, die in der Regel unbekannt sind.
4. Klass. Wkt.
Die Parameter sind anhand der Beobachtungen
5. Zufallsvariablen
(der Daten) zu bestimmen/zu schätzen!
6. Diskrete ZV
−→ Aufgabe der Statistik
Allgemeine Übersicht
Binomialverteilung
Geometrische Verteilung
Poisson-Verteilung
Negative Binomial
7. Charakteristika
257 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
7.1 Der Erwartungswert
2. Kombinatorik
7.2 Moment und Varianz
3. Bedingte Wkt
7.3 Schiefe und Exzess
4. Klass. Wkt.
7.4 Charakteristische Funktionen
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
258 / 895
7. Charakteristika von
Verteilungsfunktionen
Stochastik für
InformatikerInnen
Wolfgang Kössler
Eine Münze wird 3 mal geworfen.
Wie oft können wir erwarten, daß Blatt oben liegt?
1. Grundbegriffe
2. Kombinatorik
Wie oft wird im Mittel Blatt oben liegen?
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen

X :
0
1
2
3



1/8 3/8 3/8 1/8
6. Diskrete ZV
7. Charakteristika
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Erwartungswert: 0 ·
1
8
+1·
3
8
+2·
3
8
+3·
1
8
=
12
8
= 1.5
D.h. bei 10maliger Durchführung des Experiments
können wir im Mittel mit 15mal Blatt rechnen.
Charakteristische Fkt.
8. Exponential
259 / 895
7.1 Der Erwartungswert
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Sei X diskrete Zufallsvariable,


x1 ... xn ...

X :
p1 ... pn ...
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Def. 24 (Erwartungswert, X diskret)
Die reele Zahl
∞
X
EX =
pi xi
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
i=1
heißt Erwartungswert von X
260 / 895
Der Erwartungswert
Beispiele (1)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
a)
X ∼ Poisson(λ)


0 1 2 3 ...

X :
p0 p1 p2 p3 ...
3. Bedingte Wkt
pi =
4. Klass. Wkt.
λi −λ
e
i!
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Der Erwartungswert
EX =
∞
X
i=0
pi i =
∞
X
λi
i=0
i!
e
−λ
Moment und Varianz
∞
X
λi−1
·i =λ
e−λ = λ.
(i − 1)!
|i=1 {z
}
eλ
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
z.B. mittlere Ankunftsrate.
261 / 895
Der Erwartungswert
Beispiele (2)
Stochastik für
InformatikerInnen
b)
X ∼ B(n, p)
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
n
X
n k
EX =
k
p · (1 − p)n−k
k
k =0
n
X
n!
pk −1 (1 − p)n−k
(k − 1)!(n − k)!
k =1
n X
n − 1 k −1
p (1 − p)n−k
= p·n
k −1
k =1
n−1 X
n−1 i
= p·n
p (1 − p)n−1−i ,
k =i +1
i
i=0
= n · p.
262 / 895
= p
Der Erwartungswert
Beispiele (3)
Stochastik für
InformatikerInnen
c)
X ∼ Geo(p)
Wolfgang Kössler

1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
6. Diskrete ZV
2
3
...

...

...
k
X :
p pq pq 2 ... pq k −1
4. Klass. Wkt.
5. Zufallsvariablen
1
EX =
∞
X
k =0
xk pk =
∞
X
kpq
k−1
k=1
= p·
∞
X
k =1
q =1−p
kq k−1 =
1
p
= .
p
(1 − q)2
7. Charakteristika
Der Erwartungswert
Beweis des vorletzten Gleichheitszeichens:
Moment und Varianz
Schiefe und Exzess
a) durch vollst. Induktion
Charakteristische Fkt.
8. Exponential
b) Differenzieren der geometrischen Reihe
263 / 895
Erwartungswert
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Def. 25 (Erwartungswert, X stetig)
2. Kombinatorik
Sei X stetig mit Dichtefunktion f (x). Die reele Zahl
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Z∞
x · f (x)dx
EX =
−∞
6. Diskrete ZV
7. Charakteristika
heißt Erwartungswert von X .
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
264 / 895
Der Erwartungswert
Beispiele (4)
Stochastik für
InformatikerInnen
a) X ∼ N (µ, σ 2 )
Wolfgang Kössler
Z∞
1. Grundbegriffe
2. Kombinatorik
EX =
−∞
Z∞
3. Bedingte Wkt
4. Klass. Wkt.
=
5. Zufallsvariablen
−∞
x√
1
2π · σ
Der Erwartungswert
Moment und Varianz
x−µ 2
) /2
σ
dx
1 −t 2
(σt + µ) √ e 2 dt
2π
6. Diskrete ZV
7. Charakteristika
e−(
1
= µ+ √
2π
Z∞
σ·t ·e
−t 2
2
dt = µ.
−∞
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
x−µ
σ
= t,
dt = σ1 dx
265 / 895
Der Erwartungswert
Beispiele (5)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
b) X ∼ Exp(λ),
Z∞
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
λ>0
EX =
x · λ · e−λ·x dx =
1
λ
0
6. Diskrete ZV
7. Charakteristika
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
266 / 895
Der Erwartungswert
Beispiele (6)
Stochastik für
InformatikerInnen
c) X ∼ R(a, b), gleichverteilt auf dem Intervall (a,b)
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
1
EX =
b−a
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
2
=
Zb
a
2
b
1 x 2 xdx =
b−a 2 a
b −a
a+b
=
.
2(b − a)
2
Bemerkung: Die Erwartungswerte sind für stetige
7. Charakteristika
Der Erwartungswert
und diskrete Zufallsgrößen zweckmäßigerweise
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
unterschiedlich definiert. Sie läßt sich jedoch
(maßtheoretisch) vereinheitlichen.
267 / 895
Eigenschaften des Erwartungswertes
Stochastik für
Satz
InformatikerInnen
Wolfgang Kössler
Seien X , X1 und X2 zufällige Variablen und
1. Grundbegriffe
a, b, c ∈ R beliebig. Dann gelten folgende Aussagen:
2. Kombinatorik
1
Wenn P(X = c) = 1, d.h. nimmt die zufällige
3. Bedingte Wkt
Variable X genau einen festen Wert an, so folgt
4. Klass. Wkt.
EX = Ec = c.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
2
Wenn P(X ≥ c) = 1, so EX ≥ c.
3
E(c · X ) = c · EX .
4
E(X + c) = EX + Ec = EX + c.
5
E(a · X1 + b · X2 ) = a · EX1 + b · EX2 .
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
268 / 895
Eigenschaften des Erwartungswertes
Beweis des Satzes
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Beweis: Wir beweisen stellvertretend Aussage 2.
Es sei X eine diskrete Zufallsgröße,


x1 x2 . . . xn . . .

X : 
p1 p2 . . . pn . . .
5. Zufallsvariablen
Nach Voraussetzung:
6. Diskrete ZV
c = x1 < x2 < . . . < xn < . . .. Daraus folgt:
7. Charakteristika
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
EX =
X
i∈N
xi · pi ≥
X
i∈N
c · pi = c ·
X
pi = c.
i∈N
2
269 / 895
Eigenschaften des Erwartungswertes
Beweis des Satzes (Fortsetzung)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Es sei X eine stetige zufällige Variable mit der
Dichtefunktion f . Dann gilt:
Z+∞
P(X ≥ c) =
f (x) dx = 1.
3. Bedingte Wkt
c
4. Klass. Wkt.
Zc
5. Zufallsvariablen
P(X < c) =
6. Diskrete ZV
7. Charakteristika
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
⇒
⇒
f (x) dx = 0.
−∞
+∞
+∞
+∞
Z
Z
Z
x·f (x) dx =
x·f (x) dx ≥ c·
f (x) dx = c
EX =
−∞
c
c
|
{z
=1
}
270 / 895
Eigenschaften des Erwartungswertes
Ergänzungen
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Aus Aussage 4 folgt:
2. Kombinatorik
3. Bedingte Wkt
E(X − EX ) = EX − E(EX ) = 0.
4. Klass. Wkt.
5. Zufallsvariablen
Aussage 5 besagt, daß der Erwartungswert eine
6. Diskrete ZV
linearer Operator ist.
7. Charakteristika
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
271 / 895
Erwartungswert von Funktionen von
Zufallsvariablen
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Frage: Wie berechnen wir E(g(X ))?
X diskret Dann ist Y = g(X ) gegeben durch


g(x1 ) g(x2 ) . . .

Y : 
p1
p2
und der Erwartungswert ist
∞
X
E(g(X ) =
g(xi )pi
i=0
7. Charakteristika
Der Erwartungswert
Moment und Varianz
X stetig 1. Variante: Dichte fY von Y = g(X )
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
ausrechnen. Wie man das macht, sehen
R
wir später. Dann E(Y ) = y fY (y) dy. 272 / 895
Erwartungswert von Funktionen von
Zufallsvariablen (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
2. Variante: Satz (Regel des Faulen Statistikers)
Seien X und Y = g(X ) Zufallsgrößen. Dann gilt:
P

 ∞
falls X diskret
i=0 g(xi )pi ,
E(g(X )) = R∞

 g(x)f (x) dx, falls X stetig
−∞
vorausgesetzt die Erwartungswerte existieren.
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
273 / 895
Erwartungswert von Funktionen von
Zufallsvariablen (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Intuitive Erläuterung: Spiel
wobei wir X zufällig ziehen. Dann zahle ich den
‘Gewinn’ Y = g(X ). Ihr erwartetes
Z Einkommen ist
X
g(x)P(X = x) bzw.
g(x)f (x) dx.
x
4. Klass. Wkt.
Spezialfall: g(x) = IA (x) Indikatorfunktion eines
5. Zufallsvariablen
Ereignisses A
6. Diskrete ZV
Z
E(IA (X )) =
7. Charakteristika
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Z
IA (x)fX (x) dx =
fX (x) dx
A
= P(X ∈ A) = P(A).
D.h. Die Wahrscheinlichkeit ist ein Speziallfall eines
Charakteristische Fkt.
8. Exponential
Erwartungswertes!
274 / 895
Regel des Faulen Statistikers
Beispiele (1)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Sei X ∼ R(0, 1) und Y = g(X ) = eX . Dann
Z 1
Z 1
x
E(Y ) =
e f (x) dx =
ex dx = e − 1.
0
0
6. Diskrete ZV
7. Charakteristika
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
275 / 895
Regel des Faulen Statistikers
Beispiele (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Stab der Länge 1 zufällig brechen
Sei Y die Länge des längeren Stücks. Gesucht ist
die erwartete Länge E(Y ).
Wenn X der zufälllige Bruchpunkt ist, dann
X ∼ R(0, 1) und Y = g(X ) = max(X , 1 − X ). D.h.

1 − x
falls 0 < x < 0.5
g(x) =
x
falls 0.5 < x < 1
Der Erwartungswert
Moment und Varianz
Z
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
E(Y ) =
1
Z
g(x)f (x) dx =
0
0
0.5
Z
(1−x) dx+
1
0.5
x dx =
3
.
4
276 / 895
Regel des Faulen Statistikers
Beweis (1)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Wir zeigen die letzte Behauptung unter der
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Annahme g: R → R differenzierbar, g 0 (x) 6= 0 ∀x.
Nach der Definition des Erwartungswertes gilt:
Z∞
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
y · h(y) dy,
E(g(X )) =
−∞
7. Charakteristika
Der Erwartungswert
wobei h(y) die Dichte von Y = g(X ) ist.
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
277 / 895
Regel des Faulen Statistikers
Beweis (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Wir bestimmen jetzt h(y):
1. Fall: Sei g monoton wachsend.
FY (t) = Fg(X ) (t) =
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
P(g(X ) < t) = P(X < g −1 (t)) =
4. Klass. Wkt.
5. Zufallsvariablen
g 0 (x)dx = dy.
Zt
Fg(X ) (t) =
7. Charakteristika
Der Erwartungswert
f (g −1 (y))
dy
g 0 (g −1 (y))
−∞
Moment und Varianz
−1
Schiefe und Exzess
8. Exponential
f (x) dx
−∞
Substitution: g(x) = y,
6. Diskrete ZV
Charakteristische Fkt.
−1 (t)
gZ
⇒
f (g (y))
= h(y)
g 0 (g −1 (y))
ist Dichte von g(X )
278 / 895
Regel des Faulen Statistikers
Beweis (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
2. Fall: Sei g monoton fallend.
1. Grundbegriffe
FY (t) = Fg(X ) (t) =
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
P(g(X ) < t) = P(X > g −1 (t)) =
5. Zufallsvariablen
Z∞
f (x) dx
g −1 (t)
6. Diskrete ZV
7. Charakteristika
Der Erwartungswert
Substitution:
g(x) = y,
g 0 (x)dx = dy,
g(∞) = −∞
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
279 / 895
Regel des Faulen Statistikers
Beweis (4)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Z−∞
1. Grundbegriffe
2. Kombinatorik
Fg(X ) (t) =
t
3. Bedingte Wkt
Zt
4. Klass. Wkt.
=
5. Zufallsvariablen
7. Charakteristika
Moment und Varianz
Z−∞
f (g −1 (y))
dy
|g 0 (g −1 (y)|
t
f (g −1 (y))
dy
|g 0 (g −1 (y)|
−∞
6. Diskrete ZV
Der Erwartungswert
f (g −1 (y))
dy = −
g 0 (g −1 (y)
⇒
f (g −1 (y))
= h(y)
|g 0 (g −1 (y))|
ist Dichte von g(X )
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
280 / 895
Regel des Faulen Statistikers
Beweis (5)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Z
Z∞
∞
y · h(y) dy =
⇒ E(g(X )) =
−∞
f (g −1 (y))
dy
y · 0 −1
|g (g (y))|
−∞
Substitution: y = g(x), dy = g 0 (x)dx
5. Zufallsvariablen
Z∞
6. Diskrete ZV
7. Charakteristika
E(g(X )) =
g(x)f (x)dx.
Der Erwartungswert
Moment und Varianz
−∞
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
281 / 895
Regel des Faulen Statistikers
Beispiele (Fortsetzung). Verwenden die Dichte von g(X ).
Stochastik für
InformatikerInnen
Fortsetzung von Bsp. 18
Wolfgang Kössler
Es war X ∼ R(0, 1), Y = g(X ) = eX . Also
1. Grundbegriffe
g(x) = ex ,
g 0 (x) = ex ,
g −1 (y) = ln y. Also
2. Kombinatorik
h(y) =
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Der Erwartungswert
f (g −1 (y))
1
1
=
=
,
g 0 (g −1 (y))
eln y
y
1 ≤ y ≤ e.
Z e
Z
E(Y ) =
y ·h(y) dy =
1
1
e
1
y · dy =
y
Z
e
1 dy = e−1
1
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
dasselbe Resultat wie mit der Regel des Faulen
Statistikers.
282 / 895
Regel des Faulen Statistikers
Beispiele (Fortsetzung von Bsp. Gebrochener Stab)
Stochastik für
Es war X ∼ R(0, 1), Y = g(X ) = max(X , 1 − X ).
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
g(x) = max(x,
1 − x) ist stückweise diff.bar.

1,
x > 0.5
g −1 (y) = {y, 1 − y}
g 0 (x) =
−1, x < 0.5.
g 0 (g −1 (y)) = {1, −1}
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
{f (g −1 (y))}
1+1
h(y) = 0 −1
=
= 2, y ∈ (0.5, 1)
|g (g (y))|
1
6. Diskrete ZV
7. Charakteristika
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
Z
1
Z
y · h(y) dy =
E(Y ) =
0.5
1
3
1
y · 2 dy = 2 · y 2 |10.5 =
2
4
0.5
Also wieder dasselbe Resultat wie mit der Regel des
Faulen Statistikers.
283 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
7.1 Der Erwartungswert
2. Kombinatorik
7.2 Moment und Varianz
3. Bedingte Wkt
7.3 Schiefe und Exzess
4. Klass. Wkt.
7.4 Charakteristische Funktionen
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
284 / 895
7.2 Moment und Varianz
Stochastik für
InformatikerInnen
Wolfgang Kössler
Es sei X eine zufällige Variable.
Def. 26 (Moment und Zentrales Moment)
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Falls E(|X |p ) < ∞, heißt der Erwartungswert EX p
p–tes Moment
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Der Erwartungswert
p
EX =
 +∞
R p


x · f (x) dx,

falls X stetig ist
P p


xi · pi ,

falls X diskret ist
−∞
i∈N
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
E(X − EX )p heißt p–tes zentrales Moment.
285 / 895
Varianz und Standardabweichung
Stochastik für
InformatikerInnen
Wolfgang Kössler
Def. 27 (Varianz), bez. Var X oder σX2
1. Grundbegriffe
Das zweite zentrale Moment E(X − EX )2 nennen wir
2. Kombinatorik
auch Streuung oder Varianz der Zufallsgröße X .
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Def. 28 (Standardabweichung), σ, σX
p
σ = Var (X )
7. Charakteristika
Der Erwartungswert
Bem.: Var (X ): mittlere quadratische Abweichung
Moment und Varianz
Schiefe und Exzess
zwischen X und EX .
Charakteristische Fkt.
8. Exponential
286 / 895
Varianz
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Satz (Eigenschaften der Varianz):
1
Sei c ∈ R. Wenn P(X = c) = 1, so Var X = 0. Ist
2. Kombinatorik
umgekehrt Var X = 0, so existiert ein c ∈ R, so
3. Bedingte Wkt
daß gilt: P(X = c) = 1.
4. Klass. Wkt.
2
Für beliebige c ∈ R gilt: Var (X + c) = Var X .
3
Für beliebige a ∈ R gilt: Var (a · X ) = a2 · Var X .
4
Für zwei zufällige Variablen X1 und X2 gilt:
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Der Erwartungswert
Moment und Varianz
Var (X1 + X2 ) = Var X1 + Var X2 + 2 · cov (X1 , X2 ).
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
287 / 895
Eigenschaften der Varianz
Beweis (1)
Stochastik für
InformatikerInnen
Es seien X , X1 und X2 beliebige zufällige Variablen.
Wolfgang Kössler
a, c ∈ R seien ebenfalls beliebig gewählt. Die
1. Grundbegriffe
folgenden Aussagen folgen aus dem Satz über die
2. Kombinatorik
Eigenschaften des Erwartungswertes.
3. Bedingte Wkt
1
Es gelte: P(X = c) = 1. Daraus folgt EX = c.
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
Var X = E(X − EX )2 = E(X − c)2 = E(c − c)2 = 0
Es sei nun Var X = 0 = E(X − EX )2 = 0.
Allgemein gilt für c ∈ R: E(X − c)2 ≥ 0. Also,
P(X − EX = 0) = 1. und
Verlangte.
c := EX leistet das
288 / 895
Eigenschaften der Varianz
Beweis (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Var (X + c) = E(X + c − E(X + c))2
= E(X + c − EX − Ec)2
= E(X + c − EX − c)2
6. Diskrete ZV
7. Charakteristika
= E(X − EX )2 = Var X
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
289 / 895
Eigenschaften der Varianz
Beweis (4)
Stochastik für
InformatikerInnen
Wolfgang Kössler
3
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Var (a · X ) = E(a · X − E(a · X ))2
= E(a · X − a · EX )2
= E(a · (X − EX ))2
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
= E a2 · (X − EX )2
= a2 · E(X − EX )2
Der Erwartungswert
Moment und Varianz
= a2 · Var X
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
290 / 895
Eigenschaften der Varianz
Beweis (3)
Stochastik für
InformatikerInnen
4
Wolfgang Kössler
Var (X1 + X2 ) = E(X1 + X2 − E(X1 + X2 ))2
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
= E(X1 + X2 − EX1 − EX2 )2
= E((X1 − EX1 ) + (X2 − EX2 ))2
= E (X1 − EX1 )2 + (X2 − EX2 )2
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
+2 · (X1 − EX1 ) · (X2 − EX2 )
= E(X1 − EX1 )2 + E(X2 − EX2 )2
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
+2 · E((X1 − EX1 ) · (X2 − EX2 ))
|
{z
}
= Var X1 + 2 · cov (X1 , X2 ) + Var X2
291 / 895
Kovarianz und Unabhängigkeit
Stochastik für
InformatikerInnen
Kovarianz der zufälligen Variablen X1 und X2
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
cov (X1 , X2 ) := E((X1 − EX1 ) · (X2 − EX2 ))
cov (X1 , X2 ) =
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
= E((X1 − EX1 ) · (X2 − EX2 ))
= E(X1 · X2 − X1 · EX2 − X2 · EX1 + EX1 · EX2 )
7. Charakteristika
Der Erwartungswert
= E(X1 · X2 ) − E(X1 · EX2 ) − E(X2 · EX1 ) + EX1 · EX2
Moment und Varianz
Schiefe und Exzess
= E(X1 · X2 ) − EX1 · EX2
Charakteristische Fkt.
8. Exponential
292 / 895
Kovarianz und Unabhängigkeit
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Erinnerung:
Unabhängigkeit
Zwei Zufallsvariablen X1 und X2 heißen unabhängig,
falls für alle x1 , x2 ∈ R gilt:
3. Bedingte Wkt
4. Klass. Wkt.
P(X1 < x1 , X2 < x2 ) = P(X1 < x1 ) · P(X2 < x2 )
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
Lemma
Es seien X1 und X2 zwei unabhängige Zufallsgrößen.
Dann gilt:
cov (X1 , X2 ) = 0.
293 / 895
Kovarianz und Unabhängigkeit
Beweis des Lemmas (1)
Stochastik für
InformatikerInnen
Beweis: Wir betrachten den zufälligen Vektor
Wolfgang Kössler
X = (X1 , X2 )T und führen den Beweis nur für den
1. Grundbegriffe
Fall, daß die beiden Zufallsgrößen X1 und X2 stetig
2. Kombinatorik
sind. Für den diskreten Fall verfährt man analog.
3. Bedingte Wkt
Es sei f (x1 , x2 ) die Dichtefunktion des zufälligen
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Vektors X.
Wir definieren eine Funktion g : R2 −→ R durch:
g(X1 , X2 ) := (X1 − EX1 ) · (X2 − EX2 ).
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
Offenbar,
cov (X1 , X2 ) = Eg(X1 , X2 ).
294 / 895
Kovarianz und Unabhängigkeit
Beweis des Lemmas (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Außerdem ist:
Z
Eg(X1 , X2 ) = (x1 −EX1 )·(x2 −EX2 )·f (x1 , x2 ) dx1 dx2 .
R2
4. Klass. Wkt.
Nach Voraussetzung sind die zufälligen Variablen X1
5. Zufallsvariablen
und X2 unabhängig, also
6. Diskrete ZV
7. Charakteristika
f (x1 , x2 ) = fX1 (x1 ) · fX2 (x2 ).
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Somit gilt dann:
Charakteristische Fkt.
8. Exponential
295 / 895
Kovarianz und Unabhängigkeit
Beweis des Lemmas (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
cov (X1 , X2 ) =
Z
=
(x1 − EX1 ) · (x2 − EX2 ) · fX1 (x1 ) · fX2 (x2 ) dx1 dx2
R2
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Z
Z
(x1 − EX1 ) · fX1 (x1 ) dx1 ·
=
R
(x2 − EX2 ) · fX2 (x2 ) dx2
R
5. Zufallsvariablen
= E(X1 − EX1 ) · E(X2 − EX2 )
6. Diskrete ZV
= 0
7. Charakteristika
Der Erwartungswert
Bemerkung: Wir haben beim Beweis des Satzes
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
zwei Aussagen verwendet, die erst im Abschnitt
Unabhängigkeit behandelt werden.
296 / 895
Korrelation und Unabhängigkeit
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Die Umkehrung der Aussage von Lemma 10 gilt im
allgemeinen nicht, wie das folgende Beispiel zeigt:
Es sei X1 ∼ R(0, π)

 1 , falls 0 ≤ x < π
π
fX1 (x) =
.
 0 , sonst
Die Zufallsgröße X2 definieren wir durch X2 = sin X1 .
7. Charakteristika
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Offenbar, X1 und X2 sind streng abhängig. Für die
Kovarianz der beiden Zufallsgrößen gilt:
Charakteristische Fkt.
8. Exponential
297 / 895
Korrelation und Unabhängigkeit
Beispiel (Fortsetzung, 1)
Stochastik für
InformatikerInnen
Nun gilt für die Erwartungswerte EX1 und EX2 :
Wolfgang Kössler
1. Grundbegriffe
EX1
2. Kombinatorik
3. Bedingte Wkt
0
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Z+∞
Zπ
1
=
x · fX1 (x) dx = x · dx
π
−∞
0
h 2 iπ
2
= π1 · x2 = π1 · π2 = π2
EX2
Z+∞
= E(sin X1 ) =
sin x · fX1 (x) dx
−∞
7. Charakteristika
Zπ
Der Erwartungswert
Moment und Varianz
sin x ·
=
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
1
π
dx =
1
π
· [− cos x]π0 =
2
π
0
298 / 895
Korrelation und Unabhängigkeit
Beispiel (Fortsetzung, 2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Für den Erwartungswert E(X1 · X2 ) gilt nach der
Regel des Faulen Statistikers
Zπ
1. Grundbegriffe
2. Kombinatorik
E(X1 · X2 ) = E(X1 · sin X1 ) =
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
x · sin x ·
π
= − π1 · x · cos x 0 +
1
π
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
Zπ
·
cos x dx
|0
7. Charakteristika
Moment und Varianz
dx
0
6. Diskrete ZV
Der Erwartungswert
1
π
{z
=0
}
= − π1 · (−1)π − 0 = 1
Wir setzen alle diese Werte in die
Ausgangsgleichung ein und erhalten:
299 / 895
Korrelation und Unabhängigkeit
Beispiel (Fortsetzung, 3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
cov (X1 , X2 ) = E(X1 · X2 ) − EX1 · EX2
= 1−
π
2
·
2
π
=0
2. Kombinatorik
3. Bedingte Wkt
Trotz der Abhängigkeit der beiden Zufallsgrößen X1
4. Klass. Wkt.
und X2 ist ihre Kovarianz gleich Null.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Der Erwartungswert
Folgerung
Falls zwei zufällige Variablen X1 und X2 unabhängig
sind, gilt für die Varianz ihrer Summe:
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
Var (X1 + X2 ) = Var (X1 ) + Var (X2 ).
300 / 895
Varianz
Beispiele (1)
Stochastik für
InformatikerInnen
a) Poisson-Verteilung, X ∼ Poi(λ)
Wolfgang Kössler
pi = P(X = i) =
1. Grundbegriffe
2. Kombinatorik
λi −λ
e ,
i!
i = 0, 1, 2, . . .
Var (X ) =
3. Bedingte Wkt
4. Klass. Wkt.
2
= E(X − EX ) =
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
=
∞
X
∞
X
(i − λ)2 pi
i=0
∞
X
i · (i − 1)pi +
i=2
i=0
ipi − 2λ
∞
X
ipi + λ
i=0
2
∞
X
pi
i=0
∞
X
λi−2 −λ
= λ
e + λ − 2λ2 + λ2 = λ.
(i − 2)!
2
i=2
8. Exponential
301 / 895
Varianz
Beispiele (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
b) Binomialverteilung, X ∼ B(n, p).
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Var (X ) = np(1 − p).
(ohne Beweis, ÜA)
6. Diskrete ZV
7. Charakteristika
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
302 / 895
Varianz
Beispiele (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
c) Gleichverteilung auf (a, b), X ∼ R(a, b)

 1
a+b
x ∈ (a, b)
EX =
.
f (x) = b−a
2
0
sonst.
Z b
1
1 b
1
EX 2 =
x2
dx = x 3 a ·
b−a
3
b−a
a
3
3
2
2
b −a
a + ab + b
=
=
.
3(b − a)
3
Var (X ) = EX 2 − (EX )2
1
=
(4a2 + 4ab + 4b2 − 3a2 − 6ab − 3b2 )
12
1 2
(b − a)2
=
(a − 2ab + b2 ) =
.
12
12
303 / 895
Varianz
Beispiele (4)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
d) Exponentialverteilung

λe−λ·x
f (x) =
0
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
EX =
Schiefe und Exzess
sonst.
∞
EX 2 =
0
Der Erwartungswert
Moment und Varianz
1
.
Zλ
falls x ≥ 0,
Var (X ) =
x 2 λe−λ·x dx =
2
λ2
(ÜA).
1
.
λ2
Charakteristische Fkt.
8. Exponential
304 / 895
Varianz
Beispiele (4a)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Der Erwartungswert
Moment und Varianz
e) Normalverteilung
1 x−µ 2
1
e− 2 ( σ ) dx
f (x) = √
Z 2πσ
∞
1 x−µ 2
1
2
E(X − µ) =
(x − µ)2 √
e− 2 ( σ ) dx
2πσ
−∞
Z ∞
t2
1
= σ2
t 2 √ e− 2 dt
2π
Z−∞
∞
t2
1
= σ2
(−t)(−t √ e− 2 ) dt
2π
−∞
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
305 / 895
Varianz
Beispiele (4b)
Stochastik für
InformatikerInnen
e) Normalverteilung
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
∞
σ2
2
−te−t /2 −∞ −
= √
2π
Z ∞
t2
σ2
= √
e− 2 dt
2π −∞
2
= σ .
Z
∞
t2
(−1)e− 2 dt
−∞
6. Diskrete ZV
7. Charakteristika
t=
x−µ
,
σ
σ dt = dx
Der Erwartungswert
Moment und Varianz
Bei Normalverteilung sind also die Parameter µ und
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
σ 2 Erwartungswert und Varianz.
306 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
7.1 Der Erwartungswert
2. Kombinatorik
7.2 Moment und Varianz
3. Bedingte Wkt
7.3 Schiefe und Exzess
4. Klass. Wkt.
7.4 Charakteristische Funktionen
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
307 / 895
7.3 Schiefe und Exzess
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Angenommen, das 4. Moment existiert.
Def. 29 (Schiefe und Kurtosis)
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Schiefe γ1
p
Var (X ) (Standardabweichung)
E(X − EX )3
=
(VarX )3/2
σX =
6. Diskrete ZV
7. Charakteristika
Kurtosis γ2 =
Der Erwartungswert
E(X − EX )4
(VarX )2
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
Exzess: γ2 − 3.
308 / 895
Schiefe und Exzess
Versuch einer Klassifikation
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
γ1
γ1
γ1
γ2
γ2
γ2
> 0:
= 0:
< 0:
> 3:
= 3:
< 3:
rechtsschiefe Verteilung
symmetrische Verteilung
linksschiefe Verteilung
starke Tails
Wölbung wie bei NV
schwache Tails
5. Zufallsvariablen
6. Diskrete ZV
Bem.: Diese Klassifikation ist recht vage. Es gibt
7. Charakteristika
mehrere Verteilungen mit gleichem Erwartungswert,
Der Erwartungswert
Moment und Varianz
gleicher Varianz, gleicher Schiefe und gleicher
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
Kurtosis, die aber recht unterschiedlich aussehen.
309 / 895
Schiefe und Exess
E(X ) = 0, var (X ) = 1, γ1 = 0, γ2 = 3
Dichte
Stochastik für
InformatikerInnen
0.8
Wolfgang Kössler
1. Grundbegriffe
0.6
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
0.4
5. Zufallsvariablen
6. Diskrete ZV
0.2
7. Charakteristika
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
0
-3
-2
-1
0
x
1
2
3
310 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
7.1 Der Erwartungswert
2. Kombinatorik
7.2 Moment und Varianz
3. Bedingte Wkt
7.3 Schiefe und Exzess
4. Klass. Wkt.
7.4 Charakteristische Funktionen
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
311 / 895
7.4 Charakteristische Funktionen
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Sei X Zufallsvariable mit Dichtefunktion fX (falls X
stetig) oder Wkt.funktion pj (falls X diskret).
Def. 30 (charakteristische Funktion von X )
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
φX (t) := EeitX
R
 ∞ eitx fX (x) dx
−∞
= P
 ∞ eitxj p
j
j=1
falls X stetig
falls X diskret
√
Bem.: Die Funktion φX ist (bis auf den Faktor 2π)
Der Erwartungswert
Moment und Varianz
die Fourier-Transformierte von fX .
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
Bem.: Die charakterische Funktion existiert.
312 / 895
Charakteristische Funktionen
Stochastik für
Satz (Eigenschaften)
InformatikerInnen
Wolfgang Kössler
(i) φX (t) ist in −∞ < t < ∞ gleichmäßig stetig.
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
|φX (t)| ≤ 1
φX (0) = 1
φX (−t) = φX (t)
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Der Erwartungswert
(ii) Die Zufallsvariable Y = aX + b hat die
charakteristische Funktion
φY (t) = φX (at)eibt
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
(iii) φX (t) ist reellwertig ⇔ X bzgl. x = 0
symmetrisch ist.
313 / 895
Charakteristische Funktionen
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Satz (Multiplikationssatz)
Seien die Zufallsvariablen X1 und X2 unabhängig mit
2. Kombinatorik
den charakteristischen Funktionen φ1 und φ2 . Dann
3. Bedingte Wkt
hat die Zufallsvariable X1 + X2 die charakteristische
4. Klass. Wkt.
Funktion φ1 · φ2 .
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Der Erwartungswert
Beweis: Es gilt:
φX1 +X2 (t) = Eeit(X1 +X2 ) = EeitX1 · EeitX2 = φ1 (t) · φ2 (t)
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
2
314 / 895
Charakteristische Funktionen
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Satz (Eindeutigkeitssatz)
Die Beziehung FX ⇔ φX
Für X stetig gilt:
2. Kombinatorik
1
fX (x) =
2π
3. Bedingte Wkt
∞
Z
4. Klass. Wkt.
5. Zufallsvariablen
ist eineindeutig.
e−itx φX (t) dt
−∞
Für X diskret gilt:
6. Diskrete ZV
1
pj = lim
T →∞ 2π
7. Charakteristika
Der Erwartungswert
Z
T
e−itxj φX (t) dt
−T
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
Beweis:
Teil 3.
siehe z.B. Günther, Grundkurs Analysis,
2
315 / 895
Charakteristische Funktionen
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Satz (Konvergenzsatz)
3. Bedingte Wkt
Seien Xn Zufallsvariablen mit Xn ∼ Fn . Dann gilt
4. Klass. Wkt.
5. Zufallsvariablen
Fn → F ⇔ φn → φ,
φ stetig in t = 0.
6. Diskrete ZV
7. Charakteristika
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
316 / 895
Charakteristische Funktionen
Wozu brauchen wir sie?
Stochastik für
InformatikerInnen
Wolfgang Kössler
Zum Beweis des Zentralen Grenzwertsatzes:
Die Summe von unabhängigen, identisch verteilten
1. Grundbegriffe
Zufallsgrößen ist asymptotisch normalverteilt (siehe
2. Kombinatorik
Abschnitt Grenzwertsätze).
3. Bedingte Wkt
4. Klass. Wkt.
1. charakteristische Funktion der Summe
5. Zufallsvariablen
(Multiplikationssatz)
6. Diskrete ZV
2. diese konvergiert gegen charakteristische
7. Charakteristika
Funktion der Normalverteilung (s. unten)
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
3. Konvergenz der Summe folgt aus dem
Konvergenzsatz
317 / 895
Charakteristische Funktionen
Stochastik für
InformatikerInnen
Wolfgang Kössler
Satz (Erzeugung der Momente)
Sei EX k < ∞. Dann gilt:
1. Grundbegriffe
αk := EX k =
2. Kombinatorik
3. Bedingte Wkt
1 (k)
φ (0)
ik X
Beweis: Vertauschen von Integration und
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Differentiation.
Die charakteristische Funktion hat also die
Taylor-Entwicklung
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
2
φX (t) = Ee
itX
=
∞
X
(it)j
j=0
j!
j
EX =
k
X
j=0
αj
(it)j
+o(t k ),
j!
t →0
318 / 895
Charakteristische Funktionen
Stochastik für
InformatikerInnen
X ∼ N (0, 1)
Wolfgang Kössler
Ee
itX
=
1. Grundbegriffe
2. Kombinatorik
=
3. Bedingte Wkt
4. Klass. Wkt.
=
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
=
Z ∞
x2
1
√
eitx e− 2 dx
2π −∞
Z ∞
x 2 −2itx+(it)2 −(it)2
1
2
√
e−
dx
2π −∞
Z
1 − t 2 ∞ − (x−it)2
√ e 2
z = x − it
e 2 dx
2π
−∞
Z
t2
1 − t 2 ∞+it − z 2
2
√ e
e 2 dz = e− 2 .
2π
−∞+it
Der Erwartungswert
Moment und Varianz
Schiefe und Exzess
Charakteristische Fkt.
8. Exponential
Y ∼ N (µ, σ 2 ):
EeitY = Eeit(σX +µ) = eitµ φX (σt)
319 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
8.1 Einführung
2. Kombinatorik
8.2 Gedächtnislosigkeit
3. Bedingte Wkt
8.3 Zuverlässigkeitsmodelle
4. Klass. Wkt.
8.4 Bedienungstheorie
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
320 / 895
8.1 Einführung
Stochastik für
InformatikerInnen
Def. 31 (Exponentialverteilung), X ∼ EX (λ)
Wolfgang Kössler
Sei X eine Zufallsvariable mit Werten in [0, ∞). Sie
1. Grundbegriffe
heißt exponentialverteilt mit dem Parameter λ, λ > 0,
2. Kombinatorik
falls die Verteilungsfunktion beschrieben wird durch

1 − e−λt
falls t ≥ 0
F (t) = P(X < t) =
0
sonst.
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
Die Dichte der Exponentialverteilung ist

λe−λt
falls t ≥ 0
f (t) =
0
sonst.
321 / 895
Die Exponentialverteilung
Erwartungswert
Stochastik für
InformatikerInnen
Wolfgang Kössler
Z
1. Grundbegriffe
2. Kombinatorik
∞
Z
5. Zufallsvariablen
u
∞
= x · (−e−λx )0 −
u
6. Diskrete ZV
7. Charakteristika
x · λe−λx dx
0
0
3. Bedingte Wkt
4. Klass. Wkt.
∞
x · f (x) dx =
EX =
v
Z
= 0+
0
∞
Z
v0
∞
1 · (−e−λx ) dx
0
u0
v
−1
1
∞
e−λx dx =
· e−λx 0 = .
λ
λ
8. Exponential
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
322 / 895
Die Exponentialverteilung
Varianz
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
EX
2
Z
∞
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
x 2 · λe−λx dx
x · f (x) dx =
=
0
0
3. Bedingte Wkt
4. Klass. Wkt.
∞
Z
2
∞
= x 2 (−e−λx )0 −
u
v
2
2
=
· EX = 2 .
λ
λ
u
Z ∞
v0
2x · (−e−λx ) dx
0
u0
v
8. Exponential
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
323 / 895
Die Exponentialverteilung
Varianz, Schiefe, Exzess
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
VarX = EX 2 − (EX )2 =
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
2
1
1
− 2 = 2
2
λ
λ
λ
1
(Standardabweichung)
λ
E(X − EX )3
=2
Schiefe =
(VarX )3/2
σX =
6. Diskrete ZV
7. Charakteristika
8. Exponential
Kurtosis =
E(X − EX )4
=9
(VarX )2
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
324 / 895
Die Exponentialverteilung
Beispiel
Stochastik für
InformatikerInnen
Die zufällige Wartezeit eines Kunden
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
am Schalter sei exponentialverteilt mit einem
Erwartungswert von 10 min.
Wie groß ist die Wkt,. dass Sie mindestens 15 min.
warten müssen?
5. Zufallsvariablen
6. Diskrete ZV
X : zufällige Wartezeit eines Kunden am Schalter,
7. Charakteristika
X ∼ Exp(λ),
λ=
1
.
10
Frage: P(X > 15) ?
8. Exponential
Einführung
P(X > 15) = e−15λ
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
= e−1.5 ≈ 0.220.
325 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
8.1 Einführung
2. Kombinatorik
8.2 Gedächtnislosigkeit
3. Bedingte Wkt
8.3 Zuverlässigkeitsmodelle
4. Klass. Wkt.
8.4 Bedienungstheorie
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
326 / 895
8.2 Gedächtnislosigkeit
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Def. 32 (Gedächtnislosigkeit)
Eine Verteilung P (mit Verteilungsfunktion F ) heißt
gedächtnislos, wenn für alle s, t ≥ 0, gilt:
P(X > s + t|X > t) = P(X > s).
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
Bem.: Bei stetigen Verteilungen ist das äquivalent zu
P(X ≥ s + t|X ≥ t) = P(X ≥ s).
Es gilt (Definition der bedingten Wahrscheinlichkeit)
P({X ≥ s + t} ∩ {X ≥ t})
P(X ≥ s + t|X ≥ t) =
P(X ≥ t)
P(X ≥ s + t)
=
.
P(X ≥ t)
327 / 895
Gedächtnislosigkeit (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Eine Verteilung(sfunktion) ist also gedächtnislos,
genau dann wenn
1. Grundbegriffe
P(X ≥ s + t)
= P(X ≥ s)
P(X ≥ t)
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
bzw.
1 − F (s + t)
= 1 − F (s).
1 − F (t)
7. Charakteristika
8. Exponential
Überlebensfunktion (oder Zuverlässigkeitsfunktion)
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
G(t) = 1 − F (t)
328 / 895
Gedächtnislosigkeit (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Die Verteilungsfunktion F (mit der
2. Kombinatorik
Überlebensfunktion G) ist also gedächtnislos genau
3. Bedingte Wkt
dann wenn
4. Klass. Wkt.
5. Zufallsvariablen
G(s + t) = G(s) · G(t) für alle s, t ≥ 0
6. Diskrete ZV
7. Charakteristika
Cauchy- Funktionalgleichung
8. Exponential
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
329 / 895
Gedächtnislosigkeit (4)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Satz: Die Exponentialverteilung ist gedächtnislos.
Beweis: Die Verteilungsfunktion ist

1 − e−λt
falls t ≥ 0
F (t) = P(X < t) =
0
sonst,
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
und die Überlebensfunktion
G(t) = 1 − F (t) = 1 − (1 − e−λt ) = e−λt .
7. Charakteristika
8. Exponential
Folglich erhalten wir
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
G(s + t) = e−λ(s+t) = e−λs e−λt = G(s) · G(t).
330 / 895
Gedächtnislosigkeit (5)
Stochastik für
InformatikerInnen
Satz: Sei F eine stetige Verteilungsfunktion mit
Wolfgang Kössler
F (0) = 0
1. Grundbegriffe
Es gelte die Cauchy-Funktionalgleichung
und
G(t) = 1 − F (t).
2. Kombinatorik
3. Bedingte Wkt
G(s + t) = G(s) · G(t) für alle s, t ≥ 0.
(1)
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
Dann gilt für alle t, t > 0,
F (t) = 1 − e−λt ,
wobei λ > 0. D.h. F ist
Exponential-Verteilungsfunktion.
331 / 895
Gedächtnislosigkeit (6)
Beweis des Satzes
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
1
Es gilt:
t
t
t 2
G(t) = G( + ) = G( ) ≥ 0,
2 2
2
d.h. G(t) ≥ 0 für alle t.
3. Bedingte Wkt
Angenommen, es existiert ein t0 mit G(t0 ) = 0,
4. Klass. Wkt.
dann folgt:
5. Zufallsvariablen
6. Diskrete ZV
G(t) = G(t − t0 + t0 ) = G(t − t0 ) · G(t0 ) = 0
7. Charakteristika
für alle t, d.h. wir erhalten die triviale Lösung für
8. Exponential
die obige Cauchy-Funktionalgleichung, die
Einführung
Gedächtnislosigkeit
jedoch wegen
Zuverlässigkeitsmodelle
Bedienungstheorie
G(0) = 1 − F (0) = 1 nicht zugelassen ist.
332 / 895
Gedächtnislosigkeit (7)
Stochastik für
InformatikerInnen
Wolfgang Kössler
2
Es gilt also G(t) > 0 für alle t.
Sei m, m > 0, eine natürliche Zahl. Dann folgt
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
aus (1) für alle t > 0:
t
t
t m
G(t) = G( + . . . + ) = G( ) ,
m
|m {z m}
m mal
6. Diskrete ZV
7. Charakteristika
insbesondere
8. Exponential
Einführung
Gedächtnislosigkeit
G(1) = G(
1 m
)
m
oder
G(
1
1
) = G(1) m
m
Zuverlässigkeitsmodelle
Bedienungstheorie
333 / 895
Gedächtnislosigkeit (8)
Stochastik für
InformatikerInnen
Wolfgang Kössler
3
Für rationale Zahlen r =
m
n
erhalten wir
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
=
6. Diskrete ZV
7. Charakteristika
8. Exponential
1
1
n
) = G( + . . . + )
m
|m {z m}
n mal
1 n
G( )
m
n
G(1) m
r
G(1) .
G(r ) = G(
=
=
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
334 / 895
Gedächtnislosigkeit (9)
Stochastik für
InformatikerInnen
4
Wolfgang Kössler
Da die Funktion (G(1))t stetig ist auf R+ folgt für
alle t > 0:
1. Grundbegriffe
G(t) = G(1)t = et·ln(G(1))
2. Kombinatorik
3. Bedingte Wkt
5
Wir setzen λ := − ln G(1).
4. Klass. Wkt.
Da F als Verteilungsfunktion monoton
5. Zufallsvariablen
wachsend ist, ist G monoton fallend, d.h.
6. Diskrete ZV
ln G(1) < 0 und λ > 0. Wir erhalten demnach
7. Charakteristika
G(t) = e−λ·t ,
8. Exponential
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
also
F (t) = 1 − e−λ·t .
335 / 895
Gedächtnislosigkeit (10)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Bem.: Unter den diskreten Verteilungen hat nur die
geometrische Verteilung diese Eigenschaft (siehe
4. Klass. Wkt.
dort)
Fortsetzung von Beispiel 1
Der Kunde hat schon 10 min. gewartet. Wie groß ist
5. Zufallsvariablen
die Wkt., daß er insgesamt länger als 15 min. warten
6. Diskrete ZV
muss ?
2. Kombinatorik
3. Bedingte Wkt
7. Charakteristika
8. Exponential
P(X > 15|X > 10) = P(X > 5) = e−5λ = e−0.5
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
≈ 0.604.
336 / 895
Gedächtnislosigkeit (12)
Stochastik für
InformatikerInnen
Postschalter mit 2 Personen besetzt. Die
Wolfgang Kössler
Bedienungszeit sei zufällig, exponential verteilt, mit
1. Grundbegriffe
Erwartungswert λ1 . Es werden gerade zwei Kunden
2. Kombinatorik
bedient, Sie sind der nächste.
Wkt. dafür, dass Sie nicht der letzte der 3 Kunden
3. Bedingte Wkt
4. Klass. Wkt.
sind? Antwort: Sie werden bedient, sobald der erste
5. Zufallsvariablen
6. Diskrete ZV
Platz frei wird. Wegen der Gedächtnislosigkeit der
7. Charakteristika
Exponentialverteilung hat die Bedienungszeit des
8. Exponential
anderen Kunden dieselbe Verteilung wie Ihre.
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
P = 0.5.
337 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
8.1 Einführung
2. Kombinatorik
8.2 Gedächtnislosigkeit
3. Bedingte Wkt
8.3 Zuverlässigkeitsmodelle
4. Klass. Wkt.
8.4 Bedienungstheorie
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
338 / 895
8.3 Zuverlässigkeitsmodelle
Stochastik für
InformatikerInnen
Wolfgang Kössler
Def. 33 Die Zuverlässigkeit eines Systems ζ
1. Grundbegriffe
ist die Wahrscheinlichkeit, dass das System zum
2. Kombinatorik
Zeitpunkt t intakt ist:
3. Bedingte Wkt
Rel(ζ) = P(X ≥ t).
4. Klass. Wkt.
5. Zufallsvariablen
Annahmen:
6. Diskrete ZV
7. Charakteristika
8. Exponential
Einführung
Gedächtnislosigkeit
Das System besteht aus mehreren Komponenten
Die Komponenten sind unabhängig
Xi ∼ Exp(λi ).
Zuverlässigkeitsmodelle
Bedienungstheorie
339 / 895
Zuverlässigkeitsmodelle
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
• Reihensystem
• Parallelsystem
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
• k aus n System
• Proversionswahrscheinlichkeit
6. Diskrete ZV
7. Charakteristika
• Faltung
8. Exponential
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
340 / 895
Zuverlässigkeitsmodelle
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Reihensystem ζR
........................................................................
...
...
...
...
...
.....................
...
...
...
..
.....
......................................................................
........................................................................
........................................................................
........................................................................
...
...
...
...
...
...
...
...
...
...
...
....
...
..........................
.........................
.....................
...
...
...
...
...
....
...
...
...
...
...
...
.
.
.......................................................................
......................................................................
......................................................................
G1 (t)
Gn (t)
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Rel(ζR ) = P(XR ≥ t) = P(X1 ≥ t, . . . , Xn ≥ t) =
n
n
Y
Y
=
P(Xi ≥ t) =
Gi (t) =
7. Charakteristika
8. Exponential
Einführung
Gedächtnislosigkeit
=
i=1
n
Y
i=1
i=1
e−λi t
X
n
= exp −
λi t .
i=1
Zuverlässigkeitsmodelle
Bedienungstheorie
341 / 895
Reihensystem
Stochastik für
InformatikerInnen
Wolfgang Kössler
Die zufällige Lebensdauer XR des Reihensystems ist
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
X
n
XR ∼ Exp
λi .
i=1
4. Klass. Wkt.
Die mittlere Lebensdauer des Reihensystems ist
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
1
EXR = Pn
i=1
λi
.
8. Exponential
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
342 / 895
Zuverlässigkeitsmodelle
Stochastik für
InformatikerInnen
Wolfgang Kössler
Reihensystem:
........................................................................
...
...
...
...
...
.....................
...
...
...
...
.
.........................................................................
........................................................................
........................................................................
........................................................................
...
...
...
...
...
...
...
...
...
..
...
...
....................
....
..........................
..........................
...
...
.
.
...
.....
.....
.....
.....
....
..........................................................................
........................................................................
........................................................................
1. Grundbegriffe
Rel(ζR ) = e
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
−
Pn
i=1
λi t
,
n → ∞, λi = λ : Rel(ζR ) → 0.
n
X
n → ∞,
λi,n → λ < ∞ : Rel(ζR ) → e−λt
i=1
6. Diskrete ZV
7. Charakteristika
8. Exponential
Einführung
Die Lebensdauer XR des Reihensystems ist
asymptotisch wieder exponentialverteilt.
Die Exponentialverteilung ist eine sogenannte
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
Extremwertverteilung.
343 / 895
Zuverlässigkeitsmodelle
Reihensystem
Stochastik für
InformatikerInnen
Wolfgang Kössler
Bem.: Die Lebensdauer XR des Reihensystems
kann beschrieben werden durch
1. Grundbegriffe
XR = min Xi .
i
2. Kombinatorik
3. Bedingte Wkt
Die Zufallsvariable XR hat oft
4. Klass. Wkt.
nicht Xi ∼ Exp(λ))
5. Zufallsvariablen
Weibull-Verteilung mit der Dichte
6. Diskrete ZV
(auch dann wenn
asymptotisch eine
b
f (t) = b(λt)b−1 e−(λt) ,
t > 0, b > 0, λ > 0.
7. Charakteristika
8. Exponential
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
Das ist dann der Fall, wenn die Dichte der
unabhängig und identisch verteilten Zufallsvariablen
Xi ‘kurze’ Tails hat.
344 / 895
Zuverlässigkeitsmodelle
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Einführung
Gedächtnislosigkeit
Parallelsystem
ζ
.........................................................................................P
...
...
...
...
...
...
.
.
...........................
...........................
...
...
...
...
...
...
...
....
.
..
...
...
...
...
.........................................................................................
.
....
....
...
...
....
....
.....
.....
...
...
....
....
...
...
...........................................................................................
....
....
...
...
...
...
....
....
....
..
...........................
..........................
.
.
.
.
.
.....
.....
.....
.....
...
...
...
...
.
...........................................................................................
.........................
..........................
...
...
...
...
...
.....
...
...
....
....
.....
.....
...
...
....
....
...
...
....
....
...
...
....
....
...
...
....
....
...
...
.........................................................................................
...
...
...
...
.....
.....
...
..
...
...
...........................
............................
.....
.....
...
...
.
...
.........................................................................................
G1 (t)
Gn (t)
Zuverlässigkeitsmodelle
Bedienungstheorie
345 / 895
Parallelsystem
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Rel(ζP ) = P(XP ≥ t) = 1 − P(XP < t)
= 1 − P(X1 < t, . . . , Xn < t) =
|
{z
}
alle Komponenten sind
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Einführung
Gedächtnislosigkeit
vor dem Zeitpunkt t
ausgefallen
n
n
Y
Y
Fi (t)
P(Xi < t) = 1 −
= 1−
i=1
i=1
= 1 − (1 − e
−λt n
)
wenn λi = λ
∀i
Zuverlässigkeitsmodelle
Bedienungstheorie
346 / 895
Parallelsystem
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Einführung
.........................................................................................
...
...
...
....
...
.
............................
............................
...
...
...
...
..
..
...
..
..
.
...
.
....
...........................................................................................
...
...
...
...
...
...
...
...
.....
.....
.....
...
...
....
....
...
...
.............................................................................................
....
....
...
...
...
...
....
....
....
..
...........................
..........................
.
.
.
.
.
.....
.....
.....
.....
...
...
...
...
.
.........................................................................................
.........................
.........................
...
...
...
....
.....
.....
...
...
....
....
...
...
....
....
...
...
....
....
...
...
....
....
...
...
...
...
...
...
...
...
....
....
...........................................................................................
.....
.....
.....
.....
...
..
...
...
..........................
...........................
...
...
....
....
...
.
.......................................................................................
Parallelsystem
Rel(ζP ) = 1 − (1 − e−λt )n
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
347 / 895
Parallelsystem
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
n → ∞, λi = λ : Rel(ζP ) → 1
n → ∞ : Rel(ζP ) ∼ 1 − e−e
−λt+ln n
Das ist auch eine Extremwertverteilung, die
sogenannte Gumbel-Verteilung.
4. Klass. Wkt.
5. Zufallsvariablen
Bem.: Die Lebensdauer XP des Parallelsystems
6. Diskrete ZV
kann beschrieben werden durch
7. Charakteristika
XP = max Xi .
8. Exponential
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
i
Der Fall der Gumbel-Verteilung tritt ein, wenn Xi
‘mittlere’ Tails hat.
348 / 895
Zuverlässigkeitsmodelle
Stochastik für
InformatikerInnen
Mittlere Lebensdauer des Parallelsystems (λi = λ)
Wolfgang Kössler
.......................................................................................................................................................................................................................................................................................................................................................................................................................................
1. Grundbegriffe
0
| {z }
T1
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
∼ Exp(λn)
| {z }
{z
|
T2
}
T3
∼ Exp(λ(n-1))
∼ Exp(λ(n-2))
T1 :
Wartezeit bis zum 1. Ausfall einer Komponente
Ti :
Wartezeit zwischen (i − 1)-tem und i-tem Ausfall
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
einer Komponente
8. Exponential
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
XP =
n
X
Ti .
i=1
349 / 895
Parallelsystem
mittlere Lebensdauer (2)
Stochastik für
InformatikerInnen
Zwischen (i − 1)-tem und i-tem Ausfall einer
Wolfgang Kössler
Komponente arbeiten genau n − i + 1 Komponenten
1. Grundbegriffe
gleichzeitig. Die Lebensdauer dieses Teilsystems
2. Kombinatorik
aus n − i + 1 Komponenten (Reihensystem) hat eine
3. Bedingte Wkt
Exponentialverteilung mit Parameter
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
µi = (n − i + 1) · λ,
ETi =
7. Charakteristika
8. Exponential
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
1
1
1
=
·
µi
n−i +1 λ
n
n
n
X
1X
1X1
1
1
=
=
.
EXP =
µi
λ
n−i +1
λ
i
i=1
i=1
i=1
350 / 895
Zuverlässigkeitsmodelle
Stochastik für
InformatikerInnen
k aus n Systeme
Wolfgang Kössler
Das System fällt aus, wenn k Komponenten
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
ausgefallen sind.
P
Lebensdauer:
T = ki=1 Ti .
Mittlere Lebensdauer:
k
k
X
1
1X
1
ET =
=
µi
λ
n−i +1
i=1
7. Charakteristika
8. Exponential
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
i=1
1 1
1
1
=
+
+ ···
.
λ n n−1
n−k +1
n aus n-System: Parallelsystem
1 aus n-System: Reihensystem
351 / 895
Zuverlässigkeitsmodelle
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Proversionswahrscheinlichkeiten
Problem: Reihensystem mit 2 Komponenten und der
3. Bedingte Wkt
zufälligen Lebensdauer X1 , X2 :
4. Klass. Wkt.
X1 ∼ Exp(λ1 ),
5. Zufallsvariablen
System fällt aus.
6. Diskrete ZV
Mit welcher Wkt. liegt das an der ersten
7. Charakteristika
Komponente?
X2 ∼ Exp(λ2 ).
8. Exponential
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
352 / 895
Proversionswahrscheinlichkeiten
Stochastik für
InformatikerInnen
Wolfgang Kössler
Z
1. Grundbegriffe
Z
6. Diskrete ZV
7. Charakteristika
8. Exponential
Einführung
Gedächtnislosigkeit
∞
=
P(X1 < t) · λ2 e−λ2 t dt
Z0 ∞
4. Klass. Wkt.
5. Zufallsvariablen
P(X1 < X2 |X2 = t)f2 (t)dt
0
2. Kombinatorik
3. Bedingte Wkt
∞
P(X1 < X2 ) =
(1 − e−λ1 t ) · λ2 e−λ2 t dt
0
Z ∞
= 1−
λ2 e−(λ1 +λ2 )t dt
=
0
1−
λ1
λ2
=
.
λ1 + λ2
λ1 + λ2
Zuverlässigkeitsmodelle
Bedienungstheorie
353 / 895
Proversionswahrscheinlichkeiten
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
1
λ1
= 1000h, λ12 = 500h :
P(X1 < X2 ) =
1
.
3
6. Diskrete ZV
7. Charakteristika
8. Exponential
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
354 / 895
Faltung der Exponentialverteilung
Stochastik für
InformatikerInnen
Wolfgang Kössler
System mit 2 Komponenten: Zunächst ist nur die
1. Grundbegriffe
erste Komponente eingeschaltet. Wenn
2. Kombinatorik
diese ausfällt, wird automatisch die 2.
3. Bedingte Wkt
Komponente zugeschaltet. Das System
4. Klass. Wkt.
fällt aus, wenn beide Komponenten defekt
5. Zufallsvariablen
sind.
6. Diskrete ZV
7. Charakteristika
8. Exponential
Die Lebensdauern X1 , X2 seien unabhängig und
exponential, X1 , X2 ∼ Exp(λ) verteilt.
Einführung
Gedächtnislosigkeit
Frage: Wkt. für Systemausfall?
Zuverlässigkeitsmodelle
Bedienungstheorie
355 / 895
Faltung der Exponentialverteilung
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Einführung
Gedächtnislosigkeit
F (t) = Z
P(X1 + X2 < t)
∞
P(X1 + X2 < t|X2 = s)f (s)ds
=
Z0 ∞
=
P(X1 < t − s)f (s)ds
Z0 ∞
=
F (t − s)f (s)ds
0
Z t
=
1 − e−λ(t−s) λe−λs ds
Z0 t
Z t
−λs
=
λe
ds −
λe−λt ds
0
0
= 1 − e−λt − λte−λt .
Zuverlässigkeitsmodelle
Bedienungstheorie
356 / 895
Faltung der Exponentialverteilung
Erlang-Verteilung
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Dichte (t > 0):
f (t) = F 0 (t) = λe−λt + λ2 te−λt − λe−λt
= λ2 · t · e−λt
Erlang-Verteilung mit Parameter (2, λ).
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Einführung
Satz: Seien X1 , . . . , Xn unabhängig, Xi ∼ Exp(λ)
Dann ist
X1 + X2 + · · · Xn ∼ Erlang(n, λ).
Erlang verteilt mit Parametern (n, λ) und Dichte:
(λt)n−1
fErl (t) = λe−λt
.
(n − 1)!
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
Beweis: durch Induktion.
2
357 / 895
Zuverlässigkeitsmodelle
Ausfallrate
Stochastik für
InformatikerInnen
Wolfgang Kössler
Def. 34 Ausfallrate-Funktion
1. Grundbegriffe
(oder Hazardrate-Funktion)
2. Kombinatorik
3. Bedingte Wkt
µ(t) =
4. Klass. Wkt.
5. Zufallsvariablen
f (t)
1 − F (t)
(F eine Verteilungsfunktion mit Dichte f )
6. Diskrete ZV
7. Charakteristika
Interpretation: Die Zufallsvariable X habe bereits die
8. Exponential
Zeit t überlebt.
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
358 / 895
Ausfallrate-Funktion (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Einführung
Frage: Wie groß ist die Wkt., dass X den Zeitraum
[t, t + dt] nicht überlebt, also
P(X ∈ [t, t + dt])
P(X > t)
R t+dt
f (x)dx
= t
1 − F (t)
F (t + dt) − F (t)
=
1 − F (t)
f (t)dt
≈
= µ(t)dt.
1 − F (t)
P(X ≤ t + dt|X > t) =
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
µ(t): Rate mit der ein Bauteil, das t alt ist, ausfällt.
359 / 895
Ausfallrate-Funktion (3)
Stochastik für
InformatikerInnen
F (t) = 1 − e−λt
Wolfgang Kössler
1. Grundbegriffe
µ(t) =
λe−λt
= λ.
e−λt
2. Kombinatorik
3. Bedingte Wkt
Bei Exponentialverteilung ist die Ausfallrate konstant,
4. Klass. Wkt.
sie hängt nicht vom Zeitpunkt ab!
5. Zufallsvariablen
6. Diskrete ZV
ÜA: Sei F eine stetige Verteilungsfunktion mit Dichte
f und konstanter Ausfallrate. Zeigen Sie,
7. Charakteristika
8. Exponential
Einführung
dass f Exponential-Dichte ist.
Hinweis: Setzen Sie u(t) := 1 − F (t) und lösen Sie
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
die Differentialgleichung u 0 − λu = 0.
360 / 895
Ausfallrate-Funktion (4)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Def. 35 (IFR, DFR)
Eine Verteilungsfunktion F hat Increasing
Failure Rate (IFR), falls µ(t) monoton wachsend
ist.
3. Bedingte Wkt
4. Klass. Wkt.
F hat Decreasing Failure Rate (DFR), falls µ(t)
5. Zufallsvariablen
monoton fallend ist.
6. Diskrete ZV
Weibull-Verteilung
7. Charakteristika
8. Exponential
Verteilungsfkt.:
b
F (t) = 1 − e−(λt) ,
t, λ, b > 0,
Einführung
Gedächtnislosigkeit
Dichtefkt.:
f (t) = bλb t b−1 e−(λt)
b
Zuverlässigkeitsmodelle
Bedienungstheorie
361 / 895
Ausfallrate-Funktion (5)
Weibull-Verteilung
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
b
f (t)
bλb t b−1 e−(λt)
µ(t) =
=
= bλb t b−1
1 − F (t)
e−(λt)b
IFR
falls b > 1
2. Kombinatorik
IFR, DFR
falls b = 1
3. Bedingte Wkt
DFR
falls b < 1
4. Klass. Wkt.
(exp)
System mit verdeckten Mängeln, aber
5. Zufallsvariablen
6. Diskrete ZV
langsamen “Altern” → Ausfallrate sinkt →
7. Charakteristika
Weibull, b < 1
8. Exponential
System mit wenig verdeckten Mängeln, aber
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
schnellem “Altern” → Ausfallrate steigt →
Weibull, b > 1
362 / 895
Ausfallrate-Funktion
Stochastik für
InformatikerInnen
Wolfgang Kössler
Hjorth-Verteilung
2
1. Grundbegriffe
2. Kombinatorik
Verteilungsfkt.:
3. Bedingte Wkt
4. Klass. Wkt.
Dichtefkt.:
e−λt /2
, t, λ, γ, b > 0
F (t) = 1 −
(1 + bt)γ/b
λt(1 + bt) + γ −λt 2 /2
f (t) =
e
(1 + bt)γ/b+1
5. Zufallsvariablen
6. Diskrete ZV
µ(t) =
7. Charakteristika
8. Exponential
Einführung
Gedächtnislosigkeit
f (t)
γ
= λt +
1 − F (t)
1 + bt
fallend für λ = 0
badewannenförmig für 0 < λ < bγ.
Zuverlässigkeitsmodelle
Bedienungstheorie
363 / 895
Ausfallrate-Funktion
Stochastik für
InformatikerInnen
Wolfgang Kössler
Die Hjorth-Verteilung modelliert also
1. Grundbegriffe
badewannenförmige Ausfallraten.
2. Kombinatorik
3. Bedingte Wkt
zunächst fallen viele Objekte aus
4. Klass. Wkt.
(Kinderkrankheiten)
5. Zufallsvariablen
dann Ausfallrate zeitweilig konstant
6. Diskrete ZV
schließlich mehren sich die Ausfälle aufgrund
7. Charakteristika
8. Exponential
von Alterungserscheiningen.
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
364 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
8.1 Einführung
2. Kombinatorik
8.2 Gedächtnislosigkeit
3. Bedingte Wkt
8.3 Zuverlässigkeitsmodelle
4. Klass. Wkt.
8.4 Bedienungstheorie
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
365 / 895
8.4 Bedienungstheorie
Stochastik für
InformatikerInnen
Wolfgang Kössler
M/M/s - Wartesystem
1. Grundbegriffe
• X ∼ Exp(λ)
2. Kombinatorik
Ankünften/Anforderungen
3. Bedingte Wkt
• Forderungen reihen sich in eine Warteschlange
4. Klass. Wkt.
ein.
5. Zufallsvariablen
• B ∼ Exp(µ)
6. Diskrete ZV
• s parallele Bedienungsplätze
7. Charakteristika
Zeit zwischen
Bedienungszeiten, unabhängig
• Bei frei werdendem Bedienungsplatz wird die
8. Exponential
Einführung
nächste Forderung sofort bedient.
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
366 / 895
Bedienungstheorie
Stochastik für
InformatikerInnen
Fragestellungen:
Wolfgang Kössler
• Mittlere Anzahl der Forderungen im System
1. Grundbegriffe
• Mittlere Warteschlangenlänge
2. Kombinatorik
• Mittlere Wartezeit EWt
3. Bedingte Wkt
• Besetztwahrscheinlichkeit PB
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
• Wartezeitverteilung
P(Wt ≤ u) = 1 − PB e−(sµ−λ)u
7. Charakteristika
8. Exponential
EWt =
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
Stationärer Fall, wenn
1
sµ
PB
.
sµ − λ
< λ1 .
367 / 895
Bedienungstheorie
Stochastik für
M/M/s - Verlustsystem
InformatikerInnen
Wolfgang Kössler
• X ∼ Exp(λ)
1. Grundbegriffe
Ankünften/Anforderungen
2. Kombinatorik
• Eine ankommende Forderung wird sofort bedient,
3. Bedingte Wkt
wenn ein Bedienungsplatz frei ist, ansonsten geht
4. Klass. Wkt.
sie verloren.
5. Zufallsvariablen
• B ∼ Exp(µ)
6. Diskrete ZV
• s parallele Bedienungsplätze
Zeit zwischen
Bedienungszeiten, unabhängig
7. Charakteristika
8. Exponential
Einführung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
Fragestellungen:
• Verlustwahrscheinlichkeit
• Mittlere Anzahl der besetzten Bedienungsplätze
368 / 895
Zusammenfassung
(Exponentialverteilung)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
• Exponentialdichte

λe−λt
f (t) =
0
if t ≥ 0
else.
• Erwartungswert
3. Bedingte Wkt
EX =
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Einführung
1
.
λ
• Überlebensfunktion
G(t) = 1 − F (t) = e−λt .
• Cauchy-Funktionalgleichung
Gedächtnislosigkeit
Zuverlässigkeitsmodelle
Bedienungstheorie
G(s + t) = G(s) · G(t).
369 / 895
Zusammenfassung
(Exponentialverteilung, 2)
Stochastik für
Die Exponential-Verteilung ist gedächtnislos.
InformatikerInnen
Wolfgang Kössler
Die einzige gedächtnislose stetige Verteilung ist
1. Grundbegriffe
die Exponential-Verteilung
2. Kombinatorik
Exponential-Verteilung ist eine
3. Bedingte Wkt
Extremwertverteilung.
4. Klass. Wkt.
Anwendungen in der Zuverlässigkeitstheorie
5. Zufallsvariablen
Reihensystem, Parallelsystem
6. Diskrete ZV
7. Charakteristika
8. Exponential
Einführung
Gedächtnislosigkeit
Ausfallrate-Funktion
f (t)
.
1 − F (t)
Die Ausfallratefunktion der
µ(t) =
Zuverlässigkeitsmodelle
Bedienungstheorie
Exponentialverteilung ist konstant.
370 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
9.1 Standard-Normalverteilung
1. Grundbegriffe
9.2 Berechnen von Wahrscheinlichkeiten
2. Kombinatorik
9.3 k · σ–Intervalle
3. Bedingte Wkt
9.4 Zentraler Grenzwertsatz
4. Klass. Wkt.
9.5 Fehlertheorie
5. Zufallsvariablen
9.6 Maximale Entropie
6. Diskrete ZV
9.7 Summe normalverteilter Zufallsvariablen
7. Charakteristika
9.8 Treffen einer Zielscheibe
8. Exponential
9. Normal
Standardnormal
Berechnen von Wktn.
371 / 895
9. Die Normalverteilung
Stochastik für
Dichte:
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
f (x) = √
1
2πσ
· e−(x−µ)
2 /2σ 2
,
Standard-Normalverteilung: µ = 0,
µ ∈ R, σ > 0
σ2 = 1
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
1
2
ϕ(x) = √ · e−x /2
Dichte
2π
Z x
1
2
e−t /2 dt Verteilungsfunktion
Φ(x) = √
2π −∞
ϕ(x), Φ(x) sind tabelliert!
9. Normal
Standardnormal
Berechnen von Wktn.
ϕ(x) = ϕ(−x)
Φ(x) = 1 − Φ(−x)
372 / 895
9.1 Die Standard-Normalverteilung
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
Standardnormal
X ∼ N (0, 1) :
P(a < X < b) = Φ(b) − Φ(a).
Frage: Für welches x gilt: Φ(x) = α?
x = Φ−1 (α)
α-Quantil.
−1
Φ (α) als Funktion: Quantilfunktion
Berechnen von Wktn.
373 / 895
Die Normalverteilung
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Vergleichen Sie
a) σ 2 fest, µ verschieden
b) µ fest, σ 2 verschieden
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
Standardnormal
Berechnen von Wktn.
374 / 895
Die Normalverteilung
Stochastik für
InformatikerInnen
Satz: Es gilt:
Wolfgang Kössler
X ∼ N (0, 1) ⇐⇒ σX + µ ∼ N (µ, σ 2 )
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
Standardnormal
Berechnen von Wktn.
X ∼ N (µ, σ 2 ) ⇐⇒ αX + β ∼ N (αµ + β, α2 σ 2 )
X −µ
X ∼ N (µ, σ 2 ) ⇐⇒
∼ N (0, 1)
σ
Beweis: : Wir zeigen nur 1. (→). Sei X ∼ N (0, 1).
x −µ
x −µ
P(σX + µ ≤ x) = P(X ≤
) = Φ(
)
σ
σ
Z x−µ
Z x
σ
1 −t 2 /2
1
2
2
√ e
√
=
e−(u−µ) /(2σ ) du
dt =
2π
2πσ 2
−∞
−∞
u−µ
= t, σ1 du = dt.
2
σ
375 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
9.1 Standard-Normalverteilung
1. Grundbegriffe
9.2 Berechnen von Wahrscheinlichkeiten
2. Kombinatorik
9.3 k · σ–Intervalle
3. Bedingte Wkt
9.4 Zentraler Grenzwertsatz
4. Klass. Wkt.
9.5 Fehlertheorie
5. Zufallsvariablen
9.6 Maximale Entropie
6. Diskrete ZV
9.7 Summe normalverteilter Zufallsvariablen
7. Charakteristika
9.8 Treffen einer Zielscheibe
8. Exponential
9. Normal
Standardnormal
Berechnen von Wktn.
376 / 895
9.2 Berechnen von
Wahrscheinlichkeiten
Stochastik für
InformatikerInnen
Satz: Sei X1 ∼ N (µ, σ12 ), X2 ∼ N(µ, σ22 ),
Wolfgang Kössler
σ12 < σ22 und a > 0. Dann gilt:
1. Grundbegriffe
P(µ − a < X1 < µ + a) > P(µ − a < X2 < µ + a).
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
Standardnormal
Berechnen von Wktn.
Beweis:
X1 − µ
a
−a
<
<
)
σ1
σ1
σ1
a
a
= Φ( ) − Φ(− )
σ1
σ1
a
a
> Φ( ) − Φ(− )
σ2
σ2
= P(µ − a < X2 < µ + a).
P(µ − a < X1 < µ + a) = P(
2
377 / 895
Berechnen von Wahrscheinlichkeiten
Beispiel
Stochastik für
InformatikerInnen
Wolfgang Kössler
X1 ∼ N (10, 4), X2 ∼ N (10, 9), a = 1.
1. Grundbegriffe
2. Kombinatorik
P(9 < X1 < 11) =
P(9 < X2 < 11) =
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
=
Φ( 11−10
) − Φ( 9−10
)
2
2
=
Φ( 11−10
) − Φ( 9−10
)
3
3
=
Φ( 21 ) − Φ(− 12 )
=
Φ( 31 ) − Φ(− 13 )
=
Φ( 12 ) − (1 − Φ( 12 ))
=
Φ( 31 ) − (1 − Φ( 13 ))
=
2 · Φ( 12 ) − 1
=
2 · Φ( 13 ) − 1
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
= 2 · 0.6915 − 1 = 0.383. = 2 · 0.63056 − 1 = 0.2611
Standardnormal
Berechnen von Wktn.
378 / 895
Berechnen von Wahrscheinlichkeiten
Stochastik für
InformatikerInnen
Wolfgang Kössler
Für die Berechnung der Wktn. Φ(x) existieren
Programme und Tabellen.
1. Grundbegriffe
x ≥ 0. In diesem Fall kann der Wert für
2. Kombinatorik
P(X < x) direkt aus der Tabelle abgelesen
3. Bedingte Wkt
werden.
4. Klass. Wkt.
x < 0. P(X < x) = Φ(x) = 1 − Φ(−x), z.B.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
P(X < −1) = Φ(−1) = 1 − Φ(1) ≈ 0.15.
P(a < X < b) = Φ(b) − Φ(a), z.B.
8. Exponential
9. Normal
Standardnormal
Berechnen von Wktn.
P(−1 ≤ x ≤ 1) = Φ(1) − Φ(−1) =
= Φ(1) − (1 − Φ(1)) = 2Φ(1) − 1 ≈ 0.68.
379 / 895
Berechnen von Wahrscheinlichkeiten
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Beispiele
Y ∼ N (0, 1): P(Y < 0) =
1
2
(lt. Tabelle);
1
X ∼ N (1, 22 ): P(X < 0) = Φ 0−1
=
Φ
−
=
2
2
1
1 − Φ 2 ≈ 1 − 0.691 = 0.309.
7. Charakteristika
8. Exponential
9. Normal
Standardnormal
Berechnen von Wktn.
380 / 895
Berechnen von Wahrscheinlichkeiten
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Def. 36 (p-Quantil)
Sei die Verteilungsfunktion F und die Wkt. p
gegeben. Ein Wert xp mit
2. Kombinatorik
3. Bedingte Wkt
p = P(X < xp ) = F (xp )
4. Klass. Wkt.
5. Zufallsvariablen
heißt p-Quantil der Zufallsvariablen X , der
6. Diskrete ZV
Verteilungsfunktion (oder nur der Verteilung) F .
7. Charakteristika
8. Exponential
Sei Y ∼ N (0, 1).
Gesucht ist das p = 0.95-Quantil von Y .
9. Normal
Standardnormal
Tabelle für p = 0.95: xp (0, 1) ≈ 1.645
Berechnen von Wktn.
381 / 895
Berechnen von Wahrscheinlichkeiten
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Sei X ∼ N (µ, σ 2 ). Bestimmen das p-Quantil xp (µ, σ):
xp (µ, σ) − µ
X −µ
p = P(X < xp (µ, σ)) = P
<
σ
σ
= P(Y < xp (0, 1)),
Y ∼ N (0, 1).
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
D.h.
xp (µ, σ) − µ
,
σ
woraus durch Umstellen folgt:
xp (0, 1) =
xp (µ, σ) = σ · xp (0, 1) + µ.
9. Normal
Standardnormal
Berechnen von Wktn.
382 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
9.1 Standard-Normalverteilung
1. Grundbegriffe
9.2 Berechnen von Wahrscheinlichkeiten
2. Kombinatorik
9.3 k · σ–Intervalle
3. Bedingte Wkt
9.4 Zentraler Grenzwertsatz
4. Klass. Wkt.
9.5 Fehlertheorie
5. Zufallsvariablen
9.6 Maximale Entropie
6. Diskrete ZV
9.7 Summe normalverteilter Zufallsvariablen
7. Charakteristika
9.8 Treffen einer Zielscheibe
8. Exponential
9. Normal
Standardnormal
Berechnen von Wktn.
383 / 895
9.3 k · σ–Intervalle
Stochastik für
InformatikerInnen
Def. 37 (k · σ–Intervalle)
Wolfgang Kössler
Für eine normalverteilte Zufallsvariable X ∼ N (µ, σ)
1. Grundbegriffe
ist [µ − kσ, µ + kσ] ein k · σ–Intervall, k ∈ Z+ .
2. Kombinatorik
Interessant sind dabei die Wahrscheinlichkeiten:
3. Bedingte Wkt
4. Klass. Wkt.
P(µ − kσ ≤ X ≤ µ + kσ).
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
P(X ∈ [µ − kσ, µ + kσ]) = Φ
µ+k σ−µ
σ
−Φ
µ−k σ−µ
σ
= Φ(k) − Φ(−k)
8. Exponential
9. Normal
Standardnormal
Berechnen von Wktn.
= Φ(k) − (1 − Φ(k))
= 2 · Φ(k) − 1
384 / 895
k · σ–Intervalle
Stochastik für
InformatikerInnen
k · σ–Intervalle für k = 1, . . . , 5
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
k
2 · Φ(k) − 1
1
0.6827
2
0.9545
3
0.9973
4
0.99997
5
0.9999994
6
0.999999998
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
Standardnormal
Berechnen von Wktn.
385 / 895
k · σ–Intervalle
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Ein Zeitungsverkäufer sieht die Nachfrage X nach
einer Tageszeitung als angenähert normalverteilt an.
Das 2 · σ–Intervall sei [322, 408]. Wie groß ist die
Wkt., daß mindestens 400 Exemplare der Zeitung
3. Bedingte Wkt
4. Klass. Wkt.
verkauft werden?
5. Zufallsvariablen
Die Frage ist also: P(X ≥ 400) = ?
6. Diskrete ZV
Nach Voraussetzung gilt:
7. Charakteristika
322 = µ − 2σ,
408 = µ + 2σ.
8. Exponential
9. Normal
Lösung des linearen Gleichungssystems liefert
Standardnormal
Berechnen von Wktn.
730 = 2µ
⇒
µ = 365,
86 = 4σ
⇒
σ = 21,
5.
386 / 895
k · σ–Intervalle
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
P(X ≥ 400) = 1 − P(X < 400)
= 1 − Φ 400−µ
σ
= 1 − Φ 400−365
21.5
4. Klass. Wkt.
≈ 1 − Φ(1.63)
5. Zufallsvariablen
≈ 1 − 0.95 = 0.05
6. Diskrete ZV
7. Charakteristika
Wir sehen also: Hat man ein k · σ–Intervall gegeben
8. Exponential
(und es wird Normalverteilung angenommen), so ist
9. Normal
es möglich, jede andere Wahrscheinlichkeit
Standardnormal
Berechnen von Wktn.
auszurechnen.
387 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
9.1 Standard-Normalverteilung
1. Grundbegriffe
9.2 Berechnen von Wahrscheinlichkeiten
2. Kombinatorik
9.3 k · σ–Intervalle
3. Bedingte Wkt
9.4 Zentraler Grenzwertsatz
4. Klass. Wkt.
9.5 Fehlertheorie
5. Zufallsvariablen
9.6 Maximale Entropie
6. Diskrete ZV
9.7 Summe normalverteilter Zufallsvariablen
7. Charakteristika
9.8 Treffen einer Zielscheibe
8. Exponential
9. Normal
Standardnormal
Berechnen von Wktn.
388 / 895
9.4 Zentraler Grenzwertsatz
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Zentraler Grenzwertsatz
Seien Xi unabhängig, identisch verteilt,
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
EXi = µ, Var Xi = σ 2 .
P
X n = n1 ni=1 Xi
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Zn :=
√ Xn − µ
n
→n→∞ Z ,
σ
Z ∼ N 0, 1).
Beweis: siehe Grenzwertsätze.
9. Normal
Standardnormal
Berechnen von Wktn.
389 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
9.1 Standard-Normalverteilung
1. Grundbegriffe
9.2 Berechnen von Wahrscheinlichkeiten
2. Kombinatorik
9.3 k · σ–Intervalle
3. Bedingte Wkt
9.4 Zentraler Grenzwertsatz
4. Klass. Wkt.
9.5 Fehlertheorie
5. Zufallsvariablen
9.6 Maximale Entropie
6. Diskrete ZV
9.7 Summe normalverteilter Zufallsvariablen
7. Charakteristika
9.8 Treffen einer Zielscheibe
8. Exponential
9. Normal
Standardnormal
Berechnen von Wktn.
390 / 895
9.5 Fehlertheorie
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Satz
Fehler sind unter folgenden Annahmen
(asymptotisch) normalverteilt:
V1: Jeder Fehler ist Summe einer sehr großen
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Anzahl sehr kleiner, gleich großer Fehler,
die verschiedene Ursachen haben.
V2: Die verschiedenen Fehlerkomponenten sind
unabhängig.
8. Exponential
9. Normal
Standardnormal
Berechnen von Wktn.
V3: Jede Fehlerkomponente ist mit Wkt. 0.5 positiv
und mit Wkt. 0.5 negativ.
391 / 895
Fehlertheorie
Beweis des Satzes
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Seien j , j = 1, . . . , n die Fehlerkomponenten.
V3 ⇒ P(j = ±) = 12 , d.h. Ej = 0, varj = 2
P
V1 ⇒ Gesamtfehler X = j j , also
3. Bedingte Wkt
4. Klass. Wkt.
E(X ) =
5. Zufallsvariablen
8. Exponential
E(j ) = 0
j=1
6. Diskrete ZV
7. Charakteristika
n
X
var(X ) =
n
X
var(j ) = n2 =: σ 2
j=1
9. Normal
Standardnormal
Berechnen von Wktn.
392 / 895
Fehlertheorie
Beweis des Satzes (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Charakteristische Funktion von j :
∞
X (it)2k
1
φj (t) = E(e ) = (eit + e−it ) =
2
(2k)!
itj
1. Grundbegriffe
k =0
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Charakteristische Funktion von X :
n
Y
t2
t4
φX (t)
=
φj (t) = (1 − 2 + 4 − + · · · )n
2!
4!
j=1
=
7. Charakteristika
8. Exponential
=
9. Normal
Standardnormal
→n→∞
t 2 σ2
1 n
+ o( )
2! n
n
t 2 σ 2 /2! n
1
1−
+o
n
n
−t 2 σ 2 /2
e
1−
Berechnen von Wktn.
393 / 895
Fehlertheorie
Beweis des Satzes (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
φX (t)
=
1−
→n→∞ e−t
t 2 σ 2 /2! n
1
+o
n
n
2 σ 2 /2
5. Zufallsvariablen
6. Diskrete ZV
Das ist die charakteristische Fkt. von N (0, σ 2 ).
7. Charakteristika
Die Behauptung folgt aus dem Konvergenzsatz.
8. Exponential
9. Normal
Standardnormal
Berechnen von Wktn.
394 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
9.1 Standard-Normalverteilung
1. Grundbegriffe
9.2 Berechnen von Wahrscheinlichkeiten
2. Kombinatorik
9.3 k · σ–Intervalle
3. Bedingte Wkt
9.4 Zentraler Grenzwertsatz
4. Klass. Wkt.
9.5 Fehlertheorie
5. Zufallsvariablen
9.6 Maximale Entropie
6. Diskrete ZV
9.7 Summe normalverteilter Zufallsvariablen
7. Charakteristika
9.8 Treffen einer Zielscheibe
8. Exponential
9. Normal
Standardnormal
Berechnen von Wktn.
395 / 895
9.6 Maximale Entropie
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Maximale Entropie bei gegebenen Erwartungswert µ
und Varianz σ 2 .
f : Wkt.dichte auf (−∞, ∞).
Z
Z
xf (x) dx = µ,
(x − µ)2 f (x) dx = σ 2
(∗)
4. Klass. Wkt.
5. Zufallsvariablen
Entropie:
6. Diskrete ZV
Z
7. Charakteristika
H(f ) := −
f (x) log f (x) dx
8. Exponential
9. Normal
ist zu maximieren unter den obigen Bedingungen (*).
Standardnormal
Berechnen von Wktn.
396 / 895
Maximale Entropie (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Satz:
Eine Dichtefunktion, die die Entropie unter den
obigen Bedingungen maximiert ist normal.
2. Kombinatorik
3. Bedingte Wkt
Zum Beweis verwenden wir die Jensensche
4. Klass. Wkt.
Ungleichung:
5. Zufallsvariablen
6. Diskrete ZV
Jensensche Ungleichung für konkave Funktionen
Es sei g eine differenzierbare und konkave Funktion,
7. Charakteristika
8. Exponential
9. Normal
Standardnormal
und sei X eine zufällige Variable. Dann gilt:
Eg(X ) ≤ g(EX ).
Berechnen von Wktn.
397 / 895
Maximale Entropie
Beweis der Jensenschen Ungleichung
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Beweis: Sei T (x) die Tangente an die Kurve der
Funktion g im Punkt x0 ,
g(x) ≤ T (x) = g(x0 ) +
5. Zufallsvariablen
·(x − x0 ).
Anstieg der Kurve in x0
3. Bedingte Wkt
4. Klass. Wkt.
g 0 (x )
| {z0}
Wir setzen nun x := X und x0 := EX und erhalten:
g(X ) ≤ g(EX ) + g 0 (EX ) · (X − EX ).
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
Standardnormal
Berechnen von Wktn.
Daraus folgt:
Eg(X ) ≤ E(g(EX ) + g 0 (EX ) · (X − EX ))
= g(EX ) + g 0 (EX ) · E(X − EX ) = g(EX )
|
{z
}
=0
398 / 895
Maximale Entropie
Beweis des Satzes
Stochastik für
InformatikerInnen
Seien p und q beliebige Dichten. Da die
Wolfgang Kössler
Logarithmus-Funktion konkav ist folgt aus der
1. Grundbegriffe
Jensenschen Ungleichung:
Z
q
q
ln (x) p(x) dx = Ep ln (X )
p
p
q
≤ ln Ep (X )
p
Z
q
= ln
(x) p(x) dx
p
Z
= ln
q(x) dx = ln 1 = 0.
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
Standardnormal
Berechnen von Wktn.
Daraus folgt:
399 / 895
Maximale Entropie
Beweis des Satzes (2)
Stochastik für
Z
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
H(p) = −
Z
p ln p dx ≤ −
p ln q dx
Sei q wie folgt definiert:
ln q = α + β(x − µ) + γ(x − µ)2 ,
wobei α, β, γ so dass q Dichte, q ∼ (µ, σ 2 ).
Z
H(p) ≤ − p ln q dx
Z
= − p(x) α + β(x − µ) + γ(x − µ)2 dx
8. Exponential
9. Normal
= −(α + γσ 2 )
Standardnormal
Berechnen von Wktn.
feste obere Schranke für die Entropie.
400 / 895
Maximale Entropie
Beweis des Satzes (3)
Stochastik für
InformatikerInnen
Diese Schranke wird angenommen für p = q, also
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
ln p = α + β(x − µ) + γ(x − µ)2
p = eα+β(x−µ)+γ(x−µ)
2
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Offen: Gibt es α, β, γ mit p Dichte und p ∼ (µ, σ 2 )?
√
Antwort: ja, α = − ln( 2πσ), β = 0, γ = − 2σ1 2 .
Die Lösung ist auch (i.W.) eindeutig, da in der
Jensenschen Ungleichung das Gleichheitszeichen
9. Normal
Standardnormal
nur gilt, wenn fast überall
p
q
= 1 gilt.
Berechnen von Wktn.
401 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
9.1 Standard-Normalverteilung
1. Grundbegriffe
9.2 Berechnen von Wahrscheinlichkeiten
2. Kombinatorik
9.3 k · σ–Intervalle
3. Bedingte Wkt
9.4 Zentraler Grenzwertsatz
4. Klass. Wkt.
9.5 Fehlertheorie
5. Zufallsvariablen
9.6 Maximale Entropie
6. Diskrete ZV
9.7 Summe normalverteilter Zufallsvariablen
7. Charakteristika
9.8 Treffen einer Zielscheibe
8. Exponential
9. Normal
Standardnormal
Berechnen von Wktn.
402 / 895
9.7 Die Summe normalverteilter
Zufallsvariablen
Stochastik für
InformatikerInnen
Wolfgang Kössler
Satz: Seien X1 ∼ N (µ1 , σ12 )
X2 ∼ N (µ2 , σ22 )
unabhängig. Dann:
1. Grundbegriffe
X1 + X2 ∼ N (µ1 + µ2 , σ12 + σ22 )
2. Kombinatorik
3. Bedingte Wkt
Beweis: : (allgemeiner für n Zufallsvariablen)
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Seien Xj u.a. Zufallsvariablen mit Xj ∼ N (µj , σj2 ).
P
Charakteristische Funktion von X = nj=1 Xj :
7. Charakteristika
8. Exponential
φX (t) =
Berechnen von Wktn.
2 2 /2
eitµj −σj t
= eitµ−σ
2 t 2 /2
j=1
9. Normal
Standardnormal
n
Y
wobei µ =
P
µj , σ 2 =
P
σj2 ⇒ X ∼ N (µ, σ 2 )
2
403 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
9.1 Standard-Normalverteilung
1. Grundbegriffe
9.2 Berechnen von Wahrscheinlichkeiten
2. Kombinatorik
9.3 k · σ–Intervalle
3. Bedingte Wkt
9.4 Zentraler Grenzwertsatz
4. Klass. Wkt.
9.5 Fehlertheorie
5. Zufallsvariablen
9.6 Maximale Entropie
6. Diskrete ZV
9.7 Summe normalverteilter Zufallsvariablen
7. Charakteristika
9.8 Treffen einer Zielscheibe
8. Exponential
9. Normal
Standardnormal
Berechnen von Wktn.
404 / 895
9.8 Treffen einer Zielscheibe
Stochastik für
InformatikerInnen
Satz: Sei (X , Y ) zweidimensionale Zufallsvariable.
Wolfgang Kössler
Folgende Annahmen seien erfüllt:
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
V1: Die Randverteilungen von X und Y seien
stetig.
V2: Die Dichte h(x, y) von (X , Y ) hängt nur vom
p
Abstand x 2 + y 2 vom Nullpunkt ab
(Radialsymmetrie).
7. Charakteristika
8. Exponential
9. Normal
V3: Die Fehler in x- und y-Richtung sind
unabhängig.
Standardnormal
Berechnen von Wktn.
405 / 895
Treffen einer Zielscheibe
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Sei Z die zufällige Abweichung in beliebiger
2. Kombinatorik
Richtung. Dann gilt
3. Bedingte Wkt
4. Klass. Wkt.
Z ∼ N (0, σ 2 ).
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Beweis: siehe Abschnitt Transformationsformel
.
2
8. Exponential
9. Normal
Standardnormal
Berechnen von Wktn.
406 / 895
10. Transformation von
Zufallsvariablen
Stochastik für
InformatikerInnen
Wolfgang Kössler
Sei X : Ω −→ R eine Zufallsvariable mit
1. Grundbegriffe
Verteilungsfunktion FX (x) = P(X < x).
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Wir betrachten eine Funktion g : R −→ R und eine
Zufallsvariable Y : Ω −→ R mit Y = g(X ).
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Y :
X
g
Ω −→ R ←→ R.
Y (ω) = g(X (ω)), ∀ω ∈ Ω.
8. Exponential
9. Normal
10.Transformation
407 / 895
Transformation von Zufallsvariablen
Stochastik für
InformatikerInnen
Wolfgang Kössler
Die zufällige Variable Y = g(X ) besitzt die
Verteilungsfunktion
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
FY (y) = P(Y < y) = P({ω : Y (ω) < y})
= P({ω : g(X (ω)) < y})
= P(X ∈ {x : g(x) < y}) = P(g(X ) < y)
|
{z
}
∈B1
6. Diskrete ZV
7. Charakteristika
= P(X ∈ g
−1
(y))
8. Exponential
9. Normal
Bem.: {x : g(x) < y} ∈ B 1 gilt, wenn die Funktion g
10.Transformation
meßbar ist.
408 / 895
Transformation von Zufallsvariablen
Stochastik für
InformatikerInnen
Wolfgang Kössler
Frage: Wie berechnen wir FY (y)?
1. Grundbegriffe
Fall 1: F diskret.
2. Kombinatorik
3. Bedingte Wkt
P(Y = y) = P(g(X ) = y)
4. Klass. Wkt.
= P(x : g(x) = y)
5. Zufallsvariablen
= P(x : x = g −1 (y))
6. Diskrete ZV
7. Charakteristika
8. Exponential
= P(X ∈ g −1 (y))
= P(g −1 (y))
9. Normal
10.Transformation
409 / 895
Transformation von Zufallsvariablen
F diskret, Beispiel
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
Sei Y = X 2 , wobei


1



X = 0



−1
also g(x) = x 2 , g −1 (y) =
√
mit Wkt.
1
4
mit Wkt.
1
2
mit Wkt.
1
4
y.
1
P(Y = 0) = P(X = 0) =
2
√
P(Y = 1) = P(X ∈ 1) = P(X = 1 ∨ X = −1)
1 1
1
=
+ =
4 4
2
410 / 895
Transformation von Zufallsvariablen
Fall 2: F stetig.
Stochastik für
InformatikerInnen
1.
Finde für jedes y:
Wolfgang Kössler
Ay = {x : g(x) < y}.
1. Grundbegriffe
2. Kombinatorik
2.
Die Verteilungsfunktion von Y ist
3. Bedingte Wkt
FY (y) = P(Y < y) = P(g(X ) < y)
4. Klass. Wkt.
Z
5. Zufallsvariablen
= P(x : g(x) < y) = P(Ay ) =
6. Diskrete ZV
7. Charakteristika
3.
Dichte von Y :
8. Exponential
9. Normal
fX (x) dx
Ay
fY (y) =
d
FY (y).
dy
10.Transformation
411 / 895
Transformation von Zufallsvariablen
Beispiel 1
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
X ∼ R(0, π2 )., d.h. X hat die Dichte

 2 , falls 0 ≤ x <
π
f (x) =
 0 , sonst
π
2
.
Welche Verteilung hat die ZV Y = sin(X ) ?
4. Klass. Wkt.
5. Zufallsvariablen
1.
Finde für jedes y, y ∈ (0, 1)
6. Diskrete ZV
7. Charakteristika
8. Exponential
Ay = {x : g(x) < y} = {x : sin(x) < y}
= {x : x < arcsin(y)}
9. Normal
10.Transformation
Offenbar Ay = ∅ für y ≤ 0 und Ay = R für y ≥ 1
412 / 895
Transformation von Zufallsvariablen
Beispiel 1 (Fortsetzung)
Stochastik für
InformatikerInnen
Wolfgang Kössler
2.
1. Grundbegriffe
Die Verteilungsfunktion von Y ist
Z
fX (x) dx
FY (y) = P(Y < y) =
Ay
2. Kombinatorik
3. Bedingte Wkt
=
4. Klass. Wkt.
5. Zufallsvariablen
3.
2
π
Z
arcsin(y )
dx =
0
2
arcsin(y)
π
Dichte von Y : Für y ∈ (0, 1):
6. Diskrete ZV
7. Charakteristika
fY (y) =
8. Exponential
9. Normal
10.Transformation
d
2
1
.
FY (y) = p
dy
π 1 − y2
fY (y) = 0 sonst.
413 / 895
Transformation von Zufallsvariablen
Beispiel 2
Stochastik für
InformatikerInnen
Wolfgang Kössler
Sei X stetig und X ∼ FX mit Dichte fX .
Welche Verteilung hat die ZV Y = FX (X ) ?
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
1.
Ay = {x : FX (x) < y} = {x : x < FX−1 (y)}
Offenbar Ay = ∅ für y ≤ 0 und Ay = R für y ≥ 1
2.
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
FY (y) = P(Y < y) = P(FX (X ) < y )
= P(X < FX−1 (y ))
Z
Z
=
fX (x) dx =
Ay
9. Normal
10.Transformation
FX−1 (y)
fX (x) dx
−∞
= FX (FX−1 (y )) − FX (−∞) = y
414 / 895
Transformation von Zufallsvariablen
Beispiel 2 (Fortsetzung)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
3.
Dichte von Y :
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV

1
fY (y) =
0
y ∈ (0, 1)
sonst.
D.h. Y ∼ R(0, 1)
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
415 / 895
Transformation von Zufallsvariablen
Beispiel 3
Stochastik für
InformatikerInnen
Wolfgang Kössler
Sei umgekehrt U ∼ R(0, 1) und F eine
1. Grundbegriffe
Verteilungsfunktion mit Dichte f .
2. Kombinatorik
Welche Verteilung hat die ZV Y = F −1 (U) ?
3. Bedingte Wkt
4. Klass. Wkt.
1.
Finde für jedes y
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Ay = {u : F −1 (u) < y}
= {u : u < F (y)} = (0, F (y)).
8. Exponential
9. Normal
10.Transformation
416 / 895
Transformation von Zufallsvariablen
Beispiel 3 (Fortsetzung)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2.
Die Verteilungsfunktion von Y ist
FY (y) = P(Y < y) = P(F −1 (U) < y))
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
= P(U < F (y))
Z
Z
=
fU (u) du =
Ay
5. Zufallsvariablen
6. Diskrete ZV
Z
F (y )
fU (u) du
0
F (y)
du = F (y).
=
0
7. Charakteristika
8. Exponential
9. Normal
Also Y ∼ F .
10.Transformation
417 / 895
Transformation von Zufallsvariablen
Stochastik für
InformatikerInnen
Wolfgang Kössler
Unter gewissen Zusatzannahmen gilt
Transformationssatz:
1. Grundbegriffe
2. Kombinatorik
Sei X eine, auf (a, b) definierte (a = −∞, b = +∞ ist
3. Bedingte Wkt
erlaubt) Zufallsgröße mit Dichtefunktion f . Die
4. Klass. Wkt.
Funktion g : (a, b) −→ R sei differenzierbar mit
5. Zufallsvariablen
g 0 (x) 6= 0 für alle x ∈ (a, b). Dann hat die zufällige
6. Diskrete ZV
Variable Y = g(X ) auf dem Definitionsbereich von
7. Charakteristika
g −1 die Dichtefunktion
8. Exponential
9. Normal
10.Transformation
h(y) = f (g
−1
−1
dg
f (g −1 (y))
(y)) · (y) = 0 −1
.
dy
|g (g (y))|
418 / 895
Transformationssatz
Beweis, Fall 1: g 0 (x) > 0
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Bem.: Die Voraussetzung g 0 (x) 6= 0 für alle
x ∈ (a, b) bewirkt, dass die Funktion g auf dem
2. Kombinatorik
Intervall (a, b) streng monoton ist.
3. Bedingte Wkt
Fall 1: Es sei g 0 (x) > 0 ∀ x ∈ (a, b) und
4. Klass. Wkt.
y ∈ Db(g −1 ). Da g streng monoton wachsend
5. Zufallsvariablen
ist, ist die Menge Ay = (a, g −1 (y)) ein Intervall
6. Diskrete ZV
und die Dichte von Y ist gegeben durch
d
d
FY (y) =
(FX (g −1 (y)) − FX (−∞)).
dy
dy
Anwendung der Kettenregel liefert die
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
Behauptung.
419 / 895
Transformationssatz
Beweis, Fall 2: g 0 (x) < 0
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Fall 2: Es gilt g 0 (x) < 0, für alle x ∈ (a, b), Da also
die Funktion g streng monoton fallend ist, ist
die Menge Ay = (g −1 (y), b) ein Intervall und die
Dichte von Y ist gegeben durch
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
d
d
FY (y) =
(FX (∞) − FX (g −1 (y)).
dy
dy
6. Diskrete ZV
Anwendung der Kettenregel liefert die
7. Charakteristika
Behauptung.
8. Exponential
9. Normal
Bem.: Beachten Sie, dass in der Formel des
10.Transformation
Satzes Betragsstriche stehen.
420 / 895
Transformationsformel
Beispiel 1
Stochastik für
InformatikerInnen
Die folgenden drei Beispiele wurden bereits oben
Wolfgang Kössler
behandelt. Sie folgen jetzt nochmal, diesmal direkte
1. Grundbegriffe
Anwendung des Satzes.
2. Kombinatorik
Es sei X ∼ R(0, π2 )., d.h. X hat die Dichte

 2 , falls 0 ≤ x < π
π
2
f (x) =
.
 0 , sonst
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
y = g(x) = sin x.
Für alle x ∈ [0, π2 [ gilt: 0 ≤ g(x) < 1.
g −1 (y) = arcsin y.
421 / 895
Transformationsformel
Beispiel 1 (Fortsetzung)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Die Dichte von Y = sin X ist nach
Transformationsformel
d arcsin h(y) = f (arcsin y) · (y)
dy
1
= f (arcsin y) · p
1 − y2


 2√1
, falls 0 ≤ y < 1
π
1−y 2
=


0
, sonst.
9. Normal
10.Transformation
422 / 895
Transformationsformel
Beispiel 2
Stochastik für
InformatikerInnen
Es sei X Zufallsvariable mit Verteilungsfunktion
Wolfgang Kössler
F (x) = P(X < x) ∈ [0, 1[ und Dichte f .
1. Grundbegriffe
Die Dichte der Zufallsvariablen Y = F (X ) ist mittels
2. Kombinatorik
Transformationsformel (y ∈ (0, 1))
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
dF −1
(y)
dy
1
= f (F −1 (y)) · 0 −1
F (F (y))
−1
f (F (y))
=
=1
f (F −1 (y))
h(y) = f (F −1 (y)) ·
Folglich gilt: Y ∼ R(0, 1)
423 / 895
Transformationsformel
Beispiel 2 (Fortsetzung)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Bem.: Wir haben also gezeigt: Wenn X ∼ F so ist
1. Grundbegriffe
die transformierte Zufallsvariable
2. Kombinatorik
3. Bedingte Wkt
Y = F (X ) ∼ R(0, 1)
4. Klass. Wkt.
5. Zufallsvariablen
Umgekehrt gilt: Ist U ∼ R(0, 1) und ist F eine
6. Diskrete ZV
beliebige Verteilungsfunktion, so ist
7. Charakteristika
Y = F −1 (U) ∼ F .
8. Exponential
9. Normal
Anwendung: Zufallszahlen (siehe später).
10.Transformation
424 / 895
Transformationsformel
Beipiel 4
Stochastik für
InformatikerInnen
Wolfgang Kössler
Es sei X :
Ω → R mit X ∼ Exp(λ), d.h.
F (x) = 1 − e−λ·x ,
x ≥ 0.
1. Grundbegriffe
2. Kombinatorik
Wegen U := F (X ) ∼ R(0, 1) erhalten wir eine
3. Bedingte Wkt
exponentialverteilte Zufallsvariable wie folgt:
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
u = F (x) = 1 − e−λ·x
e−λ·x = 1 − u
1
x = − ln(1 − u)
λ
X = − λ1 ln(1 − U) ∼ Exp(λ),
9. Normal
Die Zufallsgröße
10.Transformation
d.h. X ist exponentialverteilt mit dem Parameter λ.425 / 895
Transformationsformel
Beipiel 5
Stochastik für
InformatikerInnen
Wolfgang Kössler
Es sei X eine Zufallsgröße mit der Dichtefunktion f .
Weiter sei g die wie folgt definierte Funktion:
1. Grundbegriffe
2. Kombinatorik
g(x) = ax + b.
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Wir betrachten die Zufallsgröße Y ,
Y = g(X ) = aX + b,
a 6= 0
6. Diskrete ZV
7. Charakteristika
und bezeichnen y := g(x). Dann gilt:
8. Exponential
9. Normal
10.Transformation
g −1 (y) = x =
y −b
.
a
426 / 895
Transformationsformel
Beipiel 5 (Fortsetzung)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Für die Dichte der Zufallsvariable Y gilt nach dem
1. Grundbegriffe
Transformationssatz
2. Kombinatorik
3. Bedingte Wkt
h(y) = f (g
−1
−1
dg
y −b
1
(y) = f
·
(y)) · dy
a
|a|
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Bem.: Im Fall der Normalverteilung,
X ∼ N (µ, σ 2 ), σ > 0, haben wir dieses Ergebnis
8. Exponential
9. Normal
bereits früher erhalten.
10.Transformation
427 / 895
Transformationsformel
Lineare Transformation, Normal
Stochastik für
f (x) = √
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
1
1
2πσ
e− 2 (
9. Normal
10.Transformation
).
Es sei (a = σ1 , b = σµ )
X −µ
bzw. X = σY + µ.
σ
Nach der in diesem Abschnitt hergeleiteten Formel
Y =
ergibt sich die Dichtefunktion h der Zufallsgröße Y :
!
y + σµ
1
y −b
1
= 1f
= σf (σy + µ)
h(y) =
f
1
|a|
a
σ
8. Exponential
x−µ 2
σ
) = √1 e− 12 y 2
2πσ
2π
Dichtefkt. einer Normal mit µ = 0 und σ 2 = 1
= σ√
1
σ
1
e− 2 (
σy+µ−µ 2
σ
428 / 895
Transformationsformel
Lineare Transformation, Normal (Fortsetzung)
Stochastik für
InformatikerInnen
D.h. Eine normalverteilte Zufallsgröße wird in eine
Wolfgang Kössler
standard–normalverteilte Zufallsgröße transformiert,
1. Grundbegriffe
indem der Parameter µ subtrahiert und anschließend
2. Kombinatorik
durch den Parameter σ dividiert wird. Sei also
3. Bedingte Wkt
X ∼ N (µ, σ 2 ),
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation


x − µ
X − µ
F (x) = P(X < x) = P 
<

σ }
σ
| {z
=Y x −µ
x −µ
= P Y <
=Φ
σ
σ
Es gilt: Y ∼ N (0, 1). (vgl. auch Abschnitt NV.)
429 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
11.1 Begriffe
2. Kombinatorik
11.2 Unabhängigkeit von Zufallsgrößen
3. Bedingte Wkt
11.3 Transformationssatz für Zufallsvektoren
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
430 / 895
11. Zufallsvektoren
Begriffe
Stochastik für
InformatikerInnen
Wolfgang Kössler
Def. 38 (zufälliger Vektor)
Es seien Xi , i = 1, . . . , p, reellwertige, zufällige
1. Grundbegriffe
Variablen auf dem Wahrscheinlichkeitsraum
2. Kombinatorik
(Ω, E, P). Dann heißt
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
X = (X1 , . . . , Xp )T
: Ω −→ Rp ,
zufälliger Vektor.
Er transformiert den Wahrscheinlichkeitsraum
(Ω, E, P) in den Wahrscheinlichkeitsraum
9. Normal
(Rp , B p , PX ), wobei B p die σ–Algebra der
10.Transformation
p–dimensionalen Borelmengen ist.
431 / 895
Mehrdimensionale Zufallsvariablen
Stochastik für
InformatikerInnen
Wolfgang Kössler
Def. 39 (Mehrdimensionale Verteilungsfunktion)
Die Funktion
1. Grundbegriffe
2. Kombinatorik
FX (x1 , . . . , xp ) := P({ω : X1 (ω) < x1 , . . . , Xp (ω) < xp })
3. Bedingte Wkt
4. Klass. Wkt.
heißt Verteilungsfunktion des zufälligen Vektors X.
5. Zufallsvariablen
Sie wird auch mit FX1 ,...,Xp (x1 , . . . , xp ) bezeichnet.
6. Diskrete ZV
Es gilt:
7. Charakteristika
8. Exponential
9. Normal
FX1 ,...,Xp (x1 , . . . , xp ) = P
p
\
!
{ω ∈ Ω : Xi (ω) < xi } .
i=1
10.Transformation
432 / 895
Mehrdimensionale Zufallsvariablen
Eigenschaften der Verteilungsfunktion
Stochastik für
InformatikerInnen
1
Invarianz gegenüber Permutationen, d.h.
Wolfgang Kössler
FX1 ,...,Xp (x1 , . . . , xp ) = FXi1 ,...,Xip (xi1 , . . . , xip )
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
2
lim FX (x1 , . . . , xp ) = FX1 ,...,Xp−1 (x1 , . . . , xp−1 );
xp →∞
4. Klass. Wkt.
5. Zufallsvariablen
FX (x1 , . . . , xp ) =
P({X1 < x1 , . . . , Xp−1 < xp−1 } ∩ Xp < xp ).
|
{z
} | {z }
6. Diskrete ZV
7. Charakteristika
=:A
−→xp →∞ Ω
8. Exponential
9. Normal
10.Transformation
lim FX (x1 , . . . , xp ) = P(A ∩ Ω) = P(A)
xp →∞
= FX1 ,...,Xp−1 (x1 , . . . , xp−1 ).
433 / 895
Mehrdimensionale Zufallsvariablen
Eigenschaften der Verteilungsfunktion (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
3
lim FX (x1 , . . . , xp ) = 0;
xp →−∞
1. Grundbegriffe
Bem.: Man kann wegen 1. auch jede beliebige
2. Kombinatorik
Komponente wählen!
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
4
5
6. Diskrete ZV
9. Normal
FX (x1 , . . . , xp ) = 1;
FX (x1 , . . . , xp ) ist in jedem Argument monoton
wachsend;
7. Charakteristika
8. Exponential
lim
(x1 ,...,xp )→(∞,...,∞)
6
FX (x1 , . . . , xp ) ist in jedem Argument linksseitig
stetig.
10.Transformation
434 / 895
Mehrdimensionale Zufallsvariablen
Stetige Verteilung
Stochastik für
InformatikerInnen
Ein zufälliger Vektor X = (X1 , . . . , Xp )T heißt stetig,
Wolfgang Kössler
1. Grundbegriffe
wenn seine Verteilungsfunktion charakterisiert ist
2. Kombinatorik
durch:
3. Bedingte Wkt
4. Klass. Wkt.
Zxp
Zx1
F (x1 , . . . , xp ) =
5. Zufallsvariablen
...
−∞
−∞
f (t1 , . . . , tp ) dtp . . . dt1 ,
| {z }
Dichtefunktion
6. Diskrete ZV
7. Charakteristika
8. Exponential
wobei für die Funktion f gilt:
1
9. Normal
2
10.Transformation
f (x1 , . . . , xp ) ≥ 0, ∀x1 , . . . , xp ;
R
f (x1 , . . . , xp ) dx1 . . . dxp = 1.
Rp
435 / 895
Mehrdimensionale Zufallsvariablen
Stetige Verteilung (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Die Funktion f (x1 , . . . , xp ) heißt dann Dichtefunktion
2. Kombinatorik
des zufälligen Vektors X.
3. Bedingte Wkt
Falls die Dichtefunktion f (x1 , . . . , xp ) stetig ist, so gilt:
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
f (x1 , . . . , xp ) =
∂ p FX (x1 , . . . , xp )
.
∂x1 . . . ∂xp
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
436 / 895
Mehrdimensionale Zufallsvariablen
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Def. 40 Ein zufälliger Vektor X = (X1 , . . . , Xp )T
heißt
2. Kombinatorik
diskret, falls jede Komponente von X diskret ist,
3. Bedingte Wkt
d.h. jedes Xi besitzt höchstens abzählbar viele
4. Klass. Wkt.
Argumente.
5. Zufallsvariablen
gemischt, falls einige seiner Komponenten
6. Diskrete ZV
7. Charakteristika
diskret, die restlichen dagegen stetig sind.
8. Exponential
stetig, falls alle Komponenten von X stetige
9. Normal
Zufallsgrößen sind.
10.Transformation
437 / 895
Mehrdimensionale Zufallsvariablen
X diskret
Stochastik für
InformatikerInnen
Wolfgang Kössler
Es sei X = (X1 , . . . , Xp )T ein diskreter zufälliger
1. Grundbegriffe
Vektor. Für i = 1, . . . , p habe Xi den Wertevorrat
2. Kombinatorik
{xi1 , . . . , xik , . . .}. Dann definieren wir:
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
pj...k = P(X1 = x1j , . . . , Xp = xpk ).
Verteilungsfunktion des zufälligen Vektors X:
6. Diskrete ZV
7. Charakteristika
F (x1 , . . . , xp ) = P
10.Transformation
!
{ω ∈ Ω : Xi (ω) < xi }
i=1
8. Exponential
9. Normal
p
\
X
=
j : x1j <x1
...
pj...k
k : xpk <xp
438 / 895
Mehrdimensionale Zufallsvariablen
X diskret, p = 2
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Es sei p = 2 und X = (X1 , X2 )T .

x1 x2 . . . xn . . .

y1 y2 . . . yn . . .


X1 : 
p1 p2 . . . pn . . .
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential

X2 : 

q1 q2 . . . qn . . .
pij = P(X1 = xi , X2 = yj ) = P(X = (xi , yj )).
9. Normal
10.Transformation
439 / 895
Mehrdimensionale Zufallsvariablen
X diskret, p = 2 (2)
Stochastik für
InformatikerInnen
Weiterhin gilt:
Wolfgang Kössler
P(X1 ∈ {xi : i ∈ N}) = 1
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
P(X2 ∈ {yj : j ∈ N}) = 1
Wir bezeichnen:
4. Klass. Wkt.
5. Zufallsvariablen
X := {xi : i ∈ N},
Y := {yj : j ∈ N}.
6. Diskrete ZV
Der zufällige Vektor X kann Werte der Form
7. Charakteristika
(xi , yj ) ∈ X × Y annehmen,
8. Exponential
9. Normal
P(X ∈ X × Y) = P(X1 ∈ X , X2 ∈ Y) =
X
pij = 1.
i,j∈N
10.Transformation
440 / 895
Mehrdimensionale Zufallsvariablen
X diskret, p = 2 (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
P(X1 = xi ) = P({X1 = xi } ∩ Ω) = P({X1 = xi }∩
{(X = y1 ) ∨ (X2 = y2 ) ∨ . . . ∨ (X2 = yn ) ∨ . . .})
| 2
{z
}
S
=
{X2 =yj }=Ω
j∈I N
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation


= P({X1 = xi } ∩ 
[
{X2 = yj }
j∈N


[
=P
{(X1 = xi ) ∧ (X2 = yj )}
j∈N
=
X
j∈N
pij =: pi·
441 / 895
Mehrdimensionale Zufallsvariablen
X diskret, p = 2 (4)
Stochastik für
InformatikerInnen
Wir erhalten also:
Wolfgang Kössler
pi· = P(X1 = xi ).
1. Grundbegriffe
2. Kombinatorik
Analog erhalten wir, wenn wir die Betrachtung mit
3. Bedingte Wkt
der zufälligen Variable X2 wiederholen:
4. Klass. Wkt.
p·j = P(X2 = yj ).
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Def. 41 (Randwahrscheinlichkeiten)
Die Wahrscheinlichkeiten pi· bzw. p·j (i, j ∈ N)
9. Normal
nennen wir die Randwahrscheinlichkeiten des
10.Transformation
zufälligen Vektors X = (X1 , X2 )T .
442 / 895
Mehrdimensionale Zufallsvariablen
Kontingenztafel
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
X2
X1 \
y1
y2
y3
...
yj
...
yn
...
P
x1
p11 p12 p13 . . . p1j . . . p1n . . . p1·
x2
p21 p22 p23 . . . p2j . . . p2n . . . p2·
x3
..
.
p31 p32 p33 . . . p3j . . . p3n . . . p3·
..
..
..
..
..
..
.
.
.
.
.
.
xi
..
.
P
pi1
..
.
pi2
..
.
pi3 . . . pij
..
..
.
.
. . . pin . . . pi·
..
..
.
.
p·1
p·2
p·3 . . . p·j
. . . p·n . . .
1
10.Transformation
443 / 895
Mehrdimensionale Zufallsvariablen
Beispiel 1
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Umfrage zum Thema “Sport”
Dabei werden Männer und Frauen darüber befragt,
ob sie Sportler oder Nichtsportler sind. Das ergibt
die beiden folgenden Zufallsvariablen:

 1 , falls weiblich
X1 =
 2 , falls männlich
7. Charakteristika
8. Exponential
9. Normal
X2

 1 , falls Sportler
=
 2 , falls Nichtsportler
10.Transformation
444 / 895
Mehrdimensionale Zufallsvariablen
Beispiel 1 (Fortsetzung)
Stochastik für
InformatikerInnen
Schema für den zufälligen Vektor X = (X1 , X2 )T :
Wolfgang Kössler
X2
1. Grundbegriffe
X1 \
2. Kombinatorik
3. Bedingte Wkt
1
2
1
p11 p12
2
p21 p22
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
2 × 2–Kontingenztafel:
X2
X1 \
1
2
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
1
n11 n12 n1·
2
n21 n22 n2·
n·1
n·2
n··
445 / 895
Mehrdimensionale Zufallsvariablen
Beispiel 1 (Fortsetzung, 2)
Stochastik für
InformatikerInnen
nij – die Anzahl der Personen mit dem
Wolfgang Kössler
Geschlecht i und dem Sportverhalten j;
1. Grundbegriffe
2. Kombinatorik
n·1 – die Anzahl der Sportler;
3. Bedingte Wkt
n·2 – die Anzahl der Nichtsportler;
4. Klass. Wkt.
n1· – die Anzahl der Frauen;
5. Zufallsvariablen
6. Diskrete ZV
n2· – die Anzahl der Männer;
n·· – die Gesamtzahl der Befragten.
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
Mit p̂ij =
nij
n··
ergibt sich nun eine Schätzung für die
Wahrscheinlichkeit pij .
446 / 895
Mehrdimensionale Zufallsvariablen
Beispiel 2
Stochastik für
InformatikerInnen
Werfen zweier Würfel
Wolfgang Kössler
Wir betrachten den zufälligen Vektor X = (X1 , X2 )T ,
1. Grundbegriffe
wobei X1 die Augenzahl des ersten Würfels ist und
2. Kombinatorik
X2 die des zweiten. Für die zufälligen Variablen X1
3. Bedingte Wkt
und X2 gilt:
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential

X1 , X2 :
1 2 3 4 5 6
1
6
1
6
1
6
1
6
1
6

Da die Würfel voneinander unabhängig sind, gilt
9. Normal
10.Transformation
1
6

pij = P(X1 = i, X2 = j) =
1
1 1
· =
6 6
36
447 / 895
Mehrdimensionale Zufallsvariablen
Beispiel 2 (Fortsetzung)
Stochastik für
InformatikerInnen
Damit erhalten wir das folgende Schema:
Wolfgang Kössler
X2
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
X1 \
1
2
3
4
5
6
1
1
36
1
36
1
36
1
36
1
36
1
36
2
1
36
1
36
1
36
1
36
1
36
1
36
3
1
36
1
36
1
36
1
36
1
36
1
36
4
1
36
1
36
1
36
1
36
1
36
1
36
5
1
36
1
36
1
36
1
36
1
36
1
36
6
1
36
1
36
1
36
1
36
1
36
1
36
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
448 / 895
Mehrdimensionale Zufallsvariablen
Beispiel 2 (Fortsetzung)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
P(X1 < 4, X2 < 3) =
X
i<4; j<3
pij =
6
1
=
36
6
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Die hier addierten Wahrscheinlichkeiten sind in dem
oben angegebenen Schema eingerahmt.
5. Zufallsvariablen
6. Diskrete ZV
Die Aussagen zu zweidimensionalen zufälligen
7. Charakteristika
Vektoren, die wir bis hierher gemacht haben, gelten
8. Exponential
analog erweitert auch für höherdimensionale
9. Normal
zufällige Vektoren.
10.Transformation
449 / 895
Mehrdimensionale Zufallsvariablen
X stetig, p = 2
Stochastik für
InformatikerInnen
Wolfgang Kössler
Zweidimensionale Dichtefunktion f (x, y)
+∞
R
R +∞
1
f (x, y) dx dy = 1;
1. Grundbegriffe
2. Kombinatorik
−∞ −∞
2
f (x, y) ≥ 0, ∀(x, y) ∈ R2 .
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Zweidimensionale Verteilungsfunktion
Rx Ry
F (x, y) =
f (u, v ) du dv = P(X1 < x, X2 < y).
−∞ −∞
Da f (x, y) stetig ist, gilt weiterhin:
8. Exponential
9. Normal
10.Transformation
f (x, y) =
∂ 2 F (x, y)
.
∂x ∂y
450 / 895
Mehrdimensionale Zufallsvariablen
X stetig, p = 2 (Fortsetzung)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
lim F (x, y) = FX1 (x) = P(X1 < x).
y →∞
lim F (x, y) = FX2 (y) = P(X2 < y).
x→∞
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Randverteilungen, Randverteilungsfunktionen
Die Verteilungsfunktionen FX1 und FX2 bezeichnen
wir als Randverteilungen von X1 bzw. X2 .
9. Normal
10.Transformation
451 / 895
Mehrdimensionale Zufallsvariablen
X stetig, p = 2 (Fortsetzung)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Integrieren wir die Dichtefunktion nur nach einer der
1. Grundbegriffe
beiden Variablen, so erhalten wir:
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Z+∞
dFX1 (x)
f (x, y) dy =
=: fX1 (x)
dx
−∞
Z+∞
dFX2 (y)
f (x, y) dx =
=: fX2 (y)
dy
−∞
8. Exponential
9. Normal
10.Transformation
452 / 895
Mehrdimensionale Zufallsvariablen
X stetig, p = 2 (Fortsetzung, 2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Def. 42 (Randdichten)
Die Funktionen fX1 und fX2 bezeichnen wir als
Randdichten von X1 bzw. X2 .
2. Kombinatorik
3. Bedingte Wkt
Offenbar,
4. Klass. Wkt.
5. Zufallsvariablen
Zx
FX1 (x) =
6. Diskrete ZV
−∞
Zy
7. Charakteristika
8. Exponential
9. Normal
fX1 (t) dt
FX2 (y) =
fX2 (t) dt
−∞
10.Transformation
453 / 895
Mehrdimensionale Zufallsvariablen
X stetig, p = 2 (Fortsetzung)
Stochastik für
InformatikerInnen
Zweidimensionale Normalverteilung
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
454 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
11.1 Begriffe
2. Kombinatorik
11.2 Unabhängigkeit von Zufallsgrößen
3. Bedingte Wkt
11.3 Transformationssatz für Zufallsvektoren
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
455 / 895
11.2 Unabhängigkeit von
Zufallsgrößen
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Def. 43 (Unabhängigkeit)
Es seien X1 und X2 zwei zufällige Variablen auf dem
2. Kombinatorik
Wahrscheinlichkeitsraum (Ω, E, P). Diese beiden
3. Bedingte Wkt
zufälligen Variablen X1 und X2 heißen
4. Klass. Wkt.
stochastisch unabhängig, wenn für alle A, B ∈ B 1 gilt:
5. Zufallsvariablen
6. Diskrete ZV
P(X1 ∈ A, X2 ∈ B) = P(X1 ∈ A) · P(X2 ∈ B);
7. Charakteristika
oder kürzer:
8. Exponential
P(A ∩ B) = P(A) · P(B).
9. Normal
10.Transformation
456 / 895
Unabhängigkeit von Zufallsgrößen
Verteilungsfunktion
Stochastik für
InformatikerInnen
Wolfgang Kössler
Es sei X = (X1 , X2 )T ein zufälliger Vektor, für den gilt,
1. Grundbegriffe
daß die zufälligen Variablen X1 und X2 stochastisch
2. Kombinatorik
unabhängig sind. Dann gilt:
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
FX1 ,X2 (x1 , x2 ) = P(X1 < x1 , X2 < x2 )
= P(X1 ∈ (−∞, x1 ), X2 ∈ (−∞, x2 ))
| {z }
| {z }
A∈B1
B∈B1
= P(X1 ∈ (−∞, x1 )) · P(X2 ∈ (−∞, x2 ))
= FX1 (x1 ) · FX2 (x2 )
9. Normal
10.Transformation
457 / 895
Unabhängigkeit von Zufallsgrößen
F stetig
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Aus der letzten Aussage folgt:
Z x1 Z x2
Z x1
Z
fX (t1 , t2 ) dt1 dt2 =
fX1 (t1 ) dt1
−∞
−∞
−∞
x2
fX2 (t2 ) dt2
−∞
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Z
x1
Z
x2
(fX (t1 , t2 )−fX1 (t1 )fX2 (t2 )) dt1 dt2 = 0 ∀x1 , x2 ∈ R
−∞
D.h.
−∞
fX (t1 , t2 ) = fX1 (t1 )fX2 (t2 ) ∀t1 , t2
8. Exponential
9. Normal
10.Transformation
458 / 895
Unabhängigkeit von Zufallsgrößen
Stochastik für
InformatikerInnen
Wolfgang Kössler
Ist der zufällige Vektor X = (X1 , X2 )T stetig, so
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
fX1 ,X2 (x1 , x2 ) = fX1 (x1 ) · fX2 (x2 ) .
{z
}
{z
} |
|
zweidimensio–
nale Dichte
Randdichten
4. Klass. Wkt.
5. Zufallsvariablen
Ist der zufällige Vektor X = (X1 , X2 )T diskret, so
6. Diskrete ZV
folgt für alle i, j = 1, . . .:
7. Charakteristika
8. Exponential
pij = pi. · p.j .
9. Normal
10.Transformation
459 / 895
Unabhängigkeit von Zufallsgrößen
Beispiel
Stochastik für
Es seien einige Einzelwahrscheinlichkeiten pij einer
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
diskreten zweidimensionalen Zufallsvariablen (X , Y )
bekannt (fett eingetragen).
Die Komponenten X und Y seien unabhängig.
Bestimmen Sie die restlichen Einträge!
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
X \Y
1
2
3
pi.
-1
0.02 0.06 0.12
0.20
0
0.03 0.09 0.18
0.30
1
0.05 0.15 0.30
0.50
p.j
0.10 0.30 0.60
1
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
460 / 895
Unabhängigkeit von Zufallsgrößen
Beispiel (Fortsetzung)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
EX = −1 · 0.2 + 0 · 0.3 + 1 · 0.5 = 0.3
EY = 1 · 0.1 + 2 · 0.3 + 3 · 0.6 = 2.5
E(X · Y ) = −0.02 − 2 · 0.06 − 3 · 0.12 + 0 · (. . .)
5. Zufallsvariablen
+1 · 0.05 + 2 · 0.15 + 3 · 0.3 = 0.75
6. Diskrete ZV
7. Charakteristika
cov (X , Y ) = E(X · Y ) − (EX )(EY ) = 0.75 − 0.75 = 0
8. Exponential
9. Normal
Merkwürdig?
10.Transformation
461 / 895
Unabhängigkeit von Zufallsgrößen
Stochastik für
Wolfgang Kössler
Satz
Es seien X1 und X2 zwei zufällige Variablen. ϕ und ψ
1. Grundbegriffe
seien zwei beliebige B 1 –meßbare Transformationen
2. Kombinatorik
dieser beiden Variablen,
InformatikerInnen
3. Bedingte Wkt
4. Klass. Wkt.
X10 = ϕ(X1 ),
X20 = ψ(X2 ).
5. Zufallsvariablen
6. Diskrete ZV
Die zufälligen Variablen X1 und X2 sind genau dann
7. Charakteristika
stochastisch unabhängig, wenn die Zufallsgrößen X10
8. Exponential
und X20 , für alle Transformationen ϕ und ψ,
9. Normal
unabhängig sind.
10.Transformation
462 / 895
Unabhängigkeit von Zufallsgrößen
Beweis des Satzes, Anmerkungen
Stochastik für
InformatikerInnen
Wolfgang Kössler
Die Funktionen ϕ und ψ seien auf der Menge R
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
definiert und reellwertig. Dann gilt für die jeweilige
Umkehrfunktion genau dann
ϕ−1 (A) = {x : ϕ(x) ∈ A} ∈ B 1 ,
∀A ∈ B 1
ψ −1 (B) = {y : ψ(y) ∈ B} ∈ B 1 ,
∀B ∈ B 1 ,
7. Charakteristika
8. Exponential
wenn ϕ und ψ B 1 –meßbar sind.
9. Normal
10.Transformation
463 / 895
Unabhängigkeit von Zufallsgrößen
Beweis des Satzes (=⇒)
Stochastik für
InformatikerInnen
Es seien die zufälligen Variablen X1 und X2
Wolfgang Kössler
stochastisch unabhängig. Wir zeigen, daß ϕ(X1 ) und
1. Grundbegriffe
ψ(X2 ) unabhängig sind. Da die Funktionen ϕ und ψ
2. Kombinatorik
B 1 –meßbar sind, gilt
3. Bedingte Wkt
P(ϕ(X1 ) ∈ A, ψ(X2 ) ∈ B)
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
= P(X1 ∈ ϕ−1 (A), X2 ∈ ψ −1 (B))
= P(X1 ∈ ϕ−1 (A)) · P(X2 ∈ ψ −1 (B))
= P(ϕ(X1 ) ∈ A) · P(ψ(X2 ) ∈ B)
9. Normal
D.h. die zufälligen Variablen ϕ(X1 ) und ψ(X2 ) sind
10.Transformation
unabhängig.
464 / 895
Unabhängigkeit von Zufallsgrößen
Beweis des Satzes (⇐=)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Es gelte also, daß für alle B 1 –meßbaren Funktionen
1. Grundbegriffe
ϕ und ψ die zufälligen Variablen ϕ(X1 ) und ψ(X2 )
2. Kombinatorik
unabhängig sind. Insbesondere ist das dann auch
3. Bedingte Wkt
der Fall für die Funktionen ϕ(x) ≡ ψ(x) ≡ x. D.h.
4. Klass. Wkt.
5. Zufallsvariablen
X1 = ϕ(X1 ),
X2 = ψ(X2 ).
6. Diskrete ZV
7. Charakteristika
Folglich sind auch die zufälligen Variablen X1 und X2
8. Exponential
unabhängig.
9. Normal
10.Transformation
465 / 895
Unabhängigkeit von Zufallsgrößen
Beispiel 2
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Sei X ∼ N (0, 1).
X und Y = X 2 sind nicht unabhängig, sogar
2. Kombinatorik
funktional abhängig
3. Bedingte Wkt
X und Y sind unkorreliert, wegen EX = 0 und
4. Klass. Wkt.
5. Zufallsvariablen
cov (X , Y ) = E(X · X 2 ) − EX · EY = EX 3 = 0,
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
da X symmetrisch ist.
Die Aussage gilt also für beliebige symmetrische
Zufallsvariablen X mit endlicher Varianz.
10.Transformation
466 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
11.1 Begriffe
2. Kombinatorik
11.2 Unabhängigkeit von Zufallsgrößen
3. Bedingte Wkt
11.3 Transformationssatz für Zufallsvektoren
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
467 / 895
11.3 Transformationssatz für
Zufallsvektoren
Stochastik für
InformatikerInnen
Wolfgang Kössler
Es sei X = (X1 , . . . , Xp )T ein zufälliger Vektor mit der
1. Grundbegriffe
Dichtefunktion f (x1 , . . . , xp ). Es sei g : Rp −→ Rp eine
2. Kombinatorik
umkehrbar eindeutige Abbildung. Sie ordnet einem
3. Bedingte Wkt
Vektor x = (x1 , . . . , xp )T einen Vektor
4. Klass. Wkt.
y = (y1 , . . . , yp )T zu und besteht aus Teilabbildungen
5. Zufallsvariablen
g1 , . . . , gp mit
6. Diskrete ZV
gi : Rp −→ R (für alle i = 1, . . . , p).
7. Charakteristika
8. Exponential
9. Normal
Beispiel
y = g(x) = A · x, wobei A reguläre (p, p)–Matrix.
10.Transformation
468 / 895
Transformationssatz für
Zufallsvektoren (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Die Umkehrabbildung g −1 : Rp −→ Rp ist durch
Funktionen xi = ψi (y1 , . . . , yp ) definiert (i = 1, . . . , p).
1. Grundbegriffe
Die Funktionen ψi (i = 1, . . . , p) existieren wegen der
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
umkehrbaren Eindeutigkeit der Funktion g.

 
 y1   ψ1 (y1 , . . . , yp )
 .  
..
.  
g −1 (y) = g −1 
.
 . =

 
yp
ψp (y1 , . . . , yp )


 
 
=
 
 

x1
..
.
xp
8. Exponential
9. Normal
g −1 (y) = (ψ1 (y), . . . , ψp (y))T = x
Kurzform
10.Transformation
469 / 895





Transformationssatz für
Zufallsvektoren (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Wir definieren nun einen weiteren zufälligen Vektor
Y = (Y1 , . . . , Yp )T wie folgt:
Y = g(X) := (g1 (X1 , . . . , Xp ), . . . , gp (X1 , . . . , Xp ))T
3. Bedingte Wkt
und nehmen an, die gi (i = 1, . . . , p) besitzen stetige
4. Klass. Wkt.
partielle Ableitungen nach allen Argumenten.
5. Zufallsvariablen
Für den zufälligen Vektor X gilt umgekehrt:
6. Diskrete ZV
7. Charakteristika
X = (X1 , . . . , Xp )T
8. Exponential
= (ψ1 (Y1 , . . . , Yp ), . . . , ψp (Y1 , . . . , Yp ))T
9. Normal
= g −1 (Y1 , . . . , Yp ) = g −1 (Y).
10.Transformation
470 / 895
Transformationssatz für
Zufallsvektoren (4)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Satz (Dichte von Y = g(X)), ohne Beweis
Die Zufallsvariable X habe die Dichte f . Die Dichte
der Zufallsvariablen Y = g(X) ist
2. Kombinatorik
3. Bedingte Wkt
hY (y1 , . . . , yp ) = f (ψ1 (y1 , . . . , yp ), . . . , ψp (y1 , . . . , yp ))·|J|,
4. Klass. Wkt.
5. Zufallsvariablen
wobei
6. Diskrete ZV
7. Charakteristika
J = det
∂ψi (y1 , . . . , yp )
∂yj
i,j=1,...,p
8. Exponential
9. Normal
die sogenannte Jacobi-Determinante ist.
10.Transformation
471 / 895
Transformationssatz für
Zufallsvektoren (5)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Faltung
1. Grundbegriffe
Es sei X = (X1 , X2 )T ein zufälliger Vektor (p = 2), mit
2. Kombinatorik
unabhängigen Komponenten X1 und X2 . Die Dichte
3. Bedingte Wkt
fX1 ,X2 von X sei
4. Klass. Wkt.
5. Zufallsvariablen
fX1 ,X2 (x1 , x2 ) = fX1 (x1 ) · fX2 (x2 ).
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
Es sei Y = g(X) ein weiterer zufälliger Vektor,
X1 + X2
Y1
g1 (X1 , X2 )
=
.
Y=
=
Y2
g2 (X1 , X2 )
X2
10.Transformation
472 / 895
Faltung (2)
Stochastik für
InformatikerInnen
Wir suchen die Dichte des zufälligen Vektors Y.
Wolfgang Kössler
Zunächst wissen wir, daß die Funktion g aus zwei
1. Grundbegriffe
Teilfunktionen g1 und g2 besteht:
2. Kombinatorik
g1 (X1 , X2 ) = Y1 = X1 + X2
3. Bedingte Wkt
4. Klass. Wkt.
g2 (X1 , X2 ) = Y2 = X2
5. Zufallsvariablen
6. Diskrete ZV
bzw.
7. Charakteristika
8. Exponential
9. Normal
g1 (x1 , x2 ) = y1 = x1 + x2
g2 (x1 , x2 ) = y2 = x2
10.Transformation
473 / 895
Faltung (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Die Umkehrfunktion g −1 besteht aus den beiden
Teilfunktionen:
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
ψ1 (y1 , y2 ) = x1 = y1 − y2
ψ2 (y1 , y2 ) = x2 = y2
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
Wir bestimmen nun die Zahl |J|:



 ∂x1
∂x1
1 −1 ∂y
∂y
1
2
 = 1
 = det 
|J| = det 
∂x2
∂x2
0 1
∂y1
∂y2
10.Transformation
474 / 895
Faltung (4)
Stochastik für
InformatikerInnen
Dichte des zufälligen Vektors Y = (X1 + X2 , X2 ):
Wolfgang Kössler
1. Grundbegriffe
hY (y1 , y2 ) = fX1 ,X2 (ψ1 (y1 , y2 ), ψ2 (y1 , y2 )) · |1|
= fX1 ,X2 (y1 − y2 , y2 )
2. Kombinatorik
= fX1 (y1 − y2 ) · fX2 (y2 )
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Randdichte für Y1 = X1 + X2 :
Z+∞
hY1 (y1 ) =
hY (y1 , y2 ) dy2
−∞
8. Exponential
9. Normal
10.Transformation
Z+∞
=
fX1 (y1 − y2 ) · fX2 (y2 ) dy2 =: fX1 ∗ fX2 (y)
−∞
475 / 895
Faltung (5)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Def. 44 (Faltung)
Die Verknüpfung fX1 ∗ fX2 zweier Funktionen f1 und f2
heißt Faltung aus f1 und f2 .
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Bem.: Die Dichte der Summe zweier unabhängiger
Zufallsvariablen ist Faltung der beiden Einzeldichten.
5. Zufallsvariablen
6. Diskrete ZV
X1 , X2 ∼ R(0, 1), Y wie im letzten Beispiel
7. Charakteristika
Dichtefunktion von Y1 = X1 + X2 :
8. Exponential
9. Normal
10.Transformation
Z1
hY1 (y) =
0
Z1
fX1 (y − x) · fX2 (x) dx =
| {z }
≡1
fX1 (y − x) dx
0
476 / 895
Faltung (6)
Stochastik für
InformatikerInnen
Es gilt: 0 ≤ Xi < 1,
i = 1, 2., d.h.
Wolfgang Kössler
0 ≤ X1 + X2 = Y1 < 2.
1. Grundbegriffe
2. Kombinatorik
und für die Funktion fX1 :
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation

 1
fX1 (y − x) =
 0



1



=
1




 0
, falls 0 ≤ y − x ≤ 1
, sonst
, falls 0 ≤ y − 1 ≤ x ≤ 1 < y
, falls 0 ≤ x < y ≤ 1
, falls y − x ∈
/ [0, 1[
477 / 895
Faltung (7)
Randdichte Y1 von Y
Z1
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
hY1 (y) =
fX1 (y − x) dx
0

R1



dx



y
−1
 y
R
=
dx



0




0



2−y



=
y




 0
, falls 1 < y < 2
, falls 0 ≤ y ≤ 1
, falls y ∈
/ [0, 2[
, falls 1 < y < 2
, falls 0 ≤ y ≤ 1
, falls y ∈
/ [0, 2[
478 / 895
Faltung (8)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Wir addieren drei zufällige Variablen X1 , X2 , X3 ,
Xi ∼ R(0, 1),
1. Grundbegriffe
Y3 = (X1 + X2 ) + X3 .
2. Kombinatorik
3. Bedingte Wkt
Für die Dichtefunktion der Zufallsgröße Y3 gilt dann
4. Klass. Wkt.
nach der Faltungsformel:
5. Zufallsvariablen
6. Diskrete ZV
hY3 (z) = hY1
7. Charakteristika
−∞
Z1
8. Exponential
9. Normal
10.Transformation
Z+∞
∗ fX3 (z) =
hY1 (z − x) · fX3 (x) dx
Z1
hY1 (z − x) · fX3 (x) dx =
=
0
hY1 (z − x) dx
0
479 / 895
Faltung (9)
Das letzte Integral ist gleich
Stochastik für
InformatikerInnen
1
Fall 1: 0 < z < 1
2
Fall 2: 1 < z < 2
=
Wolfgang Kössler
1. Grundbegriffe
Z
Rz
0
(z − x) dx =
z−1
Z
0
3. Bedingte Wkt
Z
1
=
6. Diskrete ZV
8. Exponential
9. Normal
3
Z
t dt −
2−z
5. Zufallsvariablen
z−1
t dt
1
1
(1 − (2 − z)2 − (z − 1)2 + 1)
2
Fall 3: 2 < z < 3
Z 1
Z
(x − (z − 2)) dx =
z−2
(z − x) dx
z−1
=
4. Klass. Wkt.
7. Charakteristika
1
(2 − z + x) dx +
2. Kombinatorik
z2
2
0
3−z
t dt =
(3 − z)2
2
10.Transformation
480 / 895
Faltung (10)
Stochastik für
InformatikerInnen
Wegen 0 ≤ Xi < 1 folgt dann:
Wolfgang Kössler
1. Grundbegriffe
0 ≤ (X1 + X2 ) + X3 = Y1 + X3 = Y3 < 3.
2. Kombinatorik
Für die Dichte der Summe der drei Zufallsgrößen X1 ,
3. Bedingte Wkt
X2 und X3 gilt also:



0





 z2
2
hY3 (z) =
(z−1)2


1
−
−

2




 (3−z)2
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
2
, falls z ∈
/ [0, 3[
, falls 0 ≤ z ≤ 1
(2−z)2
2
, falls 1 < z ≤ 2
, falls 2 < z < 3
10.Transformation
481 / 895
Faltung (Veranschaulichung)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Seien Xi ∼ R(0, 1), i = 1, 2, 3
P
Verteilungsfunktion von ni=1 Xi :
n=1
n=2
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
n=3
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
482 / 895
Faltung (10)
Stochastik für
InformatikerInnen
Vermutung:
Wolfgang Kössler
Die Summe unabhängiger Zufallsgrößen nähert sich
1. Grundbegriffe
bei wachsender Zahl der Zufallsgrößen einer
2. Kombinatorik
Normalverteilung.
3. Bedingte Wkt
4. Klass. Wkt.
Diese Vermutung ist richtig.
5. Zufallsvariablen
Sie gilt sogar (unter sehr allgemeinen
6. Diskrete ZV
Voraussetzungen, wie var (Xi ) < ∞) unabhängig
7. Charakteristika
davon, welche Verteilung diese Zufallsgrößen vorher
8. Exponential
hatten (Normal–, Gleich–, Exponentialverteilung
9. Normal
oder diskret). Wir kommen später beim Zentralen
10.Transformation
Grenzwertsatz noch einmal darauf zurück.
483 / 895
Box-Müller Transformation (1)
Stochastik für
InformatikerInnen
Wolfgang Kössler
B OX–M ÜLLER–Transformation
Es seien U1 und U2 zwei unabhängige, über dem
1. Grundbegriffe
Intervall [0, 1[ gleichverteilte Zufallsgrößen
2. Kombinatorik
(Ui ∼ R(0, 1), i = 1, 2), U = (U1 , U2 )T ein zufälliger
3. Bedingte Wkt
Vektor. Wir betrachten den zufälligen Vektor
4. Klass. Wkt.
V = g(U) = (X , Y )T , wobei:
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
p
−2 ln U1 · cos 2πU2
p
−2 ln U1 · sin 2πU2
Y = g2 (U1 , U2 ) =
X = g1 (U1 , U2 ) =
9. Normal
Wir suchen die Dichtefunktionen für die zufälligen
10.Transformation
Variablen X und Y .
484 / 895
Box-Müller Transformation (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Wir bestimmen zunächst die Umkehrfunktion zur
Abbildung g. Es gilt:
1. Grundbegriffe
2. Kombinatorik
U = g −1 (V) = (ψ1 (X , Y ), ψ2 (X , Y )).
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Zur Bestimmung der ψ1 und ψ2 berechnen wir
X 2 + Y 2 = (−2 ln U1 · cos2 (2πU2 )) +
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
(−2 ln U1 · sin2 (2πU2 ))
= (−2 ln U1 ) · (cos2 (2πU2 ) + sin2 (2πU2 ))
= −2 ln U1
10.Transformation
485 / 895
Box-Müller Transformation (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Durch Umstellen erhalten wir:
1
U1 = ψ1 (X , Y ) = e− 2 (X
2 +Y 2 )
.
2. Kombinatorik
3. Bedingte Wkt
Weiterhin gilt:
Y
= tan 2πU2 .
X
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Daraus folgt:
1
arctan
U2 = ψ2 (X , Y ) =
2π
Y
X
.
9. Normal
10.Transformation
486 / 895
Box-Müller Transformation (4)
Bestimmung von |J|.
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
∂ψ1 ∂ψ1 ∂x ∂y |J| = ∂ψ2 ∂ψ2 ∂x
∂y
1
1
2
2
2
2
−x · exp(− 2 (x + y )) −y · exp(− 2 (x + y ))
= −y
1
1
1
“
”
“
”
·
·
2
2
2π
2π
1+ y 2 ·x 2
1+ y 2 ·x
x
x
1
x2
1 2
y2
2
= −
exp − (x + y ) ·
+
2π
2
x2 + y2 x2 + y2 1 − 1 (x 2 +y 2 )
=
e 2
2π
10.Transformation
487 / 895
Box-Müller Transformation (5)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Für die Dichtefunktion des zufälligen Vektors V gilt
nach der Transformationsformel:
1. Grundbegriffe
fV (x, y) = fU (ψ1 (x, y), ψ2 (x, y)) · |J|.
2. Kombinatorik
3. Bedingte Wkt
Da die Zufallsgrößen U1 und U2 unabhängig sind,
4. Klass. Wkt.
gilt:
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
fV (x, y) = fU1 (ψ1 (x, y)) · fU2 (ψ2 (x, y)) · |J|.
Nun sind U1 , U2 ∼ R(0, 1). Daraus folgt aber:
1 2
1 2
1 − 1 (x 2 +y 2 )
1
1
fV (x, y) = |J| =
e 2
= √ e− 2 x · √ e− 2 y
2π
2π
2π
= fX (x) · fY (y).
488 / 895
Box-Müller Transformation (6)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
mit
1 2
1
fX (x) = √ e− 2 x
2π
1 2
1
fY (y) = √ e− 2 y
2π
d.h. die Zufallsgrößen X und Y sind unabhängig und
standardnormalverteilt,
7. Charakteristika
8. Exponential
X ∼ N (0, 1),
Y ∼ N (0, 1).
9. Normal
10.Transformation
489 / 895
Transformationssatz
Treffen einer Zielscheibe∗
Stochastik für
InformatikerInnen
Wolfgang Kössler
Es seien folgende Bedingungen erfüllt
V1: Die Randverteilungen von X und Y seien
1. Grundbegriffe
stetig
2. Kombinatorik
V2: Die Dichte h(x, y) von (X , Y ) hängt nur vom
p
Abstand x 2 + y 2 vom Nullpunkt ab
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
(Radialsymmetrie)
6. Diskrete ZV
V3: Die Fehler in x- und y-Richtung sind
7. Charakteristika
unabhängig.
8. Exponential
9. Normal
10.Transformation
Sei Z die zufällige Abweichung in beliebiger
Richtung. Dann ist Z ∼ N (0, σ 2 ).
490 / 895
Treffen einer Zielscheibe
Beweis des Satzes (1)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Seien p(x) und q(y) Randdichten von (X , Y ). Aus
V2 und V3 folgt
p(x)q(y) = s(r ),
r2 = x2 + y2
2. Kombinatorik
Substitutionsmethode:
3. Bedingte Wkt
x = 0: p(0)q(y) = s(y),
p(0) 6= 0
y = 0: q(0)p(x) = s(x),
q(0) 6= 0
4. Klass. Wkt.
(2)
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
x 6= y: p(x)q(y) = p(y)q(x) ∀x, y,
und damit p(x) = q(x) und p(0)p(y) = s(y)
Teilen obige Funktionalgleichung durch p(0)2 ,
s(r )
p(r )
p(x) p(y)
=
=
2
p(0) p(0)
p(0)
p(0)
491 / 895
Treffen einer Zielscheibe
Beweis des Satzes (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Logarithmieren
1. Grundbegriffe
2. Kombinatorik
ln(
p(y)
p(r )
p(x)
) + ln(
) = ln(
)
p(0)
p(0)
p(0)
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Mit f (x) := ln( p(x)
):
p(0)
f (x) + f (y) = f (r ),
r2 = x2 + y2
7. Charakteristika
8. Exponential
y = 0, x = −x1 : f (−x) = f (|x|)
wegen f (0) = 0.
9. Normal
10.Transformation
492 / 895
Treffen einer Zielscheibe
Beweis des Satzes (3)
Stochastik für
InformatikerInnen
x 2 = x12 + x22 :
Wolfgang Kössler
f (r ) = f (y) + f (x1 ) + f (x2 ),
r 2 = y 2 + x12 + x22
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Wiederholtes Einsetzen:
f (r ) = f (x1 ) + f (x2 ) + . . . + f (xk ),
2
r =
k
X
xi2
i=1
2
k = n , x = x1 = . . . = xk :
6. Diskrete ZV
f (nx) = n2 f (x) ⇒x=1 f (n) = n2 f (1)
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
x=
m
,m
n
∈ Z:
m
m
n2 f ( ) = f (n ) = f (m) = m2 f (1)
n
n
493 / 895
Treffen einer Zielscheibe
Beweis des Satzes (4)
Stochastik für
InformatikerInnen
⇒ f ( mn ) = f (1)
Wolfgang Kössler
m 2
n
⇒
f (x) = cx 2 ,
c = f (1)
1. Grundbegriffe
2. Kombinatorik
für alle rationalen x. Wegen der Stetigkeit (V1) folgt
3. Bedingte Wkt
diese Relation für alle x ∈ R.
4. Klass. Wkt.
p(x) = p(0)ecx
2
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
p(x) > 0 da Wkt.dichte, c < 0, c := − 2σ1 2 .
Z ∞
Z ∞
√
2
1=
p(x) dx = p(0)
ecx dx = p(0)σ 2π
−∞
−∞
x2
1
p(x) = √ e− 2σ2
σ 2π
494 / 895
Treffen einer Zielscheibe
Beweis des Satzes (5)
Stochastik für
2. Kombinatorik
Gemeinsame Dichte von (X , Y ):
x 2 +y 2
1
p(x)p(y) = 2 e− 2σ2 .
σ 2π
Fehler in einer beliebigen Richtung θ, 0 ≤ θ ≤ 2π:
3. Bedingte Wkt
Z = X cos(θ) + Y sin(θ)
4. Klass. Wkt.
Variablentransformation
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
z = x cos(θ) + y sin(θ)
u = x sin(θ) − y cos(θ)
cos(θ) sin(θ) = |−1| =
Jacobi-Determinante J = sin(θ) − cos(θ)
495 / 895
Treffen einer Zielscheibe
Beweis des Satzes (6)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Quadrieren von z und u liefert
z 2 = x 2 cos2 (θ) + y 2 sin2 (θ) + 2xy cos(θ) sin(θ)
u 2 = x 2 sin2 (θ) + y 2 cos2 (θ) − 2xy cos(θ) sin(θ)
Addition: x 2 + y 2 = z 2 + u 2 also gemeinsame Dichte
4. Klass. Wkt.
von (Z , U):
5. Zufallsvariablen
2
2
1 − z 2 +u2 2
1
1
− z2
− u2
2σ
2σ
2σ
√
√
e
=
e
e
σ 2 2π
σ 2π
σ 2π
d.h. Z und U sind unabhängig, h1 (z, u) = hZ (z)hU (u)
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
h1 (z, u) =
und
z2
1
hZ (z) = √ e− 2σ2
σ 2π
496 / 895
Transformationssatz für
Erwartungswerte
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Satz. Es sei X = (X1 , . . . , Xp )T ein zufälliger Vektor
und g : Rp −→ R eine Abbildung.
a) X diskret mit Wkt.funktion (Zähldichte) f . Falls
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
X
|g(x)|f (x) < ∞
so:
E(g(X)) =
x
X
g(x)f (x).
x
b) X stetig mit Dichtefunktion f .
Z
Eg(X ) = g(x1 , . . . , xp ) · f (x1 , . . . , xp ) dx1 . . . dxp ,
Rp
9. Normal
10.Transformation
falls das Integral
R
|g(x)|f (x) dx existiert.
497 / 895
Transformationssatz für
Erwartungswerte, Beispiel
Beispiel
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Es sei X = (X1 , X2 )T ein stetiger zufälliger Vektor mit
3. Bedingte Wkt
Dichtefunktion f (x1 , x2 ). Wir definieren die Funktion
4. Klass. Wkt.
g : R2 −→ R durch g(X) := X1 + X2 . Dann gilt:
5. Zufallsvariablen
6. Diskrete ZV
E(X1 + X2 ) = EX1 + EX2
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
498 / 895
Transformationssatz für
Erwartungswerte, Beispiel (Fortsetz.)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Eg(X) = E(X1 + X2 )
Z
=
g(x1 , x2 ) · f (x1 , x2 ) dx1 dx2
1. Grundbegriffe
R2
+∞ Z
+∞
Z
2. Kombinatorik
3. Bedingte Wkt
−∞
Z −∞
4. Klass. Wkt.
5. Zufallsvariablen
8. Exponential
9. Normal
Z
x1 f (x1 , x2 ) dx1 dx2 +
x2 f (x1 , x2 ) dx1 dx2
2
 +∞
R
Z

f (x1 , x2 ) dx2  dx1 +
x1
=
R2
+∞
Z
6. Diskrete ZV
7. Charakteristika
(x1 + x2 ) · f (x1 , x2 ) dx1 dx2
=
=
−∞
+∞
Z
−∞
−∞
−∞
 +∞

Z
x2 
f (x1 , x2 ) dx1  dx2
10.Transformation
499 / 895
Transformationssatz für
Erwartungswerte, Beispiel (Fortsetz.,
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
2)
Z+∞
Z+∞
Eg(X ) =
x1 · fX1 (x1 ) dx1 +
x2 · fX2 (x2 ) dx2
−∞
−∞
= EX1 + EX2
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Allgemeiner erhalten wir also für zwei stetige
zufällige Variablen X1 und X2 :
7. Charakteristika
8. Exponential
E(c · X1 + d · X2 ) = c · EX1 + d · EX2 .
9. Normal
10.Transformation
500 / 895
12. Korrelation
Wolfgang Kössler
Def. 45 (Korrelationskoeffizient)
Es seien X1 und X2 zwei zufällige Variablen, für die
1. Grundbegriffe
gilt: 0 < σX1 , σX2 < ∞. Dann heißt der Quotient
Stochastik für
InformatikerInnen
2. Kombinatorik
3. Bedingte Wkt
%(X1 , X2 ) =
cov (X1 , X2 )
σX1 · σX2
4. Klass. Wkt.
5. Zufallsvariablen
Korrelationskoeffizient der Zufallsgrößen X1 und X2 .
6. Diskrete ZV
Ist cov (X1 , X2 ) = 0 dann heißen die beiden
7. Charakteristika
Zufallsgrößen unkorreliert.
8. Exponential
9. Normal
Bem.: X1 und X2 unabhängig ⇒ cov (X1 , X2 ) = 0.
10.Transformation
Die Umkehrung der Aussage gilt i.a. nicht.
501 / 895
Korrelation
Stochastik für
InformatikerInnen
2x2 Tafel
Wolfgang Kössler
Y
X
0(Sportler)
1(Nichtsportler)
Summe
0(w)
p11
p12
p1.
1(m)
p21
p22
p2.
Summe
p.1
p.2
1
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
X ∼ Bi(1, p.2 )
Y ∼ Bi(1, p2. )
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
E(X ) = p.2
var (X ) = p.2 (1 − p.2 ) = p.2 p.1
E(Y ) = p2.
var (Y ) = p2. (1 − p2. ) = p2. p1.
502 / 895
Korrelation
2x2 Tafel
Stochastik für
InformatikerInnen
Wolfgang Kössler
cov (X , Y ) = E(X · Y ) − E(X )E(Y ) = p22 − p.2 p2.
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Korrelationskoeffizient:
p22 − p.2 p2.
p11 p22 − p12 p21
ρ= √
= √
p.2 p1. p2. p.1
p.2 p2. p1. p.1
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
p22 − p2. p.2 = p22 − (p21 + p22 )(p12 + p22 )
2
= p22 − (p21 p12 + p22 p12 + p21 p22 + p22
)
8. Exponential
9. Normal
10.Transformation
= p22 (1 − p12 − p21 − p22 ) − p21 p12
= p22 p11 − p21 p12
503 / 895
Korrelationskoeffizient
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Satz
Es seien X1 und X2 zwei Zufallsgrößen mit
σX1 , σX2 > 0. Dann gilt für den
Korrelationskoeffizienten:
3. Bedingte Wkt
4. Klass. Wkt.
−1 ≤ %(X1 , X2 ) ≤ 1.
5. Zufallsvariablen
6. Diskrete ZV
Beweis: Wir definieren eine Funktion A wie folgt:
7. Charakteristika
8. Exponential
A(t, u) := E[t · (X1 − EX1 ) + u · (X2 − EX2 )]2 ≥ 0.
9. Normal
10.Transformation
Es gilt für alle t, u ∈ R:
504 / 895
Korrelationskoeffizient
Beweis des Satzes (Fortsetzung,1)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
A(t, u) = E(t 2 (X1 − EX1 )2 + u 2 (X2 − EX2 )2 )
+2tuE(X1 − EX1 )(X2 − EX2 )
= t 2 E(X1 − EX1 )2 + u 2 E(X2 − EX2 )2
+2tuE((X1 − EX1 )(X2 − EX2 ))
= t 2 Var X1 + 2 · t · u · cov (X1 , X2 ) + u 2 Var X2
≥ 0
9. Normal
10.Transformation
505 / 895
Korrelationskoeffizient
Beweis des Satzes (Fortsetzung,2)
Stochastik für
InformatikerInnen
Wir setzen t := σX2 , u := σX1 und dividieren durch
Wolfgang Kössler
σX1 · σX2 :
1. Grundbegriffe
σX2 2 σX2 1 + 2σX1 σX2 cov (X1 , X2 ) + σX2 1 σX2 2
A(σX2 , σX1 )
=
σX1 · σX2
σX1 · σX2
= σX1 · σX2 + 2 · cov (X1 , X2 ) + σX1 · σX2
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
= 2 · σX1 · σX2 + 2 · cov (X1 , X2 ) ≥ 0
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Also:
σX1 · σX2 + cov (X1 , X2 ) ≥ 0.
8. Exponential
9. Normal
Andererseits gilt aber auch mit t := −σX2 und
10.Transformation
u := σX1 sowie derselben Herleitung wie oben:
506 / 895
Korrelationskoeffizient
Beweis des Satzes (Fortsetzung,3)
Stochastik für
InformatikerInnen
2. Kombinatorik
σX2 2 σX2 1 − 2σX1 σX2 · cov (X1 , X2 ) + σX2 1 σX2 2
A(−σX2 , σX1 )
=
σX1 σX2
σX1 · σX2
= 2 · σX1 · σX2 − 2 · cov (X1 , X2 ) ≥ 0
3. Bedingte Wkt
Also:
Wolfgang Kössler
1. Grundbegriffe
4. Klass. Wkt.
5. Zufallsvariablen
σX1 · σX2 − cov (X1 , X2 ) ≥ 0.
Beides zusammen ergibt
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
−σX1 · σX2 ≤ cov (X1 , X2 ) ≤ σX1 · σX2 .
Wir stellen etwas um und erhalten:
cov (X1 , X2 )
−1 ≤
= %(X1 , X2 ) ≤ 1.
σX1 · σX2
507 / 895
Korrelationskoeffizient
Stochastik für
InformatikerInnen
Wolfgang Kössler
Bem.: Die Ungleichung kann auch direkt aus der
1. Grundbegriffe
Cauchy-Schwarz’schen Ungleichung hergeleitet
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
werden.
Satz
Es seien X1 und X2 zwei Zufallsgrößen, für die
6. Diskrete ZV
σX1 , σX2 > 0 ist. Dann gilt |%(X1 , X2 )| = 1 genau dann,
7. Charakteristika
wenn es Zahlen a, b ∈ R (a 6= 0) gibt, so daß gilt:
8. Exponential
P(X1 = a · X2 + b) = 1.
9. Normal
10.Transformation
508 / 895
Korrelationskoeffizient
Beweis des Satzes (⇐=)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
Seien a, b ∈ R so, daß P(X1 = a · X2 + b) = 1. Für
Erwartungswert und Varianz von X1 gilt dann:
EX1 = E(a · X2 + b) = a · EX2 + b,
2
2
σX2 1 = σa·X
= σa·X
= a2 · σX2 2 .
2 +b
2
cov (X1 , X2 )
E((X1 − EX1 )(X2 − EX2 ))
=
σX1 · σX2
|a| · σX2 · σX2
E([(aX2 + b) − (aEX2 + b)](X2 − EX2 ))
=
|a| · σX2 2

 1 , falls a > 0
2
a · E(X2 − EX2 )
=
=
 −1 , falls a < 0
|a| · σX2 2
%(X1 , X2 ) =
509 / 895
Korrelationskoeffizient
Beweis des Satzes (=⇒)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Es gelte |%(X1 , X2 )| = 1. Nun gilt:
cov (X1 , X2 )
E((X1 − EX1 ) · (X2 − EX2 ))
=
σ ·σ
σX1 · σX2
X1 X2
X1 − EX1 X2 − EX2
·
= E(X1∗ · X2∗ ),
= E
σX1
σX2
%(X1 , X2 ) =
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
wobei
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
X1∗ :=
X1 − EX1
,
σX1
X2∗ :=
X2 − EX2
.
σX2
Für die Varianz der Zufallsgrößen Xi∗ (i = 1, 2) gilt:
10.Transformation
510 / 895
Korrelationskoeffizient
Beweis des Satzes (=⇒) (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
σX2 i∗ = E (Xi∗ − EXi∗ )2
= E (Xi∗ )2 − (EXi∗ )2
2 2
Xi − EXi
Xi − EXi
= E
− E
σXi
σXi
1
2
2
·
E(X
−
EX
)
−
(E(X
−
EX
))
=
i
i
i
i
σX2 i
1
=
· σX2 i −EXi
σX2 i
1
=
· σX2 i = 1
σX2 i
511 / 895
Korrelationskoeffizient
Beweis des Satzes (=⇒), (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Offenbar gilt für die Erwartungswerte (i = 1, 2):
1
Xi − EXi
∗
=
· (EXi − E(EXi ))
EXi = E
σXi
σXi
1
=
· (EXi − EXi ) = 0
σXi
5. Zufallsvariablen
6. Diskrete ZV
Daraus folgt: %(X1 , X2 ) = E (X1∗ · X2∗ ).
7. Charakteristika
Wir unterscheiden zwei Fälle:
8. Exponential
%(X1 , X2 ) = 1 und %(X1 , X2 ) = −1
9. Normal
10.Transformation
512 / 895
Korrelationskoeffizient
Beweis des Satzes (=⇒), (4), %(X1 , X2 ) = 1
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Wir untersuchen die Varianz der Zufallsgröße
X1∗ − X2∗ :
σX2 1∗ −X2∗ = E ((X1∗ − X2∗ ) − E (X1∗ − X2∗ ))2
= E ((X1∗ − X2∗ ) − EX1∗ + EX2∗ )2
3. Bedingte Wkt
= E (X1∗ − X2∗ )2
4. Klass. Wkt.
5. Zufallsvariablen
= E (X1∗ )2 − 2 · E (X1∗ · X2∗ ) + E (X2∗ )2
6. Diskrete ZV
= 1 − 2 · %(X1 , X2 ) + 1 = 0
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
wegen
E (Xi∗ )2 = E (Xi∗ − EXi∗ )2 = σX2 i∗ = 1.
513 / 895
Korrelationskoeffizient
Beweis des Satzes (=⇒), (5), %(X1 , X2 ) = 1
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Nun gilt aber σX2 ∗ −X ∗ = 0 genau dann, wenn es ein
2. Kombinatorik
c ∈ R gibt, so daß P (X1∗ − X2∗ = c) = 1 ist. Das
3. Bedingte Wkt
bedeutet aber, daß gilt: E (X1∗ − X2∗ ) = c. Wegen
4. Klass. Wkt.
EX1∗ = EX2∗ = 0 ist c = 0, woraus folgt
1
2
5. Zufallsvariablen
6. Diskrete ZV
P (X1∗ = X2∗ ) = 1.
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
514 / 895
Korrelationskoeffizient
Beweis des Satzes (=⇒), (6), %(X1 , X2 ) = 1
Stochastik für
InformatikerInnen
Dann gilt:
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
1 = P (X1∗ = X2∗ )
X1 − EX1
X2 − EX2
= P
=
σX1
σX2
σX1 · X2 − σX1 · EX2
+ EX1
= P X1 =
σX2
σX1
σX1
· X2 −
· EX2 + EX1
= P X1 =
σX2
σX2
Wir definieren a :=
σX1
σX2
> 0 und b :=
σX1
σX2
· EX2 + EX1 ,
und die Aussage ist für diesen Fall gezeigt.
515 / 895
Korrelationskoeffizient
Beweis des Satzes (=⇒), (7), %(X1 , X2 ) = 1
Stochastik für
InformatikerInnen
Wolfgang Kössler
Sei %(X1 , X2 ) = −1: Hier untersucht man die Varianz
1. Grundbegriffe
der Zufallsgröße X1∗ + X2∗ und zeigt, daß sie ebenfalls
2. Kombinatorik
gleich Null ist. Danach verläuft der Beweis völlig
3. Bedingte Wkt
analog zum Fall %(X1 , X2 ) = 1.
4. Klass. Wkt.
6. Diskrete ZV
Def. 46 (standardisierte Zufallsgröße)
Eine Zufallsgröße, deren Erwartungswert gleich Null
7. Charakteristika
und deren Varianz gleich Eins sind, heißt
8. Exponential
standardisierte Zufallsgröße.
5. Zufallsvariablen
9. Normal
10.Transformation
516 / 895
Korrelationskoeffizient
Stochastik für
InformatikerInnen
Wolfgang Kössler
Seien X , Y ∼ (0, 1), X und Y unabhängig.
1. Grundbegriffe
X∗ = X
2. Kombinatorik
Y ∗ = ρX +
3. Bedingte Wkt
p
1 − ρ2 Y
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Offenbar
varX ∗ = varY ∗ = 1
cov (X ∗ , Y ∗ ) = ρ.
9. Normal
10.Transformation
517 / 895
Korrelationskoeffizient
Zweidimensionale Normalverteilung
Stochastik für
InformatikerInnen
Wolfgang Kössler
Seien X , Y ∼ N (0, 1), unabhängig, d.h. die
gemeinsame Dichte ist
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
f (x, y) = φ(x) · φ(y) =
1 − 1 (x 2 +y 2 )
e 2
2π
X∗ = X
Y ∗ = ρX +
p
1 − ρ2 Y
6. Diskrete ZV
Wir suchen die gemeinsame Verteilung von (X ∗ , Y ∗ ).
7. Charakteristika
Transformation:
8. Exponential
9. Normal
10.Transformation
g1 (x, y) = x
g2 (x, y) = ρx +
p
1 − ρ2 y
518 / 895
Korrelationskoeffizient
Zweidimensionale Normalverteilung
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Inverse Transformation:
ψ1 (x ∗ , y ∗ ) = x ∗
y ∗ − ρx ∗
ψ2 (x ∗ , y ∗ ) = p
1 − ρ2
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Jacobi-Determinate


detJ = det 

1
0
√−ρ
√1
1−ρ2
1−ρ2
1

= p
1 − ρ2
9. Normal
10.Transformation
519 / 895
Korrelationskoeffizient
Zweidimensionale Normalverteilung, Dichte
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
h(x ∗ , y ∗ ) = f (ψ1 (x ∗ , y ∗ ), ψ2 (x ∗ , y ∗ )) · |det(J)|
y ∗ − ρx ∗
1
= f (x ∗ , p
)· p
1 − ρ2
1 − ρ2
∗
∗
− 1 (x ∗2 +( y√−ρx 2 )2 )
1
1−ρ
p
=
e 2
2π 1 − ρ2
1
1
−
(x ∗2 −2ρx ∗ y ∗ +y ∗2 )
p
=
e 2(1−ρ2 )
2π 1 − ρ2
da der Exponent
y ∗ − ρx ∗ 2
1
2
∗2
∗
∗ 2
) =p
x ∗2 +( p
(1−ρ
)x
+(y
−ρx
)
2
1 − ρ2
1 − ρ2
520 / 895
Korrelationskoeffizient
Zweidimensionale Normalverteilung, Dichte
Stochastik für
ρ=0
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
ρ = 0.8
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
ρ = 0.5
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
521 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
13.1 Varianz-Ungleichung
13.2 Jensen-Ungleichung
13.3 Markov-Ungleichung
3. Bedingte Wkt
4. Klass. Wkt.
13.4 Tschebychev-Ungleichung
5. Zufallsvariablen
13.5 Hoeffding-Ungleichung
6. Diskrete ZV
13.6 Weitere Ungleichungen
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
522 / 895
13. Ungleichungen
13.1 Varianz-Ungleichung
Stochastik für
InformatikerInnen
Satz: Es sei X eine zufällige Variable. Dann gilt:
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
min E(X − c)2 = Var X .
c∈R
Beweis: Für alle reellen Zahlen c ∈ R gilt:
E(X − c)2 = E(X − EX + EX − c)2
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
= E(X − EX )2 + 2E((X − EX )(EX − c)) + (EX − c)2
= E(X − EX )2 + 2(EX − c) E(X − EX ) +(EX − c)2
|
{z
}
=0
2
= Var X + (EX − c) ≥ Var X
Setzen wir c := EX erhalten wir Gleichheit.
2
523 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
13.1 Varianz-Ungleichung
13.2 Jensen-Ungleichung
13.3 Markov-Ungleichung
3. Bedingte Wkt
4. Klass. Wkt.
13.4 Tschebychev-Ungleichung
5. Zufallsvariablen
13.5 Hoeffding-Ungleichung
6. Diskrete ZV
13.6 Weitere Ungleichungen
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
524 / 895
13.2 Jensen-Ungleichung
Stochastik für
InformatikerInnen
Satz (Ungleichung von J ENSEN)
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Sei X eine zufällige Variable mit EX < ∞ und g eine
differenzierbare und konvexe Funktion. Dann gilt:
3. Bedingte Wkt
4. Klass. Wkt.
Eg(X ) ≥ g(EX ).
5. Zufallsvariablen
Beweis: Sei T (x) die Tangente an die Kurve der
6. Diskrete ZV
Funktion g im Punkt x0 ,
7. Charakteristika
8. Exponential
9. Normal
g(x) ≥ T (x) = g(x0 ) +
g 0 (x )
| {z0}
·(x − x0 ).
Anstieg der Kurve in x0
10.Transformation
525 / 895
Jensen-Ungleichung
Stochastik für
InformatikerInnen
Wir setzen x := X und x0 := EX und erhalten:
Wolfgang Kössler
1. Grundbegriffe
g(X ) ≥ g(EX ) + g 0 (EX ) · (X − EX ).
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Daraus folgt:
Eg(X ) ≥ E(g(EX ) + g 0 (EX ) · (X − EX ))
7. Charakteristika
= g(EX ) + g 0 (EX ) · E(X − EX )
{z
}
|
8. Exponential
= g(EX )
6. Diskrete ZV
=0
9. Normal
10.Transformation
526 / 895
Jensen-Ungleichung
Stochastik für
InformatikerInnen
Folgerung
Wolfgang Kössler
Es sei g differenzierbar und konkav. Weiterhin sei X
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
eine zufällige Variable. Dann gilt:
Eg(X ) ≤ g(EX ).
4. Klass. Wkt.
5. Zufallsvariablen
Beweis: Da die Funktion g nach Voraussetzung
6. Diskrete ZV
konkav ist, ist die Funktion (−g) konvex. Dann gilt
7. Charakteristika
nach der Jensen-Ungleichung:
8. Exponential
9. Normal
10.Transformation
E((−g)(X )) ≥ (−g)(EX ).
Daraus folgt die Behauptung.
2
527 / 895
Jensen-Ungleichung
Beispiele
Stochastik für
InformatikerInnen
1
Wolfgang Kössler
Es sei g(x) = x 2 . Dann gilt EX 2 ≥ (EX )2 .
Daraus folgt (die schon bekannte Aussage):
1. Grundbegriffe
Var X = E(X − EX )2 = EX 2 − (EX )2 ≥ 0.
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
2
Es sei g(x) = |x|. Dann gilt
5. Zufallsvariablen
E|X | ≥ |EX |.
6. Diskrete ZV
7. Charakteristika
3
8. Exponential
9. Normal
10.Transformation
Es sei g(x) = ln x. Diese Funktion ist konkav.
Also gilt
E(ln X ) ≤ ln(EX ).
528 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
13.1 Varianz-Ungleichung
13.2 Jensen-Ungleichung
13.3 Markov-Ungleichung
3. Bedingte Wkt
4. Klass. Wkt.
13.4 Tschebychev-Ungleichung
5. Zufallsvariablen
13.5 Hoeffding-Ungleichung
6. Diskrete ZV
13.6 Weitere Ungleichungen
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
529 / 895
13.3 Markov-Ungleichung
Stochastik für
Satz (Ungleichung von M ARKOV)
InformatikerInnen
Wolfgang Kössler
Sei c > 0. X sei eine Zufallsgröße. Dann gilt:
1. Grundbegriffe
P(|X | > c) ≤
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
E|X |
.
c
Beweis: Wir definieren eine Zufallsgröße Y :

 c , falls |X (ω)| > c
Y (ω) :=
, ∀ω ∈ Ω.
 0 , falls |X (ω)| ≤ c
7. Charakteristika

8. Exponential
9. Normal
10.Transformation
Y :
0
c



P(|X | ≤ c) P(|X | > c)
530 / 895
Markov-Ungleichung
Stochastik für
InformatikerInnen
Offenbar gilt für alle ω ∈ Ω:
Wolfgang Kössler
0 ≤ Y (ω) ≤ |X (ω)|,
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
bzw.:
0 ≤ Y ≤ |X |.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Daraus folgt: P(|X | − Y ≥ 0) = 1.
E(|X | − Y ) ≥ 0
8. Exponential
9. Normal
E|X | ≥ EY .
10.Transformation
531 / 895
Markov-Ungleichung
Stochastik für
InformatikerInnen
Wolfgang Kössler
Da die Zufallsgröße Y diskret ist, folgt aus der
1. Grundbegriffe
Definition des Erwartungswertes:
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
EY = 0 · P(|X | ≤ c) + c · P(|X | > c)
= c · P(|X | > c) ≤ E|X |
5. Zufallsvariablen
6. Diskrete ZV
Wir stellen um und erhalten:
7. Charakteristika
8. Exponential
P(|X | > c) ≤
E|X |
.
c
9. Normal
10.Transformation
532 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
13.1 Varianz-Ungleichung
13.2 Jensen-Ungleichung
13.3 Markov-Ungleichung
3. Bedingte Wkt
4. Klass. Wkt.
13.4 Tschebychev-Ungleichung
5. Zufallsvariablen
13.5 Hoeffding-Ungleichung
6. Diskrete ZV
13.6 Weitere Ungleichungen
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
533 / 895
13.4 Tschebychev-Ungleichung
Stochastik für
InformatikerInnen
Satz (Ungleichung von T SCHEBYCHEV)
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Es sei ε > 0 und sei Y eine Zufallsgröße. Dann gilt:
P(|Y − EY | > ε) ≤
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Var Y
.
ε2
Beweis: Wir verwenden die Markov-Ungleichung:
E|X |
P(|X | > c) ≤
.
c
und setzen
8. Exponential
9. Normal
X := (Y − EY )2i ≥ 0,
c := ε2i
(i ∈ N).
10.Transformation
534 / 895
Tschebychev-Ungleichung
Beweis, Fortsetzung
Stochastik für
InformatikerInnen
Wolfgang Kössler
Da ε > 0 gilt, ist die Voraussetzung der M ARKOV-
1. Grundbegriffe
Ungleichung erfüllt. Wir erhalten:
2. Kombinatorik
3. Bedingte Wkt
2i
P(|Y −EY | > ε) = P (Y − EY ) > ε
4. Klass. Wkt.
5. Zufallsvariablen
2i
E(Y − EY )2i
≤
.
ε2i
Für i := 1 ergibt sich:
6. Diskrete ZV
7. Charakteristika
8. Exponential
P(|Y − EY | > ε) ≤
E(Y − EY )2
Var Y
=
.
2
ε
ε2
9. Normal
10.Transformation
535 / 895
Tschebyschev-Ungleichung
2. Formulierung
Stochastik für
InformatikerInnen
Wolfgang Kössler
Bem.: Aus der T SCHEBYCHEV-Ungleichung folgt:
1. Grundbegriffe
2. Kombinatorik
P(|Y − EY | ≤ ε) ≥ 1 −
Var Y
.
ε2
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Es sei X ∼ (µ, σ 2 ),
also EX = µ,
Var X = σ 2 .
Wir setzen ε := k · σ (k ∈ N) und erhalten dann mit
6. Diskrete ZV
7. Charakteristika
der Ungleichung von T SCHEBYCHEV:
8. Exponential
9. Normal
P(|X − µ| ≤ k · σ) ≥ 1 −
σ2
1
= 1 − 2.
2
2
k ·σ
k
10.Transformation
536 / 895
Tschebyschev-Ungleichung
Normalverteilung, k σ-Intervalle, Vergleich mit exakten Wktn.
Stochastik für
InformatikerInnen
Wolfgang Kössler
k
exakt
Tschebychev-Ungleichung
Φ(kσ) − Φ(−kσ)
1−
1
0.68629
0
2
0.9545
0.75
3
0.9973
0.89
4
0.99997
0.93
5
≈1
0.96
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
1
k2
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
537 / 895
Tschebyschev-Ungleichung
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Bem.: Die Tschebyschev-Ungleichung gilt für
3. Bedingte Wkt
beliebig verteilte Zufallsvariablen, die
4. Klass. Wkt.
Erwartungswert und Varianz besitzen, insbesondere
5. Zufallsvariablen
liegt die Zufallsvariable X mit Wahrscheinlichkeit
6. Diskrete ZV
≥ 0.89 im 3σ-Intervall.
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
538 / 895
Tschebyschev-Ungleichung
Beispiel
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Median der Zufallsvariablen X
Die Zahl med = med(X ) heißt Median, falls
2. Kombinatorik
3. Bedingte Wkt
P(X ≤ med) ≥
1
2
und P(X ≥ med) ≥
1
2
4. Klass. Wkt.
5. Zufallsvariablen
Sei P(X > 0) = 1. Aus der Markov-Ungleichung
6. Diskrete ZV
folgt:
7. Charakteristika
8. Exponential
1
E|X |
≤ P(X ≥ med) ≤
,
2
med
d.h. med ≤ 2 · E|X |
9. Normal
10.Transformation
539 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
13.1 Varianz-Ungleichung
13.2 Jensen-Ungleichung
13.3 Markov-Ungleichung
3. Bedingte Wkt
4. Klass. Wkt.
13.4 Tschebychev-Ungleichung
5. Zufallsvariablen
13.5 Hoeffding-Ungleichung
6. Diskrete ZV
13.6 Weitere Ungleichungen
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
540 / 895
13.5 Hoeffding-Ungleichung
Stochastik für
InformatikerInnen
Satz (Hoeffding-Ungleichung)
Wolfgang Kössler
Seien Y1 , . . . , Yn unabhängig und so dass EYi = 0
1. Grundbegriffe
und ai ≤ Yi ≤ bi . Sei > 0. Dann gilt ∀t > 0:
2. Kombinatorik
3. Bedingte Wkt
n
n
X
Y
2
2
−t
P(
Yi ≥ ) ≤ e
et (bi −ai ) /8 ,
i=1
4. Klass. Wkt.
i=1
5. Zufallsvariablen
Satz (Hoeffding-Ungleichung für Bernoulli ZV)
6. Diskrete ZV
Seien X1 , . . . , Xn ∼ Bi(1, p). Dann gilt ∀ > 0:
7. Charakteristika
2
P(|X n − p| > ) ≤ 2e−2n ,
8. Exponential
9. Normal
10.Transformation
wobei X n =
1
n
Pn
i=1
Xi .
541 / 895
Hoeffding-Ungleichung
Beispiel
Stochastik für
InformatikerInnen
Wolfgang Kössler
Seien X1 , . . . , Xn ∼ Bi(1, p),
1. Grundbegriffe
d.h. Bernoulli: Xi = 1 mit Wkt. p, Xi = 0 sonst.
2. Kombinatorik
n = 100, = 0.2.
3. Bedingte Wkt
Tschebyschev:
4. Klass. Wkt.
5. Zufallsvariablen
P(|X n −p|) > ) ≤
var X n
p(1 − p)
1
=
≤
= 0.0625.
2
2
n
4n2
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
Hoeffding:
2
P(|X n − p|) > ) ≤ 2e−2·100·0.2 = 0.00067.
10.Transformation
542 / 895
Hoeffding-Ungleichung
Es geht sogar noch besser:
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
ZGWS (s. Kapitel Grenzwertsätze )
P
| ni=1 Xi − np|
n
>p
P(|X n − p|) > ) = P p
np(1 − p)
np(1 − p)
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
≈
n
1−Φ p
= 2Φ − p
np(1 − p)
n
n
+ Φ −p
np(1 − p)
np(1 − p)
√
−n ≤ 2Φ q
= 2Φ(−2 n)
n 14
= 2Φ(−4) ≈ 10−4 .
10.Transformation
543 / 895
Hoeffding-Ungleichung
(1 − α) Konfidenzintervall
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Sei α > 0 und n =
q
1
2n
log
2
α
.
Hoeffding:
2
P(|X n − p|) > n ) ≤ 2e−2nn = α.
3. Bedingte Wkt
4. Klass. Wkt.
Sei C = (X n − n , X n + n ).
5. Zufallsvariablen
6. Diskrete ZV
P(p ∈
/ C) = P(|X n − p| > n ) ≤ α
7. Charakteristika
P(p ∈ C) ≥ 1 − α
8. Exponential
9. Normal
10.Transformation
D.h. das zufällige Intervall C überdeckt den wahren
Parameter p mit Wkt. ≥ 1 − α.
544 / 895
Schätzung von
Binomialwahrscheinlichkeiten
Stochastik für
InformatikerInnen
Wolfgang Kössler
Vorgabe: , α.
Gesucht: notwendiger Stichprobenumfang um
1. Grundbegriffe
P(|p̂ − p| > ) < α
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
zu sichern.
Hoeffding: Es genügt:
6. Diskrete ZV
2
2 · e−2n < α
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
also
n>
− ln α/2
ln(2/α)
=
.
2
2
22
545 / 895
Schätzung von
Binomialwahrscheinlichkeiten (2)
Stochastik für
InformatikerInnen
ZGWS:
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
=
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
n
−p
<
np(1 − p)
√
n >
8. Exponential
9. Normal
10.Transformation
n >
|p̂ − p|
n
>p
np(1 − p)
np(1 − p)
n
2Φ − p
<α
np(1 − p)
α
Φ−1 ( )
2
−Φ−1 ( α2 ) p
p(1 − p)
2
Φ−1 (1 − α2 )
42
P(|p̂ − p| > ) = P p
546 / 895
Schätzung von
Binomialwahrscheinlichkeiten (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Vergleich Hoeffding - ZGWS
Sei = 0.01.
Notwendige Stichprobenumfänge
2. Kombinatorik
ZGWS
Hoeffding
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
− α2 )
1
22
0.1
6765
15000
0.05
9640
18450
0.01
16641
26490
0.001
27225
38000
α
1
Φ−1 (1
42
ln α2
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
547 / 895
Hoeffding-Ungleichung
Beweis
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Sei t > 0. Aus der Markov-Ungleichung folgt:
n
n
X
X
Pn
P(
Yi ≥ ) = P(t
Yi ≥ t) = P(et i=1 Yi ≥ et )
i=1
3. Bedingte Wkt
i=1
≤ e
−t
E e
t
Pn
i=1
Yi
=e
−t
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
n
Y
E(etYi ).
i=1
Da ai ≤ Yi ≤ bi lässt sich Yi als konvexe
Kombination von ai und bi schreiben,
7. Charakteristika
Yi = αbi + (1 − α)ai ,
8. Exponential
9. Normal
10.Transformation
wobei α =
Yi −ai
.
bi −ai
548 / 895
Hoeffding-Ungleichung
Beweis (2)
Stochastik für
InformatikerInnen
NR.: Für konvexe Funktionen f (x), x ∈ (a, b) gilt:
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
f (x) ≤ f (a) +
f (b) − f (a)
(x − a) = αf (b) + (1 − α)f (a)
b−a
(Die Kurve f liegt unterhalb der Sekante, α =
x−a
.).
b−a
Da die Exponentialfunktion konvex ist:
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
etYi ≤ αetbi + (1 − α)etai
Yi − ai tbi bi − Yi tai
=
e +
e
bi − ai
bi − ai
−ai tbi
bi
E(etYi ) ≤
e +
etai = eg(u)
bi − ai
bi − ai
10.Transformation
549 / 895
Hoeffding-Ungleichung
Beweis (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
wegen EYi = 0. Dabei ist
u = t(bi − ai )
g(u) = −γu + log(1 − γ + γeu )
−ai
γ =
, γ ∈ (0, 1) da ai < 0 < bi
bi − ai
γeu
g 0 (u) = −γ +
1 − γ + γeu
γeu (1 − γ)
xy
=:
g 00 (u) =
u
2
(1 − γ + γe )
(x + y)2
1
g(0) = g 0 (0) = 0, g 00 (u) ≤
∀u > 0.
4
wobei x = γeu , y = 1 − γ.
550 / 895
Hoeffding-Ungleichung
Beweis (4)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Die Aussage 0 ≤ g 00 (u) =
xy
(x+y )2
0 ≤ (x − y)2
≤
1
4
folgt aus
gdw.
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
4xy ≤ x 2 + 2xy + y 2 = (x + y)2
Satz von Taylor: es ex. ein ξ ∈ (0, u):
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
u 2 00
g (ξ)
2
u 2 00
u2
t 2 (bi − ai )2
=
g (ξ) ≤
=
2
8
8
g(u) = g(0) + ug 0 (0) +
10.Transformation
551 / 895
Hoeffding-Ungleichung
Beweis (5)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Daraus folgt:
1. Grundbegriffe
E(etYi ) ≤ eg(u) ≤ et
2. Kombinatorik
2 (b −a )2 /8
i
i
.
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Damit:
n
n
n
Y
X
Y
2
2
−t
tYi
−t
P(
Yi ≥ ) = e
E(e ) ≤ e
et (bi −ai ) /8
i=1
i=1
i=1
8. Exponential
9. Normal
10.Transformation
552 / 895
Hoeffding-Ungleichung für Bernoulli
Beweis:
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Sei Yi = n1 (Xi − p). Dann gilt EYi = 0 und a ≤ Yi ≤ b,
wobei a = −p/n und b = (1 − p)/n.
Also (b − a)2 = 1/n2 . Aus der
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Hoeffding-Ungleichung folgt:
n
X
2
P(X n − p > ) = P(
Yi > ) ≤ e−t et /(8n) ,
i=1
für jedes t > 0. Setze t = 4n:
8. Exponential
2
9. Normal
P(X n − p > ) ≤ e−2n .
10.Transformation
553 / 895
Hoeffding-Ungleichung für Bernoulli
Beweis (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Analog:
2
P(X n − p < −) ≤ e−2n .
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Beides zusammen:
2
P(|X n − p| > ) ≤ 2e−2n .
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
554 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
13.1 Varianz-Ungleichung
13.2 Jensen-Ungleichung
13.3 Markov-Ungleichung
3. Bedingte Wkt
4. Klass. Wkt.
13.4 Tschebychev-Ungleichung
5. Zufallsvariablen
13.5 Hoeffding-Ungleichung
6. Diskrete ZV
13.6 Weitere Ungleichungen
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
555 / 895
13.6 Weitere Ungleichungen
Stochastik für
InformatikerInnen
Wolfgang Kössler
Satz (Chernov-Ungleichung)
1. Grundbegriffe
Seien X1 , . . . , Xn ∼ Bi(1, p). Dann gilt ∀δ ∈ (0, 1):
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
δ2
Xn − p
> δ) ≤ e−pn 3
p
δ2
Xn − p
> δ) ≤ e−pn 2
P(−
p
P
wobei X n = n1 ni=1 Xi .
P(
8. Exponential
9. Normal
Beweis: s. z.B. in Wikipedia
2
10.Transformation
556 / 895
Weitere Ungleichungen (2)
1. Grundbegriffe
Satz (Mill-Ungleichung). Sei Z ∼ N (0, 1). Dann
r
2
2φ(t)
2 e−t /2
=
.
P(|Z | > t) ≤
π t
t
2. Kombinatorik
Beweis: Es gilt
Stochastik für
InformatikerInnen
Wolfgang Kössler
∞
x2
1
√ e− 2 dx
P(|Z | > t) = 2P(Z > t) = 2
2π
t
r Z
∞
x2
1
2
(− )(−xe− 2 ) dx
=
π t
x
r
Z ∞
2 1 − x2 ∞
1 − x2
− )e 2 |t −
e 2 dx
=
2
π x
x
|t
{z
}
≥0
r
2
2 e−t /2
≤
π t
Z
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
557 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
14.1 Das Gesetz der Großen Zahlen
14.2 Der Satz von G LIVENKO –C ANTELLI
3. Bedingte Wkt
14.3 Konvergenz von Folgen zufälliger
4. Klass. Wkt.
Variablen
5. Zufallsvariablen
14.4 Der zentrale Grenzwertsatz
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
558 / 895
14.1 Das Gesetz der Großen Zahlen
Motivation
Stochastik für
InformatikerInnen
Der Erwartungswert einer zufälligen Variablen X ist
Wolfgang Kössler
in der Praxis meist nicht bekannt. Um ihn zu
1. Grundbegriffe
schätzen, sammelt man Beobachtungen
2. Kombinatorik
X1 , X2 , . . . , Xn (n ∈ N) und bildet dann das
3. Bedingte Wkt
arithmetische Mittel dieser Beobachtungen:
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
X =
1
n
n
X
Xi =: X n
i=1
7. Charakteristika
8. Exponential
Dabei muß man jedoch beachten, daß die
9. Normal
Beobachtungen X1 , . . . , Xn unabhängig oder
10.Transformation
wenigstens unkorreliert sind.
559 / 895
Das Gesetz der Großen Zahlen
Stochastik für
InformatikerInnen
Satz (Schwaches Gesetz der Großen Zahlen)
Wolfgang Kössler
1. Grundbegriffe
Es seien X1 , . . . , Xn unkorrelierte zufällige Variablen
2. Kombinatorik
mit µ := EXi und σ 2 := Var Xi < ∞ (für alle
3. Bedingte Wkt
i = 1, . . . , n). Dann gilt für alle ε > 0:
4. Klass. Wkt.
5. Zufallsvariablen
lim P(|X n − µ| > ε) = 0.
n→∞
6. Diskrete ZV
7. Charakteristika
Bem.: Das ist die Tschebyschev-Version des
8. Exponential
9. Normal
10.Transformation
schwachen Gesetzes der großen Zahlen, die wir im
folgenden beweisen werden.
560 / 895
Das Gesetz der Großen Zahlen
Beweis
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Beweis: Da die Zufallsgrößen X1 , . . . , Xn unkorreliert
sind, gilt
σ2
n
Mittels der T SCHEBYCHEV–Ungleichung erhalten wir:
EX = µ,
Var X =
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
P(|X n − µ| > ε) = P(|X − EX | > ε)
Var X
ε2
σ2
=
−−−→ 0
n · ε2 n→∞
≤
2
561 / 895
Das Gesetz der Großen Zahlen
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Bem.: Aus dem Beweis erkennen wir, daß die
Voraussetzungen etwas abgeschwächt werden
können, anstelle Var Xi = σ 2 genügt die Forderung
n
1 X
lim 2
Var Xi = 0.
n→∞ n
i=1
5. Zufallsvariablen
6. Diskrete ZV
Bem.: Die Voraussetzung der endlichen Varianz
7. Charakteristika
kann auch fallen gelassen werden. Dann können wir
8. Exponential
aber zum Beweis nicht mehr die
9. Normal
Tschebyschev-Ungleichung anwenden. Der Beweis
10.Transformation
geht dann über charakteristische Funktionen.
562 / 895
Das Gesetz der Großen Zahlen
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Stochastischer Grenzwert
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Wenn
lim P(|Yn − Y0 | > ε) = 0 ∀ε > 0
n→∞
dann heißt Y0 stochastischer Grenzwert der Folge
6. Diskrete ZV
{Yn } und man schreibt p − lim Yn = Y0 oder
7. Charakteristika
Yn →p Y0 .
8. Exponential
9. Normal
10.Transformation
563 / 895
Das Gesetz der Großen Zahlen
Beispiel 1
Stochastik für
InformatikerInnen
Wolfgang Kössler
Es seien Xi ∼ Bi(1, p)

1. Grundbegriffe
Xi :
2. Kombinatorik

1
1−p p
3. Bedingte Wkt
4. Klass. Wkt.
0
µ := EX = EXi = p


σ 2 = p · (1 − p) < ∞
5. Zufallsvariablen
6. Diskrete ZV
Nach dem Schwachen Gesetz der Großen Zahlen
7. Charakteristika
folgt:
8. Exponential
9. Normal
P
!
n
X
1
Xi − p > ε −
−−→ 0.
n
n→∞
i=1
10.Transformation
564 / 895
Das Gesetz der Großen Zahlen
Beispiel 2
Stochastik für
InformatikerInnen
Es sei A ein Ereignis, p = P(A) sei unbekannt.
Wolfgang Kössler
Zur Schätzung von p führen wir eine Reihe von
1. Grundbegriffe
unabhängigen Experimenten durch, bei denen A und
2. Kombinatorik
A die einzig möglichen Ausgänge seien.
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
n:
# der Experimente, die durchgeführt werden.
n(A):
6. Diskrete ZV
# Auftretens des Ereignisses A.
n(A)
n
die relative Häufigkeit des Ereignisses A.
p̂n =
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
Frage:
p̂n −
−−→ p?
n→∞
565 / 895
Das Gesetz der Großen Zahlen
Beispiel 2, Fortsetzung
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Dazu definieren wir Zufallsgrößen Xi (i = 1, . . . , n),

 1 , A im i–ten Experiment eintritt
Xi :=
 0 , A im i-ten Experiment nicht eintritt
Dann gilt für alle i = 1, . . . , n:
4. Klass. Wkt.
Xi ∼ Bi(1, p)
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
und P(Xi = 1) = p sowie P(Xi = 0) = 1 − p.
σ 2 = Var Xi = p · (1 − p)
µ = EXi = p
8. Exponential
9. Normal
10.Transformation
X :=
1
n
·
n
X
Xi =
1
n
· n(A) = p̂n
i=1
566 / 895
Das Gesetz der Großen Zahlen
Beispiel 2, Fortsetzung
Stochastik für
InformatikerInnen
Wolfgang Kössler
Wenden das Schwache Gesetz der Großen Zahlen
an und erhalten:
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
lim P(|p̂n − p| > ε) =
n→∞
= 0,
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
lim P(|X n − µ| > ε)
n→∞
∀ε > 0
Folglich gilt: p̂n −
−−→ p.
n→∞
7. Charakteristika
Bem.: Schätzungen p̂n , die gegen den zu
8. Exponential
schätzenden Parameter konvergieren heißen
9. Normal
(schwach) konsistent.
10.Transformation
567 / 895
Starkes Gesetz der Großen Zahlen
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Satz (Gesetz der Großen Zahlen)
Seien die Zufallsvariablen X1 , . . . , Xn identisch verteilt
und unabhängig, E|Xi | < ∞, EXi = µ. Dann gilt
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
P(ω : lim X n = µ) = 1.
n→∞
5. Zufallsvariablen
Bem.: Schwaches Gesetz der Großen Zahlen:
6. Diskrete ZV
Seien die X1 , . . . , Xn identisch verteilt, EXi = µ und
7. Charakteristika
unkorreliert (cov (Xi , Xj ) = σ 2 δij ). Dann gilt
8. Exponential
9. Normal
⇒ p − lim X n = µ.
10.Transformation
568 / 895
Gesetz der Großen Zahlen
Anwendung 1
Stochastik für
InformatikerInnen
Das Gesetz der großen Zahlen eignet sich also z.B.
Wolfgang Kössler
zum Schätzen von Erwartungswerten.
1. Grundbegriffe
Sei X ∼ F mit Dichte f (x), den Beobachtungen
2. Kombinatorik
3. Bedingte Wkt
x1 , . . . , xn und g(·) eine beliebige Funktion.
Der Erwartungswert
4. Klass. Wkt.
5. Zufallsvariablen
Z
E(g(X )) =
g(x)f (x) dx
6. Diskrete ZV
7. Charakteristika
wird (falls er existiert) geschätzt durch
8. Exponential
9. Normal
10.Transformation
n
1X
Î =
g(xi )
n
i=1
569 / 895
Gesetz der Großen Zahlen
Anwendung 2
Stochastik für
InformatikerInnen
Das Gesetz der großen Zahlen eignet sich auch zur
Wolfgang Kössler
Approximation von Integralen.
1. Grundbegriffe
Ist f > 0 kann das Integral
Z
I = g(x) dx
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
(falls es existiert) geschätzt werden durch
n
1 X g(xi )
Î =
,
n
f (xi )
i=1
8. Exponential
9. Normal
wobei die Beobachtungen xi aus einer Population
10.Transformation
mit Dichte f stammen.
570 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
14.1 Das Gesetz der Großen Zahlen
14.2 Der Satz von G LIVENKO –C ANTELLI
3. Bedingte Wkt
14.3 Konvergenz von Folgen zufälliger
4. Klass. Wkt.
Variablen
5. Zufallsvariablen
14.4 Der zentrale Grenzwertsatz
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
571 / 895
14.2 Der Satz von
G LIVENKO –C ANTELLI
Stochastik für
InformatikerInnen
Def. (Empirische Verteilungsfunktion)
Wolfgang Kössler
Seien X1 , . . . , Xn unkorreliert, Xi ∼ F , und
1. Grundbegriffe
X(1) , . . . , X(n) , X(1) ≤ X(2) ≤ . . . ≤ X(n) die geordnete
2. Kombinatorik
Stichprobe. Die Funktion
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
#{Xi : Xi < x, i = 1, . . . , n}
n


0
falls x < X(1)



i
=
falls X(i) ≤ x < X(i+1)
n



1
falls X < x
Fn (x) =
(n)
heißt empirische Verteilungsfunktion.
572 / 895
Der Satz von G LIVENKO –C ANTELLI
Veranschaulichung der empirischen Verteilungsfunktion
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
573 / 895
Der Satz von G LIVENKO –C ANTELLI
Stochastik für
InformatikerInnen
Wolfgang Kössler
Satz von G LIVENKO –C ANTELLI (1)
Seien X1 , . . . , Xn unkorreliert. Es gilt:
1. Grundbegriffe
2. Kombinatorik
lim P(|Fn (x) − F (x)| > ε) = 0 ∀x ∈ R.
n→∞
3. Bedingte Wkt
4. Klass. Wkt.
Beweis: Wir definieren Zufallsgrößen Yix
5. Zufallsvariablen
(i = 1, . . . , n, x ∈ R) durch:

 1 , falls Xi < x
Yix =
 0 , sonst
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
574 / 895
Der Satz von G LIVENKO –C ANTELLI
Beweis (Fortsetzung)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Dann gilt offensichtlich für alle i = 1, . . . , n und x ∈ R:


0
1

Yix : 
1 − F (x) F (x)
3. Bedingte Wkt
4. Klass. Wkt.
D.h. Yix ∼ Bi(1, F (x)). Sei, für alle x ∈ R,
5. Zufallsvariablen
6. Diskrete ZV
Y x :=
1
n
n
X
Yix .
i=1
7. Charakteristika
8. Exponential
9. Normal
Vergleichen wir die Zufallsgrößen Fn (x) und Y x :
Y x = Fn (x).
10.Transformation
575 / 895
Der Satz von G LIVENKO –C ANTELLI
Beweis (Fortsetzung)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Aus dem letzten Beispiel folgt, µ := EYix = F (x).
1. Grundbegriffe
Deshalb folgt aus dem schwachen Gesetz der
2. Kombinatorik
großen Zahlen:
3. Bedingte Wkt
4. Klass. Wkt.
lim P(|Y x − µ| > ε) = 0,
n→∞
∀ε > 0.
5. Zufallsvariablen
6. Diskrete ZV
D.h. für alle ε > 0 gilt:
7. Charakteristika
8. Exponential
lim P(|Fn (x) − F (x)| > ε) = 0
n→∞
9. Normal
10.Transformation
576 / 895
Der Satz von G LIVENKO –C ANTELLI
Verschärfung:
Stochastik für
InformatikerInnen
Wolfgang Kössler
Satz von G LIVENKO –C ANTELLI (2)
1. Grundbegriffe
2. Kombinatorik
Es seien X1 , . . . , Xn unabhängige zufällige Variablen.
3. Bedingte Wkt
Dann gilt:
4. Klass. Wkt.
5. Zufallsvariablen
P
lim sup |Fn (x) − F (x)| = 0 = 1.
n→∞ x∈R
6. Diskrete ZV
7. Charakteristika
Dieser Satz wird auch oft als der
8. Exponential
Hauptsatz der Statistik bezeichnet.
9. Normal
10.Transformation
577 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
14.1 Das Gesetz der Großen Zahlen
14.2 Der Satz von G LIVENKO –C ANTELLI
3. Bedingte Wkt
14.3 Konvergenz von Folgen zufälliger
4. Klass. Wkt.
Variablen
5. Zufallsvariablen
14.4 Der zentrale Grenzwertsatz
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
578 / 895
14.3 Konvergenz von Folgen zufälliger
Variablen
Stochastik für
InformatikerInnen
Wolfgang Kössler
Def. 47 (Stochastische Konvergenz)
1. Grundbegriffe
Eine Folge {Xn }n∈N zufälliger Variablen
2. Kombinatorik
konvergiert stochastisch (in Wkt.) gegen eine
3. Bedingte Wkt
zufällige Variable X , falls für alle ε > 0 gilt:
4. Klass. Wkt.
5. Zufallsvariablen
lim P(|Xn − X | > ε) = 0.
n→∞
6. Diskrete ZV
7. Charakteristika
8. Exponential
Wir bezeichnen dann: p–lim Xn = X .
X heißt stochastischer Grenzwert der Folge {Xn }.
9. Normal
10.Transformation
579 / 895
Konvergenz (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Def. 48 (fast sichere Konvergenz)
1. Grundbegriffe
Eine Folge {Xn }n∈N zufälliger Variablen heißt
2. Kombinatorik
fast sicher konvergent gegen eine zufällige Variable
3. Bedingte Wkt
X , falls gilt:
4. Klass. Wkt.
5. Zufallsvariablen
P
n
o
ω : lim Xn (ω) = X (ω)
= 1.
n→∞
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
Wir bezeichnen dann: lim Xn = X f.s.
X heißt f.s. Grenzwert der Folge {Xn }.
10.Transformation
580 / 895
Konvergenz (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Def. 49 (Konvergenz im p-ten Mittel)
Es seien X1 , . . . , Xn , X zufällige Variablen mit
2. Kombinatorik
E|Xi |p < ∞, E|X |p < ∞.
3. Bedingte Wkt
{Xn } konvergiert im p-ten Mittel gegen X , falls
4. Klass. Wkt.
5. Zufallsvariablen
lim E|Xn − X |p = 0.
n→∞
6. Diskrete ZV
7. Charakteristika
Wir bezeichnen dann: limn→∞ Xn = X p.m.
8. Exponential
(q.m. wenn p = 2).
9. Normal
10.Transformation
581 / 895
Konvergenz (4)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Def. 50 (Konvergenz in Verteilung)
Es sei {Xn }n∈N eine Folge von zufälligen Variablen.
X sei eine Zufallsgröße mit der Verteilungsfunktion
F (x) = P(X < x).
Die Folge {Xn }n∈N konvergiert in Verteilung gegen
5. Zufallsvariablen
die Zufallsgröße X , wenn für alle x ∈ R, in denen die
6. Diskrete ZV
Funktion F stetig ist, gilt:
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
lim P(Xn < x) = F (x).
n→∞
Wir bezeichnen dann: Xn −→D X .
582 / 895
Konvergenz
Zusammenhänge zwischen den Konvergenzbegriffen (1)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Lemma: Sei X eine Zufallsvariable mit
E|X |p < ∞, p0 < p. Dann gilt
1. Grundbegriffe
E|X |p
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
0
10
p
≤ E|X |p
p1
.
Beweis: Die Funktion g(x) = |x|t ist konvex für
t ≥ 1. Für eine beliebige Zufallsvariable Y gilt
5. Zufallsvariablen
6. Diskrete ZV
(Jensens Ungleichung)
|EY |t ≤ E|Y |t .
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
0
Sei Y = |X |p , t = pp0 ≥ 1. Daraus folgt
p
p 0
0
E|X |p p0 ≤ E |X |p p0 = E|X |p .
583 / 895
Konvergenz
Zusammenhänge zwischen den Konvergenzbegriffen (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Folgerung
Sei p0 < p.
2. Kombinatorik
3. Bedingte Wkt
lim Xn = X
n→∞
p0 .m.
p.m. ⇒ lim Xn = X
n→∞
4. Klass. Wkt.
5. Zufallsvariablen
Beweis: Wegen dem letzten Lemma gilt:
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
E|Xn − X |p
0
10
p
≤ E|Xn − X |p
p1
.
2
10.Transformation
584 / 895
Konvergenz
Zusammenhänge zwischen den Konvergenzbegriffen (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Lemma
Sei p ≥ 1. Dann gilt
1. Grundbegriffe
2. Kombinatorik
lim Xn = X
n→∞
p.m. ⇒ p–lim n→∞ Xn = X .
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
Beweis: Sei ε > 0. Es gilt für alle n:
P(|Xn − X | > ε) = P(|Xn − X |p > εp )
E|Xn − X |p
≤
εp
Markov-Ungleichung
E|Xn − X |p
= 0.
lim P(|Xn − X | > ε) ≤ lim
n→∞
n→∞
εp
2
585 / 895
Konvergenz
Zusammenhänge zwischen den Konvergenzbegriffen (4)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Die Umkehrung dieses Satzes gilt nicht:
1. Grundbegriffe
Seien X , {Xn }n∈N Zufallsgrößen mit
2. Kombinatorik
4. Klass. Wkt.
5. Zufallsvariablen
1
1
, P(Xn = 0) = 1 − .
n
n
1
α
P(|Xn | > ) = P(Xn = n ) = n → 0,
P(Xn = nα ) =
3. Bedingte Wkt
∀ ∈ (0, 1) :
p − lim Xn = 0.
6. Diskrete ZV
also
7. Charakteristika
Andererseits:
8. Exponential
αp ≥ 1.
E|X |p = nαp−1 konvergiert nicht für
9. Normal
10.Transformation
586 / 895
Konvergenz
Zusammenhänge zwischen den Konvergenzbegriffen (5)
Stochastik für
InformatikerInnen
Satz: Seien X , {Xn }n∈N Zufallsgrößen
Wolfgang Kössler
lim Xn = X
1. Grundbegriffe
2. Kombinatorik
f.s. ⇒ p–lim Xn = X .
Beweis: Es sei ε > 0 beliebig. Dann gilt: 0 ≤
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
≤
lim P(|Xn − X | > ε) ≤ lim P
n→∞
6. Diskrete ZV
7. Charakteristika
= P
∞ [
∞
\
n→∞
9. Normal
10.Transformation
!
{|Xk − X | > ε}
k =n
{|Xk − X | > ε} = P( lim {|Xn − X | > ε})
n→∞
n=1 k =n
8. Exponential
∞
[
= P(lim |Xni − X | > ε) ≤ P({ lim Xn = X }) = 0
n→∞
2
587 / 895
Konvergenz
Zusammenhänge zwischen den Konvergenzbegriffen (6)
Stochastik für
InformatikerInnen
Das folgende Beispiel zeigt, daß stochastische und
Wolfgang Kössler
fast sichere Konvergenz nicht identisch sind.
1. Grundbegriffe
Konstruktion einer Folge {Xn }n∈N zufälliger
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Variablen mit p–lim Xn = 0, nicht aber lim Xn = 0 f.s.
Es seien Ω = [0, 1] und E = [0, 1] ∩ B 1 gegeben. Für
alle Ereignisse A ⊆ [0, 1] gelte:
Z
0 ≤ P(A) = 1 dx ≤ 1.
A
8. Exponential
9. Normal
Sei {An }n∈N eine Folge von Ereignissen im
10.Transformation
Ereignisfeld E,
588 / 895
Konvergenz
Zusammenhänge zwischen den Konvergenzbegriffen (7)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
An := [k · 2−h , (k + 1) · 2−h ],
∀n ∈ N
wobei für die Zahlen h und k folgendes gelte:
2. Kombinatorik
3. Bedingte Wkt
h, k ∈ Z+ ∪ {0};
4. Klass. Wkt.
n = 2h + k;
5. Zufallsvariablen
0 ≤ k < 2h .
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
(n ≤ 2 · 2h )
Die Folge {Xn }n∈N definieren wir wie folgt:

 1 , falls ω ∈ An
Xn (ω) =
 0 , sonst
10.Transformation
589 / 895
Konvergenz
Zusammenhänge zwischen den Konvergenzbegriffen (8)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Untersuchen wir die stochastische Konvergenz von
1. Grundbegriffe
{Xn }:
2. Kombinatorik
Nach Definition der Folge {Xn }n∈N gilt:
3. Bedingte Wkt
4. Klass. Wkt.
P(|Xn | > ε) = P(|Xn | = 1) = P(An )
= (k + 1) · 2−h − k · 2−h
2
= 2−h ≤ → 0,
n
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
d.h. p–lim Xn = 0.
10.Transformation
590 / 895
Konvergenz
Zusammenhänge (9), Die Intervalle An
Stochastik für
InformatikerInnen
n = 2h + k
h k
0 0 [0, 1]
5 = 22 + 1
2 1 [ 14 , 21 ]
2 = 21 + 0
1 0 [0, 12 ]
6 = 22 + 2
2 2 [ 12 , 43 ]
3 = 21 + 1
1 1 [ 21 , 1]
7 = 22 + 3
2 3 [ 34 , 1]
4 = 22 + 0
2 0 [0, 14 ]
8 = 23 + 0
3 0 [0, 18 ]
Wolfgang Kössler
n = 2h + k
h k
1. Grundbegriffe
1 = 20 + 0
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
An
An
Die Folge {An }n∈N ist nirgends konvergent. Also
n
o
P
ω : lim Xn (ω) = 0
= 0 6= 1.
n→∞
10.Transformation
591 / 895
Konvergenz
Zusammenhänge zwischen den Konvergenzbegriffen (10)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Satz
Es sei {Xn }n∈N eine Folge von zufälligen Variablen,
1. Grundbegriffe
für die es zwei Zufallsgrößen X und Y gibt, so daß
2. Kombinatorik
gilt:
3. Bedingte Wkt
X = p–lim Xn und Y = p–lim Xn .
4. Klass. Wkt.
5. Zufallsvariablen
Dann folgt daraus:
6. Diskrete ZV
7. Charakteristika
8. Exponential
P(X = Y ) = 1.
Beweis: Es sei ε > 0 beliebig. Dann berechnen wir
9. Normal
10.Transformation
P ({ω : |X (ω) − Y (ω)| > ε}) = (∗)
592 / 895
Konvergenz
Beweis des Satzes,(*)=P(|X − Y | > ε)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
= P (|X − Xn + Xn − Y | > ε)
≤ P (|X − Xn | + |Xn − Y | > ε)
≤ P |Xn − X | > 2ε ∪ |Xn − Y | > 2ε
≤ P |Xn − X | > 2ε + P |Xn − Y | > 2ε −
−−→ 0
n→∞
D.h.
P(|X − Y | > ε) = 0 ∀ε > 0.
8. Exponential
9. Normal
P ({ω : X (ω) = Y (ω)}) = 1.
10.Transformation
593 / 895
Konvergenz
Zusammenhänge zwischen den Konvergenzbegriffen (11)
Stochastik für
InformatikerInnen
Lemma
Wolfgang Kössler
p–lim n→∞ Xn = X ⇒ Xn →D X
1. Grundbegriffe
2. Kombinatorik
Beweis: Seien x 0 < x < x 00 ∈ R. Es gilt:
3. Bedingte Wkt
4. Klass. Wkt.
{X < x 0 } = {X < x 0 , Xn < x} ∪ {X < x 0 , Xn ≥ x}
5. Zufallsvariablen
⊆ {Xn < x} ∪ {X < x 0 , Xn ≥ x}
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
⇒
F (x 0 ) ≤ Fn (x) + P(|Xn − X | ≥ x − x 0 )
|
{z
}
→0
wegen
Xn →p X
0
F (x ) ≤ limn→∞ Fn (x)
10.Transformation
594 / 895
Konvergenz
Beweis von p–lim n→∞ Xn = X ⇒ Xn →D X (2)
Stochastik für
InformatikerInnen
Weiterhin
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
{Xn < x} = {X < x 00 , Xn < x} ∪ {X ≥ x 00 , Xn < x}
⊆ {X < x 00 } ∪ {X ≥ x 00 , Xn < x}
⇒
3. Bedingte Wkt
4. Klass. Wkt.
Fn (x) ≤ F (x 00 ) + P(|Xn − X | ≥ x 00 − x)
{z
}
|
→0
5. Zufallsvariablen
6. Diskrete ZV
wegen
Xn →p X
00
limn→∞ Fn (x) ≤ F (x )
7. Charakteristika
8. Exponential
9. Normal
Beides zusammen:
F (x 0 ) ≤ limn→∞ Fn (x) ≤ limn→∞ Fn (x) ≤ F (x 00 )
10.Transformation
595 / 895
Konvergenz
Beweis von p–lim n→∞ Xn = X ⇒ Xn →D X (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Wenn jetzt x Stetigkeitsstelle und x 0 → x − 0 und
x 00 → x + 0 so F (x 0 ) → F (x) und F (x 00 ) → F (x) und
1. Grundbegriffe
lim Fn (x) = F (x).
2. Kombinatorik
3. Bedingte Wkt
Die Rückrichtung gilt i.A. nicht:
4. Klass. Wkt.
5. Zufallsvariablen
X ∼ Bi(1, 12 ), Xn = 1 − X
∀n ∈ N
6. Diskrete ZV
X und Xn besitzen dieselbe Verteilung Bi(1, 12 ),
7. Charakteristika
Xn →D X .
8. Exponential
Es gilt aber nicht: Xn →p X , da
9. Normal
10.Transformation
|Xn − X | = 1 ∀n ∈ N
596 / 895
Konvergenzarten
Stochastik für
InformatikerInnen
Wolfgang Kössler
Wir kennen vier verschiedene Arten der Konvergenz
1. Grundbegriffe
einer Folge von Zufallsgrößen gegen eine zufällige
2. Kombinatorik
Variable. Sie bilden z.T. eine gewisse Hierarchie.
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
lim Xn = X f.s. =⇒ p–lim Xn = X
=⇒ Xn −→D X
6. Diskrete ZV
7. Charakteristika
8. Exponential
lim Xn = X q.m. =⇒ p–lim Xn = X
Die Umkehrungen gelten im allgemeinen nicht.
9. Normal
10.Transformation
597 / 895
Konvergenz in Verteilung
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Xn ∼ Bi(n, pn ),
lim npn = λ,
Y ∼ Poi(λ)
⇒ Xn →D Y .
4. Klass. Wkt.
Diese Aussage kennen wir schon von früher.
5. Zufallsvariablen
Weitere werden wir im nächsten Abschnitt
6. Diskrete ZV
kennenlernen.
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
598 / 895
Stochastik für
InformatikerInnen
Frohe Weihnachten
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
nächste Vorlesung:
7. Charakteristika
8. Exponential
9. Normal
Mo., 4.1.10
10.Transformation
599 / 895
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Ein Frohes und
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
Gesundes Neues Jahr!
10.Transformation
599 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
14.1 Das Gesetz der Großen Zahlen
14.2 Der Satz von G LIVENKO –C ANTELLI
3. Bedingte Wkt
14.3 Konvergenz von Folgen zufälliger
4. Klass. Wkt.
Variablen
5. Zufallsvariablen
14.4 Der zentrale Grenzwertsatz
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
600 / 895
14.4 Der zentrale Grenzwertsatz
Stochastik für
InformatikerInnen
Der Zentrale Grenzwertsatz
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Es seien X1 , . . . , Xn unabhängige, identisch verteilte
Zufallsvariablen mit µ := EXi ; σ 2 := Var Xi . Seien
Zufallsgrößen Zn , Z n und Yn definiert durch:
n
P
Zn :=
Xi bzw. Z n := Znn und
i=1
√ Zn − µ
Zn − nµ
Yn = n ·
= √
σ
nσ
Dann gilt:
8. Exponential
9. Normal
10.Transformation
lim P
n→∞
Z√
n −n·µ
n·σ
< x = lim P (Yn < x) = Φ(x)
n→∞
601 / 895
Der zentrale Grenzwertsatz
Stochastik für
InformatikerInnen
Wolfgang Kössler
Beweis: Als Hilfsmittel werden charakteristische
2
Funktionen verwendet, siehe unten.
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Bem.: Die Folge {Yn }n∈N konvergiert in Verteilung
gegen eine Zufallsgröße Z , Yn −→D Z , Z ∼ N (0, 1).
Anwendungen:
Simulation bei der Erzeugung einer
normalverteilten Zufallsgröße aus
7. Charakteristika
8. Exponential
Pseudozufallszahlen
9. Normal
Approximation von Wkt.-verteilungen (insbes.
10.Transformation
von Teststatistiken)
602 / 895
Der zentrale Grenzwertsatz
Genauigkeitsabschätzung (1)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Satz (B ERRY-E SS ÉEN)
Es seien die Voraussetzungen des zentralen
3. Bedingte Wkt
Grenzwertsatzes erfüllt und M := E|Xi − µ|3 < ∞.
4. Klass. Wkt.
Dann gilt:
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
0.8 · M
Z√
n −n·µ
< x − Φ(x) < 3 √ =: K ,
P
n·σ
σ · n
8. Exponential
9. Normal
10.Transformation
603 / 895
Der zentrale Grenzwertsatz
Genauigkeitsabschätzung nach Berry-Esséen (2)
Stochastik für
InformatikerInnen
Es seien Xi ∼ R(0, 1), µ = 12 , σ 2 =
1
12
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Z+∞
M = E|Xi − µ|3 =
|x − µ|3 · f (x) dx
−∞
3. Bedingte Wkt
Z1
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
=
|x − 12 |3 dx = 2 ·
0
Z1
(x − 12 )3 dx =
1
32
1
2
7. Charakteristika
8. Exponential
n
12
100
1000
K
0.3
0.104
0.033
9. Normal
10.Transformation
604 / 895
Der zentrale Grenzwertsatz
Genauigkeitsabschätzung (3)
Stochastik für
InformatikerInnen
Seien Xi ∼ Poi(λ), EXi = Var Xi = λ
Wolfgang Kössler
1. Grundbegriffe
1
≤ E|Xi − λ|4
41
= (λ + 3λ2 ) 4
E|Xi − λ|3
=
E(Xi − λ)4
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
13
M3 =
41
1
Berry-Esseen Schranke:
5. Zufallsvariablen
7. Charakteristika
3
3
6. Diskrete ZV
K ≤
0.8(λ + 3λ2 ) 4
0.8 · 3 4
→λ→∞ √
=: K 0
3√
n
λ2 n
8. Exponential
9. Normal
10.Transformation
n
K0
12
100
1000
0.52
0.18
0.058
605 / 895
Der zentrale Grenzwertsatz
Xi Bernoulli
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Satz (M OIVRE –L APLACE)
Es seien Xi ∼ Bi(1, p), unabhängig. Dann gilt für
P
Zn = ni=1 Xi (∼ Bi(n, p)):
2. Kombinatorik
3. Bedingte Wkt
Zn →D Z ∼ N np, np(1 − p)
4. Klass. Wkt.
5. Zufallsvariablen
Bem.: Für ausreichend großes n ∈ N kann die
6. Diskrete ZV
Binomialverteilung durch eine Normalverteilung
7. Charakteristika
ersetzt werden,
8. Exponential
9. Normal
10.Transformation
P(Zn < y) ≈ Φ
y −n·p
p
n · p · (1 − p)
!
.
606 / 895
Satz von M OIVRE –L APLACE
Beweis
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Beweis: Mit EZn = np und Var Zn = np(1 − p) folgt
unter Anwendung des Zentralen Grenzwertsatzes:
y −n·µ
Zn − n · µ
√
P(Zn < y) = P
< √
n·σ
n·σ
4. Klass. Wkt.
5. Zufallsvariablen
= P
Zn − n · p
p
n · p · (1 − p)
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
≈ Φ
y −n·p
<p
!
y −n·p
n · p · (1 − p)
!
p
n · p · (1 − p)
2
10.Transformation
607 / 895
Der zentrale Grenzwertsatz
Satz von M OIVRE –L APLACE
Stochastik für
InformatikerInnen
Wolfgang Kössler
Es seien n = 1000 und p = 0.4. Gesucht werde die
Wahrscheinlichkeit P(Zn < 300). Es gilt:
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
P(Zn < 300) =
X
P(Zn = x)
x<300
4. Klass. Wkt.
5. Zufallsvariablen
=
i=0
6. Diskrete ZV
7. Charakteristika
8. Exponential
299 X
1000
i
0.4i (1 − 0.4)1000−i
großer Rechenaufwand.
besser: Anwendung des Satzes von
9. Normal
10.Transformation
M OIVRE –L APLACE.
608 / 895
Satz von M OIVRE –L APLACE
Beispiel, Fortsetzung
Stochastik für
InformatikerInnen
Es gilt:
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
P(Zn < 300) ≈ Φ
= Φ
3. Bedingte Wkt
4. Klass. Wkt.
√ 300−1000·0.4
1000·0.4·(1−0.4)
−100
√
240
≈Φ
−100
15.49
= Φ(−6.45) = 1 − Φ(6.45) ≈ 0
| {z }
≈1
5. Zufallsvariablen
6. Diskrete ZV
Bem.: Die Anwendung des Satzes von
7. Charakteristika
8. Exponential
M OIVRE –L APLACE setzt voraus, daß n ∈ N
9. Normal
hinreichend groß ist.
10.Transformation
Faustregel: n · p ≥ 10 und n · (1 − p) ≥ 10.
609 / 895
Satz von M OIVRE –L APLACE
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
610 / 895
Der zentrale Grenzwertsatz
Xi Poisson
Stochastik für
InformatikerInnen
Wolfgang Kössler
SeienXi ∼ Poi(λi ), i = 1, . . . , n
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt

Xi :
0
1
2
...
k
...



p0i p1i p2i . . . pki . . .
Zn :=
n
X
Xi
i=1
4. Klass. Wkt.
j
λi
j!
· e−λi ,
EXi = Var Xi = λi .
5. Zufallsvariablen
mit pji =
6. Diskrete ZV
Für den Erwartungswert dieser Zufallsgrößen gilt:
!
n
n
n
X
X
X
EZn = E
Xi =
EXi =
λi
7. Charakteristika
8. Exponential
9. Normal
i=1
i=1
i=1
10.Transformation
611 / 895
Der zentrale Grenzwertsatz
Poisson
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Lemma
Es seien X1 und X2 unabhängig,
2. Kombinatorik
X1 , X2 ∼ Poi(λi ), i = 1, 2). Dann ist die Zufallsgröße
3. Bedingte Wkt
Z2 := X1 + X2 ebenfalls P OISSON–verteilt und es gilt:
4. Klass. Wkt.
Z2 ∼ Poi(λ1 + λ2 ).
5. Zufallsvariablen
6. Diskrete ZV
Bem: Vergleichen Sie die folgende Formel mit der
7. Charakteristika
Faltungsformel für stetige Zufallsvariablen.
8. Exponential
Erinnerung: EXi = λ;
Var Xi = λ.
9. Normal
10.Transformation
612 / 895
Der zentrale Grenzwertsatz
Poisson, Beweis des Satzes
Stochastik für
InformatikerInnen
Beweis: Es gilt für alle k ∈ N:
Wolfgang Kössler
1. Grundbegriffe
P(Z2 = k) =
p1 (t) · p2 (k − t)
t=0
2. Kombinatorik
3. Bedingte Wkt
k
X
=
k X
λt
1
t!
·e
−λ1
4. Klass. Wkt.
t=0
5. Zufallsvariablen
k X
λt ·λk−t
6. Diskrete ZV
=
t!·(k −t)!
= e−(λ1 +λ2 ) ·
9. Normal
10.Transformation
2
·e
· e−(λ1 +λ2 )
−λ2
t=0
7. Charakteristika
8. Exponential
1
·
λk−t
2
(k−t)!
1
k!
·
k
X
λt ·λk−t ·k!
1
2
t!·(k−t)!
t=0
=
e−(λ1 +λ2 )
k!
· (λ1 + λ2 )k
(Binom. Formel)
613 / 895
Der zentrale Grenzwertsatz
Poisson
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Sei λi = λ (i = 1, . . . , n). Dann
n
X
Zn =
Xi ∼ Poi(n · λ).
i=1
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Wir wenden jetzt den Zentralen Grenzwertsatz an.
Dann erhalten wir für hinreichend großes λ0 := n · λ:
0
Z√
n −n·µ
n −λ
<
x
=
P
<
x
≈ Φ(x).
P Z√
n·σ
λ0
Also kann auch eine P OISSON–Verteilung durch eine
7. Charakteristika
8. Exponential
Normalverteilung approximiert werden, falls die
9. Normal
Parameter λi (i = 1, . . . , n) alle gleich λ sind und der
10.Transformation
Faktor n · λ hinreichend groß ist (etwa n · λ ≥ 10).
614 / 895
Der zentrale Grenzwertsatz
Poisson
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Bem.: Sind die Parameter λi (i = 1, . . . , n) nicht alle
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
gleich, so gilt die Aussage trotzdem, falls ihre
P
Summe hinreichend groß ist (λ0 := λi ≥ 10).
Zn − λ0
√
∼ N (0, 1) approx.
λ0
8. Exponential
9. Normal
10.Transformation
615 / 895
χ2-Verteilung
Stochastik für
InformatikerInnen
Wolfgang Kössler
Seien Xi unabhängig, Xi ∼ N (0, 1), i = 1, . . . , n.
1. Grundbegriffe
Y =
2. Kombinatorik
n
X
Xi2 ∼ χ2n ,
i=1
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
d.h. Y ist χ2 verteilt mit n Freiheitsgraden.
Dichte:
6. Diskrete ZV
7. Charakteristika
8. Exponential
fY (y) =



1
n
2 2 Γ( n2 )

0
x
n−2
2
x
e− 2 ,
falls x ≥ 0
sonst.
9. Normal
10.Transformation
616 / 895
χ2-Verteilung
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
EY = nEXi2 = n
n
X
Var Y = E(Y − n) = E( (Xi2 − 1))2 = nE(X12 − 1)2
2
i=1
3. Bedingte Wkt
4. Klass. Wkt.
=
nE(X14
−
2EX12
s.f .S.
5. Zufallsvariablen
Pn
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
+ 1) = n(|{z}
3 −2 + 1) = 2n.
⇒ lim P
n→∞
X2 − n
√ i
< y = Φ(y)
2n
n
X
x − n
Xi2 < x) ≈ Φ √
P(
2n
i=1
i=1
617 / 895
χ2-Verteilung
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
P
n = 30, x = 23.364: P( ni=1 Xi2 < x) = 0.2
3. Bedingte Wkt
Approximation durch eine Normalverteilung:
4. Klass. Wkt.
5. Zufallsvariablen
x − n
Φ √
= Φ(−0.8567) = 1 − 0.8042 = 0.1958.
2n
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
618 / 895
χ2-Verteilung, Fortsetzung
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
bleibt z.z.: EXi4 = 3.
Z ∞
√
x2
4
x 4 e− 2 dx
2πEXi =
−∞
Z ∞
x2
1 1
= 2
x 4 e− 2 dx, t = x 2 , dx = t − 2 dt
2
Z ∞0
Z ∞
3
t
t
5
=
t 2 e− 2 dt =
t 2 −1 e− 2 dt
5. Zufallsvariablen
0
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
EXi4
0
5 5
1 5
22 = Γ 2 + 22
= Γ
2 √
2
√
5
π
= 1·3·
· 2 2 = 3 · 2π
4
= 3.
619 / 895
χ2-Verteilung, Fortsetzung
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Dabei haben wir verwendet:
Z ∞
Γ(λ)
t λ−1 e−αt dt = λ
α
0
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Γ(n + 1) = nΓ(n) = n!
√
1
π
Γ(n + ) = 1 · 3 · 5 · · · (2n − 1) n
2
2
8. Exponential
9. Normal
10.Transformation
620 / 895
χ2-Verteilung
Veranschaulichung für verschiedene n
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
621 / 895
∗
Beweis des Zentralen
Grenzwertsatzes
Stochastik für
InformatikerInnen
Sei φX −µ die charakteristische Funktion von Xi − µ.
Wolfgang Kössler
Da die ersten beiden Momente (µ, σ 2 ) existieren,
1. Grundbegriffe
E(Xi − µ) = 0, E(Xi − µ)2 ) = σ 2 , folgt aus der
2. Kombinatorik
Taylorreihendarstellung
3. Bedingte Wkt
4. Klass. Wkt.
φX −µ (t) =
j=0
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
k
X
E(Xi −µ)j
(it)j
1
+o(t k ) = 1− σ 2 t 2 +o(t 2 )
j!
2
Die ZV
Xi − µ
√
nσ
haben die charakteristische Funktion
t 1 2
φX −µ √
=1−
t + o(t 2 )
2n
nσ
622 / 895
∗
Beweis des Zentralen
Grenzwertsatzes (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Die ZV Yn =
1. Grundbegriffe
Funktion
2. Kombinatorik
3. Bedingte Wkt
Pn
i=1
φYn (t) =
φX −µ
X
√i −µ
nσ
hat also die charakteristische
t √
nσ
n
t2
t 2 n
= 1−
+ o( ) .
2n
n
4. Klass. Wkt.
5. Zufallsvariablen
Es gilt:
6. Diskrete ZV
7. Charakteristika
ln 1 −
t 2 n
t2
t2 t2
t2
+ o( ) = n ln 1 −
+ o( ) → − .
2n
n
2n
n
2
8. Exponential
9. Normal
(vgl. Taylorreihenentwicklung des Logarithmus)
10.Transformation
623 / 895
∗
Beweis des Zentralen
Grenzwertsatzes (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
ln φYn (t) → −
t2
2
t2
φYn (t) → e− 2 .
4. Klass. Wkt.
5. Zufallsvariablen
D.h. die charakteristische Fkt. von Yn konvergiert
6. Diskrete ZV
gegen die charakteristische Fkt. der
7. Charakteristika
Standard-Normalverteilung (sogar gleichmäßig).
8. Exponential
Aus dem Konvergenzsatz folgt: Yn → Z ∼ N (0, 1).
9. Normal
10.Transformation
624 / 895
Zentraler Grenzwertsatz
Beispiele
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Münzwurf: 1000 mal. Wie groß ist die Wkt., dass
weniger als 475 mal Zahl fällt?
Xi = 1 falls Zahl, Xi = 0 sonst.
P
P( 1000
i=1 Xi < 475) =
3. Bedingte Wkt
4. Klass. Wkt.
1 P
p
Xi −
1000
q
P( 103
1
4
5. Zufallsvariablen
6. Diskrete ZV
1
2
|
{z
∼N (0,1)
p
475
q
103 1000
−
1
2
)
1
4
}
8. Exponential
√
0.475 − 0.5
≈ Φ( 1000
)
1
9. Normal
= Φ(−1.58) ≈ 0.057.
7. Charakteristika
≤
2
10.Transformation
625 / 895
Bedeutung des ZGWS in der Statistik
Stochastik für
InformatikerInnen
• beim Schätzen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Gesetz der Großen Zahlen: X → µ.
Frage: Wie groß ist der Stichprobenumfang zu
3. Bedingte Wkt
wählen, um eine bestimmte Genauigkeit
4. Klass. Wkt.
zu erreichen?
5. Zufallsvariablen
6. Diskrete ZV
ε, δ vorgegeben, klein (ε, δ < 0.5).
7. Charakteristika
n ist so zu wählen, dass
8. Exponential
9. Normal
P(|X − µ| ≤ ε) ≥ 1 − δ
10.Transformation
626 / 895
Bedeutung des ZGWS beim Schätzen
Fortsetzung
Stochastik für
InformatikerInnen
1 − δ ≤ P(|X − µ| ≤ ε)
√ |X − µ| √
ε = P n√
≤ n√
VarX
VarX
√ (|X − µ| √ ε = P n
≤ n
σ
σ
√ ε
≈ Φ( n )
σ
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
gdw.
√ ε
n
σ
−1
2
σΦ (1 − δ)
n ≥
ε
Φ−1 (1 − δ) ≤
627 / 895
Bedeutung des ZGWS in der Statistik
beim Testen
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
µ := EX , und nehmen hier an, σ 2 = Var X ist
bekannt. Wir testen z.B.
H0 : µ ≤ µ0
gegen H1 : µ > µ0
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Teststatistik:
√ X − µ0
n
σ
Tn klein spricht für H0 , Tn groß gegen H0 .
Tn =
6. Diskrete ZV
7. Charakteristika
8. Exponential
Fehler 1. Art: H0 ablehnen, obwohl richtig
möchte man begrenzen (≤ α)
9. Normal
Fehler 2. Art: H0 annehmen, obwohl falsch
10.Transformation
sollte auch klein sein (≤ β)
628 / 895
Bedeutung des ZGWS beim Testen
Fortsetzung
Stochastik für
InformatikerInnen
Wolfgang Kössler
Pµ0 (Tn ≥ u1−α ) → α
1. Grundbegriffe
2. Kombinatorik
nach ZGWS
denn
3. Bedingte Wkt
4. Klass. Wkt.
Pµ0 (Tn < u1−α ) → Φ(u1−α ) = 1 − α
5. Zufallsvariablen
6. Diskrete ZV
(wenn µ < µ0 so Pµ (Tn < u1−α ) > Pµ0 (Tn < u1−α ))
7. Charakteristika
Wenn also Tn > u1−α so lehnen wir die
8. Exponential
Nullhypothese ab!
9. Normal
10.Transformation
629 / 895
Bedeutung des ZGWS beim Testen
Beispiel
Stochastik für
InformatikerInnen
Wolfgang Kössler
In der BRD gab es im Zeitraum 1970-1990
insgesamt 25 171 123 registrierte Lebendgeburten,
1. Grundbegriffe
2. Kombinatorik
davon waren 12 241 392 Mädchen.
3. Bedingte Wkt
Berechnen Sie die ein 95% Vertrauensintervall für
4. Klass. Wkt.
die Wahrscheinlichkeit einer Mädchengeburt!
5. Zufallsvariablen
Das zufällige Ereignis einer Mädchengeburt wird
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
dargestellt durch eine Bernoulli-verteilte
Zufallsvariable, Xi ∼ B(1, p). Sei n = 25171123 und
Sn =
n
X
i=1
Xi
die zufällige Anzahl der Mädchengeburten
630 / 895
Bedeutung des ZGWS beim Testen
Beispiel, Fortsetzung
Stochastik für
InformatikerInnen
Wolfgang Kössler
Wir wissen, ESn = n · p und Var Sn = n · p · (1 − p).
1. Grundbegriffe
Weiter sei u0.975 das 0.975-Quantil von N (0, 1),
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Φ(u0.975 ) = 0.975.
Nachsehen in der Tabelle liefert u0.975 = 1.96.
Aus dem ZGWS folgt
|Sn − np|
P( √
≤ u0.975 ) = 0.95.
Var Sn
9. Normal
10.Transformation
631 / 895
Bedeutung des ZGWS beim Testen
Beispiel, Fortsetzung, 2
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Die folgenden Ungleichungen gelten jeweils mit Wkt.
0.95:
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
|Sn − np| ≤ 1.96 ·
p
np(1 − p)
(Sn − np)2 ≤ 1.962 np(1 − p)
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
n2 p2 − 2Sn np + Sn2 ≤ 1.962 np − 1.962 np2
(n2 + 1.962 n)p2 − (1.962 n + 2nSn )p + Sn2 ≤ 0
9. Normal
10.Transformation
632 / 895
Bedeutung des ZGWS beim Testen
Beispiel, Fortsetzung, 3
Stochastik für
2. Kombinatorik
bzw. wenn wir die Schätzung
Sn
p̂ =
n
für die relative Anzahl der Mädchengeburten
3. Bedingte Wkt
einsetzen,
4. Klass. Wkt.
für die Randpunkte des Vertrauensintervalls
r
1
1.962
1.962
p1,2 =
n
p̂+
±1.96
n
p̂(1
−
p̂)
+
.
n + 1.962
2
4
Hier haben wir
Sn
12241392
p̂ =
=
= 0.48633
n
25171123
95%-Vertrauensintervall: [0.48613, 0.48652].
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
633 / 895
Bedeutung des ZGWS beim Testen
Beispiel, Fortsetzung, 4
Stochastik für
InformatikerInnen
Fortsetzung des vorigen Beispiels
Wolfgang Kössler
Angenommen, es würde gelten p = 12 . Mit welcher
1. Grundbegriffe
Wkt. würden dann höchstens 12 241 392 auftreten?
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Sn − np
12241392 − np P(Sn ≤ 12241392) = P p
≤ p
np(1 − p)
np(1 − p)
12241392 − np
≈ Φ( p
)
np(1 − p)
7. Charakteristika
= Φ(−137.2) ≤ 3 · 10−4091 .
8. Exponential
9. Normal
10.Transformation
D.h. wir lehnen die Nullhypothese
H0 : p =
1
2
gegen H1 : p 6=
1
2
ab.
634 / 895
Bedeutung des ZGWS
Beispiel
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Roulette
Beim Roulette gibt es 36 Zahlen, 18 davon sind
schwarz, 18 sind rot, dazu die 0, die ist grün. Bei
Setzen der richtigen Farbe gibt es den doppelten
3. Bedingte Wkt
4. Klass. Wkt.
Einsatz, bei Setzen der richtigen Zahl den 36 fachen
5. Zufallsvariablen
Einsatz. Zwei Spieler A und B spielen folgende
6. Diskrete ZV
Strategie: A setzt auf Farbe, B auf Zahl. Beide
7. Charakteristika
spielen 100 mal, und jetzen jeweils 10 Euro.
8. Exponential
Wie groß ist die Wkt., dass sie nach n = 100 Spielen
9. Normal
mindestens 40 Euro gewonnen haben?
10.Transformation
635 / 895
Roulette, Fortsetzung
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Wir beschreiben die Gewinne/Verluste im i-ten Spiel
2. Kombinatorik
durch Bernoulli-Zufallsvariablen,


10 −10
,
Xi : 
Yi :
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
18
37
19
37


350 −10


1
37
36
37
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
636 / 895
Roulette, Fortsetzung, 2
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
VarXi
EYi
6. Diskrete ZV
7. Charakteristika
8. Exponential
18
19
10
− 10 ·
=−
=: µA
37
37
37
10
= EXi2 − (EXi )2 = 100 − ( )2 =: σA2
37
1
36
10
= 350 ·
− 10 ·
=−
=: µB
37
37
37
1
36
10
= EYi2 − (EYi )2 = 3502
+ (−10)2
− ( )2
37
37
37
EXi = 10 ·
VarYi
9. Normal
10.Transformation
637 / 895
Roulette, Fortsetzung, 3
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
P
100
X
i=1
2. Kombinatorik
≈
3. Bedingte Wkt
4. Klass. Wkt.
=
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
P
100
X
Yi ≥ 40 =
i=1
≈
9. Normal
10.Transformation
P100
i=1 Xi − nµA
√
√
≥
n VarXi
40 − nµA 1−Φ √ √
n VarXi
1 − Φ(0.67) = 0.25
P100
i=1 Yi − nµB
√
P √
≥
n VarYi
40 − nµB 1−Φ √ √
n VarYi
1 − Φ(0.12) = 0.45
Xi ≥ 40 = P
=
40 − nµA √ √
n VarXi
40 − nµB √ √
n VarYi
638 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
15.1 Einführung
15.2 Momentenschätzung
15.3 Maximum-Likelihood-Schätzung
3. Bedingte Wkt
4. Klass. Wkt.
15.4 EM-Algorithmus
5. Zufallsvariablen
15.5 Kleinste Quadrat Schätzung
6. Diskrete ZV
15.6 Die Cramer-Rao Ungleichung
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
639 / 895
15. Schätzmethoden
Stochastik für
InformatikerInnen
Wolfgang Kössler
15.1. Einführung
1. Grundbegriffe
Eigenschaften von Schätzungen θ̂
2. Kombinatorik
Sei θ̂n = θ̂n (X1 , . . . , Xn ) eine Schätzung eines
3. Bedingte Wkt
Parameters θ, die auf n Beobachtungen
4. Klass. Wkt.
beruht.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
• θ̂n
−−−→
n→∞
θ
• E θ̂n = θ
E θ̂n
−−−→
n→∞
“Konsistenz”
(Minimalforderung)
“Erwartungstreue”
θ “Asymptotische Erw.treue”
10.Transformation
640 / 895
Eigenschaften von Schätzungen (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
• var θ̂n möglichst klein: “gute”, “effiziente”
Schätzung
• wenn var θ̂n den kleinstmöglichen Wert annimmt
für alle e-treuen Schätzungen:
θ̂n : “optimale Schätzung”
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
641 / 895
Eigenschaften von Schätzungen (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
•
1. Grundbegriffe
= var θ̂n + (E θ̂n − θ)2
2. Kombinatorik
−→ minimal oder möglichst klein.
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
MSE = var θ̂n + bias2 θ̂n
•
Eigenschaften sollten “möglichst” auch bei
(kleinen) Abweichungen von der
(Normal-)Verteilungsannahme gelten
7. Charakteristika
8. Exponential
−→ robuste Schätzung.
9. Normal
10.Transformation
642 / 895
Schätzmethoden
Stochastik für
InformatikerInnen
Wolfgang Kössler
Momentenmethode
Man drückt den zu schätzenden Parameter durch die
1. Grundbegriffe
Momente, z.B. E(X ), aus.
2. Kombinatorik
Dann werden die Momente durch die
3. Bedingte Wkt
entsprechenden empirischen Momente,
4. Klass. Wkt.
z.B. der Erwartungswert durch X , ersetzt.
5. Zufallsvariablen
6. Diskrete ZV
Maximum-Likelihood-Schätzung (ML-Schätzung)
7. Charakteristika
Es wird der Schätzwert für den unbekannten
8. Exponential
Parameter ermittelt, der anhand der vorliegenden
9. Normal
Daten, am meisten für diesen Paramter spricht (most
10.Transformation
likely).
643 / 895
Schätzmethoden
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Kleinste-Quadrat-Schätzung (KQS)
Sei θ der zu schätzende Parameter. Man geht aus
von einem Modell, z.B.
2. Kombinatorik
Yi = g(θ, Xi ) + i
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
Dannn versucht man die Summe der Fehlerquadrate
n
X
i=1
2i
=
n
X
(Yi − g(θ, Xi ))2 .
i=1
zu minimieren (Kleinste Quadrate).
10.Transformation
644 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
15.1 Einführung
15.2 Momentenschätzung
15.3 Maximum-Likelihood-Schätzung
3. Bedingte Wkt
4. Klass. Wkt.
15.4 EM-Algorithmus
5. Zufallsvariablen
15.5 Kleinste Quadrat Schätzung
6. Diskrete ZV
15.6 Die Cramer-Rao Ungleichung
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
645 / 895
15.2 Momentenschätzung
Stochastik für
InformatikerInnen
Wolfgang Kössler
Momentenschätzung bei Normalverteilung
Seien X1 , . . . , Xn ∼ N (µ, σ 2 ).
1. Grundbegriffe
µ = EXi
2. Kombinatorik
=⇒
µ̂ = X
3. Bedingte Wkt
4. Klass. Wkt.
n
2
2
2
σ = E(X −EX ) ⇒ σ̂ = (Xi −
X )2
1X
=
(Xi −X )2
n
i=1
5. Zufallsvariablen
6. Diskrete ZV
Momentenschätzung bei Exponentialverteilung
7. Charakteristika
Seien X1 , . . . , Xn ∼ Exp(λ).
8. Exponential
9. Normal
10.Transformation
λ=
1
EXi
=⇒
λ̂ =
1
X
646 / 895
Momentenschätzung
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Momentenschätzung bei Binomialverteilung
2. Kombinatorik
Seien X1 , . . . , Xn ∼ Bi(1, p).
3. Bedingte Wkt
4. Klass. Wkt.
p = EXi
=⇒
p̂ = X
5. Zufallsvariablen
6. Diskrete ZV
der relative Anteil der Realisierungen xi = 1.
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
647 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
15.1 Einführung
15.2 Momentenschätzung
15.3 Maximum-Likelihood-Schätzung
3. Bedingte Wkt
4. Klass. Wkt.
15.4 EM-Algorithmus
5. Zufallsvariablen
15.5 Kleinste Quadrat Schätzung
6. Diskrete ZV
15.6 Die Cramer-Rao Ungleichung
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
648 / 895
15.3 Maximum-Likelihood-Schätzung
Stochastik für
InformatikerInnen
ML-Schätzung bei Binomialverteilung
Wolfgang Kössler
Beobachten n=1000 Jugendliche. Stichprobe
1. Grundbegriffe
(X1 , . . . , Xn )
2. Kombinatorik
Xi = 1
falls Übergewicht festgestellt
3. Bedingte Wkt
Xi = 0
sonst.
4. Klass. Wkt.
Die Wkt., daß die beobachtete Stichprobe auftritt,
5. Zufallsvariablen
6. Diskrete ZV
wenn der Parameter p vorliegt ist
7. Charakteristika
8. Exponential
P(X1 = x1 , . . . , Xn = xn ) =
pXi (1 − p)1−Xi
i=1
9. Normal
10.Transformation
n
Y
= pk (1 − p)n−k ,
wobei k =
n
X
xi .
649 / 895
Maximum-Likelihood-Schätzung
Binomialverteilung
Stochastik für
InformatikerInnen
Der ML-Schätzer ist der Wert, der diese Funktion,
Wolfgang Kössler
Ln (p), Likelihood-Funktion genannt, bzgl. p
1. Grundbegriffe
maximiert. Maximieren statt Ln (p): log Ln (p)
2. Kombinatorik
(Arg.Max. ist dasselbe).
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
ln Ln (p) = ln pk (1 − p)n−k
= k ln p + (n − k) ln(1 − p).
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
Ableiten nach p und Nullsetzen liefert:
k
n−k
−
=0
p 1−p
10.Transformation
650 / 895
Maximum-Likelihood-Schätzung
Binomialverteilung
Stochastik für
InformatikerInnen
Die einzige Lösung ist:
Wolfgang Kössler
n
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
k
1X
p̂ = =
xi
n
n
i=1
Für ein relatives Extremum in (0,1) kommt nur dieser
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Wert in Betracht. Müssen aber noch die
Likelihood-Funktion an den Rändern betrachten:
Für p = 0 und p = 1 wird ln L(p) = −∞. Also:
8. Exponential
9. Normal
p̂ML =
k
.
n
10.Transformation
651 / 895
Maximum-Likelihood-Schätzung
Normalverteilung, µ unbekannt, σ 2 bekannt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
ML-Schätzung bei Normalverteilung
Likelihood: fX1 ,...,Xn (x1 , . . . , xn ), die gemeinsame
Dichtefunktion der Xi .
3. Bedingte Wkt
Seien X1 , . . . , Xn unabhängig, Xi ∼ N (µ, 1).
4. Klass. Wkt.
Likelihood:
5. Zufallsvariablen
6. Diskrete ZV
Ln (µ) =
7. Charakteristika
8. Exponential
9. Normal
=
n
Y
i=1
n
Y
i=1
fXi (xi )
(Unabhängigkeit)
1
2
√ e−(xi −µ) /2
2π
10.Transformation
652 / 895
Maximum-Likelihood-Schätzung
Normalverteilung, 2
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
n
X
√
(xi − µ)2
ln Ln (µ) = −n ln( 2π) +
(−
)
2
i=1
∂Ln (µ)
=
∂µ
n
X
(xi − µ)
i=1
5. Zufallsvariablen
6. Diskrete ZV
Nullsetzen liefert die
7. Charakteristika
Maximum-Likelihood-Schätzung
8. Exponential
9. Normal
µ̂ = X .
10.Transformation
653 / 895
Maximum-Likelihood-Schätzung
Normalverteilung, µ und σ 2 unbekannt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
X1 , . . . , Xn ∼ N (µ, σ 2 )
n
Y
1
1
√
exp − 2 (Xi − µ)2
Ln (µ, σ) =
2σ
2πσ
i=1
n
1 X
(Xi − µ)2
= √ n exp − 2
2σ
2π σ n
i=1
2
1
nS
n(X − µ)2 = √ n exp − 2 exp −
2σ
2σ 2
2π σ n
1
wobei S 2 = n−1
Pn
− X )2 .
P
Die letzte Gleichung folgt aus: ni=1 (Xi − µ)2 =
Pn
2
2
2
i=1 (Xi − X + X − µ) = nS + n(X − µ)
i=1 (Xi
654 / 895
Maximum-Likelihood-Schätzung
Normalverteilung, Fortsetzung
Stochastik für
InformatikerInnen
Log-Likelihood:
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
√
nS 2 n(X − µ)2
−
ln L(µ, σ) = −n ln 2π − n ln σ −
2σ 2
2σ 2
Lösen des Gleichungssystems
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
X −µ
∂ ln L(µ, σ)
=
∂µ
σ2
n nS 2 n(X − µ)2
∂ ln L(µ, σ)
=− + 3 +
0 =
∂σ
σ
σ
σ3
0 =
µ̂ = X ,
σ̂ 2 = S 2
10.Transformation
655 / 895
Maximum-Likelihood-Schätzung
Gleichverteilung
Stochastik für
InformatikerInnen
Wolfgang Kössler
ML-Schätzung bei Gleichverteilung auf (0, θ)
1. Grundbegriffe
2. Kombinatorik
Likelihood: fX1 ,...,Xn (x1 , . . . , xn ),
3. Bedingte Wkt
die gemeinsame Dichtefunktion der Xi .
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Seien X1 , . . . , Xn unabhängig, Xi ∼ R(0, θ), d.h.

1
falls 0 ≤ xi ≤ θ
fXi (xi ) = θ
0
sonst
8. Exponential
9. Normal
10.Transformation
656 / 895
Maximum-Likelihood-Schätzung
Gleichverteilung, 2
Stochastik für
InformatikerInnen
Likelihood:
Wolfgang Kössler
1. Grundbegriffe
Ln (θ) =
n
Y
fXi (xi )
(Unabhängigkeit)
2. Kombinatorik
i=1
3. Bedingte Wkt

 1n
falls
0
sonst
=
4. Klass. Wkt.
θ
0 ≤ xi ≤ θ
∀xi
5. Zufallsvariablen
6. Diskrete ZV
Maximal, wenn θ ≥ x1 , . . . , xn , und wenn θ möglichst
7. Charakteristika
klein, also
8. Exponential
θ̂ = max(x1 , . . . , xn ).
9. Normal
10.Transformation
657 / 895
Maximum-Likelihood-Schätzung
Stochastik für
InformatikerInnen
Wolfgang Kössler
Gemischte Normalverteilung
Dichte (θ = (µ1 , σ12 , µ2 , σ22 , p)):
1. Grundbegriffe
2. Kombinatorik
f (x; θ) = (1 − p)φ
x − µ2 x − µ1 + pφ
σ1
σ2
3. Bedingte Wkt
4. Klass. Wkt.
Xi ∼ N (µ1 , σ12 ) mit Wkt. (1 − p) und Xi ∼ N (µ2 , σ22 )
5. Zufallsvariablen
mit Wkt. (1 − p), aber welche ist nicht bekannt.
6. Diskrete ZV
Likelihood:
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
L(θ) =
n
Y
i=1
(1 − p)φ(
xi − µ1
xi − µ2 ) + pφ(
)
σ1
σ2
Maximieren des (log-)Likelihood ist schwer.
658 / 895
Lösungsverfahren
Newton-Raphson, allgemein (aber eindimensional)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Taylor-Entwicklung von l 0 (θ) =
∂L(θ)
∂θ
an der Stelle θj
und Nullsetzen
1. Grundbegriffe
0 = l 0 (θ̂) ≈ l 0 (θj ) + (θ̂ − θj )l 00 (θj )
2. Kombinatorik
3. Bedingte Wkt
Lösung:
θ̂ ≈ θj −
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
l 0 (θj )
l 00 (θj )
Iterationsverfahren
l 0 (θj )
l 00 (θj )
Verallgemeinerung auf k-Vektor
θj+1 = θj −
θ j+1 = θ j − H−1 l 0 (θ j ) H : Matrix der 2. Ableitungen
659 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
15.1 Einführung
15.2 Momentenschätzung
15.3 Maximum-Likelihood-Schätzung
3. Bedingte Wkt
4. Klass. Wkt.
15.4 EM-Algorithmus
5. Zufallsvariablen
15.5 Kleinste Quadrat Schätzung
6. Diskrete ZV
15.6 Die Cramer-Rao Ungleichung
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
660 / 895
15.4 ∗EM-Algorithmus
Allgemeine Idee
Stochastik für
InformatikerInnen
Wolfgang Kössler
E: Expectation
M: Maximization
Iterieren fortlaufend, und berechnen abwechselnd E
1. Grundbegriffe
2. Kombinatorik
und Max.
3. Bedingte Wkt
Angenommen, die Daten Y kommen aus einer
4. Klass. Wkt.
Population, für die direkte Maximierung des
5. Zufallsvariablen
Log-Likelihood schwer ist.
6. Diskrete ZV
Idee: Ergänzen diese Daten um zusätzliche
7. Charakteristika
(natürlich unbekannte) Daten Z , so dass
R
f (y; θ) = f (y, z; θ) dz und das auf f (y, z; θ)
8. Exponential
9. Normal
basierende Likelihood leicht zu maximieren ist.
10.Transformation
661 / 895
∗
EM-Algorithmus
Allgemeine Idee (Fortsetzung)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Das interessierende komplizierte f (y; θ) ist also
Randdichte des Modells mit einfacherem Likelihood.
Y : beobachtete Daten,
3. Bedingte Wkt
4. Klass. Wkt.
Z : versteckte (latente, fehlende) Daten.
5. Zufallsvariablen
Wenn wir die fehlenden Daten irgendwie “auffüllen”
6. Diskrete ZV
können, haben wir ein leichtes Problem.
7. Charakteristika
Der EM-Algorithmus versucht, iterativ, die fehlenden
8. Exponential
Daten aufzufüllen.
9. Normal
10.Transformation
662 / 895
∗
EM-Algorithmus
zur Illustration: Vereinfachung
Stochastik für
InformatikerInnen
Nehmen an, p =
1
2
und σ12 = σ22 = 1.
Wolfgang Kössler
Direkte Maximierung der Likelihood ist schwer.
1. Grundbegriffe
Führen latente Variablen ein,

0 falls Xi ∼ N (µ1 , σ 2 )
1
Zi =
1 falls X ∼ N (µ , σ 2 )
i
2
2
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
P(Zi = 0) = P(Zi = 1) = p =
1
2
1
2
f (xi |Zi = 0) = φ( xi −µ
), f (xi |Zi = 1) = φ( xi −µ
)
σ1
σ2
P1
Damit gemischte Normal: f (x) = z=0 f (x, z)
f (x, z) = f (z)f (x|z) =
1
φ(x − µ1 )1−z φ(x − µ2 )z
2
663 / 895
Maximum-Likelihood-Schätzung
Gemischte Normalverteilung
Stochastik für
InformatikerInnen
Wolfgang Kössler
vollständige Likelihood (xi , zi )
1. Grundbegriffe
2. Kombinatorik
L=
3. Bedingte Wkt
4. Klass. Wkt.
n
Y
φ(xi − µ1 )1−zi φ(xi − µ2 )zi
i=1
vollständige Log-Likelihood
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
∼
n
n
i=1
i=1
1X
1X
ln L = l = −
(1 − zi )(xi − µ1 )2 −
zi (xi − µ2 )2
2
2
8. Exponential
9. Normal
10.Transformation
664 / 895
Maximum-Likelihood-Schätzung
Gemischte Normalverteilung
Stochastik für
InformatikerInnen
Wolfgang Kössler
Bedingtes erwartetes Likelihood, unter der
1. Grundbegriffe
Bedingung Daten x = (x1 , . . . , xn ) und
2. Kombinatorik
Parametervektor θ j
∼
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
E( l |x, θ j ) =
n
n
i=1
i=1
1X
1X
−
(1−E(Zi |x, θ j ))(xi −µ1 )2 −
E(Zi |x, θ j )(xi −µ2 )2
2
2
8. Exponential
ist eine Funktion von θ j und θ, hier θ j = (µj1 , µj2 ) und
9. Normal
θ = (µ1 , µ2 ). Bezeichnen diese mit J(θ|θ j ).
10.Transformation
665 / 895
Maximum-Likelihood-Schätzung
Gemischte Normalverteilung
Stochastik für
InformatikerInnen
Wolfgang Kössler
Zi ist binär, deshalb E(Zi |x, θ j ) = P(Zi = 1|x, θ j )
1. Grundbegriffe
Satz von Bayes: P(Zi = 1|x, θ j ) =
2. Kombinatorik
f (x|Zi = 1; θ j )P(Zi = 1)
f (x|Zi = 1; θ j )P(Zi = 1) + f (x|Zi = 0; θ j )P(Zi = 0)
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
=
6. Diskrete ZV
7. Charakteristika
8. Exponential
=
φ(xi − µj2 ) 12
φ(xi − µj2 ) 12 + φ(xi − µj1 ) 21
φ(xi − µj2 )
φ(xi − µj2 ) + φ(xi − µj1 )
=: τij
9. Normal
10.Transformation
666 / 895
Maximum-Likelihood-Schätzung
Gemischte Normalverteilung
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Damit (E-Schritt)
n
n
1X
1X
j
2
(1 − τij )(xi − µ1 ) −
τij (xi − µ2 )2
J(θ|θ ) = −
2
2
i=1
2. Kombinatorik
i=1
Zur Maximierung von J (M-Schritt) leiten wir ab nach
3. Bedingte Wkt
8. Exponential
µ1 und µ2 und setzen Null. Dann
Pn
τij xi
j+1
µˆ2
= Pi=1
n
τij
Pni=1
(1 − τij )xi
µˆ1 j+1 = Pi=1
n
i=1 (1 − τij )
9. Normal
Startschätzung θ 0 : z.B. nach Momentenmethode.
10.Transformation
Iteration bis das Verfahren “steht”.
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
667 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
15.1 Einführung
15.2 Momentenschätzung
15.3 Maximum-Likelihood-Schätzung
3. Bedingte Wkt
4. Klass. Wkt.
15.4 EM-Algorithmus
5. Zufallsvariablen
15.5 Kleinste Quadrat Schätzung
6. Diskrete ZV
15.6 Die Cramer-Rao Ungleichung
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
668 / 895
15.5 Kleinste Quadrat Schätzung
Stochastik für
InformatikerInnen
Wolfgang Kössler
KQS des Lageparameters
Modell:
1. Grundbegriffe
Yi = µ + i
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Die Summe der Fehlerquadrate
n
X
i=1
2i =
n
X
(Yi − µ)2 .
i=1
minimieren: Differenzieren und Nullsetzen liefert:
8. Exponential
9. Normal
µ̂KQS = Y .
10.Transformation
669 / 895
Kleinste Quadrat-Schätzung
Stochastik für
InformatikerInnen
KQS im einfachen linearen Regressionsmodell
Wolfgang Kössler
Yi = θ2 + θ1 Xi + i
1. Grundbegriffe
f (X , θ1 , θ2 ) = θ1 X + θ2
2. Kombinatorik
3. Bedingte Wkt
∂f
=X
∂θ1
4. Klass. Wkt.
5. Zufallsvariablen
⇒
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
∂f
=1
∂θ2
n
1X
(Yi − (θ1 Xi + θ2 )) · Xi = 0
n
1
n
i=1
n
X
i=1
(Yi − (θ1 Xi + θ2 )) · 1 = 0
670 / 895
Kleinste Quadrat-Schätzung
Stochastik für
InformatikerInnen
⇒
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
X
Xi Yi − θ1
X
Xi2 − θ2
X
Yi − θ1
i
Xi = 0
i
i
i
X
X
Xi − θ2 · n = 0
i
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Die zweite Gleichung nach θ2 auflösen:
θ2 =
1X
1X
Yi − θ1
Xi
n
n
i
i
9. Normal
10.Transformation
und in die erste einsetzen:
671 / 895
Kleinste Quadrat-Schätzung
Stochastik für
InformatikerInnen
Wolfgang Kössler
X
1. Grundbegriffe
Xi Yi − θ1
X
i
Xi2 −
1X X
1X X
Yi
Xi + θ1
Xi
Xi = 0
n
n
i
i
i
i
i
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
X
Xi Yi −
i
i
9. Normal
i
i
i
i
⇒
P P
1
X
Y
−
SXY
i
i
i
i Xi
i Yi
= 2
=
P 2 n1 P
2
SX
i Xi )
i Xi − n (
X
X
1
=
Yi − θ̂1
Xi
n
P
θ̂1
7. Charakteristika
8. Exponential
X
1X X
1X X Yi
Xi −θ1 (
Xi2 −
Xi
Xi = 0
n
n
θ̂2
i
i
10.Transformation
672 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
15.1 Einführung
15.2 Momentenschätzung
15.3 Maximum-Likelihood-Schätzung
3. Bedingte Wkt
4. Klass. Wkt.
15.4 EM-Algorithmus
5. Zufallsvariablen
15.5 Kleinste Quadrat Schätzung
6. Diskrete ZV
15.6 Die Cramer-Rao Ungleichung
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
673 / 895
15.6 ∗Die Cramer-Rao Ungleichung
Stochastik für
InformatikerInnen
Wolfgang Kössler
Sei θ ein zu schätzender Parameter einer Population
mit Dichte f .
1. Grundbegriffe
Sei θ̂ = θn eine erwartungstreue Schätzung von θ.
2. Kombinatorik
Cramer-Rao-Ungleichung
3. Bedingte Wkt
4. Klass. Wkt.
var (θ̂) ≥
1
,
nI(f , θ)
wobei
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
∂ ln f (X , θ) 2
I(f , θ) = E
∂θ
Z
∂ ln f (x, θ) 2
=
f (x, θ) dx
∂θ
die sogenannte Fisher-Information ist.
674 / 895
Cramer-Rao-Ungleichung
Beispiele
Stochastik für
InformatikerInnen
f normal
Wolfgang Kössler
f (x, µ) = √
1. Grundbegriffe
1
2πσ
e−
(x−µ)2
2σ 2
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
√
(x − µ)2
ln f (x, µ) = − ln( 2πσ) −
2σ 2
∂ ln f (x, µ)
x −µ 1
=
·
∂µ
σ
σ
Z ∞
1
x − µ 2
1
· f (x, µ) dx = 2 .
I(f , µ) =
2
σ −∞
σ
σ
9. Normal
10.Transformation
Also :
var µ̂ ≥
σ2
,
n
vgl. mit var X =
σ2
.
n
675 / 895
Cramer-Rao-Ungleichung
Beispiele
Stochastik für
InformatikerInnen
f exponential
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik

λe−λx
f (x, λ) =
0
falls x ≥ 0
sonst.
Es gilt:
I(f , λ) =
3. Bedingte Wkt
4. Klass. Wkt.
1
λ2
(ÜA)
Die Cramer-Rao-Schranke ist also:
5. Zufallsvariablen
λ2
1
=
.
nI(λ)
n
6. Diskrete ZV
7. Charakteristika
8. Exponential
Andererseits:
9. Normal
10.Transformation
var X =
1
1
1
=
=
.
nλ2
nI(λ−1 )
nI(EX )
676 / 895
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
F Doppelexponential (=Laplace)

−λx
falls x ≥ 0
1 λe
f (x, λ) =
2 λeλx
falls x < 0
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential

−1 falls x ≥ 0
ln f (x, µ) = − ln 2 + ln λ + λx
1
falls x < 0

1
falls x ≥ 0
∂ ln f (x, λ)
1
=
−x
−1 falls x < 0
∂λ
λ
9. Normal
10.Transformation
676 / 895
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
Z
∞
2
1
− x · λe−λx dx +
λ
0
Z 0
2
1
λx
+ x · λe dx
−∞ λ
Z ∞
2x
1
+ x 2 ) · λe−λx dx
=
( 2−
λ
λ
0
1
2
2
1
− 2 + 2 = 2.
=
2
λ
λ
λ
λ
1
I(f , λ) =
2
Cramer-Rao-Schranke
1
λ2
=
.
n
nI(f , λ−1 )
676 / 895
Stochastik für
Vergleichen Sie mit (ÜA) E
1
n
Pn
i=1
|Xi | =
1
λ
und
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
n
1
1 X
1
var |Xi | = 2 =
.
var |X | = 2
n
λ n
nI(f , λ−1 )
i=1
677 / 895
Cramer-Rao-Ungleichung
Stochastik für
InformatikerInnen
Wolfgang Kössler
Satz: (Cramer-Rao-Ungleichung)
1. Grundbegriffe
Sei f Dichte der Population, und θ̂ eine
2. Kombinatorik
erwartungstreue Schätzung des Parameters θ. Dann
3. Bedingte Wkt
gilt:
var(θ̂) ≥
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
wobei
1
,
nI(f , θ)
2
∂ ln f (X , θ)
I(f , θ) = E
∂θ
falls der Erwartungswert existiert.
10.Transformation
677 / 895
Cramer-Rao-Ungleichung
Beweis
Stochastik für
InformatikerInnen
Wolfgang Kössler
Sei x = (x1 , . . . , xn ) eine unabhängige Stichprobe
und
1. Grundbegriffe
L(x, θ) :=
2. Kombinatorik
n
Y
3. Bedingte Wkt
die Likelihood der Stichprobe.
4. Klass. Wkt.
Offenbar gilt
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
f (xi , θ)
i=1
Z
L(x, θ) dx = 1.
Rn
und (wir setzen voraus, Differentiation und
Integration dürfen vertauscht werden.)
Z
Z
∂
∂
L(x, θ) dx =
L(x, θ) dx = 0
∂θ Rn
Rn ∂θ
678 / 895
Cramer-Rao-Ungleichung
Beweis, Fortsetzung (1)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Weiter gilt, da θ̂ erwartungstreu,
Z
θ̂L(x, θ) dx
Eθ̂ =
Rn
Z
Z
∂
∂L(x, θ)
θ̂L(x, θ) dx =
θ̂
dx
∂θ Rn
Rn | ∂θ
{z }
Z
∂ ln L(x, θ)
L(x, θ) dx
θ̂
∂θ
Rn
∂ ln L(x, θ)
E θ̂
∂θ
= θ
= 1
= 1
= 1
Auf den linken Term in der vorletzten Gleichung
9. Normal
10.Transformation
wenden wir die Cauchy-Schwarzsche Ungleichung
an,
679 / 895
Cramer-Rao-Ungleichung
Beweis, Fortsetzung (2)
Stochastik für
InformatikerInnen
Z
Wolfgang Kössler
1 =
1. Grundbegriffe
∂ ln L(x, θ)
θ̂
L(x, θ) dx − θ
∂θ
Rn
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
Z
Z
|R
n
∂
L(x, θ) dx
∂θ
{z
}
∂ ln L(x, θ)
L(x, θ) dx
∂θ
Rn
2
Z
Z ∂ ln L(x, θ)
2
L(x, θ) dx
≤
(θ̂ − θ) L(x, θ) dx ·
∂θ
Rn
Rn
2
Z Pn
∂ i=1 ln f (xi , θ)
= var(θ̂) ·
L(x, θ) dx
∂θ
Rn
2
n Z X
∂ ln f (xi , θ)
= var(θ̂) ·
L(x, θ) dx
∂θ
Rn
680 / 895
=
(θ̂ − θ)
Cramer-Rao-Ungleichung
Beweis, Fortsetzung (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Der Term auf der linken Seite ist varθ̂ · n · I(f ). Die zu
den gemischten Summanden gehörenden Integrale
sind alle Null, (i 6= j):
Z ∂ ln f (xj , θ)
∂ ln f (xi , θ)
f (xi , θ)f (xj , θ) dxi dxj
∂θ
∂θ
R2
Z
∂f (xi , θ) ∂f (xj , θ)
=
dxi dxj = 0.
∂θ
∂θ
R2
9. Normal
10.Transformation
681 / 895
Inhalt
Stochastik für
InformatikerInnen
16.1 Einführung
Wolfgang Kössler
16.2 Erzeugung von Zufallszahlen
1. Grundbegriffe
16.3 Statistische Tests
2. Kombinatorik
16.4 Test auf Gleichverteilung
3. Bedingte Wkt
16.5 Test auf Unabhängigkeit
4. Klass. Wkt.
16.6 Erzeugung diskreter Zufalsvariablen
5. Zufallsvariablen
16.7 Erzeugung stetiger Verteilungen
6. Diskrete ZV
16.8 Kompositionsmethode
7. Charakteristika
8. Exponential
16.9 Verwerfungsmethode
9. Normal
16.10 Korrelierte Zufallsgrößen
10.Transformation
16.11 Ergänzungen
682 / 895
16. Grundlagen der Simulation
16.1 Einführung
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Komplexe Problemstellungen, die einer
analytischen Behandlung nur sehr schwer oder gar
nicht zugänglich sind
• Lösung von diskreten (oder analytischen)
3. Bedingte Wkt
Optimierungsaufgaben, z.B. Travelling Salesman
4. Klass. Wkt.
Problem
5. Zufallsvariablen
6. Diskrete ZV
• Berechnung von Integralen
• Untersuchung des Verhaltens von Algorithmen, z.B.
7. Charakteristika
Sortier- und Suchverfahren
8. Exponential
9. Normal
10.Transformation
• Theorie oft nur asymptotisch. Verhalten im Endlichen?
• “Wer nix kapiert, der simuliert”.
683 / 895
Grundlagen der Simulation
Einführung (2)
Stochastik für
InformatikerInnen
Stochastische Optimierungsverfahren
Wolfgang Kössler
• Mutation und Selektion
1. Grundbegriffe
• Simulated Annealing
2. Kombinatorik
• Genetische Algorithmen
3. Bedingte Wkt
Allen diesen Verfahren ist gemeinsam, daß
4. Klass. Wkt.
5. Zufallsvariablen
Zustandsübergänge zufällig geschehen und
6. Diskrete ZV
zwischenzeitlich auch mit gewissen (kleinen)
7. Charakteristika
Wahrscheinlichkeiten auch schlechtere Lösungen
8. Exponential
akzeptiert werden.
9. Normal
Vorteil: “Optimum” wird in Polynomialzeit gefunden.
10.Transformation
Nachteil: “Optimum” nur mit hoher Wkt. gefunden. 684 / 895
Grundlagen der Simulation
Einführung (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Grundlage aller Simulationverfahren sind
gleichverteilte Zufallsgrößen X ∼ R(0, 1),
Z x
dt = x,
P(X < x) =
0
d.h. X hat die Dichtefunktion:

 1 falls 0 ≤ x < 1
f (x) =
 0 sonst.
Das Kernproblem der Simulation ist deshalb die
Erzeugung von Folgen unabhängiger gleichverteilter
9. Normal
10.Transformation
Zufallsgrößen Xi .
Bez.: Zufallszahlen.
685 / 895
Inhalt
Stochastik für
InformatikerInnen
16.1 Einführung
Wolfgang Kössler
16.2 Erzeugung von Zufallszahlen
1. Grundbegriffe
16.3 Statistische Tests
2. Kombinatorik
16.4 Test auf Gleichverteilung
3. Bedingte Wkt
16.5 Test auf Unabhängigkeit
4. Klass. Wkt.
16.6 Erzeugung diskreter Zufalsvariablen
5. Zufallsvariablen
16.7 Erzeugung stetiger Verteilungen
6. Diskrete ZV
16.8 Kompositionsmethode
7. Charakteristika
8. Exponential
16.9 Verwerfungsmethode
9. Normal
16.10 Korrelierte Zufallsgrößen
10.Transformation
16.11 Ergänzungen
686 / 895
16.2 Erzeugung von Zufallszahlen
Exakte Methoden von Hand
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Methode 1: Es werden zufällig, gleichverteilt, die
Zahlen 0, 1, . . . , 9 erzeugt.

0 1 ...
X :
1
1
...
10
10
8
9
1
10
1
10

.
Realisierung:
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Es werden Karten mit den Zahlen 0 bis 9 beschriftet.
Für jede Zahl ist dabei die Anzahl der Karten gleich.
8. Exponential
Nun zieht man zufällig Karten und legt sie wieder
9. Normal
zurück. Die sich ergebende Folge von Ziffern kann
10.Transformation
man in einer Tabelle aufschreiben:
687 / 895
Erzeugung von Zufallszahlen
Exakte Methoden von Hand (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
3 8 7 0 9
2
..
.
4
..
.
9
..
.
1
..
.
3
..
.
1 . . . 2 . . . ..
.
5. Zufallsvariablen
Nun wählen wir zufällig Fünferblocks (es können
6. Diskrete ZV
auch Blocks von mehr Zahlen sein) aus und
7. Charakteristika
betrachten diese als Dezimalstellen, d.h. wir erhalten
8. Exponential
beispielsweise die Zahl 0, 87091. Auf diese Weise
9. Normal
erhalten wir Zufallszahlen auf dem Intervall [0, 1[.
10.Transformation
688 / 895
Erzeugung von Zufallszahlen
Exakte Methoden von Hand (3)
Stochastik für
InformatikerInnen
Methode 2: Wir erzeugen zufällig die Ziffern 0 und 1,
Wolfgang Kössler
beispielsweise mittels Münzwurf. Dann erhalten wir
1. Grundbegriffe
eine Zufallsgröße
2. Kombinatorik
3. Bedingte Wkt

X :
4. Klass. Wkt.
5. Zufallsvariablen

0 1
1
2
1
2

.
Wir erhalten eine Folge d1 d2 d3 . . . dn . . . von Nullen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
und Einsen. Dann ermitteln wir:
n
X
1 n
z :=
di · 2−i ≤ 1 −
2
i=1
Für die so erhaltene Zahl z gilt: 0 ≤ z < 1.
689 / 895
Erzeugung von Zufallszahlen
Exakte Methoden von Hand (4)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Methode 3: (4–Würfel–Spezialwürfeln)
Wir beschriften vier Würfel nach folgender Vorschrift:
1. Grundbegriffe
1. Würfel:
0, 1, 2, 3, 4, 5
2. Würfel:
0, 6, 12, 18, 24, 30
3. Würfel:
0, 36, 72, 108, 144, 180
4. Würfel:
0, 216, 432, 648, 864, 1080
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Wir werfen diese Würfel gleichzeitig und bilden die
8. Exponential
Summe der Augen. Das ergibt eine Zahl k, für die
9. Normal
gilt: 0 ≤ k ≤ 1295. Die Zufallsgröße
10.Transformation
X :=
k
1295
∼ R(0, 1) annähernd.
690 / 895
Erzeugung von Zufallszahlen
Elektronische Erzeugung
Stochastik für
InformatikerInnen
In elektronischen Geräten fließen auch im Ruhezustand
Wolfgang Kössler
Ströme deren Spannungen zeitlich zufällig schwanken
1. Grundbegriffe
(weißes Rauschen). Nun kann man innerhalb von
2. Kombinatorik
Zeitintervallen gleicher Länge zählen, wie oft ein kritischer
3. Bedingte Wkt
Spannungswert (Schwellenwert) überschritten wird. Z.B.
4. Klass. Wkt.
5. Zufallsvariablen
läßt sich bei jedem Überschreiten des Wertes ein Impuls
6. Diskrete ZV
auslösen. Diese Impulse können dann gezählt werden. Im
7. Charakteristika
Falle einer geraden Anzahl von Impulsen wird als
8. Exponential
Zufallsziffer eine 1 realisiert, andernfalls eine 0. Aus der
9. Normal
resultierenden 0–1–Folge erhält man nach obigem Muster
10.Transformation
eine Zufallszahl.
691 / 895
Erzeugung von Zufallszahlen
Kongruenzmethoden
Stochastik für
InformatikerInnen
Die bisher betrachteten Verfahren sind alle sehr
Wolfgang Kössler
aufwendig (?) und deshalb praktisch schwer
1. Grundbegriffe
anwendbar. Aus diesem Grunde spielen in der
2. Kombinatorik
Simulation nur die mathematischen Methoden
3. Bedingte Wkt
(Algorithmen) zur Erzeugung von Zufallszahlen eine
4. Klass. Wkt.
5. Zufallsvariablen
Rolle. Die mit diesen Methoden generierten
6. Diskrete ZV
Zufallszahlen (gewissermaßen ein Ersatz für
7. Charakteristika
Zufallszahlen) werden auch als Pseudozufallszahlen
8. Exponential
bezeichnet. Algorithmen, die Pseudozufallszahlen
9. Normal
erzeugen, werden auch Zufallszahlengeneratoren
10.Transformation
genannt.
692 / 895
Die multiplikative Kongruenzmethode
Stochastik für
InformatikerInnen
Wolfgang Kössler
Wir geben die Parameter m, a ∈ Z+ und den
Startwert z0 ∈ Z+ vor, und definieren die Folge
1. Grundbegriffe
zi+1 := a · zi
2. Kombinatorik
(mod m).
3. Bedingte Wkt
4. Klass. Wkt.
Offenbar:
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
a·zi = k·m+zi+1 ;
0 ≤ zi+1 < m
(k ∈ N, i = 1, 2, . . .)
zi
, (i = 1, 2, . . .)
m
ist eine Folge von Pseudozufallszahlen zwischen 0
ui =
und 1.
693 / 895
Die multiplikative Kongruenzmethode
(2)
Stochastik für
InformatikerInnen
Frage: Sind diese ui annähernd eine Folge
Wolfgang Kössler
unabhängiger, auf dem Intervall [0, 1[ gleichverteilter
1. Grundbegriffe
Zufallszahlen?
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Frage: Geeignete Wahl der Zahlen a, m und z0 .
Zufallszahlengeneratoren
RANDU (IBM): m = 231 , a = 216 + 3;
6. Diskrete ZV
7. Charakteristika
RANDA (PRIME): m = 231 − 1, a = 16807;
8. Exponential
SIMULA (CDC): m = 259 , a = 511 .
9. Normal
SAS 8: m = 231 − 1, a = 397204094.
10.Transformation
694 / 895
Verallgemeinerung: Die lineare
Kongruenzmethode
Stochastik für
InformatikerInnen
Wolfgang Kössler
Wir geben wieder Werte vor: m, a, r , z0 ∈ Z+ und
definieren die Folge
1. Grundbegriffe
2. Kombinatorik
zi+1 = (a · zi + r )
(mod m)
3. Bedingte Wkt
4. Klass. Wkt.
und die Folge von Zufallszahlen ist
5. Zufallsvariablen
6. Diskrete ZV
ui :=
zi
m
(i ∈ N).
7. Charakteristika
8. Exponential
9. Normal
Turbo-Pascal:
zn+1 = 134775813zn + 1(mod 232 )
10.Transformation
695 / 895
Die mehrfache lineare
Kongruenzmethode
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Parameter: m, a1 , . . . , ak , r ∈ Z+ Startwerte :
z0 , . . . , z(k−1) ∈ Z+ . Wir definieren die Folge für
n > (k − 1)
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
zn =
k
X
!
al · zn−l + r
Die Zufallszahlenfolge ist dann wieder
7. Charakteristika
8. Exponential
(mod m).
l=1
un :=
zn
.
m
9. Normal
10.Transformation
696 / 895
Wünschenswerte Eigenschaften von
Pseudozufallszahlen
Stochastik für
InformatikerInnen
• Einfacher Algorithmus, wenig Rechenzeit.
Wolfgang Kössler
• möglichst viele verschiedene Zufallszahlen
1. Grundbegriffe
⇒ lange Periode.
2. Kombinatorik
⇒ m möglichst groß (etwa in der Nähe der oberen
3. Bedingte Wkt
4. Klass. Wkt.
Grenze des INTEGER–Bereichs)
5. Zufallsvariablen
• k-Tupel (U1 , . . . , Uk ) ∼ R(0, 1)k , k ≤ 10
6. Diskrete ZV
⇒ Test auf Gleichverteilung.
7. Charakteristika
• “Unabhängigkeit”
8. Exponential
Test auf Autokorrelation
9. Normal
Plot der Punkte (Ui , Ui+k ), k = 1, 2...
10.Transformation
es sollten keine Muster zu erkennen sein.
697 / 895
Multiplikative Generatoren (1)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Ein schlechter Generator
Wir wählen m = 24 , a = 11, z0 = 3.
1. Grundbegriffe
z1 = 11 · 3 (mod 16) = 1
2. Kombinatorik
z2 = 11 · 1 (mod 16) = 11
3. Bedingte Wkt
4. Klass. Wkt.
z3 = 11 · 11 (mod 16) = 9
5. Zufallsvariablen
z4 = 11 · 9 (mod 16) = 3
6. Diskrete ZV
7. Charakteristika
8. Exponential
Dann gilt: z5 = z1 und die Folge wiederholt sich.
9. Normal
Periodenlänge = 4 statt gleich 16 (wie theoretisch
10.Transformation
möglich)
698 / 895
Multiplikative Generatoren (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
zi+1 = a · zi
(mod m)
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Satz
4. Klass. Wkt.
Wenn m = 2k , a mod 8 ∈ {3, 5}, z0 ungerade und
5. Zufallsvariablen
r = 0 sind, so hat die multiplikative
6. Diskrete ZV
Kongruenzmethode die maximal mögliche
7. Charakteristika
Periodenlänge 2k −2 .
8. Exponential
9. Normal
10.Transformation
In allen anderen Fällen gilt, daß die Periodenlänge
kleiner als 2k −2 ist.
699 / 895
Lineare Generatoren
Stochastik für
InformatikerInnen
Wolfgang Kössler
zi+1 = a · zi + r
(mod m)
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Satz
Die lineare Kongruenzmethode besitzt genau dann
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
die volle Periodenlänge m, falls die folgenden
Bedingungen erfüllt sind:
1
ggT(r , m) = 1
(ggT(0, m) := m);
2
a mod p = 1, für alle Primfaktoren p von m;
3
a mod 4 = 1, falls m ein Vielfaches von 4 ist.
9. Normal
10.Transformation
700 / 895
Beurteilung der Generatoren
Punkteplots in R2 (1)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Bilden wir Paare (u1 , u2 ), (u3 , u4 ), (u5 , u6 ), usw.
aufeinanderfolgender Zufallszahlen und tragen sie in
1. Grundbegriffe
das Einheitsquadrat ein. Es entsteht ein
2. Kombinatorik
3. Bedingte Wkt
(zweidimensionales) Scatterplot von Punkten. Die
4. Klass. Wkt.
Pseudozufallszahlen sind evtl. dann akzeptabel,
5. Zufallsvariablen
wenn sich hier eine gleichmäßige Verteilung ergibt
6. Diskrete ZV
und keine Struktur erkennbar ist. Entstehen dagegen
7. Charakteristika
(Linien)muster, so ist der Zufallszahlengenerator
8. Exponential
schlecht.
9. Normal
Verallgemeinerung auf k-Tupel mglich.
10.Transformation
701 / 895
Punkteplots in Rk (2)
Stochastik für
InformatikerInnen
Es sei {zi }i∈N eine Folge von Werten, die mit der
Wolfgang Kössler
multiplikativen Kongruenzmethode mit
1. Grundbegriffe
m = 2t , a = 5 (mod 8) und z0 = 1 (mod 4)
2. Kombinatorik
ermittelt wurden, d.h.:
3. Bedingte Wkt
7. Charakteristika
zi+1 = a · zi (mod 2t ).
zi
ui = t .
2
Wir bilden nun k–Tupel von aufeinanderfolgenden
8. Exponential
Pseudozufallszahlen:
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
9. Normal
10.Transformation
u(k) = (ul , . . . , ul+k−1 ) =
z
zl
, . . . , l+k−1
.
2t
2t
702 / 895
Gitter von Zufallszahlen (1)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Sei u0 die erste Zufallszahl. Die ersten k
Zufallszahlen haben die Form
1. Grundbegriffe
2. Kombinatorik
u0 · ((1, a, . . . , ak −1 )(mod m))/m = u0 ·
b1
+ g,
4
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
wobei
b1 =
1
· 1, a, . . . , ak −1
2t−2
und g ∈ G ein geeigneter Vektor ist, so daß die
ul , l = 1, . . . , k, auch im Intervall (0, 1) liegen.
8. Exponential
9. Normal
Anstelle der ersten kann mit einer beliebigen
10.Transformation
Zufallszahl begonnen werden.
703 / 895
Gitter von Zufallszahlen (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Für diese k–Tupel von Pseudozufallszahlen gilt:
u(k) ∈ 14 · b1 + G ∩ [0, 1[k .
Dabei ist:
G=
( k
X
8. Exponential
9. Normal
10.Transformation
qi · bi : q1 , . . . , qk ∈ Z
i=1

6. Diskrete ZV
7. Charakteristika
)



1

bT1 = t−2 · 

2


1
a
..
.
ak −1





 , b2 = e2 , . . . , bk = ek .



704 / 895
Ein alter Zufallszahlengenerator
Stochastik für
InformatikerInnen
RANDU m = 231 ,
a = 216 + 3,
r =0
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Xi+2 = (216 + 3)Xi+1 + c1 231
= (216 + 3)2 Xi + c1 231 (216 + 3) + c2 231
= (6 · 216 + 9)Xi + 231 2Xi + (216 + 3)c1 + c2
= 6(216 + 3)Xi − 9Xi + c3 231
= 6Xi+1 − 9Xi + c4 231
ci ∈ Z, i = 1, . . . , 4.
Daraus folgt:
9. Normal
10.Transformation
Ui+2 − 6Ui+1 + 9Ui ∈ Z.
705 / 895
Beispielmuster (SAS)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
706 / 895
Beispielmuster (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
707 / 895
Inhalt
Stochastik für
InformatikerInnen
16.1 Einführung
Wolfgang Kössler
16.2 Erzeugung von Zufallszahlen
1. Grundbegriffe
16.3 Statistische Tests
2. Kombinatorik
16.4 Test auf Gleichverteilung
3. Bedingte Wkt
16.5 Test auf Unabhängigkeit
4. Klass. Wkt.
16.6 Erzeugung diskreter Zufalsvariablen
5. Zufallsvariablen
16.7 Erzeugung stetiger Verteilungen
6. Diskrete ZV
16.8 Kompositionsmethode
7. Charakteristika
8. Exponential
16.9 Verwerfungsmethode
9. Normal
16.10 Korrelierte Zufallsgrößen
10.Transformation
16.11 Ergänzungen
708 / 895
16.3 Statistische Tests von
Pseudozufallszahlen
Wolfgang Kössler
Def. Ein Test ist eine Entscheidungsvorschrift,
die über die Akzeptanz genau einer von zwei
1. Grundbegriffe
alternativen Hypothesen entscheidet.
2. Kombinatorik
Analogie zur Qualitätskontrolle
3. Bedingte Wkt
Ein Käufer soll anhand einer Stichprobe
4. Klass. Wkt.
entscheiden, ob er einen Warenbestand kauft oder
5. Zufallsvariablen
nicht. Wir haben zwei Hypothesen, die Null- und die
6. Diskrete ZV
Alternativhypothese:
Stochastik für
InformatikerInnen
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
H0 : Die Ware ist in Ordnung, z.B. der
Ausschußanteil p ist kleiner oder gleich 2%.
Ha : Die Ware ist schlecht, d.h. p > 2%.
709 / 895
Analogie zur Qualitätskontrolle
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Der Kunde führt nun bei n Produkten eine Kontrolle
durch,

 0 , falls das Produkt i gut ist,
xi =
 1 , falls das Produkt i schlecht ist.
4. Klass. Wkt.
5. Zufallsvariablen
Dann ist z =
n
P
xi die Anzahl der fehlerhaften
i=1
6. Diskrete ZV
Produkte, die der Kunde gefunden hat. Nun wird vor
7. Charakteristika
dem Test ein kritischer Wert zα festgelegt
8. Exponential
9. Normal
Ist z > zα , so wird die Hypothese H0 abgelehnt;
Ist z ≤ zα , so wird die Hypothese H0 für richtig
10.Transformation
befunden.
710 / 895
Statistische Tests von
Pseudozufallszahlen
Stochastik für
InformatikerInnen
Wolfgang Kössler
Fehlerwahrscheinlichkeiten
1
P(Z > zα |H ist wahr) – die Wahrscheinlichkeit
1. Grundbegriffe
also, daß der Käufer die Ware für schlecht
2. Kombinatorik
befindet und ablehnt, obwohl sie doch in
3. Bedingte Wkt
Ordnung ist. Diese Wahrscheinlichkeit spiegelt
4. Klass. Wkt.
6. Diskrete ZV
das Risiko des Produzenten“ wider.
”
P(Z ≤ zα |H ist falsch) – die Wahrscheinlichkeit
7. Charakteristika
also, daß der Käufer die Ware nimmt, obwohl
8. Exponential
ihre Qualität stark zu wünschen übrig läßt.
5. Zufallsvariablen
2
9. Normal
10.Transformation
Diese Wahrscheinlichkeit spiegelt das Risiko
”
des Käufers“ wider.
711 / 895
Statistische Tests von
Pseudozufallszahlen
Stochastik für
InformatikerInnen
Wolfgang Kössler
Die Entscheidung für HA oder für H0 wird anhand
einer Teststatistik
1. Grundbegriffe
Z = Z (x1 , ..., xn )
2. Kombinatorik
3. Bedingte Wkt
gefällt. Falls Z ∈ K (kritischen Bereich,
4. Klass. Wkt.
Ablehnungsbereich), dann wird H0 abgelehnt, sonst
5. Zufallsvariablen
nicht.
6. Diskrete ZV
7. Charakteristika
8. Exponential
Bei jeder dieser Entscheidungen kann man
Fehlentscheidungen treffen:
9. Normal
Entscheidung für HA obwohl H0 richtig ist: Fehler 1.Art
10.Transformation
Entscheidung für H0 obwohl HA richtig ist: Fehler 2.Art
712 / 895
(Fehl-)Entscheidungstabelle
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
H0 richtig
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
HA richtig
Entscheidung
Entscheidung
für H0
für HA
richtig, Sicher-
Fehler 1. Art
heitswkt. 1 − α
Fehlerwkt. α.
Fehler 2.Art
richtig,
Fehlerwkt. 1-β
Güte β
7. Charakteristika
8. Exponential
9. Normal
Bem.: Entscheidung für H0 heißt nicht notwendig,
dass H0 richtig ist.
10.Transformation
713 / 895
Statistische Tests von
Pseudozufallszahlen
Stochastik für
InformatikerInnen
Wolfgang Kössler
Der Parameter α := P(Z > Zα |H ist wahr) ist meist
vorgegeben. Übliche Werte für α sind 0.05 oder
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
0.01. Gesucht ist eine Testvorschrift, die zur
Minimierung des Risikos des Käufers“ führt.
”
Anwendung auf Pseudozufallszahlen
zu testen:
6. Diskrete ZV
7. Charakteristika
Gleichverteilung der Pseudozufallszahlen über
8. Exponential
dem Intervall [0, 1[;
9. Normal
Unabhängigkeit der Pseudozufallszahlen.
10.Transformation
714 / 895
Inhalt
Stochastik für
InformatikerInnen
16.1 Einführung
Wolfgang Kössler
16.2 Erzeugung von Zufallszahlen
1. Grundbegriffe
16.3 Statistische Tests
2. Kombinatorik
16.4 Test auf Gleichverteilung
3. Bedingte Wkt
16.5 Test auf Unabhängigkeit
4. Klass. Wkt.
16.6 Erzeugung diskreter Zufalsvariablen
5. Zufallsvariablen
16.7 Erzeugung stetiger Verteilungen
6. Diskrete ZV
16.8 Kompositionsmethode
7. Charakteristika
8. Exponential
16.9 Verwerfungsmethode
9. Normal
16.10 Korrelierte Zufallsgrößen
10.Transformation
16.11 Ergänzungen
715 / 895
16.4 Test auf Gleichverteilung
Der χ2 –Anpassungs-Test
Stochastik für
InformatikerInnen
Wolfgang Kössler
Def (χ2 -Verteilung, Erinnerung), Y ∼ χ2k
1. Grundbegriffe
Y1 , . . . , Yk seien unabhängig, identisch verteilte
2. Kombinatorik
Zufallszahlen mit Yi ∼ N (0, 1).
3. Bedingte Wkt
Dann heißt die Zufallsvariable Y mit
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Y =
k
X
Yi2
i=1
7. Charakteristika
8. Exponential
χ2 -verteilt mit k Freiheitsgraden.
9. Normal
10.Transformation
716 / 895
Der χ2–Anpassungs-Test (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Es seien jetzt Xi (i = 1, . . . , n) beliebige unabhängig
und identisch verteilte Zufallsgrößen
1. Grundbegriffe
B = [0, 1)
j −1 j
Aj =
,
k k
2. Kombinatorik
3. Bedingte Wkt
n ≥ 5k
4. Klass. Wkt.
pj = P(X ∈ Aj ) =
5. Zufallsvariablen
6. Diskrete ZV
Wir testen
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
1
k
1
k
1
6
=
k
H0 :
pj =
j = 1, . . . , k
HA :
pj
für ein j
717 / 895
Der χ2–Anpassungs-Test (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Wir definieren
k
X
(nj − npj )2
2
χ =
npj
nj = #{Xi : Xi ∈ Aj }
j=1
2. Kombinatorik
3. Bedingte Wkt
Wenn H0 zutrifft, gilt für große n dann approximativ,
χ2 ∼ χ2k −1 .
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Wenn H0 richtig ist, gilt wegen dem schwachen
Gesetz großer Zahlen (siehe Seite 556): nj ≈ n · pj
Offenbar, 0 ≤ χ2 .
9. Normal
Wenn χ2 ≤ cα wollen wir Hypothese H0 annehmen,
10.Transformation
wenn χ2 > cα lehnen wir diese ab.
718 / 895
Der χ2–Anpassungs-Test (4)
Stochastik für
InformatikerInnen
Wolfgang Kössler
cα wird wie folgt festgelegt:
1. Grundbegriffe
2. Kombinatorik
P(χ2 > cα |H0 richtig) = α
3. Bedingte Wkt
4. Klass. Wkt.
ist die Wahrscheinlichkeit (bzw. das Risiko) dafür,
5. Zufallsvariablen
das trotz “guter” Verteilung (Gleichverteilung) der
6. Diskrete ZV
Zufallszahlen wir die Hypothese H0 ablehnen, d.h.
7. Charakteristika
die Nicht-Gleichverteilung annehmen.
8. Exponential
ZufallszahlenMusterUebung.sas
9. Normal
10.Transformation
719 / 895
Auf der empirischen
Verteilungsfunktion beruhende Tests
Stochastik für
InformatikerInnen
(allgemein)
Erinnerung (empirische Verteilungsfunktion):
Wolfgang Kössler
Seien X1 , ..., Xn unabh. Beobachtungen,
1. Grundbegriffe
2. Kombinatorik
X(1) ≤ ... ≤ X(n) die geordneten Beob. Die Funktion
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Fn (x) =


0


i
n



1
x < X(1)
X(i) ≤ x < X(i+1)
i = 1...n
X(n) ≤ x
7. Charakteristika
8. Exponential
9. Normal
heißt empirische Verteilungsfunktion.
Satz v. Glivento-Cantelli: Fn (x) → F (x).
10.Transformation
720 / 895
Drei EDF-Tests
Stochastik für
InformatikerInnen
Kolmogorov-Smirnov-Test
Wolfgang Kössler
D = sup |Fn (x) − F0 (x)|
1. Grundbegriffe
2. Kombinatorik
x
Cramer-von
Mises-Test∗
3. Bedingte Wkt
W
4. Klass. Wkt.
5. Zufallsvariablen
2
∞
Z
= n
−∞
Anderson-Darling-Test∗
6. Diskrete ZV
7. Charakteristika
2
Fn (x) − F0 (x) dF0 (x)
A2
Z
=
∞
n
−∞
8. Exponential
(Fn (x) − F0 (x))2
dF0 (x)
F0 (x)(1 − F0 (x))
9. Normal
10.Transformation
hier: F0 (x) = x.
721 / 895
EDF-Tests, nur zur Info.
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Modifikationen für endliche Stichproben
√
√
D: D · ( n − 0.01 + 0.85/ n)
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
A2 :
W 2:
AD 2 · (1.0 + 0.75/n + 2.25/n2 )
CM 2 · (1.0 + 0.5/n)
5. Zufallsvariablen
6. Diskrete ZV
Kritische Werte
7. Charakteristika
W 2 : D’Agostino, Stephens (1986), S. 123.
8. Exponential
A2 : Crawford Moss u.a. (1990)
9. Normal
10.Transformation
722 / 895
Der Kolmogorov–Smirnov–Test
Stochastik für
InformatikerInnen
Erinnerung:
Wolfgang Kössler
lim Dn = lim sup |Fn (x) − x| = 0
n→∞
1. Grundbegriffe
n→∞
x
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Satz (KOLMOGOROV–S MIRNOV )
Es gilt für x > 0:
∞
X
√
2 2
lim P( n · Dn < x) = 1 + 2
(−1)i · e−2·i ·x
n→∞
i=1
7. Charakteristika
=: Q(x)
8. Exponential
9. Normal
10.Transformation
Q(x) ist die Verteilungsfunktion der
Kolmogorov-Verteilung.
723 / 895
Der Kolmogorov–Smirnov–Test
Praktische Durchführung
Stochastik für
InformatikerInnen
1
Die Pseudozufallszahlen werden der Größe
Wolfgang Kössler
nach geordnet, u(1) < u(2) < . . . < u(n) .
1. Grundbegriffe
3. Bedingte Wkt
EDF: Fn (x) =
3
Wir ermitteln die Zahl
5. Zufallsvariablen
6. Diskrete ZV
4
8. Exponential
9. Normal
Dn := sup |Fn (x) − x| = max max ai , max bi ,
1≤i≤n
1≤i≤n
x
i−1 i
ai := u(i) − n , bi := u(i) − n .
4. Klass. Wkt.
7. Charakteristika
#{ui : ui <x, 0≤x<1}
.
n
2
2. Kombinatorik
cα : 1 − α-Quantil der Kolmogorov-Verteilung.
√
n · Dn > cα =⇒ Ablehnung der Hypothese H0
√
n · Dn ≤ cα =⇒ Annahme der HypotheseH0
10.Transformation
724 / 895
Der Kolmogorov–Smirnov–Test (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Dabei ist
√
α = P(H abgelehnt|H0 ) = P( n · Dn > cα |H0 ).
2. Kombinatorik
3. Bedingte Wkt
D.h.
√
Q(cα ) = lim P( n · Dn < cα ) = 1 − α.
n→∞
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
α
cα (gerundet)
0.01
1.63
0.05
1.36
0.1
1.22
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
725 / 895
Inhalt
Stochastik für
InformatikerInnen
16.1 Einführung
Wolfgang Kössler
16.2 Erzeugung von Zufallszahlen
1. Grundbegriffe
16.3 Statistische Tests
2. Kombinatorik
16.4 Test auf Gleichverteilung
3. Bedingte Wkt
16.5 Test auf Unabhängigkeit
4. Klass. Wkt.
16.6 Erzeugung diskreter Zufalsvariablen
5. Zufallsvariablen
16.7 Erzeugung stetiger Verteilungen
6. Diskrete ZV
16.8 Kompositionsmethode
7. Charakteristika
8. Exponential
16.9 Verwerfungsmethode
9. Normal
16.10 Korrelierte Zufallsgrößen
10.Transformation
16.11 Ergänzungen
726 / 895
16.5 Test auf Unabhängigkeit
Der Run–Test
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Run
Jeder Teilabschnitt einer Folge unabhängiger,
identisch verteilter Zufallszahlen, in dem die
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Zufallszahlen in aufsteigend geordnet sind.
Wir teilen eine Folge in Runs ein:
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Folge
2
1
2
3
2
4
1
7
8
Run
I.
II.
III.
IV.
Länge des Runs
1
3
2
4
9
V
8. Exponential
9. Normal
10.Transformation
727 / 895
Run-Test (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Satz
Es sei u1 , . . . , un eine Folge unabhängiger
1. Grundbegriffe
Zufallsgrößen mit ui ∼ U(0, 1) (i = 1, . . . , n). Dann
2. Kombinatorik
gilt für die zufällige Länge R eines Runs:
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
P(R = r ) =
r
.
(r + 1)!
Wir beschreiben R also durch:


1 2 ...
r
...
.
R: 
1
1
r
. . . (r +1)! . . .
2
3
10.Transformation
728 / 895
Run-Test (3)
Beweis des Satzes
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Wegen der Unabhängigkeit und der identischen
Verteilung genügt es, die ersten r + 1
Zufallsvariablen zu betrachten. Es gilt:
P(R = r ) = P(U1 ≤ · · · ≤ Ur > Ur +1 )
3. Bedingte Wkt
= P(U1 ≤ · · · ≤ Ur ) − P(U1 ≤ · · · ≤ Ur ≤ Ur +1 )
1
r
1
−
=
=
r ! (r + 1)!
(r + 1)!
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
∞
X
8. Exponential
i=1
9. Normal
10.Transformation
∞
∞
∞
X
1
1 X1 X
1
P(R = i) =
−
=
−
i! (i + 1)!
i!
(i + 1)!
i=1
∞
X
= (
i=0
i=1
i=1
∞
X
1
1
− 1) − (
− 1) = 1.
i!
(i + 1)!
i=0
729 / 895
Run-Test (4)
Stochastik für
InformatikerInnen
Seien u1 , . . . , un Pseudozufallszahlen. Wir testen
Wolfgang Kössler
H0 :
u1 , . . . , un
sind unabhängig
H1 :
u1 , . . . , un
sind abhängig.
gegen
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
R1 , . . . , Rm sei die Folge der Längen der
4. Klass. Wkt.
auftretenden Runs.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Diese Folgen sind jedoch nicht unabhängig (auch
nicht, wenn Xi stochastisch unabhängig sind)
Deshalb streichen wir nach jedem Run die nächste
9. Normal
Zufallszahl, und berechnen die nachfolgenden
10.Transformation
Runlängen von neuem.
730 / 895
Run-Test (5)
Stochastik für
InformatikerInnen
Wolfgang Kössler
∗
Es entstehen die Größen R1∗ , . . . , Rm
, die
unabhängig sind (Mathar/Pfeiffer, Lemma 6.2.2)
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Formal sieht das folgendermaßen aus:
Seien die Si die Stellen an denen ein Run zuende ist,
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
S1 = inf{n ∈ N : un+1 < un }
S2 = inf{n ∈ N : n > S1 + 1, un+1 < un }
..
.
Sk +1 = inf{n ∈ N : n > Sk + 1, un+1 < un }
10.Transformation
731 / 895
Run-Test (6)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Dann definieren wir:
R1∗ := S1
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
R2∗ := S2 − S1 − 1
..
.
∗
Rk+1
:= Sk +1 − Sk − 1
5. Zufallsvariablen
8. Exponential
Wenn nun die Hypothese H0 gilt, dann ist:
r
,
P(R ∗ = r ) =
(r + 1)!
9. Normal
und die Ri∗ (i = 1, . . . , m) sind unabhängig.
10.Transformation
Run-Test: Anpassungstest auf diese Verteilung
6. Diskrete ZV
7. Charakteristika
732 / 895
Run-Test (7)
Stochastik für
InformatikerInnen
Teilen Z+ in k disjunkte Teilintervalle auf:
Wolfgang Kössler
[i1 + 1, i2 ], [i2 + 1, i3 ], . . . , [ik + 1, ∞)
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
pj∗
=
ij+1
X
P(R ∗ = l) = P(ij + 1 ≤ R ∗ ≤ ij+1 )
l=ij +1
4. Klass. Wkt.
nj = #i=1,...,m {Ri∗ : ij + 1 ≤ Ri∗ ≤ ij+1 }
5. Zufallsvariablen
k
X
(nj − mpj∗ )2
∼ χ2k−1
χ =
mpj∗
6. Diskrete ZV
2
7. Charakteristika
j=1
8. Exponential
2
9. Normal
Falls χ > kritischer Wert, lehnen wir dir
10.Transformation
Unabhängigkeitshypothese ab.
733 / 895
Run-Test (8)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Gesamtumfang der zu erzeugenden Zufallszahlen
2. Kombinatorik
sollte ≥ 4000 sein.
3. Bedingte Wkt
Wir haben hier einen Anpassungstest auf eine
4. Klass. Wkt.
gegbene diskrete Verteilung gemacht.
5. Zufallsvariablen
χ2 -Anpassungstests (auf eine stetige Verteilung, hier
6. Diskrete ZV
Gleichverteilung) sollten, u.a. wegen der Willkür der
7. Charakteristika
Klasseneinteilung mit Vorsicht betrachtet werden.
8. Exponential
9. Normal
10.Transformation
734 / 895
Autokorrelationstest
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Sei U1 , . . . , Un eine Folge von zufälligen Variablen.
Für alle m können wir nun bilden:
cov (Um , Um+k )
ρm (k) =
σUm σUm+k
3. Bedingte Wkt
wobei 1 ≤ k ≤
4. Klass. Wkt.
so σUj = σ
n
2
Wenn U1 , . . . , Un identisch verteilt
∀j und
5. Zufallsvariablen
cov (Um , Um+k ) = cov (U1 , Uk +1 )
6. Diskrete ZV
7. Charakteristika
Autokorrelation k-ter Ordnung
8. Exponential
9. Normal
10.Transformation
∀m,
σm (k) = ρ(k) =
k = 1, . . . , n2 .
E(Um · Um+k ) − (EUm )2
σ2
735 / 895
Autokorrelationstest (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Sei u1 , . . . , un eine Folge von Realisierungen.
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
ρ̂(k) =
Pn−k 2
1
u
·
u
−
i
i+k
i=1
i=1 ui
n−k
Pn−k 2
Pn−k 2
1
1
i=1 ui − n−k
i=1 ui
n−k
1
n−k
Pn−k
ist die empirische Autokorrelation k-ter Ordnung.
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
736 / 895
Autokorrelationstest (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
ρ(k) ist die Pearson-Korrelation zwischen zwischen
Ui und Ui+k .
1. Grundbegriffe
2. Kombinatorik
Offenbar, ρ(k) = 0 ∀k ≥ 1, wenn die Zufallszahlen
3. Bedingte Wkt
keine Autokorrelation besitzen.
4. Klass. Wkt.
sollte dann gelten: ρ̂(k) ≈ 0.
5. Zufallsvariablen
Für die u1 , . . . , un
Ersetzen wir die
6. Diskrete ZV
7. Charakteristika
8. Exponential
Ui durch ihre Ränge R1 , . . . , Rn und die
Ui+k durch ihre Ränge S1 , . . . , Sn
9. Normal
dann erhalten wir den
10.Transformation
Spearman-Rang-Korrelationskoeffizient rS .
737 / 895
Autokorrelationstest (4)
Stochastik für
InformatikerInnen
Es gilt asymptotisch
Wolfgang Kössler
1. Grundbegriffe
rS ∼ N (0,
1
).
n−1
2. Kombinatorik
3. Bedingte Wkt
Die Nullhypothese
4. Klass. Wkt.
H0 : keine Autokorrelation
5. Zufallsvariablen
wird also abgelehnt, wenn
6. Diskrete ZV
7. Charakteristika
√
n − 1|rS | ≥ z1−α/2
8. Exponential
9. Normal
z1−α/2 : 1 − α/2-Quantil der
10.Transformation
Standard-Normalverteilung, z0.975 = 1.96.
738 / 895
Inhalt
Stochastik für
InformatikerInnen
16.1 Einführung
Wolfgang Kössler
16.2 Erzeugung von Zufallszahlen
1. Grundbegriffe
16.3 Statistische Tests
2. Kombinatorik
16.4 Test auf Gleichverteilung
3. Bedingte Wkt
16.5 Test auf Unabhängigkeit
4. Klass. Wkt.
16.6 Erzeugung diskreter Zufalsvariablen
5. Zufallsvariablen
16.7 Erzeugung stetiger Verteilungen
6. Diskrete ZV
16.8 Kompositionsmethode
7. Charakteristika
8. Exponential
16.9 Verwerfungsmethode
9. Normal
16.10 Korrelierte Zufallsgrößen
10.Transformation
16.11 Ergänzungen
739 / 895
16.6 Erzeugung diskreter
Zufallsvariablen
Stochastik für
InformatikerInnen

Wolfgang Kössler
X :
1. Grundbegriffe

x1 x2 . . . xm 

.
p1 p2 . . . pm
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Zerlegen das Intervall [0, 1] in Teilintervalle Ij ,


j−1
j
X
X
Ij = 
pk ,
pk  ,
(p0 = 0)
k =0
k =0
6. Diskrete ZV
7. Charakteristika
Sei u eine Pseudozufallszahl. Wir setzen
8. Exponential
9. Normal
X = xj
falls u ∈ Ij
10.Transformation
740 / 895
Inhalt
Stochastik für
InformatikerInnen
16.1 Einführung
Wolfgang Kössler
16.2 Erzeugung von Zufallszahlen
1. Grundbegriffe
16.3 Statistische Tests
2. Kombinatorik
16.4 Test auf Gleichverteilung
3. Bedingte Wkt
16.5 Test auf Unabhängigkeit
4. Klass. Wkt.
16.6 Erzeugung diskreter Zufalsvariablen
5. Zufallsvariablen
16.7 Erzeugung stetiger Verteilungen
6. Diskrete ZV
16.8 Kompositionsmethode
7. Charakteristika
8. Exponential
16.9 Verwerfungsmethode
9. Normal
16.10 Korrelierte Zufallsgrößen
10.Transformation
16.11 Ergänzungen
741 / 895
16.7 Erzeugung stetiger
Zufallsvariablen
Stochastik für
InformatikerInnen
Wolfgang Kössler
Es sei U ∼ R(0, 1). Wir betrachten die
Transformation
X := ϕ(U),
1. Grundbegriffe
2. Kombinatorik
wobei ϕ monoton wachsend sei. Die Zufallsgröße X
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
ist ebenfalls stetig, und für ihre Dichte gilt (nach der
Transformationsformel für Dichten)
dϕ−1 (x) −1
fX (x) = h ϕ (x) · dx .
Wir wählen nun ϕ := F −1 . Dann erhalten wir:
fX (x) = h(F (x)) ·
X = F −1 (U) ∼ F .
dF (x)
dx
= f (x).
742 / 895
Erzeugung einer normalverteilten
Zufallsvariablen (1)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Ziel: X ∼ N (0, 1) erzeugen,
1
F (x) := Φ(x) = √ ·
2π
Zx
e
−
t2
2
dt.
−∞
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Erzeugung einer solchen Zufallsgröße:
6. Diskrete ZV
- Quantilmethode (siehe oben)
7. Charakteristika
- Zentraler Grenzwertsatz
8. Exponential
- Box-Müller Transformation
9. Normal
- Akzeptanzmethode (siehe unten)
10.Transformation
743 / 895
Erzeugung einer normalverteilten
Zufallsvariablen (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Quantilmethode
1. Grundbegriffe
U ∼ R(0, 1).
2. Kombinatorik
3. Bedingte Wkt
X := Φ−1 (u) ∼ N (0, 1), denn
dΦ(x)
dΦ(x)
1 − x2
√
fX (x) = h(Φ(x)) ·
=
=
e 2.
dx
dx
2π
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Problem: Berechnung von Φ−1 (u) ist aufwendig.
Ziel: X ∼ N (µ, σ 2 ) erzeugen,
7. Charakteristika
8. Exponential
Y := µ + σ · Φ−1 (U) ∼ N (µ, σ 2 ).
9. Normal
10.Transformation
744 / 895
Erzeugung einer normalverteilten
Zufallsvariablen (3)
Stochastik für
InformatikerInnen
Zentraler Grenzwertsatz (1)
Wolfgang Kössler
U1 , . . . , Un ∼ R(0, 1) unabhängig. Erwartungswert
1. Grundbegriffe
und Varianz sind
Z1
1
µ := EUi = x dx =
2
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
7. Charakteristika
Pn
lim P
n→∞
Ui − n · µ
√
<x
n·σ
i=1
Pn
lim P
n→∞
10.Transformation
2
=
1
12
= Φ(x).
Einsetzen:
8. Exponential
9. Normal
1
σ := E Ui −
2
0
5. Zufallsvariablen
6. Diskrete ZV
2
n
Ui −
2
q
n
12
i=1
<x
= Φ(x).
745 / 895
Erzeugung einer normalverteilten
Zufallsvariablen (4)
Stochastik für
InformatikerInnen
Zentraler Grenzwertsatz (2)
Wolfgang Kössler
1. Grundbegriffe
Es sei n = 12.
Wir erhalten dann folgende Zufallsgröße X :
2. Kombinatorik
3. Bedingte Wkt
X =
4. Klass. Wkt.
12
X
Ui − 6.
i=1
5. Zufallsvariablen
6. Diskrete ZV
Diese Approximation ist in der Regel ausreichend.
7. Charakteristika
Man braucht jedoch 12 Pseudozufallszahlen, um
8. Exponential
eine standardnormalverteilte Zufallsgröße zu
9. Normal
erhalten.
10.Transformation
746 / 895
Erzeugung einer normalverteilten
Zufallsvariablen (5)
Stochastik für
InformatikerInnen
Wolfgang Kössler
B OX –M ÜLLER–Transformation
Seien U, V ∼ R(0, 1) unabhängig. Dann sind die
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Zufallsgrößen
X =
4. Klass. Wkt.
5. Zufallsvariablen
Y =
√
√
−2 · ln U · cos(2πV )
−2 · ln U · sin(2πV )
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
unabhängig und standardnormalverteilt,
X , Y ∼ N (0, 1).
Beweis: vgl. Abschnitt Transformationsformel
2
10.Transformation
747 / 895
Erzeugung exponentialverteilter
Zufallsvariablen
Stochastik für
InformatikerInnen
Es sei U ∼ R(0, 1) eine Pseudozufallszahl. Erzeugt
Wolfgang Kössler
werden soll eine Zufallsgröße X ∼ EX(λ) mit der
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Verteilungsfunktion:

 1 − e−λ·x , falls x ≥ 0;
F (x) =
 0
, sonst.
Dazu wird folgende Transformation verwendet
7. Charakteristika
8. Exponential
9. Normal
1
X := F −1 (U) = − · ln(1 − u) ≥ 0.
λ
10.Transformation
748 / 895
Erzeugung binomialverteilter
Zufallsvariablen
Stochastik für
InformatikerInnen
Wolfgang Kössler
Variante 1: Seien Xi ∼ Bi(1, p). Dann ist
P
X = ni=1 Xi binomialverteilt mit Parametern (n, p).
1. Grundbegriffe
Variante 2: (Intervallmethode)
2. Kombinatorik
Zerlegen das Intervall (0, 1) in disjunkte Teilintervalle
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
der Länge der Einzelwahrscheinlichkeiten,
n k
pk =
p (1 − p)n−k
k
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
(0, 1) =
n
[
Ii = (0, p0 ] ∪ (p0 , p0 + p1 ]∪
i=0
(p0 + p1 , p0 + p1 + p2 ] ∪ · · ·
∪ (1 −
Sei U ∼ R(0, 1). X = i falls U ∈ Ii .
n−1
X
pi , 1)
i=0
749 / 895
Erzeugung P OISSON–verteilter
Zufallsvariablen (1)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Es ist jetzt eine P OISSON–verteilte Zufallsgröße X zu
erzeugen, d.h.
3. Bedingte Wkt
4. Klass. Wkt.
P(X = i) =
λi −λ
·e
i!
(i = 0, 1, 2, . . .).
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Variante 1: Intervallmethode
Variante 2: (Über die Exponentialverteilung)
8. Exponential
9. Normal
10.Transformation
750 / 895
Erzeugung P OISSON–verteilter
Zufallsvariablen (2)
Stochastik für
InformatikerInnen
Satz
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Es seien Y1 , . . . , Yk unabhängige exponentialverteilte
k
P
Yi , Dann gilt für die
Zufallsgrößen und Y (k ) :=
i=1
Dichte der Zufallsvariable Y (k ) :

 λk · y k −1 · e−λ·y , falls y ≥ 0;
(k−1)!
fY (k ) (y) =
 0
, sonst.
Diese Funktion ist die Dichte der sogen.
9. Normal
10.Transformation
E RLANG–Verteilung mit Parametern (k, λ).
751 / 895
Erzeugung P OISSON–verteilter
Zufallsvariablen (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Beweis: Wir beweisen die Aussage mittels
vollständiger Induktion. Es sei y ≥ 0.
IA: Y (1) = Y1 ∼ Exp(λ) = Erl(1, λ)
2. Kombinatorik
3. Bedingte Wkt
IV: Es sei die Aussage für k gültig.
4. Klass. Wkt.
IS: Wir zeigen sie für k + 1. Es gilt:
5. Zufallsvariablen
6. Diskrete ZV
Y (k +1) = Y (k ) + Yk +1 .
7. Charakteristika
8. Exponential
Bestimmen die Dichtefunktion fY (k +1) mittels
9. Normal
Faltung der Dichtefunktionen fY (k ) und fY (1) .
10.Transformation
2
752 / 895
Erzeugung P OISSON–verteilten
Zufallsvariablen (4)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Zum Beweis des Satzes:
Z∞
fY (k +1) (y ) =
fY (k) (x) · fY (1) (y − x) dx
0
2. Kombinatorik
3. Bedingte Wkt
Zy
=
4. Klass. Wkt.
=
8. Exponential
10.Transformation
λk +1
(k−1)!
· x k −1 · e−λ·y dx
0
7. Charakteristika
9. Normal
· x k −1 · e−λ·x · λ · e−λ·(y−x) dx
0
Zy
5. Zufallsvariablen
6. Diskrete ZV
λk
(k−1)!
=
λk+1 −λy
(k −1)! e
Zy
x k −1 dx =
λk +1 k −λy
k! y e
0
753 / 895
Erzeugung einer P OISSON–Verteilten
Zufallsvariable (5)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Satz
Sind Yi (i ∈ N) unabhängige, exponentialverteilte
1. Grundbegriffe
Zufallsgrößen (Yi ∼ EX(λ), i ∈ N), so ist die wie folgt
2. Kombinatorik
definierte Zufallsvariable Y P OISSON–verteilt mit
3. Bedingte Wkt
Parameter λ:
4. Klass. Wkt.
(
5. Zufallsvariablen
Y := inf k :
6. Diskrete ZV
k +1
X
)
Yi > 1
∼ Poi(λ).
i=1
7. Charakteristika
8. Exponential
Es gilt also:
9. Normal
10.Transformation
P(Y = i) =
λi −λ
·e
i!
(i = 1, 2, . . .).
754 / 895
Erzeugung einer P OISSON–Verteilten
Zufallsvariable (6)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Beweis: Es gilt:
k
k +1
X
X
P(Y = k) = P(
Yi ≤ 1,
Yi > 1)
i=1
2. Kombinatorik
3. Bedingte Wkt
k
X
= P(
4. Klass. Wkt.
Z
5. Zufallsvariablen
6. Diskrete ZV
k
X
Yi )
i=1
P(Yk +1 > 1 − T |T = t)fT (t) dt
0
Z
1
P(Yk +1 > 1 − t)fT (t) dt
=
0
Z
9. Normal
10.Transformation
Yi ≤ 1, Yk +1 > 1 −
i=1
1
=
7. Charakteristika
8. Exponential
i=1
=
0
1
e−λ(1−t) ·
λk
t k −1 e−λt dt
(k − 1)!
755 / 895
Erzeugung einer P OISSON–Verteilten
Zufallsvariable (7)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
= e
−λ k
Z
λ
0
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
1
t k −1
dt
(k − 1)!
λk
= e−λ ,
k!
P
wobei T = Y (k) = ki=1 Yi Erlang-verteilt ist.
8. Exponential
9. Normal
10.Transformation
756 / 895
Erzeugung einer geometrisch
verteilten Zufallsvariable
Stochastik für
InformatikerInnen
Wolfgang Kössler
Variante 1: Intervallmethode
1. Grundbegriffe
Variante 2: Zur Erzeugung einer geometrisch
2. Kombinatorik
verteilten Zufallsvariablen X ∼ Geo(p) seien
3. Bedingte Wkt
Yi ∼ Bi(1, p) Bernoulli verteilte Zufallsvariablen und
4. Klass. Wkt.
X = min{n : Yn = 1}
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Variante 3: Sei Y ∼ Exp(λ), d.h. F (y) = 1 − e−λy .
8. Exponential
Die Zufallsvariable bY c + 1 ist geometrisch verteilt
9. Normal
mit p = 1 − e−λ .
10.Transformation
757 / 895
Erzeugung einer geometrisch
verteilten Zufallsvariable (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Beweis: Es gilt:
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
P(bY c = k) = P(k ≤ Y < k + 1)
= F (k + 1) − F (k)
= (1 − e−λ(k +1) ) − (1 − e−λk )
= e−λk (1 − e−λ ) = (1 − p)k p
7. Charakteristika
8. Exponential
2
9. Normal
10.Transformation
758 / 895
Inhalt
Stochastik für
InformatikerInnen
16.1 Einführung
Wolfgang Kössler
16.2 Erzeugung von Zufallszahlen
1. Grundbegriffe
16.3 Statistische Tests
2. Kombinatorik
16.4 Test auf Gleichverteilung
3. Bedingte Wkt
16.5 Test auf Unabhängigkeit
4. Klass. Wkt.
16.6 Erzeugung diskreter Zufalsvariablen
5. Zufallsvariablen
16.7 Erzeugung stetiger Verteilungen
6. Diskrete ZV
16.8 Kompositionsmethode
7. Charakteristika
8. Exponential
16.9 Verwerfungsmethode
9. Normal
16.10 Korrelierte Zufallsgrößen
10.Transformation
16.11 Ergänzungen
759 / 895
16.8 Kompositionsmethode
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Sei F eine Linearkombination von mehreren
Verteilungsfunktionen Fi ,
2. Kombinatorik
F =
3. Bedingte Wkt
i Fi ,
i=1
4. Klass. Wkt.
5. Zufallsvariablen
k
X
k
X
i = 1.
i=1
Algorithmus:
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
Erzeuge gleichverteilte Zufallszahl U,
P
Pi
falls U ∈ [ i−1
j=1 j ,
j=1 j simuliere aus Fi .
Es folgen zwei Beispiele.
10.Transformation
760 / 895
Kompositionsmethode (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Kontaminierte Normalverteilung
F (x) = (1 − )Φ
x − µ2 x − µ1 + Φ
σ1
σ2
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
Doppelexponential (Laplace)
X1 ∼ exp(λ)

X1
X =
−X
1
falls U ≤
1
2
falls U >
1
2
9. Normal
10.Transformation
761 / 895
Inhalt
Stochastik für
InformatikerInnen
16.1 Einführung
Wolfgang Kössler
16.2 Erzeugung von Zufallszahlen
1. Grundbegriffe
16.3 Statistische Tests
2. Kombinatorik
16.4 Test auf Gleichverteilung
3. Bedingte Wkt
16.5 Test auf Unabhängigkeit
4. Klass. Wkt.
16.6 Erzeugung diskreter Zufalsvariablen
5. Zufallsvariablen
16.7 Erzeugung stetiger Verteilungen
6. Diskrete ZV
16.8 Kompositionsmethode
7. Charakteristika
8. Exponential
16.9 Verwerfungsmethode
9. Normal
16.10 Korrelierte Zufallsgrößen
10.Transformation
16.11 Ergänzungen
762 / 895
16.9 Verwerfungsmethode
(Accept-Reject Sampling)
Stochastik für
InformatikerInnen
F habe Dichte f , aber die Zufallszahlen seien
Wolfgang Kössler
schwierig direkt zu erzeugen.
1. Grundbegriffe
Erzeugung von Zufallszahlen mit der Dichte g sei
2. Kombinatorik
“leicht”.
3. Bedingte Wkt
M := sup
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
x
f (x)
<∞
g(x)
Algorithmus:
1. Simuliere U ∼ R(0, 1)
2. Simuliere Y ∼ g
8. Exponential
9. Normal
10.Transformation
3. Akzeptiere X = Y , falls U ≤
1 f (Y )
M g(Y )
sonst gehe
nach 1. (neuer Versuch)
763 / 895
Verwerfungsmethode (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
1 f (Y )
P(Y akzeptiert) = P U ≤
M g(Y )
Z 1 f (Y ) =
P U≤
Y = y g(y) dy
M g(Y )
Z
1 f (y)
1
=
· g(y) dy = .
M g(y)
M
7. Charakteristika
(Integration über den Definitionsbereich von Y )
8. Exponential
Im Mittel müssen also M Zufallszahlen Y erzeugt
9. Normal
werden.
10.Transformation
764 / 895
Verwerfungsmethode (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
Die Methode ist korrekt, denn:
Z x
P(Y = y|Y akzept)g(y) dy
P(X ≤ x|Y akzept.) =
−∞
Z x
P(Y akzept,Y=y)
=
g(y) dy
P(Y akzept.)
−∞
1 f (y )
Z P U ≤ M g(y )
=
g(y) dy
P(Y akzept.)
Z x
1 f (y)
= M
g(y) dy
−∞ M g(y)
= F (x).
10.Transformation
765 / 895
Verwerfungsmethode (4)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
1
2
f (x) = √ e−x /2 (Normal)
2π
1 −|x|
e
(Doppelexp)
g(x) =
2
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
r
f (x)
2 −x 2 /2+|x|
sup
= sup
e
π
x g(x)
x
r
2
2
=
sup e(−x +2|x|−1+1)/2
π x
r
r
2 1/2
2 1/2
−(x−1)2
=
e sup e
=
e ≈ 1.315.
π
π
x,x≥0
766 / 895
Verwerfungsmethode (5)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
767 / 895
Inhalt
Stochastik für
InformatikerInnen
16.1 Einführung
Wolfgang Kössler
16.2 Erzeugung von Zufallszahlen
1. Grundbegriffe
16.3 Statistische Tests
2. Kombinatorik
16.4 Test auf Gleichverteilung
3. Bedingte Wkt
16.5 Test auf Unabhängigkeit
4. Klass. Wkt.
16.6 Erzeugung diskreter Zufalsvariablen
5. Zufallsvariablen
16.7 Erzeugung stetiger Verteilungen
6. Diskrete ZV
16.8 Kompositionsmethode
7. Charakteristika
8. Exponential
16.9 Verwerfungsmethode
9. Normal
16.10 Korrelierte Zufallsgrößen
10.Transformation
16.11 Ergänzungen
768 / 895
16.10 Erzeugung von korrelierten
Zufallsgrößen
Stochastik für
InformatikerInnen
Es seien X und Y zwei unabhängige, standardisierte
Wolfgang Kössler
Zufallsgrößen (X , Y ∼ (0, 1)). Wir definieren zwei
1. Grundbegriffe
weitere Zufallsgrößen X ∗ und Y ∗ wie folgt:
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
X ∗ := X
Y ∗ := % · X +
p
1 − %2 · Y
(% ∈ [0, 1])
Beh.: % ist der gewünschte Korrelationskoeffizient
zwischen X ∗ und Y ∗ (s. Abschnitt Korrelation).
7. Charakteristika
8. Exponential
Ist % = 1, dann gilt Y ∗ = X ∗ = X , d.h. die beiden
9. Normal
Zufallsgrößen sind identisch. Wird % = 0 gewählt, so
10.Transformation
sind beide Zufallsvariablen unabhängig.
769 / 895
Inhalt
Stochastik für
InformatikerInnen
16.1 Einführung
Wolfgang Kössler
16.2 Erzeugung von Zufallszahlen
1. Grundbegriffe
16.3 Statistische Tests
2. Kombinatorik
16.4 Test auf Gleichverteilung
3. Bedingte Wkt
16.5 Test auf Unabhängigkeit
4. Klass. Wkt.
16.6 Erzeugung diskreter Zufalsvariablen
5. Zufallsvariablen
16.7 Erzeugung stetiger Verteilungen
6. Diskrete ZV
16.8 Kompositionsmethode
7. Charakteristika
8. Exponential
16.9 Verwerfungsmethode
9. Normal
16.10 Korrelierte Zufallsgrößen
10.Transformation
16.11 Ergänzungen
770 / 895
Das Buffonsche Nadelproblem (1777)
Stochastik für
InformatikerInnen
In der Ebene seien zwei parallele Geraden im
Wolfgang Kössler
Abstand a gezogen.
1. Grundbegriffe
Auf die Ebene wird zufällig eine Nadel der Länge l,
2. Kombinatorik
l ≤ a) geworfen.
3. Bedingte Wkt
Frage: Wie groß ist die Wkt., daß die Nadel eine der
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
Geraden schneidet?
Was heißt Nadel zufällig werfen?
X : Abstand des Nadelmittelpunkts von der
nächstgelegenen Geraden, 0 ≤ X ≤ a2 .
φ: Winkel zwischen Nadel und Geraden, 0 < φ ≤ π.
771 / 895
Das Buffonsche Nadelproblem (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
Nadel zufällig werfen:
a
φ ∼ R(0, π).
X ∼ R(0, ),
2
Wann schneidet die Nadel eine Parallele? gdw.
l
sin φ
gdw.
2
der Punkt (φ, X ) unterhalb des Sinusbogens liegt.
X ≤
Fläche unterhalb des Sinusbogens
Fläche des Rechtecks[0, π]x[0, a2 ]
Rπ l
sin φ dφ
2l
= 0 2 a
=
π·2
πa
P =
772 / 895
Das Buffonsche Nadelproblem (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Insbesondere: a = 2l:
2. Kombinatorik
P=
3. Bedingte Wkt
4. Klass. Wkt.
1
.
π
Schätzung für π:
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
π̂ =
#Würfe
#Treffer
8. Exponential
9. Normal
10.Transformation
773 / 895
Simulation einer Markov’schen Kette
Stochastik für
InformatikerInnen
gegeben: Zustandsraum: S = {1, 2, . . .}
Wolfgang Kössler
Anfangsverteilung: {pj0 }j=1,2... ,
1. Grundbegriffe
Übergangsmatrix:
(p00 = 0)
2. Kombinatorik
3. Bedingte Wkt
pij i=1,2,...
j=1,2,...
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
1. Schritt: Erzeuge eine Pseudozufallszahl U0 . Falls
i−1
X
8. Exponential
9. Normal
10.Transformation
k =0
pk0
≤ U0 <
i
X
pk0
k =0
so starte im Zustand “i”.
774 / 895
Simulation einer Markov’schen Kette
(2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
n-ter Schritt: Im n − 1ten Schritt sei der Zustand “i”
2. Kombinatorik
erreicht worden. Erzeuge eine Pseudozufallszahl Un .
3. Bedingte Wkt
Falls
4. Klass. Wkt.
j−1
X
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
pik ≤ Un <
k=0
j
X
pik
k=0
so gehe in den Zustand “j”.
8. Exponential
9. Normal
10.Transformation
775 / 895
∗
Simulation von auf der Kugel-
oberfläche gleichverteilten Zufallsvariablen
Stochastik für
InformatikerInnen
Wolfgang Kössler
Satz
Seien Xi ∼ N (0, 1), i.i.d.
1. Grundbegriffe
Yi =
2. Kombinatorik
3. Bedingte Wkt
Xi
,
R
wobei
4. Klass. Wkt.
R2 =
5. Zufallsvariablen
i = 1, . . . , n,
und
i = 1, . . . , n,
n
X
Xi2 .
i=1
6. Diskrete ZV
7. Charakteristika
Dann gilt
Yi ∼ R(KnO (0, 1)),
8. Exponential
9. Normal
wobei KnO (0, 1) die Oberläche der n-dimensionalen
10.Transformation
Einheitskugel ist.
776 / 895
∗
Simulation von auf der Kugel-
oberfläche gleichverteilten Zufallsvariablen
Stochastik für
InformatikerInnen
Wolfgang Kössler
Sei Kn−1 (0, 1) die n − 1 dim. Einheitsvollkugel. Wir
betrachten die Transformation
1. Grundbegriffe
2. Kombinatorik
G : Rn−1 × R+ → Kn−1 (0, 1) × R+
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
x2
r
...
xn
yn =
r
r = r
y2 =
10.Transformation
777 / 895
∗
Simulation von auf der Kugel-
oberfläche gleichverteilten Zufallsvariablen
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Diese Abbildung ist injektiv und es gilt für G−1 :
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
x2 = r · y2
...
xn = r · yn
6. Diskrete ZV
7. Charakteristika
r = r
8. Exponential
9. Normal
10.Transformation
778 / 895
∗
Simulation von auf der Kugel-
oberfläche gleichverteilten Zufallsvariablen
Stochastik für
InformatikerInnen
Wolfgang Kössler
Die Jacobi-Matrix ist

1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
r
0 . . . 0 y2





0 r . . . 0 y3 



∂G−1 (y2 , . . . , yn , r ) 

J :=
=
.
.
.


∂(y2 , . . . , yn , r )




0 0 . . . r y n 


0 0 ...0 1
8. Exponential
9. Normal
Also: det J = r n−1 .
10.Transformation
779 / 895
∗
Simulation von auf der Kugel-
oberfläche gleichverteilten Zufallsvariablen
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
Die gemeinsame Dichte von
(Y, R) = (Y1 , Y2 , . . . , Yn , R) ist fY,R (y1 , . . . , yn , r ) =

fX,R (ry1 , G−1 (y2 , . . . , yn , r )) det J, y 2 = 1 − Pn y 2
1
2 j
0
sonst

r 2y2
P

 1 n Qn e− 2 j · r n−1 ,
y 2 = 1 − n−1 y 2
(2π) 2
n
j=1

0,

2
 1 n e− r2 · r n−1
falls yn2 = 1 −

0
sonst
(2π) 2
j=1
j
sonst
Pn−1
j=1
yj2
10.Transformation
780 / 895
∗
Simulation von auf der Kugel-
oberfläche gleichverteilten Zufallsvariablen
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Die Zufallsvektoren (Y1 , . . . , Yn ) und R sind also
unabhängig und wegen
r2
r2
e− 2 · r n−1
r n−1 e− 2 Γ( n2 )
1
=
·
n
n = fχn (r ) ·
n/2
n
−1
(2π)
AKnO (0,1)
2 2 Γ( 2 ) 2π 2
ist
R ∼ χn
mit der Dichte
und Y ∼ R(KnO (0, 1))
1
,
AK O (0,1)
wobei
n
n
8. Exponential
9. Normal
10.Transformation
AKnO (0,1) =
2π 2
Γ( n2 )
die Fläche der n-dimensionalen Einheitskugel ist.
781 / 895
∗
Simulation von auf der Kugel-
oberfläche gleichverteilten Zufallsvariablen
Stochastik für
InformatikerInnen
Wolfgang Kössler
Bem.: Die Fläche der n-dimensionalen
1. Grundbegriffe
Kugeloberfläche ist, vgl. Fichtenholz 3, S.389,
2. Kombinatorik
n
AKnO (0,r )
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
n = 2:
2πr
n = 3:
4πr 2
n = 4:
4π 2 r 3
2π 2
= n r n−1
Γ( 2 )
6. Diskrete ZV
7. Charakteristika
8. Exponential
Γ( 23 ) = 12 Γ( 21 ) =
√
π
2
9. Normal
10.Transformation
782 / 895
17. Markov’sche Ketten
Stochastik für
InformatikerInnen
Wolfgang Kössler
Beispiele
Irrfahrten (auf der Geraden, der Ebene, im Raum)
1. Grundbegriffe
2. Kombinatorik
Ruin des Spielers
3. Bedingte Wkt
Markov Chain Monte Carlo (z.B. Simulated
4. Klass. Wkt.
Annealing)
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Fragestellungen
Rückkehr-, Absorptionswahrscheinlichkeiten
8. Exponential
Erste Rückkehr
9. Normal
Stationäre Verteilungen
10.Transformation
783 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
17.1 Definitionen und einfache
Zusammenhänge
17.2 Klassifikation der Zustände
3. Bedingte Wkt
4. Klass. Wkt.
17.3 Rekurrente und transiente Zustände
5. Zufallsvariablen
17.4 Grenzverteilungen
6. Diskrete ZV
17.5 Klassische Beispiele
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
784 / 895
17.1 Definitionen und einfache
Zusammenhänge
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
{Xt }t∈T : Famile von Zufallsgrößen.
T : total geordnete Menge (mit kleinstem Element t0 ).
T endlich, o.B.d.A. T = {0, 1, 2, . . . , k} oder
3. Bedingte Wkt
4. Klass. Wkt.
T abzählber, o.B.d.A. T ∈ {0, 1, 2, . . .} = N
5. Zufallsvariablen
Wir betrachten ein System, das aus einem
6. Diskrete ZV
Anfangszustand für t = t0 schrittweise übergeht
7. Charakteristika
in Zustände für t = t1 , t = t2 , . . ..
8. Exponential
Menge der Zustände: Zustandsraum S,
9. Normal
S = {1, 2, . . . , m} oder S = N oder S = Z.
10.Transformation
785 / 895
Definitionen (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Für jedes t wird der (aktuelle) Zustand durch eine
Zufallsvariable Xt beschrieben,
P(Xt ∈ S) = 1,
Ft (x) := P(Xt < x)
Eine Familie {Xt }t∈T Zufallsgrößen
heißt M ARKOV’sche Kette, falls gilt:
5. Zufallsvariablen
6. Diskrete ZV
P(Xt+1 = j| Xt = i, Xt−1 = it−1 , . . . , X0 = i0 ) =
(t)
P(Xt+1 = j| Xt = i) =: pij .
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
Die Anfangsverteilung der M ARKOV-Kette
(0)
bezeichnen wir mit pi
= P(X0 = i).
786 / 895
Definitionen (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Bem.: Wir stellen uns also vor, dass wir, beginnend
1. Grundbegriffe
2. Kombinatorik
im Zustand i0 , über die Zustände i1 , . . . , it−1 in den
3. Bedingte Wkt
Zustand i gelangt sind und nun in einen weiteren
4. Klass. Wkt.
Zustand übergehen wollen. Eine Familie von
5. Zufallsvariablen
Zufallsgrößen ist eine M ARKOV’sche Kette, wenn für
6. Diskrete ZV
den Übergang in diesen Zustand nur der unmittelbar
7. Charakteristika
vorangegangene Zustand, also der Zustand i,
8. Exponential
relevant ist. (Markov-Eigenschaft)
9. Normal
10.Transformation
787 / 895
Definitionen (4)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Def. (homogene Markov-Kette)
Eine M ARKOV-Kette heißt homogen, wenn für alle
(t)
3. Bedingte Wkt
i, j ∈ S und für alle t ∈ T gilt, daß pij = pij , d.h.
4. Klass. Wkt.
wenn die Übergangswahrscheinlichkeiten
5. Zufallsvariablen
unabhängig vom jeweiligen Schritt t sind.
6. Diskrete ZV
pij heißt Übergangswahrscheinlichkeit vom Zustand i
7. Charakteristika
in den Zustand j.
8. Exponential
9. Normal
10.Transformation
788 / 895
Definitionen (4)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Die Matrix M = (pij )i,j∈S ,

 p11

 p21

M=
 p
 31

..
.

p12 p13 . . . 

p22 p23 . . . 

,
p32 p33 . . . 


..
..
.
.
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
heißt Übergangsmatrix, falls
pij ≥ 0,
∀i, j ∈ S und
X
pij = 1 ∀i ∈ S,
j∈S
10.Transformation
789 / 895
Definitionen (5)
Stochastik für
InformatikerInnen
Wir werden ausschließlich homogene
Wolfgang Kössler
M ARKOV-Ketten betrachten.
1. Grundbegriffe
Es sei {Xt }t∈T eine solche homogene
2. Kombinatorik
M ARKOV-Kette. Wir definieren:
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
pij (n) := P(Xm+n = j| Xm = i).
Das ist die Wahrscheinlichkeit, daß man nach n
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
Schritten aus dem Zustand i in den Zustand j
gelangt. Da die Kette homogen ist, gilt:
pij (n) = P(Xn = j| X0 = i).
10.Transformation
790 / 895
Einfache Zusammenhänge (1)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Wie kann nun die Matrix für die Wahrscheinlichkeiten
pij (n) aus der Ein–Schritt–Übergangsmatrix“
”
berechnet werden?


 1 , falls i = j; 
pij (0) =
 0 , sonst.

5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
pij (1) = pij
pij (2) = P(X2 = j| X0 = i)
X
=
P(X2 = j, X1 = k| X0 = i)
k ∈S
10.Transformation
791 / 895
Einfache Zusammenhänge (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Wenden die Formel der Totalen Wkt. an,
S
Ai := {X1 = i}, für alle i ∈ S, denn:
Ai = Ω
i∈S
und Ai ∩ Aj = ∅, für alle i, j ∈ S mit i 6= j;
3. Bedingte Wkt
4. Klass. Wkt.
pij (2) =
=
X
P(X2 = j| X1 = k ) · P(X1 = k| X0 = i)
k∈S
7. Charakteristika
8. Exponential
P(X2 = j| X1 = k, X0 = i) · P(X1 = k | X0 = i)
k ∈S
5. Zufallsvariablen
6. Diskrete ZV
X
=
X
pkj · pik = (M2 )ij
k ∈S
9. Normal
10.Transformation
792 / 895
Einfache Zusammenhänge (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Allgemein gilt die
Rekursion von Chapman–Kolmogorov
Mn = Mn
X
pij (n) =
pik (n − m) · pkj (m)
k ∈S
4. Klass. Wkt.
=
5. Zufallsvariablen
pik (n − 1) · pkj ,
(m = 1).
k ∈S
6. Diskrete ZV
7. Charakteristika
X
Folgerung
8. Exponential
9. Normal
10.Transformation
P(Xn = j) =
X
pkj (n) · pk0 .
k
793 / 895
Beispiele
Stochastik für
InformatikerInnen
Wolfgang Kössler
Ein-Prozessorsystem mit einer I/O–Einheit
1. Grundbegriffe
S = {1, 2}
2. Kombinatorik
1: Programmstatus, in dem sich das System
3. Bedingte Wkt
befindet, wenn es ein Programm abarbeitet
4. Klass. Wkt.
(Prozessor aktiv)
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
2: I/O–Status, der dann angenommen wird, wenn die
I/O–Einheit aktiviert wird.
Für jeden Schritt n, den das System macht,
8. Exponential
9. Normal
definieren wir eine Zufallsgröße Xn , Xn = i, i ∈ S.
10.Transformation
794 / 895
Ein-Prozessorsystem (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Xn = 1 =⇒ Xn+1 = 1, mit Wahrscheinlichkeit 1 − p
2. Kombinatorik
Xn = 1 =⇒ Xn+1 = 2, mit Wahrscheinlichkeit p
3. Bedingte Wkt
Xn = 2 =⇒ Xn+1 = 1, mit Wahrscheinlichkeit 1
4. Klass. Wkt.
Xn = 2 =⇒ Xn+1 = 2, mit Wahrscheinlichkeit 0
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
Übergangsmatrix:

M=
1−p p
1

.
0
10.Transformation
795 / 895
Ein-Prozessorsystem (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
(0)
Anfangsverteilung pi
(0)
p1
= P(X0 = i):
= 1, d.h. die erste Aktion ist mit
Wahrscheinlichkeit Eins die Ausführung eines
Programms;
(0)
4. Klass. Wkt.
p2 = 0, d.h. die erste Aktion ist mit
5. Zufallsvariablen
Wahrscheinlichkeit Null die Aktivierung der
6. Diskrete ZV
I/O–Einheit.

7. Charakteristika
8. Exponential
9. Normal

(1 − p)2 + p p(1 − p)

M2 = 
1−p
p
10.Transformation
796 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
17.1 Definitionen und einfache
Zusammenhänge
17.2 Klassifikation der Zustände
3. Bedingte Wkt
4. Klass. Wkt.
17.3 Rekurrente und transiente Zustände
5. Zufallsvariablen
17.4 Grenzverteilungen
6. Diskrete ZV
17.5 Klassische Beispiele
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
797 / 895
17.2 Klassifikation der Zustände
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Def (Erreichbarkeit)
Ein Zustand j heißt vom Zustand i aus erreichbar,
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
wenn es eine Zahl n gibt, so daß gilt: pij (n) > 0.
Bez.: i −→ j.
Def. (Kommunikation)
Zwei Zustände i und j kommunizieren, wenn gilt:
i −→ j und j −→ i. Wir schreiben dann: i ←→ j.
9. Normal
10.Transformation
798 / 895
Klassifikation der Zustände
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Die Relation ←→“ ist eine Äquivalenzrelation:
”
1
Sie ist reflexiv. Es gilt: i ←→ i wegen pii (0) = 1.
2
Sie ist symmetrisch.
3
Sie ist transitiv.
i ←→ j gdw. j ←→ i.
Es gelte i ←→ j und j ←→ k.
D.h. es existieren Zahlen m, n ≥ 0, so daß gilt:
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
pij (m) > 0,
pjk (n) > 0.
Dann folgt aus Chapman–Kolmogorov
X
pik (m + n) =
pil (m) · plk (n)
l∈S
≥ pij (m) · pjk (n) > 0.
799 / 895
Klassifikation der Zustände
Stochastik für
InformatikerInnen
Wolfgang Kössler
Nach m + n Schritten erreicht man folglich vom
1. Grundbegriffe
Zustand i aus den Zustand k. Es gilt also: i −→ k.
2. Kombinatorik
Mit Hilfe der Symmetrieeigenschaft der Relation
3. Bedingte Wkt
4. Klass. Wkt.
←→“, angewendet auf die Voraussetzung, folgt
”
k −→ i.
5. Zufallsvariablen
Folgerung
6. Diskrete ZV
Es sei S der Zustandsraum einer M ARKOV’schen
7. Charakteristika
Kette. Es gibt eine Zerlegung von S in
8. Exponential
9. Normal
Äquivalenzklassen bzgl. der Relation ←→“.
”
10.Transformation
800 / 895
Klassifikation der Zustände
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Die kommunizierenden Zustände lassen sich weiter
unterteilen.
Def. (wesentliche und unwesentliche Zustände)
Gibt es für einen Zustand i einen Zustand j und eine
Zahl n ≥ 0, so daß
4. Klass. Wkt.
5. Zufallsvariablen
pij (n) > 0, aber pji (m) = 0,
∀m ∈ N
6. Diskrete ZV
7. Charakteristika
gilt, so heißt i unwesentlicher oder auch
8. Exponential
vorübergehender Zustand.
9. Normal
Andernfalls heißt i wesentlicher Zustand.
10.Transformation
801 / 895
Klassifikation der Zustände
Beispiel
Stochastik für
InformatikerInnen
Wolfgang Kössler
Wir betrachten den Zustandsraum S = {1, 2, 3, 4}
und eine M ARKOV- Kette mit der Übergangsmatrix
1. Grundbegriffe

2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
0
1
2
1
2


 1 0 0
 2
M=

 0 0 12

0 0 12
0
1
2
1
2
1
2





.



7. Charakteristika
Zustände 1 und 2: unwesentlich. Für den Zustand 1
8. Exponential
existiert der Zustand 3, für den gilt, daß p13 (1) =
9. Normal
ist. Eine Zahl m, für die p31 (m) > 0 ex. nicht.
10.Transformation
Zustände 2 und 4: analog.
1
2
>0
802 / 895
Klassifikation der Zustände
Stochastik für
InformatikerInnen
Wolfgang Kössler
Fortsetzung des Beispiels
Die Zustände 3 und 4 sind dagegen wesentlich.
1. Grundbegriffe
An der Matrix M kann man die Klassen ablesen.
2. Kombinatorik
Die Elemente des Zustandsraumes sind in hier bereits so
3. Bedingte Wkt
sortiert, daß die unwesentlichen Zustände vorn stehen. In
4. Klass. Wkt.
der Matrix stehen in den ersten beiden Spalten im
5. Zufallsvariablen
6. Diskrete ZV
unteren Bereich nur noch Nullen. Sie zeigen an, daß man
7. Charakteristika
aus den durch die Zeilennummern bezeichneten
8. Exponential
Zuständen nicht mehr in die Zustände, die durch die
9. Normal
betreffenden Spaltennummern gekennzeichnet werden,
10.Transformation
zurückkehren kann.
803 / 895
Klassifikation der Zustände
übergangsmatrix, geordnet
Stochastik für
InformatikerInnen
Zustände
unwesentliche
wesentliche
Wolfgang Kössler
S0
S1
...
Sk
0..0
0..0
1. Grundbegriffe
2. Kombinatorik
unwesentlich
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
wesentlich
0..0
0..0
0..0
0..0
0..0
0..0 0..0
Si die Zustandsklassen, in die der Zustandsraum S
bzgl. der Äquivalenzrelation ←→“ zerlegt werden
”
804 / 895
Klassifikation der Zustände
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
S0 ist die Klasse der unwesentlichen Zustände, die
Si (i ≥ 1) sind die Klassen der wesentlichen
2. Kombinatorik
Zustände.
3. Bedingte Wkt
Man sieht, daß Übergänge nur innerhalb einer
4. Klass. Wkt.
Zustandsklasse möglich sind.
5. Zufallsvariablen
6. Diskrete ZV
Def. (absorbierender Zustand)
8. Exponential
Besteht eine Äquivalenzklasse si bzgl. ←→“ nur aus
”
einem einzigen Zustand (si = {ji }), so heißt dieser
9. Normal
Zustand absorbierender Zustand.
7. Charakteristika
10.Transformation
805 / 895
Klassifikation der Markov-Kette
Stochastik für
InformatikerInnen
Wolfgang Kössler
Def. (Irreduzibilität)
Eine M ARKOV’sche Kette heißt irreduzibel oder
1. Grundbegriffe
unzerlegbar, wenn der Zustandsraum S aus genau
2. Kombinatorik
einer Klasse wesentlicher Zustände besteht.
3. Bedingte Wkt
4. Klass. Wkt.
S = {1, 2},
Übergangsmatrix:
5. Zufallsvariablen



M=

M2 = 
1 0
6. Diskrete ZV
7. Charakteristika
1 0
1 0

 = Mn
∀n ≥ 1.
1 0
8. Exponential
9. Normal
{Xt } ist reduzibel!
10.Transformation
Zustand 2 ist unwesentlich.
Zustand 1 ist absorbierend!!
806 / 895
Beispiel einer irreduziblen MK
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Sei S = {1, 2, 3},
Übergangsmatrix:


1
1
 2 2 0 


1
1
1 .
M=
 2 4 4 


0 13 32


1
2

2
3
M2 = M = 
8

1
6
8. Exponential
9. Normal
10.Transformation
pij (2) > 0 ∀i, j ∈ S.
3
8
19
48
11
36
1
8


11 
48 

19
36
{Xt } ist irreduzibel!
Alle Zustände kommunizieren miteinander.
807 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
17.1 Definitionen und einfache
Zusammenhänge
17.2 Klassifikation der Zustände
3. Bedingte Wkt
4. Klass. Wkt.
17.3 Rekurrente und transiente Zustände
5. Zufallsvariablen
17.4 Grenzverteilungen
6. Diskrete ZV
17.5 Klassische Beispiele
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
808 / 895
17.3 Rekurrente und transiente
Zustände
Stochastik für
InformatikerInnen
Sei i fest und
Wolfgang Kössler
fi (n) = P(Xn = i, Xn−1 6= i, . . . , X1 6= i, X0 = i)
1. Grundbegriffe
2. Kombinatorik
die Wahrscheinlichkeit, daß nach n Schritten
3. Bedingte Wkt
erstmalig wieder der Zustand i erreicht wird. Es gilt:
4. Klass. Wkt.
fi (0) = 0 und fi (1) = pii .
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Bk : Ereignis, erstmals nach k Schritten wieder in i.
Bk = {Xk = i, Xν 6= i
∀ν = 1, . . . , k − 1|X0 = i}
8. Exponential
9. Normal
Bn+1 = {System befand sich während der ersten n
10.Transformation
Schritte nie im Zustand i}.
809 / 895
Rekurrente und transiente Zustände
Stochastik für
InformatikerInnen
Wolfgang Kössler
Offenbar
n+1
[
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Bl ∩ Bl 0 = ∅ (l 6= l 0 ).
l=1
Dann gilt
pii (n) = P(Xn = i|X0 = i)
n+1
X
=
P(Xn = i|Bk ) · P(Bk )
7. Charakteristika
8. Exponential
9. Normal
Bl = Ω,
=
k=1
n
X
pii (n − k)fi (k) + P(Xn = i|Bn+1 ) · P(Bn+1 )
k =1
10.Transformation
810 / 895
Rekurrente und transiente Zustände
Stochastik für
InformatikerInnen
Wegen P(Xn = i|Bn+1 ) = 0 folgt
Wolfgang Kössler
1. Grundbegriffe
pii (n) =
n
X
fi (k) · pii (n − k)
(n ≥ 1).
k =1
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
Damit läßt sich fi (k) rekursiv berechnen:
fi (0) = 0,
fi (1) = pii
pii (2) = fi (1) · pii (1) + fi (2) · pii (0)
= pii2 + fi (2)
fi (2) = pii (2) − pii2
usw.
X
pii (2) =
pik pki ≥ pii2 .
k
811 / 895
Rekurrente und transiente Zustände
Stochastik für
InformatikerInnen
Wolfgang Kössler
Wir bezeichnen mit
1. Grundbegriffe
Fi :=
2. Kombinatorik
∞
X
fi (j)
j=1
3. Bedingte Wkt
4. Klass. Wkt.
die Wkt., daß man irgendwann in den Zustand i
5. Zufallsvariablen
zurückkehrt.
6. Diskrete ZV
Def. (rekurrente und transiente Zustände)
Ein Zustand i ∈ S heißt rekurrent, wenn Fi = 1 gilt.
7. Charakteristika
8. Exponential
9. Normal
Ist dagegen Fi < 1, so heißt er transient.
10.Transformation
812 / 895
Rekurrente und transiente Zustände
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Satz
Zustand i rekurrent ⇒ er wird unendlich oft erreicht
3. Bedingte Wkt
4. Klass. Wkt.
mit Wkt. 1.
5. Zufallsvariablen
Zustand i transient ⇒ er kann höchstens endlich oft
6. Diskrete ZV
erreicht werden.
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
813 / 895
Beweis des Satzes (1)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Sei ri (k) die Wkt., dass die MK mindestens k mal
nach i zurückkehrt.
1. Grundbegriffe
2. Kombinatorik
ri (k) =
P(erstmals nach n Schritten zurück)
4. Klass. Wkt.
6. Diskrete ZV
7. Charakteristika
=
∞
X
10.Transformation
ri (k − 1)fi (n)
n=1
= ri (k − 1)
8. Exponential
9. Normal
P(k-1 mal zurück|erstmals nach n Schritten zu
n=1
3. Bedingte Wkt
5. Zufallsvariablen
∞
X
∞
X
fi (n) = ri (k − 1)Fi
n=1
⇒ ri (k) = Fik
814 / 895
Beweis des Satzes (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Ist i rekurrent, also Fi = 1, dann ri (k) = 1 ∀k ∈ N.
1. Grundbegriffe
Sei i transient, d.h. Fi < 1.
2. Kombinatorik
Sei Zi die Anzahl der Besuche in i.
3. Bedingte Wkt
4. Klass. Wkt.
P(Zi = k) = Fik (1 − Fi )
5. Zufallsvariablen
6. Diskrete ZV
geometrische Verteilung mit Parameter (1 − Fi ).
7. Charakteristika
8. Exponential
EZi =
1
<∞
1 − Fi
9. Normal
10.Transformation
815 / 895
Rekurrente und transiente Zustände
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Satz
Ein Zustand i ist genau dann rekurrent, wenn gilt:
∞
P
pii (n) = ∞.
n=0
Er ist genau dann transient, wenn
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
pii (n) < ∞ ist.
n=0
4. Klass. Wkt.
5. Zufallsvariablen
∞
P
Beweis: (für einen anderen Beweis siehe z.B.
Mathar/Pfeifer, Satz 3.2.1)
Erinnerung:
n
X
pii (n) =
fi (k) · pii (n − k)
2
(n ≥ 1)
k =1
Multiplizieren diese Gleichung mit z n und summieren
816 / 895
Beweis des Satzes (1)
Es gilt Pi (z) :=
Stochastik für
InformatikerInnen
Wolfgang Kössler
=
1. Grundbegriffe
2. Kombinatorik
=
5. Zufallsvariablen
6. Diskrete ZV
n=1
∞
X
pii (n)z n
z
n=1
3. Bedingte Wkt
4. Klass. Wkt.
∞
X
=
n
X
n
fi (k) · pii (n − k)
k =1
zfi (1) · pii (1 − 1)
+z 2 fi (1) · pii (2 − 1) + fi (2) · pii (2 − 2)
+z 3 fi (1) · pii (3 − 1) + fi (2) · pii (3 − 2) + fi (3) · pii (3
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
+...
+z n fi (1) · pii (n − 1) + . . . + fi (n) · pii (0)
+...
817 / 895
Beweis des Satzes (2)
Es gilt Pi (z) :=
Stochastik für
InformatikerInnen
Wolfgang Kössler
=
∞
X
ν
zfi (1) 1 +
z pii (ν)
ν=1
1. Grundbegriffe
2. Kombinatorik
∞
X
2
ν
+z fi (2) 1 +
z pii (ν)
ν=1
3. Bedingte Wkt
+...
4. Klass. Wkt.
5. Zufallsvariablen
∞
X
ν
+z fi (n) 1 +
z pii (ν)
n
ν=1
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
+...
∞
X
=
z ν fi (ν) · 1 + Pi (z)
ν=1
= Fi (z) · 1 + Pi (z)
818 / 895
Beweis des Satzes (3)
Stochastik für
InformatikerInnen
wobei
Wolfgang Kössler
Fi (z) :=
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
z ν fi (ν).
ν=1
Die Fkt. Fi (z) und Pi (z) sind analytisch für |z| < 1.
Fi (z)
Pi (z)
, Pi (z) =
Fi (z) =
1 + Pi (z)
1 − Fi (z)
∞
X
lim Fi (z) = Fi (1) = Fi =
fi (ν)
z→1
ν=1
ist die Wkt. für eine Rückkehr nach i. Sei
∞
X
lim Pi (z) = Pi =
pii (n) = ∞
z→1
10.Transformation
∞
X
n=1
819 / 895
Beweis des Satzes (4)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Daraus folgt
Pi (z)
= 1,
z→1 1 + Pi (z)
1. Grundbegriffe
Fi = lim
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
d.h. i ist rekurrent.
Sei umgekehrt Fi = 1. Dann folgt
5. Zufallsvariablen
6. Diskrete ZV
Pi = lim Pi (z) =
z→1
7. Charakteristika
8. Exponential
9. Normal
1
1 − limz→1 Fi (z)
= ∞.
Der zweite Teil des Satzes ist die Kontraposition des
ersten Teils.
10.Transformation
820 / 895
Transiente und rekurrente Zustände
Stochastik für
InformatikerInnen
Wolfgang Kössler
Folgerung
Sei i transient. dann
1. Grundbegriffe
2. Kombinatorik
Fi =
Pi
< 1.
1 + Pi
3. Bedingte Wkt
4. Klass. Wkt.
Diese beiden Aussagen können zum Beweis des
5. Zufallsvariablen
folgenden Lemmas verwendet werden.
6. Diskrete ZV
Lemma
Ist ein Zustand i rekurrent (transient) und
7. Charakteristika
8. Exponential
kommuniziert er mit einem Zustand j (i ←→ j), so ist
9. Normal
10.Transformation
auch der Zustand j rekurrent (transient).
821 / 895
Rekurrente Zustände
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Beweis: 1. Sei i ←→ j. Dann existieren m, k > 0:
pij (k) > 0 und pji (m) > 0. Für alle n ∈ N gilt:
X X
pjj (m + n + k) =
pjk 0 (m)pk 0 l (n) plj (k)
l
3. Bedingte Wkt
=
4. Klass. Wkt.
X
k0
pjl (m + n)plj (k)
l
5. Zufallsvariablen
≥ pji (m)pii (n)pij (k)
(l = i).
6. Diskrete ZV
7. Charakteristika
8. Exponential
Daraus folgt (da i rekurrent)
∞
X
9. Normal
n=1
pjj (m + n + k) ≥ pji (m)pij (k)
∞
X
pii (n) = ∞.
n=1
10.Transformation
822 / 895
Beweis des Satzes (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
2. Sei i ←→ j. und i transient. Ang, j wäre rekurrent,
1. Grundbegriffe
dann wäre nach 1. auch i rekurrent. Wid.
2. Kombinatorik
3. Bedingte Wkt
Folgerung
Eine irreduzible M ARKOV’sche Kette mit endlich
4. Klass. Wkt.
5. Zufallsvariablen
vielen Zuständen hat nur rekurrente Zustände.
6. Diskrete ZV
Beweis: Mindestens ein Zustand muß rekurrent
7. Charakteristika
sein. Da alle Zustände miteinander kommunizieren,
8. Exponential
sind alle Zustände rekurrent.
2
9. Normal
10.Transformation
823 / 895
Beispiel
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Random Walk, eindimensionaler Fall
Der Zustandsraum ist S = Z. Die
Übergangswahrscheinlichkeiten sind
2. Kombinatorik
3. Bedingte Wkt
pi,i+1 := p
4. Klass. Wkt.
pi,i−1 := 1 − p
5. Zufallsvariablen
pij := 0,
6. Diskrete ZV
falls |i − j| =
6 1.
7. Charakteristika
D.h. Übergänge zwischen Zuständen, die einen
8. Exponential
Abstand ungleich Eins zueinander haben, sind nicht
9. Normal
möglich. Die Übergangsmatrix M hat folgende
10.Transformation
Gestalt:
824 / 895
Random Walk, Fortsetzung
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV








M=






7. Charakteristika
8. Exponential
9. Normal
...
...
..
.
0
... 1 − p
..
.
..
.
..
.
p
0
0 ...
0
p
0 ...
0
p ...
...
0
1−p
...
0
..
.
0
..
.
1 − p 0 ...
..
.. . .
.
.
.








.






Offenbar kommunizieren alle Zustände miteinander.
Ist somit ein Zustand rekurrent, so sind es alle. Und
10.Transformation
umgekehrt.
825 / 895
Random Walk, Fortsetzung, 2
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Es genügt also zu untersuchen:
3. Bedingte Wkt
∞
X
4. Klass. Wkt.
n=1
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
p00 (n).
Dazu siehe den Abschnitt Irrfahrten!
P∞
1
n=1 p00 (n) = ∞, wenn p = 2 .
8. Exponential
9. Normal
10.Transformation
826 / 895
Random Walk, Fortsetzung, 3
Stochastik für
InformatikerInnen
Wolfgang Kössler
Random Walk, zwei- und dreidimensionaler Fall
Im zweidimensionalen Fall haben wir in jedem
1. Grundbegriffe
Zustand vier mögliche Übergänge, denen die
2. Kombinatorik
Wahrscheinlichkeiten p1 , p2 , p3 und p4 zugeordnet
3. Bedingte Wkt
werden. Die Zustände sind rekurrent, wenn
4. Klass. Wkt.
5. Zufallsvariablen
p1 = p2 = p3 = p4 =
1
4
gilt.
Im dreidimensionalen Fall sind in jedem Punkt im
6. Diskrete ZV
7. Charakteristika
dreidimensionalen ganzzahligen Gitter sechs
8. Exponential
Übergänge möglich. Auch wenn p1 = . . . = p6 = 61 ,
9. Normal
so sind alle Zustände transient.
10.Transformation
Dazu siehe den Abschnitt Irrfahrten!
827 / 895
Transiente Zustände
Stochastik für
InformatikerInnen
Wolfgang Kössler
Sei jetzt der Zustand i Startzustand (fest) und
1. Grundbegriffe
Y1 = # Schritte bis zur ersten Rückkehr nach i
2. Kombinatorik
Y2 = # Schritte bis zur zweiten Rückkehr
3. Bedingte Wkt
Yk = # Schritte bis zur k-ten Rückkehr
4. Klass. Wkt.
5. Zufallsvariablen
P(Y1 < ∞) = Fi
6. Diskrete ZV
7. Charakteristika
8. Exponential
Y1 = ∞ =⇒ Y2 = ∞, d.h. {Y1 = ∞} ⊆ {Y2 = ∞}
=⇒ P(Y2 < ∞|Y1 < ∞) = Fi
9. Normal
10.Transformation
828 / 895
Transiente Zustände
Stochastik für
InformatikerInnen
Wolfgang Kössler
P(Y2 < ∞) = P(Y2 < ∞|Y1 < ∞) · P(Y1 < ∞)
= Fi2
1. Grundbegriffe
2. Kombinatorik
P(Yk < ∞) = Fik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Sei jetzt Fi < 1. =⇒
∞
∞
X
X
Fi < 1 =⇒
P(Yk < ∞) =
Fik < ∞
6. Diskrete ZV
k =1
k =1
7. Charakteristika
8. Exponential
Folgerung
9. Normal
i transient =⇒ nach unendlich vielen Schritten tritt i
10.Transformation
höchstens endlich oft mit Wkt. 1 ein.
829 / 895
Transiente Zustände
Stochastik für
InformatikerInnen
Wolfgang Kössler
Beweis:
∞
X
1. Grundbegriffe
Nach dem Lemma von Borel-Cantelli gilt
P(Ak ) < ∞ =⇒ P(lim sup An ) = 0.
k=1
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Mit Ak = {Yk < ∞},
Bn =
S
k ≥n
Ak ↓ folgt
0 = P(lim sup An ) = P(lim Bn ) = lim P(Bn ) = P(B)
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
B = {unendlich viele der Ak , k = 1, 2, . . . , treten ein}
B = {endlich viele der Ak , k = 1, 2, . . . , treten ein}
8. Exponential
9. Normal
10.Transformation
P(B) = 1
2
830 / 895
Rekurrente Zustände
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Folgerung
Sei jetzt i rekurrent, d.h. Fi = 1. =⇒ i wird unendlich
oft erreicht.
Für beliebiges k gilt: P(Yk < ∞) = 1.
3. Bedingte Wkt
Beweis:
4. Klass. Wkt.
Y = # der Rückkehren nach i bei unendlich vielen
5. Zufallsvariablen
Schritten.
6. Diskrete ZV
7. Charakteristika
8. Exponential
{Yk < ∞} ⇔ {Y ≥ k}
P(Y = ∞) = lim P(Y ≥ k) = lim P(Yk < ∞) = 1.
k →∞
9. Normal
10.Transformation
k →∞
2
831 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
17.1 Definitionen und einfache
Zusammenhänge
17.2 Klassifikation der Zustände
3. Bedingte Wkt
4. Klass. Wkt.
17.3 Rekurrente und transiente Zustände
5. Zufallsvariablen
17.4 Grenzverteilungen
6. Diskrete ZV
17.5 Klassische Beispiele
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
832 / 895
17.4 Grenzverteilungen
Stochastik für
InformatikerInnen
Wolfgang Kössler
Def. (Periode)
Ein Zustand i heißt periodisch mit der Periode d,
1. Grundbegriffe
falls d größter gemeinsamer Teiler aller der Zahlen
2. Kombinatorik
n ∈ Z+ ist, für die pii (n) > 0 gilt. Ist d = 1, so heißt
3. Bedingte Wkt
der Zustand i aperiodisch. Falls für alle Zahlen
4. Klass. Wkt.
n ∈ Z+ pii (n) = 0 gilt, so setzen wir d := ∞.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Satz
Es sei i ∈ S ein periodischer Zustand mit Periode d.
8. Exponential
Desweiteren kommuniziere er mit einem weiteren
9. Normal
Zustand j (i ←→ j). Dann hat auch der Zustand j die
10.Transformation
Periode d.
833 / 895
Beweis des Satzes (1)
Stochastik für
InformatikerInnen
Sei i periodischer Zustand mit Periode d. Dann
Wolfgang Kössler
lassen sich alle Zahlen k mit pii (k) > 0 durch
1. Grundbegriffe
k = k0 · d, für eine Zahl k0 , darstellen. Da die
2. Kombinatorik
Zustände i und j miteinander kommunizieren,
3. Bedingte Wkt
existieren weitere Zahlen n und m, so daß gilt:
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
pij (n) > 0 und pji (m) > 0.
Nach C HAPMAN –KOLMOGOROV:
X
pii (n + m) =
pil (n) · pli (m)
l∈S
≥ pij (n) · pji (m) > 0
834 / 895
Beweis des Satzes (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Folglich ist d Teiler der Summe n + m.
Es gelte nun pjj (r ) > 0 für ein gewisses r . Dann gilt:
X
pil (n) · pls (r ) · psi (m)
pii (n + m + r ) =
l,s∈S
3. Bedingte Wkt
≥ pij (n) · pjj (r ) · pji (m)
4. Klass. Wkt.
> 0
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
Wir stellen also fest:

d teilt m + n + r 
⇒ d teilt r .
d teilt m + n 
10.Transformation
835 / 895
Beweis des Satzes (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Folglich ist der Zustand j periodisch mit Periode d 0 ,
wobei gilt: d ≤ d 0 .
Da die Relation ←→“ symmetrisch ist, gilt auch:
”
j ←→ i. Mit der gleichen Beweisführung wie oben
5. Zufallsvariablen
können wir dann zeigen, daß gilt: d 0 ≤ d. Daraus
6. Diskrete ZV
folgt: Die Zustände i und j haben die gleiche
7. Charakteristika
Periodenlänge.
8. Exponential
9. Normal
10.Transformation
836 / 895
Mittlere Rückkehrzeit (1)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Es sei nun i ∈ S ein rekurrenter Zustand. Wir
betrachten die folgende Zufallsgröße:


1
2 ... n ...
.
Y :
fi (1) fi (2) . . . fi (n) . . .
mittlere Rückkehrzeit in den Zustand i
5. Zufallsvariablen
6. Diskrete ZV
µi :=
∞
X
n · fi (n) = EY .
n=1
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
Def. (Nullrekurrenz, posive Rekurrenz)
Der Zustand i heißt positiv rekurrent, falls µi < ∞. Ist
µi = ∞, so nennen wir den Zustand i Null–rekurrent.
837 / 895
Mittlere Rückkehrzeit (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Es gilt für einen beliebigen Zustand i (ohne Beweis):
µi < ∞ genau dann, wenn lim pii (n) > 0;
n→∞
µi = ∞ genau dann, wenn lim pii (n) = 0.
n→∞
2. Kombinatorik
Ist der Zustand i positiv rekurrent und
3. Bedingte Wkt
aperiodisch, so gilt:
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
µi =
1
.
lim pii (n)
n→∞
Def. (Ergodische Markov-Kette)
Eine M ARKOV-Kette {Xt }t∈T heißt ergodisch, falls der
Zustandsraum S nur aus positiv–rekurrenten und
aperiodischen Zuständen besteht.
838 / 895
Ergodensatz
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Ergodensatz
Eine homogene M ARKOV-Kette {Xt }t∈T ist genau
dann irreduzibel und ergodisch, wenn für alle
Zustände i ∈ S gilt:
3. Bedingte Wkt
4. Klass. Wkt.
pj := lim pij (n) > 0.
n→∞
5. Zufallsvariablen
6. Diskrete ZV
Außerdem gilt µj =
7. Charakteristika
durch:
1
pj
und {pj } ist eindeutig bestimmt
8. Exponential
9. Normal
pj =
∞
X
pi · pij .
i=1
10.Transformation
839 / 895
Stationäre Verteilung
Stochastik für
InformatikerInnen
Stationäre Verteilung
Wolfgang Kössler
Die Grenzverteilung {pi } heißt stationäre oder
1. Grundbegriffe
Finalverteilung. Die stationäre Verteilung kann also
2. Kombinatorik
nach obiger Gleichung ermittelt werden.




p1
p1








 p2 
 p2 




 . 
 . 
T
 . 
. 
p=
 .  = M ·  . .








 pj 
 pj 




..
..
.
.
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
840 / 895
Stationäre Verteilung (2)
Stochastik für
InformatikerInnen
Also gilt: MT · p = p = λ · p mit λ = 1.
Wolfgang Kössler
Eigenwertgleichung für den Eigenwert 1. Der Vektor
1. Grundbegriffe
p ist Eigenvektor von MT zum Eigenwert 1.
2. Kombinatorik
3. Bedingte Wkt
Bem.: M und MT haben dieselben Eigenwerte.
4. Klass. Wkt.
Folgerung
5. Zufallsvariablen
Sei M die Übergangsmatrix einer M ARKOV’schen
6. Diskrete ZV
7. Charakteristika
Kette mit endlich vielen Zuständen (in der Form, in
der die Äquivalenzklassen ablesbar sind) Dann gilt:
8. Exponential
9. Normal
10.Transformation
Die Vielfachheit des Eigenwertes 1 ist gleich der
Anzahl der rekurrenten Äquivalenzklassen.
841 / 895
Stationäre Verteilung, Beispiel
Stochastik für
InformatikerInnen
Beweis: Jede Teilübergangsmatrix von
Wolfgang Kössler
Äquivalenzklassen hat den einfachen Eigenwert 1
1. Grundbegriffe
(Finalverteilung eindeutig!)
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
2
Wir betrachten eine M ARKOV’sche Kette über
S = {1, 2, 3} mitÜbergangsmatrix


1
1
 2 2 0 


3
1

M=
 4 4 0 .


0 0 1
9. Normal
10.Transformation
Äquivalenzklassen: {1, 2}, {3}.
842 / 895
Stationäre Verteilung, Beispiel
(Fortsetzung)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Wir ermitteln die Eigenwerte:
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
0 = det(M − λ · I)
1
1
−λ
0
2
2
1
= 34
−
λ
0
4
0
1−λ 0
= (1 − λ) · 12 − λ · 41 − λ − 38
9. Normal
10.Transformation
843 / 895
Stationäre Verteilung, Beispiel
(Fortsetz.,2 )
Stochastik für
InformatikerInnen
Der erste Eigenwert: λ1 = 1. Weiter:
Wolfgang Kössler
1. Grundbegriffe
0 =
3. Bedingte Wkt
4. Klass. Wkt.
λ2,3
5. Zufallsvariablen
6. Diskrete ZV
1
8
3
=
8
3
=
8
=
2. Kombinatorik
λ2
1
2
− λ · 14 − λ − 38
3
3
3
1
− λ + λ2 − = λ2 − λ −
4
8
4
r
r4
9
25
16
3
±
+
= ±
64 64
8
64
5
1
+ =1
λ3 = −
8
4
7. Charakteristika
8. Exponential
Also: Eigenwerte: λ1 = λ2 = 1 und λ3 = − 14 . Der
9. Normal
Eigenwert 1 hat folglich die Häufigkeit 2, und somit
10.Transformation
gibt es zwei rekurrente Äquivalenzklassen.
844 / 895
Stationäre Verteilung uniform?
Stochastik für
Folgerung: Falls
InformatikerInnen
X
Wolfgang Kössler
X
pij = 1
j
i
1. Grundbegriffe
pij =
2. Kombinatorik
so sind die stationären Verteilungen einer endlichen
3. Bedingte Wkt
irreduziblen Markoffschen Kette Gleichverteilungen.
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Beweis: Es gilt für die stationäre Verteilung
X
X
(p1 , . . . , pn )
pi pij = pj = pj
pij
i
7. Charakteristika
X
8. Exponential
(pi − pj )pij = 0,
∀j
i
insbesondere
i
9. Normal
X
10.Transformation
i
(pi − pj0 )pij0 = 0,
j0 = min pj
j
845 / 895
Stationäre Verteilung uniform?
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Folgerung
3. Bedingte Wkt
Ist die Übergangsmatrix einer endlichen irreduziblen
4. Klass. Wkt.
Markovschen Kette symmetrisch so sind die
5. Zufallsvariablen
stationären Verteilungen Gleichverteilungen.
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
846 / 895
Ergodensatz
Veranschaulichung von lim pjj (n) = pj =
1
µj
Stochastik für
InformatikerInnen
Wolfgang Kössler
pj : Rückkehrwahrscheinlichkeit in den Zustand j.
1. Grundbegriffe
µj : Erwartete Anzahl der Schritte bis zur Rückkehr
2. Kombinatorik
3. Bedingte Wkt
nach j
Y : Anzahl der Schritte bis zur Rückkehr nach j,
4. Klass. Wkt.
5. Zufallsvariablen
Y ∼ Geo(pj )
6. Diskrete ZV
7. Charakteristika
8. Exponential
µj = EY =
1
pj
9. Normal
10.Transformation
847 / 895
Ergodensatz, Beispiel
Stochastik für
InformatikerInnen
Wolfgang Kössler
Ein-Prozessorsystem mit mehreren E/A-Einheiten.
Ein Programm, das sich in der CPU befindet, geht
1. Grundbegriffe
mit Wkt. qi in die I/O-Einheit i über, oder endet (mit
2. Kombinatorik
Wkt. q0 ) und macht Platz für ein neues Programm in
3. Bedingte Wkt
der CPU.
4. Klass. Wkt.

5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
M=

q0 q1 . . . qm 


1 0 ... 0 




 ..





1 0 ... 0
10.Transformation
848 / 895
Ergodensatz, Beispiel (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Ein-Prozessorsystem (Fortsetzung)
1. Grundbegriffe

2
q0
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
M2 = M2 =







+
Pm
i=1
q0
..
q0

qi q0 q1 . . . q0 qm 

q1 . . . qm 





q1 . . . qm
7. Charakteristika
8. Exponential
also pij (2) > 0 ∀i, j =⇒ {Xt } irreduzibel.
9. Normal
10.Transformation
849 / 895
Ein-Prozessorsystem
Stationäre Verteilung
Stochastik für
InformatikerInnen
Wolfgang Kössler
Ein-Prozessorsystem (Fortsetzung, 2)
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika

Pm



π0 q0 + i=1 πi   π0 

  
  π1 

π
q
0
1

  
(π0 , π1 , . . . , πm ) · M = 
= 
  .. 

..
  

  

πm
π0 qm
8. Exponential
9. Normal
10.Transformation
850 / 895
Ein-Prozessorsystem
Stationäre Verteilung
Stochastik für
InformatikerInnen
Wolfgang Kössler
q0 π0 + 1 − π0 = π0
2π0 − q0 π0 = 1
1. Grundbegriffe
2. Kombinatorik
π0 (2 − q0 ) = 1
3. Bedingte Wkt
π0 =
4. Klass. Wkt.
1
2 − q0
5. Zufallsvariablen
πi = π0 qi =
6. Diskrete ZV
qi
,
2 − q0
i = 1, . . . , m
7. Charakteristika
8. Exponential
m
X
9. Normal
i=0
m
X qi
1
1 − q0
1
πi =
+
=
+
= 1.
2 − q0
2 − q0
2 − q0 2 − q0
i=1
10.Transformation
851 / 895
Multiprozessorsystem
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Multiprozessorsystem
Ein “Job” (oder ein Prozessor) greift zufällig auf
bestimmte Speichermodule zu.
Er wird bedient, wenn der angeforderte
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
Speichermodul frei ist, sonst muß er warten.
Die Zeit für einen Speicherzugriff sei konstant und
für alle Speichermodule gleich.
Neue Anforderungen beginnen sofort nach
Abarbeitung der alten.
m “Jobs”, n Speichermodule.
10.Transformation
852 / 895
Multiprozessorsystem
Stochastik für
InformatikerInnen
Wolfgang Kössler
Multiprozessorsystem (2)
Ni : Anzahl der “Jobs” (Wartenden) am
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Speichermodul Mi (Bedienplätze) (wartend oder
in Arbeit), i = 1, . . . , n
4. Klass. Wkt.
Zustandsraum
5. Zufallsvariablen
S = {(N1 , N2 , . . . , Nn ) ∈ Z+ :
P
i
Ni = m}
6. Diskrete ZV
7. Charakteristika
Bsp.: m = n = 2: S = {(1, 1), (0, 2), (2, 0)}
8. Exponential
q1 : Wkt., 1. Speichermodul wird angefordert
9. Normal
q2 : Wkt., 2. Speichermodul wird angefordert
10.Transformation
853 / 895
Multiprozessorsystem (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
Übergangsmatrix


2
2
2q1 q2 q2 q1 



M=
q
q
0
2
 1



q2
0 q1
Stationäre Verteilung
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
πM

 = π
2
2
2q1 q2 q2 q1 


(π1 , π2 , π3 ) 
q2 0 
 q1
 = (π1 , π2 , π3 )


q2
0 q1
854 / 895
Multiprozessorsystem (4)
Stationäre Verteilung (Fortsetz.)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
π1 · 2q1 q2 + π2 q1 + π3 q2 = π1
π1 · q22 + π2 · q2 + π3 · 0 = π2
π1 · q12 + π2 · 0 + π3 · q1 = π3
π1 + π2 + π3 = 1
4. Klass. Wkt.
5. Zufallsvariablen
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
π1 · q22 = π2 (1 − q2 )
π1 · q12 = π3 (1 − q1 )
1
π1 =
q12
1 + 1−q1 +
q22
· π1
1 − q2
q12
π3 =
· π1
q1 q1
2 − q1
=
1 − 2q1 q2
π2 =
6. Diskrete ZV
q22
1−q2
855 / 895
Multiprozessorsystem (5)
Stochastik für
InformatikerInnen
Wolfgang Kössler
X : # erledigten Speicherplatz-Anforderungen pro
Zyklus im stationären Zustand:
1. Grundbegriffe
E(X |(1, 1)) = 2
2. Kombinatorik
3. Bedingte Wkt
E(X |(2, 0)) = 1
4. Klass. Wkt.
E(X |(0, 2)) = 1
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
EX = 2 · π1 + 1 · π2 + 1 · π3
q12
q22 1 − q1 q2
= 2+
+
π1 =
1 − q1 1 − q2
1 − 2q1 q2
q1 = q2 = 21 :
EX = 32 .
maximal möglicher Wert.
856 / 895
Betriebssystem
in verschiedenen Zuständen
Stochastik für
Das Betriebssystem schalte zwischen den Zuständen:
InformatikerInnen
Wolfgang Kössler
1:
Benutzerprogramm aktiv
1. Grundbegriffe
2:
Scheduler aktiv
3:
Operatorkommunikation aktiv
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
4:
Nullprozess

0.90 0.04


0.94 0.00

M=

0.85 0.10

0.75 0.00
0.05
0.05
0.04
0.05

0.01


0.01



0.01

0.20
π ist stationäre Verteilung. (ÜA)


0.897




0.041


π=



 0.05 


0.012
857 / 895
Inhalt
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
17.1 Definitionen und einfache
Zusammenhänge
17.2 Klassifikation der Zustände
3. Bedingte Wkt
4. Klass. Wkt.
17.3 Rekurrente und transiente Zustände
5. Zufallsvariablen
17.4 Grenzverteilungen
6. Diskrete ZV
17.5 Klassische Beispiele
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
858 / 895
17.5 Klassische Beispiele
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
Ruin des Spielers
Zwei Spieler werfen abwechselnd eine (nicht
manipulierte) Münze. Fällt Kopf, so erhält Spieler A
den vereinbarten Einsatz (1 Euro) von Spieler B,
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
anderenfalls erhält Spieler B denselben Einsatz von
Spieler A. Zu Beginn des Spieles besitzt A a Euro
7. Charakteristika
und B b Euro. Das Spiel wird solange fortgesetzt, bis
8. Exponential
einer der beiden Spieler kein Geld mehr besitzt.
9. Normal
10.Transformation
859 / 895
Ruin des Spielers (Fortsetzung)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Zustände: S = {0, 1, . . . , N},

1 0 0 0 ···

1
 2 0 12 0 · · ·


0 1 0 1 · · ·

2
2
M=
..



0 0 0 0 · · ·

0 0 0 0 ···
N = a + b.
0
0
0
0
0
···
0



· · · 0


· · · 0





1
1

0
2
2
··· 1
8. Exponential
9. Normal
Frage: Wie groß ist die Wahrscheinlichkeit des Ruins
10.Transformation
von Spieler A bzw. B?
860 / 895
Ruin des Spielers (Fortsetzung, 2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
Sei Ei das Ereignis, daß ein Spieler, der genau i
Euro besitzt, ruiniert wird und sei pi = P(Ei ).
1.
2. Kombinatorik
1
2
und offenbar ist p0 = 1 und pN = 0.
pi,i+1 = pi,i−1 =
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
Die Übergangswktn. sind
2.
Satz der totalen Wkt.: Es gilt für alle
i, i = 0, . . . , N:
pi = P(Ei ) = P(Ei |Übergang nach i-1) · pi,i−1 +
P(Ei | Übergang nach i+1) · pi,i−1
861 / 895
Ruin des Spielers (Fortsetzung, 3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
1
1
pi−1 + pi+1
2
2
= pi+1 − pi =: d
pi − pi−1
pi − p0 = pi − pi−1 + pi−1 − pi−2 +pi−2 − + · · · − p1
| {z } | {z }
=d
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
2pi = pi−1 + pi+1
pi =
=d
+ p1 − p0
| {z }
=d
pi − 1 = i · d
pi = 1 + i · d,
insbesondere
8. Exponential
9. Normal
10.Transformation
pN = 1 + N · d
1
d = − , N =a+b
N
862 / 895
Ruin des Spielers (Fortsetzung, 4)
Stochastik für
InformatikerInnen
3.
a+b−i
1
=
a+b
a+b
b
a
pa =
, pb =
a+b
a+b
Wolfgang Kössler
pi = 1 − i ·
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
4.
a = b : pa = pb =
1
2
a >> b : pa ≈ 0, pb ≈ 1.
6. Diskrete ZV
7. Charakteristika
3 Klassen von Zuständen:
8. Exponential
T = {1, . . . , N − 1}: transiente Zustände
9. Normal
S1 = {0}, S2 = {N}: absorbierende Zustände
10.Transformation
T c := S1 ∪ S2
863 / 895
Ruin des Spielers (Fortsetzung, 5)
Stochastik für
InformatikerInnen
Wolfgang Kössler
Umordnung von M:
1. Grundbegriffe


2. Kombinatorik
M∗ = 

Q R
0 P
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Q = (pij ; i, j ∈ T }
P = (pij ; i, j ∈ T c }
6. Diskrete ZV
R = (pik ; i ∈ T , k ∈ T c }
7. Charakteristika
Übergang von i ∈ T nach k ∈ T c einschrittig oder
8. Exponential
nach Übergängen innerhalb von T und
9. Normal
anschließendem Übergang von T nach k.
10.Transformation
864 / 895
Ruin des Spielers (Fortsetzung, 6)
Stochastik für
InformatikerInnen
Wolfgang Kössler
uik : Wkt. von i ∈ T (irgendwann) nach k ∈ T c zu
kommen
1. Grundbegriffe
uik =
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
X
Qij ujk + pik ,
Qij = pij
j∈T
U = Uik
i∈T ,k ∈T c
5. Zufallsvariablen
U = QU + R,
6. Diskrete ZV
U = (I − Q)−1 R
Rekursionsformel
7. Charakteristika
8. Exponential
Die Matrix (I − Q)−1 existiert, falls T endlich!
9. Normal
Lit.: Resnick, S.I. Adventures in Stochastic
10.Transformation
Processes, Birkhäuser 1992.
865 / 895
Ruin des Spielers (Fortsetzung, 7)
Stochastik für
InformatikerInnen
Wolfgang Kössler
hier:
(I − Q)U = R
1. Grundbegriffe
2. Kombinatorik

3. Bedingte Wkt

 1
−
 2

 0


 ..





4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
1
− 12
0
···
0
1
− 21
···
0
− 21
1
···
0
− 12
1
0
− 21
0

u10



0 
  u20


0 
  u30

  ..



− 21  uN−2,0

uN−1,0
1
u1N


1
2

 

u2N 
 0
 

u3N 
 0
=
  ..
 
 
 
uN−2,N   0
 
uN−1,N
0
0



0


0






0

1
2
9. Normal
10.Transformation
866 / 895
Ruin des Spielers (Fortsetzung, 8)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
u1,0
− 12 u2,0
− 12 u1,0
+u2,0
− 12 u3,0
− 21 u2,0
+u3,0
=
1
2
= 0
− 12 u4,0
= 0
+uN−2,0
− 12 uN−1,0 = 0
− 12 uN−2,0
+uN−1,0
..
6. Diskrete ZV
7. Charakteristika
8. Exponential
− 12 uN−3,0
= 0
9. Normal
10.Transformation
867 / 895
Ruin des Spielers (Fortsetzung, 9)
Stochastik für
InformatikerInnen
N − 1. Gleichung (1. U-Spalte)
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
uN−1,0 =
1
uN−2,0
2
N − 2. Gleichung (1. U-Spalte)
1
1
− uN−3,0 + uN−2,0 − uN−1,0 = 0
2
2
1
1
uN−2,0 − uN−2,0 =
uN−3,0
4
2
3
1
uN−2,0 =
uN−3,0
4
2
2
uN−2,0 =
uN−3,0
3
868 / 895
Ruin des Spielers (Fortsetzung, 10)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
N − 3. Gleichung (1. U-Spalte)
1
1
− uN−4,0 + uN−3,0 − uN−2,0 = 0
2
2
1
1
uN−4,0
uN−3,0 − uN−3,0 =
3
2
2
1
uN−3,0 =
uN−4,0
3
2
3
uN−3,0 =
uN−4,0
4
N − i. Gleichung (1. U-Spalte)
8. Exponential
9. Normal
10.Transformation
uN−i,0 =
i
uN−(i+1),0 ,
i +1
i = 1, . . . , N − 2
869 / 895
Ruin des Spielers (Fortsetzung, 11)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
1. Gleichung:
1
1
u1,0 − u2,0 =
2
2
2. Kombinatorik
3. Bedingte Wkt
Da
4. Klass. Wkt.
5. Zufallsvariablen
u2,0 = uN−(N−2),0 =
6. Diskrete ZV
7. Charakteristika
N −2
N −2
uN−(N−1),0 =
u1,0
N −1
N −1
folgt
8. Exponential
9. Normal
10.Transformation
870 / 895
Ruin des Spielers (Fortsetzung, 12)
Stochastik für
InformatikerInnen
1N −2
1
u1,0 =
2N −1
2
1
N −2
=
u1,0 (1 −
2(N − 1)
2
1
N
=
u1,0
2(N − 1)
2
Wolfgang Kössler
u1,0 −
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
u2,0
9. Normal
10.Transformation
N −1
1
=1−
N
N
N −2
N −2 N −1
N −2
2
=
u1,0 =
·
=
=1−
N −1
N −1
N
N
N
i
N −i
= 1 − , i = 1, 2, . . . , N − 1.
=
N
N
871 / 895
u1,0 =
uN−i,0
Irrfahrten
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Irrfahrt auf der Geraden
Zustände: k ∈ Z, Anfangszustand: 0
Bewegung: ein Schritt nach rechts mit Wkt. p oder
nach links mit Wkt. q = 1 − p
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
pk ,k +1 = p = 1 − pk ,k −1 ;
pij = 0, falls|i − j| =
6 1


.
.
.
.






0 q 0 p 0


M=



0
q
0
p
0




. . .
872 / 895
Irrfahrten, Fortsetzung, 1
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
An,k : Ereignis, nach n Schritten im Zustand k zu sein
Dn,k := P(An,k )
Satz der totalen Wkt.:
Dn,k = P(An,k )
= P(An,k |An−1,k −1 ) · P(An−1,k−1 ) +
P(An,k |An−1,k +1 ) · P(An−1,k+1 )
6. Diskrete ZV
7. Charakteristika
Ωn−1 = An−1,k −1 ∪ An−1,k +1
= pDn−1,k −1 + qDn−1,k +1
8. Exponential
9. Normal
k = −n, . . . , n
10.Transformation
873 / 895
Irrfahrten, Fortsetzung, 2
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Explizite Formel:

n+k n−k
n
 n+k
p 2 q 2
2
Dn,k =
0
falls k = −n, −n + 2, . . . , n
sonst
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
874 / 895
Irrfahrten, Fortsetzung, 3
Stochastik für
InformatikerInnen
In den Zustand k gelangt man in genau n Schritten,
Wolfgang Kössler
indem man
1. Grundbegriffe
links geht.
2. Kombinatorik
Es gibt genau
3. Bedingte Wkt
n+k
2
mal nach rechts und
n
n+k
2
n−k
2
mal nach
Möglichkeiten die Zeitpunkte für
einen Schritt nach rechts auszuwählen.
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
Insbesondere
D2n,0 =
2n n n
p q .
n
Abschätzung: Stirling’sche Formel
√
n n 1
e 12n .
n! ∼ 2πn
e
10.Transformation
875 / 895
Irrfahrten, Fortsetzung, 4
Stochastik für
InformatikerInnen
Wolfgang Kössler
Damit
1. Grundbegriffe
2n
n
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
(2n)!
n!n!
√
2n
1
2π2n 2n
e 12·2n
e
∼ √
n 2
1 2
2πn en
(e 12n
3
1
= √ 22n e− 4n
πn
=
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
p=q=
1
:
2
p 6= q :
3
1
D2n,0 ∼ √ e− 4n
πn
3
1
D2n,0 ∼ √ 4n pn (1 − p)n e− 4 n .
πn
876 / 895
Irrfahrten, Fortsetzung, 5
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Mittlere Rückkehrhäufigkeit:
P
∞
 ∞ √1 = ∞
X
n=1 πn
D2n,0 ∼ P
n
 ∞ (4p(1−p))
√
<∞
n=1
n=1
πn
(p = 12 )
(p 6= 12 )
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
877 / 895
Irrfahrten, Fortsetzung, 6
Stochastik für
InformatikerInnen
Wolfgang Kössler
Der Zustand “0” (und die anderen Zustände auch) ist
1. Grundbegriffe
2. Kombinatorik
also
1
2
3. Bedingte Wkt
rekurrent,
falls p = q =
4. Klass. Wkt.
transient,
falls p 6= q
5. Zufallsvariablen
nullrekurrent, falls p = q =
1
2
da D2n,0 →n→∞ 0.
6. Diskrete ZV
7. Charakteristika
D2n,0 = p00 (n) → 0 ⇒ µi = ∞
8. Exponential
9. Normal
10.Transformation
878 / 895
Irrfahrten
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
symmetrische Irrfahrt in der Ebene
Zustände: (k, l) ∈ Z2 , Anfangszustand: (0, 0)
Bewegung: Punkt (X , Y )
X : ein Schritt nach rechts mit Wkt. p =
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
links mit Wkt. q =
1
2
oder nach
1
2
Y : ein Schritt nach oben mit Wkt. p oder nach unten
mit Wkt. q =
1
2
7. Charakteristika
Die Zufallsvariablen X und Y sind unabhängig.
8. Exponential
Bn,k : Ereignis, nach n Schritten im Zustand k zu sein
9. Normal
En,k := P(Bn,k )
10.Transformation
879 / 895
symmetrische Irrfahrt in der Ebene
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
1
2
E2n,0 = P(X2n,0 = 0 ∧ Y2n,0 = 0) = D2n,0
∼ ( √ )2
πn
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
∞
X
∞
E2n,0
n=1
1
π
1X1
=∞
∼
π
n
n=1
N
X
n=1
ln N
1
∼
→N→∞ ∞.
n
π
8. Exponential
9. Normal
Der Zustand “0” (und die anderen Zustände auch) ist
10.Transformation
also rekurrent,
falls p = q =
1
2
880 / 895
Irrfahrten
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
symmetrische Irrfahrt im Raum
Zustände: (j, k, l) ∈ Z3 , Anfangszustand: (0, 0, 0)
Bewegung: Punkt (X , Y , Z )
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
X : ein Schritt nach rechts mit Wkt. p =
1
2
oder nach
links mit Wkt. q = 1 − p
Y : ein Schritt nach oben mit Wkt. p oder nach unten
mit Wkt. q = 1 − p
Z : ein Schritt nach hinten mit Wkt. p oder nach vorn
mit Wkt. q = 1 − p
Die Zufallsvariablen X , Y und Z sind unabhängig.
10.Transformation
881 / 895
Irrfahrten im Raum
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
Cn,k : Ereignis, nach n Schritten im Zustand k.
Fn,k := P(Cn,k )
3
F2n,0 = P(X2n,0 = 0, Y2n,0 = 0, Z2n,0 = 0) = D2n,0
1
∼ ( √ )3
πn
∞
∞
X
1 X 1
F2n,0 ∼
<∞
(π)3/2
n3/2
n=0
n=0
8. Exponential
Der Zustand “0” (und die anderen Zustände auch) ist
9. Normal
also transient.
10.Transformation
882 / 895
Irrfahrten mit Barriere
Stochastik für
InformatikerInnen
Wolfgang Kössler
Irrfahrt auf der Geraden mit Barriere
Zustände: k ∈ N, Anfangszustand: 0
1. Grundbegriffe
Bewegung: ein Schritt nach rechts mit Wkt. p oder
2. Kombinatorik
nach links mit Wkt. q = 1 − p
3. Bedingte Wkt
von k = 0 aus geht es nur nach rechts
4. Klass. Wkt.
5. Zufallsvariablen
0 < p, q < 1.
Übergangswktn.:
6. Diskrete ZV
7. Charakteristika
pk ,k +1 = p = 1 − pk ,k −1
8. Exponential
9. Normal
10.Transformation
pij = 0,
falls |i − j| =
6 1
und k 6= 0
p01 = 1
883 / 895
Irrfahrt mit Barriere
Stochastik für
InformatikerInnen

Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen





M=





0 1 0 0




q 0 p 0



0 q 0 p 0



. . . 

. . .
6. Diskrete ZV
7. Charakteristika
alle Zustände transient, wenn p > q
8. Exponential
alle Zustände nullrekurrent, wenn p = q =
9. Normal
alle Zustände positiv rekurrent, falls q > p.
10.Transformation
Alle Zustände haben die Periode 2.
1
2
884 / 895
Irrfahrt mit Barriere
Stochastik für
InformatikerInnen
Die ersten beiden Fälle sind analog zur Irrfahrt ohne
Wolfgang Kössler
Barriere. Der dritte Fall erfordert etwas
1. Grundbegriffe
Rechenaufwand.
2. Kombinatorik
3. Bedingte Wkt
Stationäre Verteilung π im Fall p < q:
Sie ist (falls sie ex.) Lösung von
4. Klass. Wkt.
5. Zufallsvariablen
MT · π = π
6. Diskrete ZV
7. Charakteristika
8. Exponential
9. Normal
10.Transformation
π0 = qπ1
π1 = π0 + qπ2
πi = pπi−1 + qπi+1 ,
i ≥2
885 / 895
Irrfahrt mit Barriere
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
1=
2. Kombinatorik
∞
X
πj
j=1
3. Bedingte Wkt
4. Klass. Wkt.
Behauptung:
5. Zufallsvariablen
6. Diskrete ZV
πi =
pi−1
π0 ,
qi
i ≥1
7. Charakteristika
8. Exponential
Beweis: vollständige Induktion.
9. Normal
10.Transformation
886 / 895
Irrfahrt mit Barriere
Stationäre Verteilung
Stochastik für
InformatikerInnen
Wolfgang Kössler
1 =
1. Grundbegriffe
∞
X
πi = π0 +
i=0
2. Kombinatorik
3. Bedingte Wkt
= π0 +
4. Klass. Wkt.
5. Zufallsvariablen
= π0 +
6. Diskrete ZV
7. Charakteristika
10.Transformation
i=1
∞
1 X pi
q
i=0
qi
qi
π0
π0 = π0 +
1 1
π0
q 1 − qp
1
π0
q−p
π0 =
q−p
1
=
1
q−p+1
1 + q−p
πi =
pi−1
q−p
·
i
q
q−p+1
8. Exponential
9. Normal
∞
X
pi−1
887 / 895
18. Zusammenfassung
Grundlagen
Stochastik für
InformatikerInnen
Wahrscheinlichkeitsbegriff
Wolfgang Kössler
Rechnen mit Wahrscheinlichkeiten
1. Grundbegriffe
Einfache kombinatorische Formeln
2. Kombinatorik
3. Bedingte Wkt
Stirling-Formel
4. Klass. Wkt.
Bedingte Wahrscheinlichkeiten, Unabhängigkeit
5. Zufallsvariablen
Satz der Totalen Wahrscheinlichkeit
6. Diskrete ZV
Satz von Bayes
7. Charakteristika
Verteilungsfunktion, Eigenschaften
8. Exponential
9. Normal
10.Transformation
Erwartungwert, Varianz, Rechnen mit
Erwartungwert, Varianz
888 / 895
Zusammenfassung (2)
Wahrscheinlichkeitsmodelle und Transformationen
Stochastik für
InformatikerInnen
Diskrete Gleichverteilung
Wolfgang Kössler
Binomialverteilung
1. Grundbegriffe
Poisson-Verteilung
2. Kombinatorik
3. Bedingte Wkt
Geometrische Verteilung
4. Klass. Wkt.
Gleichverteilung
5. Zufallsvariablen
Exponentialverteilung, Anwendungen
6. Diskrete ZV
Normalverteilung, Eigenschaften
7. Charakteristika
Transformationssatz für eindimensionale
8. Exponential
9. Normal
10.Transformation
Zufallsvariablen
Faltungsformel
889 / 895
Zusammenfassung (3)
Mehrdimensionale Verteilungen und Grenzwertsätze
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
2. Kombinatorik
Zweidimensionale Zufallsvariablen
Unabhängigkeit und Korrelation, Berechnung
von Korrelationskoeffizienten für diskrete und für
stetige Zufallsvariablen
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Markov-Ungleichung,
Tschebyschev-Ungleichung,
6. Diskrete ZV
Jensen-Ungleichung
7. Charakteristika
Gesetz der Großen Zahlen
8. Exponential
Empirische Verteilungsfunktion
9. Normal
Satz von Glivenko-Cantelli
10.Transformation
Zentraler Grenzwertsatz
890 / 895
Zusammenfassung (4)
Schätzmethoden und Zufallszahlen
Stochastik für
InformatikerInnen
Wolfgang Kössler
Schätzmethoden (Momentenschätzung,
1. Grundbegriffe
2. Kombinatorik
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
Maximum-Likelihood-Methode)
Erzeugung und Eigenschaften von Zufallszahlen
Statistische Tests von Zufallszahlen
Methoden zur Erzeugung spezieller
6. Diskrete ZV
7. Charakteristika
8. Exponential
Verteilungen, Berechnung der inversen
Verteilungsfunktion
9. Normal
10.Transformation
891 / 895
Zusammenfassung (5)
Markov-Ketten
Stochastik für
InformatikerInnen
Wolfgang Kössler
Begriff der Markov’schen Kette, Eigenschaften
1. Grundbegriffe
Klassifikation der Zustände (Kommunikation,
2. Kombinatorik
wesentliche, unwesentliche Zustände,
3. Bedingte Wkt
Periodizität)
4. Klass. Wkt.
Positiv rekurrente, nullrekurrente und transiente
5. Zufallsvariablen
6. Diskrete ZV
Zustände, mittlere Rückkehrzeit
7. Charakteristika
Ergodensatz, stationäre Verteilung, Berechnung
8. Exponential
stationärer Verteilungen
9. Normal
Irrfahrten
10.Transformation
892 / 895
Zusammenfassung (6)
Übungsaufgaben
Stochastik für
InformatikerInnen
10, 11 (Satz der Totalen Wkt., Satz von Bayes)
Wolfgang Kössler
8, 9 (Binomialverteilung)
1. Grundbegriffe
12 (Poisson-, Binomialverteilung, Satz der
2. Kombinatorik
3. Bedingte Wkt
Totalen Wkt.)
4. Klass. Wkt.
15 (Berechnen der Dichtefunktion, Berechnen
5. Zufallsvariablen
von Wktn.)
6. Diskrete ZV
16 (Geometrische Verteilung)
7. Charakteristika
8. Exponential
17, 18 (Rechnen mit Erwartungswert und
Varianz)
9. Normal
10.Transformation
21 (Rechnen mit Wktn., Exponentialverteilung)
893 / 895
Zusammenfassung (7)
Übungsaufgaben (2)
Stochastik für
InformatikerInnen
Wolfgang Kössler
20 (Normalverteilung)
1. Grundbegriffe
22, 24a,b,c, 25 (Transformationsformel)
2. Kombinatorik
23 (Geometrische Verteilung, Rechnen mit
3. Bedingte Wkt
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
Wktn.)
26 (Faltung)
28 (Berechnen von Erwartungswerten)
7. Charakteristika
8. Exponential
9. Normal
30 (Eine Formel, die die Berechnung des
Erwartungswertes manchmal erleichtert)
10.Transformation
894 / 895
Zusammenfassung (8)
Übungsaufgaben (3)
Stochastik für
InformatikerInnen
Wolfgang Kössler
1. Grundbegriffe
28,31,34 (Zweidimensionale Zufallsvariablen,
2. Kombinatorik
Berechnung von Korrelationskoeffizienten)
3. Bedingte Wkt
34a (Transformationsformel)
4. Klass. Wkt.
5. Zufallsvariablen
6. Diskrete ZV
7. Charakteristika
31,32, 42 (Berechnen von Kovarianzen und
Korrelationen)
37 (Randverteilungen)
8. Exponential
9. Normal
10.Transformation
895 / 895
Zusammenfassung (9)
Übungsaufgaben (4)
Stochastik für
InformatikerInnen
Wolfgang Kössler
35,36 (Zentraler Grenzwertsatz,
1. Grundbegriffe
Tschebyschev-Ungleichung)
2. Kombinatorik
3. Bedingte Wkt
37,38 (Momentenschätzung, ML-Schätzung)
4. Klass. Wkt.
40,41 (Zufallszahlen, Anwendung der
5. Zufallsvariablen
Transformationsformel)
6. Diskrete ZV
7. Charakteristika
8. Exponential
41 (Dichte, Zufallszahlen, Akzeptanzmethode)
42, 43, 44 (Markov-Ketten)
9. Normal
10.Transformation
896 / 895

Zugehörige Unterlagen

Weitere Eigenschaften und Anwendungen diskreter Zufallsvariablen

Anwendung zentraler GV

Leistungskurs Mathematik 12/1 06.06.2013 4. Kursarbeit aus der

Stochastik f¨ur InformatikerInnen - Institut für Informatik

Zugehörige Unterlagen

Dieses Dokument Sammlung (en)

Dieses Dokument gespeichert

Schlagen Sie uns vor, wie wir StudyLib verbessern können