1:1

Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
“Modellierung” WS 2014/15
Wahrscheinlichkeits-Modelle
und stochastische Prozesse
(mit Folien von Prof. H. Schütze)
Prof. Norbert Fuhr
1 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Wahrscheinlichkeits-Modelle
Wahrscheinlichkeits-Modelle
Zufalls-Experiment
Ein Zufalls-Experiment ist ein Vorgang, der ein genau
abzugrenzendes Ergebnis besitzt, das vom Zufall beeinflusst ist.
Beispiele:
Würfel
Regnet es morgen in Duisburg?
Klickt der Benutzer auf das erste Antwortdokument von
Google?
Wie lange schaut der Benutzer auf das angezeigte Dokument?
2 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Wahrscheinlichkeits-Modelle
Aspekte von Zufallsexperimenten
Uns interessierende Aspekte von Zufallsexperimenten:
1
Die möglichen Ergebnisse (Beobachtungen)
{1,. . . ,6}, {ja/nein}
2
Die möglichen Fragestellungen
Gerade Zahl? Weniger als 10s?
3
die zugehörigen Wahrscheinlichkeiten
P(gerade) = 0, 5
3 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Wahrscheinlichkeits-Modelle
Der Merkmalsraum Ω
Merkmalsraum Ω
Ein Merkmalsraum Ω (Stichprobenraum, Grundmenge,
Grundgesamtheit) ist eine nicht-leere Menge mit Elementen ω ∈ Ω.
Ω gibt die möglichen Ausgänge (Ergebnisse) des
Zufalls-Experiments an
Wir betrachten hier nur den Fall, dass der Merkmalsraum endlich
oder zumindest abzählbar ist.
Beispiele für Merkmalsräume
Würfel: Ω = {1, 2, 3, 4, 5, 6}
Regen: Ω = {ja,nein}
Zeit: Ω = {1, 2, . . . , 300}
(Betrachte angefangene Sekunden, bei mehr als 300s macht
der Benutzer Pause)
4 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Wahrscheinlichkeits-Modelle
Ereignisse und ihre Verknüpfung
Ereignisse, Ereignis-System
Ein Ereignis A ist eine Teilmenge von Ω.
Das Ereignis A tritt ein“, falls ein Merkmal ω mit ω ∈ A
”
beobachtet wird.
Die Menge aller betrachteten Ereignisse nennen wir das
Ereignis-System A
Beispiele für Ereignisse:
Würfel: Gerade Augenzahl: A = {2, 4, 6}
Zeit: Benutzer schaut max. 5s auf das Dokument
A = {1, 2, 3, 4, 5}
5 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Wahrscheinlichkeits-Modelle
Spezielle Ereignisse
A = ∅ : A ist ein unmögliches Ereignis, weil ω ∈ ∅ nie eintritt
A = Ω : Das Ereignis Ω tritt immer ein
A = {ω} für ω ∈ Ω: {ω} nennt man ein Elementarereignis
Beachte den Unterschied zwischen dem Merkmal ω (Element von
Ω) und dem Ereignis {ω} (Teilmenge von Ω)
6 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Wahrscheinlichkeits-Modelle
Zusammengesetzte Ereignisse
Zusammengesetzte Ereignisse
Häufig betrachtet man zusammengesetzte Ereignisse, die als
Mengenoperationen von anderen Ereignissen ausgedrückt werden
können
Beispiele für zusammengesetzte Ereignisse:
Würfelzahl > 3 oder gerade Augenzahl
A = {4, 5, 6}, B = {2, 4, 6} A ∪ B = {2, 4, 5, 6}
Benutzer schaut mindestens 2s und höchstens 5s auf das
Dokument
A = {2, 3 . . . , 300}, B = {1, 2, 3, 4, 5} A ∩ B = {2, 3, 4, 5}
7 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Wahrscheinlichkeits-Modelle
Verknüpfung von Ereignissen
Verknüpfung von Ereignissen
A oder B oder beide treten ein
A und B treten (beide) ein
A und B treten nie gleichzeitig ein
A tritt nicht ein
A tritt ein, aber B tritt nicht ein
mindestens ein Ai tritt ein
alle Ai treten ein
=
ˆ
=
ˆ
=
ˆ
=
ˆ
=
ˆ
=
ˆ
=
ˆ
ω ∈A∪B
ω ∈A∩B
A∩B =∅
ω ∈ Ac ⇔ ω ∈
/A
ω ∈ A\B
=
A
∩ B c = AB c
S
ω ∈ Ti Ai = A1 ∪ A2 ∪ · · ·
ω ∈ i Ai = A1 ∩ A2 ∩ · · ·
Anmerkungen:
Statt A ∩ B = ∅ sagt man auch A und B sind disjunkt“
”
Ac bezeichnet die Komplementärmenge zu A, also Ac = Ω\A
AB ist eine in der Stochastik übliche Kurznotation für A ∩ B
8 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Wahrscheinlichkeits-Modelle
σ-Algebra
Abgeschlossenes Mengensystem
Als σ-Algebra bezeichnet man ein Mengensystem A mit
A ⊆ P(Ω), das die folgenden Bedingungen erfüllt:
1
Ω∈A
2
A ∈ A =⇒ Ac ∈ A
3
A1 , A2 , . . . ∈ A =⇒
S
n∈N An
∈A
Wir nehmen an, dass jedes Ereignis-System A abgeschlossen ist.
Beispiel:
Ω = {1, 2, 3, 4}
A = {{1, 2}, {3, 4}, {1, 2, 3, 4}, ∅}
9 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Wahrscheinlichkeits-Modelle
Beschreibbarkeit
Beispiel:
X Zufallsvariable für Würfelergebnis gerade/ungerade
G = gerade Augenzahl beim Würfeln
G = {ω ∈ Ω : X (ω) = gerade}
Ω = {1, 2, 3, 4, 5, 6}
Ω0 = {gerade, ungerade}
A0 = {gerade}
G = {X ∈ A0 }
{X ∈ A0 } durch X beschreibbar
Ist X eine Abbildung Ω → Ω0 und A0 ⊂ Ω0 , dann definiert man
{X ∈ A0 } := {ω ∈ Ω : X (ω) ∈ A0 }
Eine Teilmenge von Ω der Form {X ∈ A0 } heißt durch X
beschreibbar.
10 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Wahrscheinlichkeits-Modelle
Zufallsvariable
Zufallsvariable (ZV)
Eine Zufallsvariable (ZV) ist eine Abbildung vom Merkmalsraum Ω
mit Ereignissystem A in eine Bildmenge Ω0 mit Ereignissystem A0 .
Gilt A =
6 P(Ω) und ist A0 das Ereignissystem in Ω0 , dann wird für
eine ZV X : Ω → Ω0 gefordert
{X ∈ A0 } ∈ A für alle A0 ∈ A0
Anmerkungen
Für Zufallsvariable verwendet man meist Großbuchstaben
X , Y , Z , U, V , W
Für Ereignisse verwenden wir A, B, C , . . .
Beispiele:
A = {X > 3}, B = {X = 2} ∪ {X = 4} ∪ {X = 6}
11 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Wahrscheinlichkeits-Modelle
Gesetz der großen Zahlen
Empirisches Gesetz hn (A) → P(A)
Wird ein Zufalls-Experiment n-mal unter gleichen Bedingungen
wiederholt mit Beobachtungswerten x1 , x2 , . . . , xn , dann
konvergieren“ die relativen Häufigkeiten
”
1
hn (A) := · (Anzahl der xi mit xi ∈ A)
n
für n → ∞ gegen einen Grenzwert.
12 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Wahrscheinlichkeits-Modelle
Gesetz der großen Zahlen
Beispiel: Würfeln einer bestimmten Augenzahl
Law-of-large-number“ von Jörg Groß - Eigenes Werk. Lizenziert unter Creative Commons Attribution-Share Alike
”
3.0-2.5-2.0-1.0 über Wikimedia Commons
13 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Wahrscheinlichkeits-Modelle
Eigenschaften der Wahrscheinlichkeit
1
P(A) ≥ 0
2
P(A) ≤ 1
3
P(Ω) = 1
4
P(∅) = 0
5
P(A1 + A2 ) = P(A1 ) + P(A2 )
6
P(A1 + · · · + An ) = P(A1 ) + · · · + P(An )
7
P(A1 + A2 + · · · ) = P(A1 ) + P(A2 ) + · · ·
14 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Wahrscheinlichkeits-Modelle
Wahrscheinlichkeits-Maß
Wahrscheinlichkeits-Maß P : A → R
Eine Abbildung P : A → R, wobei A eine σ-Algebra über Ω ist,
heißt Wahrscheinlichkeits-Maß (W-Maß) auf A, wenn die
folgenden drei Bedingungen erfüllt sind:
(1)
(2)
(3)
P(A) ≥ 0 für alle A ∈ A
P(Ω)
P∞= 1
P
P( i=1 Ai ) = ∞
i=1 P(Ai )
(Nichtnegativität)
(Normiertheit)
(σ-Additivität)
Anmerkung:
P
Die Schreibweise ∞
i=1 Ai soll immer die Voraussetzung ”Alle
Ai sind paarweise disjunkt “ implizit voraussetzen.
15 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Wahrscheinlichkeits-Modelle
Schreibweise für Ereignisse
Vereinfachte Schreibweise für Ereignisse
P(X ∈ A0 ) := P({X ∈ A0 })
Beispiele:
Münze: P(X =Kopf)=P(X =Zahl) = 0, 5
Würfel: P(W = 6) = 61
16 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Wahrscheinlichkeits-Modelle
Wahrscheinlichkeitsraum
Wahrscheinlichkeitsraum (Ω, A, P)
Das Tripel aus Merkmalsraum Ω, Ereignissystem A und
Ereignis-Maß P nennt man Wahrscheinlichkeitsraum (W-Raum)
oder Wahrscheinlichkeitsmodell (W-Modell)
17 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Wahrscheinlichkeits-Modelle
Bernoulli-Experiment
Bernoulli-Experiment
Ein Zufallsexperiment mit zwei möglichen Ausgängen heißt
Bernoulli-Experiment.
Merkmalsraum: Ω = {0, 1}
Man bezeichnet ω = 1 als Erfolg und ω = 0 als Misserfolg
Ω = {0, 1}, A = P(Ω)
P({1}) = p P({0}) = 1 − p, 0 ≤ p ≤ 1
p bezeichnet man als Parameter der Bernoulli-Verteilung
Beispiel:
Münzwurf
18 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Wahrscheinlichkeits-Modelle
Laplace-Experimen
Laplace-Experiment
Ein Zufallsexperiment mit endlich vielen und gleichwertigen
Ausgängen heißt Laplace-Experiment.
Ω = {1, 2, . . . , N}.
Aus P({1}) = P({2}) = · · · = P({N}) folgt P({1}) = 1/N.
P
Für beliebige Ereignisse A gilt wegen A = ω∈A {ω}:
P(A) =
|A|
Anzahl der (für A) günstigen Fälle
=
|Ω|
Anzahl der möglichen Fälle
19 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Wahrscheinlichkeits-Modelle
Beispiele für Laplace-Experimente
Würfel:
Roulette:
P(W = 6) = 1/6
P(X = 13) = 1/37
P(W = gerade) = 3/6
P(X = gerade) = 18/37
20 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Wahrscheinlichkeits-Modelle
Bedingte Wahrscheinlichkeiten
Elementare bedingte Wahrscheinlichkeit
Seien A, B Ereignisse in Ω und sei P(B) > 0.
Dann heißt
P(A|B) =
P(AB)
P(B)
die bedingte Wahrscheinlichkeit von A unter der Bedingung B
Ferner gilt P(AB) = P(B) · P(A|B)
Beispiel: Würfel
A = {2, 4, 6}, B = {4, 5, 6}
P(A|B) =
P(AB)
|{4, 6}|/6
=
P(B)
|{4, 5, 6}|/6
21 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Wahrscheinlichkeits-Modelle
Verkettungsregel
Verkettungsregel
Für drei Ereignisse A, B, C gilt analog die Formel
P(ABC ) = P(A) · P(B|A) · P(C |AB)
Beispiel: Roulette
A = {Z gerade}, B ={Z > 24}, C = {Z schwarz}
P(ABC ) = P(Z gerade) · P(Z> 24|Z gerade) ·
P(Z schwarz|Z > 24, Z gerade)
22 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Wahrscheinlichkeits-Modelle
Totale Wahrscheinlichkeit
Totale Wahrscheinlichkeit
Ist (Bi , i ∈ I ) eine
Pabzählbare Zerlegung von Ω
d.h. es gilt Ω = i∈I Bi , dann gilt
P(A) =
X
P(ABi ) =
i∈I
X
P(Bi ) · P(A|Bi )
i∈I
Beispiel: (Roulette)
P(X gerade) =
=
36
X
i=0
36
X
P(X = i ∩ X gerade)
P(X = i)P(X gerade|X = i)
i=0
=
1
· 18
37
23 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Wahrscheinlichkeits-Modelle
Totale Wahrscheinlichkeit
Beispiel 2
Beispiel (Roulette)
P(X gerade) =
=
3
X
i=1
3
X
P(X ∈ i.Dutzend ∩ X gerade)
P(X ∈ i.Dutzend)P(X gerade|X ∈ i.Dutzend)
i=1
= 3·
12 1
·
37 2
24 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Wahrscheinlichkeits-Modelle
Stochastische Unabhängigkei
Stochastische Unabhängigkeit
Zwei Ereignisse heißen stochastisch unabhängig wenn gilt
P(AB) = P(A) · P(B)
Beispiel: Zwei Würfel
P(6er Pasch) = P(W1 = 6) · P(W2 = 6)
Stochastische Unabhängigkeit von n Ereignissen
Die Ereignisse A1 , A2 , . . . , An heißen stochastisch unabhängig,
wenn für alle endlichen Teilmengen{Ai1 , Ai2 , . . . Aik } von diesen
Ereignissen die Produktformel gilt:
P(Ai1 , Ai2 , . . . Aik ) = P(Ai1 ) · P(Ai2 ) · · · P(Aik )
25 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Wahrscheinlichkeits-Modelle
Beispiel: Statistische Sprachmodelle
Deutsche Wortschatz-Datenbank
26 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Wahrscheinlichkeits-Modelle
Beispiel: Statistisches Sprachmodell
wi
Dieser
Text
ist
einfach
log2 (P(W = wi ))
−5
−9
−2
−6
wj
Manche
Informatiker
sind
Nerds
log2 (P(W = wj ))
−9
−13
−3
−16
P(Dieser Text ist einfach) =
=P(dieser)·P(Text)·P(ist)·P(einfach) = 2−5 ·2−9 ·2−2 ·2−6 = 2−22
P(Manche Informatiker sind Nerds) =
= 2−9 · 2−13 · 2−3 · 2−16 = 2−41
27 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Modelle für stochastische Prozesse
Stochastischer Prozess
Für einen stochastischen Prozess benötigt man:
W-Modell (Ω, A, P)
Bildbereich Ω0
Zeitbereich T
Zufallsvariable Xt : Ω → Ω0
gibt den Zustand zum Zeitpunkt t
Dann heißt {Xt } := (Xt , t ∈ T ) ein stochastischer Prozess.
Ω = {auf,zu}
28 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Modellierung stochastischer Prozesse
29 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Markov-Kopplung
Markov-Kopplung
Hängen bei einem mehrstufigen Versuch die
Übergangswahrscheinlichkeiten nicht von der vollen Vorgeschichte
ab, sondern nur vom letzten beobachteten Wert, so spricht man
von Markov-Kopplung.
Die Folge der Beobachtungen bildet dann einen Markov-Prozess,
im diskreten Fall auch Markov-Kette genannt.
30 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Beispiel: Sprachmodell als Markov-Kopplung
Hans programmiert.
Paul begrüßt Lisa.
Uwe trinkt ein kühles Pils.
Das schnelle Auto überholt den schweren LKW.
Anmerkungen
Annahme einer Markov-Kopplung ist starke Vereinfachung
Weitere Aspekte von Syntax (+Semantik) unberücksichtigt
Der grüne Auto isst Spinat
Solche Modelle eignen sich primär zur Analyse von Texten
(und weniger zur Generierung)
31 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Markov-Kette
Markov-Kette
Eine Markov-Kette ist ein stochastischer Prozess, speziell die Folge
der Beobachtungen X0 , X1 , X2 , . . . in einem unendlichstufigen
Versuch mit Markov-Kopplung und abzählbarer Zustandsmenge I .
Die Zustandsvariablen Xn : Ω → I beschreiben also den Zustand
des Systems zu den Zeitpunkten n = 0, 1, 2, . . ..
32 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Homogene Markov-Kette (HMK)
Homogene Markov-Kette
Eine Markov-Kette {Xn } heißt homogen, falls die
Übergangswahrscheinlichkeiten fnn−1 (i, j) = P(Xn = j|Xn−1 = i)
für alle Zeitpunkte gleich sind. In diesem Fall schreibt man
pij := fnn−1 (i, j).
33 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Beispiel zu homogener Markov-Kette
34 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Übergangsmatrix
Übergangsmatrix
Die Matrix P := (pij , i, j ∈ I ) heißt Übergangsmatrix (Ü-Matrix).
Die Zeilensumme ist stets =1.


0, 7 0, 3 0
(pij ) =  0, 2 0, 5 0, 3 
0, 1 0, 4 0, 5
35 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Übergangsgraph
Übergangsgraph
Ein Übergangsgraph einer HMK besteht aus
Knoten: alle möglichen Zuständen des Graphen
gerichtete Kanten: mit positiver Wahrscheinlichkeit mögliche
Übergänge
an der Kante von i nach j wird jeweils der Wert pij notiert.
36 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Beispiel zu Übergangsgraph
37 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Startpunkt
Zur Beschreibung des Ablaufs einer Markov-Kette benötigt man
neben der Ü-Matrix noch
entweder einen festen Startpunkt i0 ∈ I
oder eine Startverteilung, nämlich eine Z-Dichte
P(X0 = i), i ∈ I
Dann ist die Wahrscheinlichkeit für jede endliche Zustandsfolge
festgelegt durch
P(X0 = i0 , . . . , Xn = in ) = P(X0 = i0 ) · pi0 i1 · · · pin−1 in
P(X0 = 0, X1 = 1, X2 = 2, X3 = 1, X4 = 0) = 1 · p01 · p12 · p21 · p10
38 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Pfad
Pfad der Markov-Kette
Ein einzelner Verlauf einer Markov-Kette für eine festen Wert ω,
also (X0 (ω), X1 (ω), . . .) heißt ein Pfad der Markov-Kette.
Beispiel
Hans trinkt ein kühles Pils
Pfad:
Start – SNomen – Verb – OArtikel – OAdjektiv – ONomen – Ende
P(Pfad) = 1 · 0, 5 · 1 · 0, 5 · 0, 3 · 1 · 1 = 0, 075
39 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Rechenregeln für eine MK
Rechenregeln für eine MK
Für ein homogene Markov-Kette mit Ü-Matrix (pij )i,j∈I und
Startverteilung P(X0 = i), i ∈ I ) gilt
P(X0 = i0 , . . . , Xn = in ) = P(X0 = i0 ) · pi0 i1 · · · pin−1 in
P(Xn = j) =
X
P(Xn−1 = i) · pij
bzw.
~pn = ~pn−1 P
i∈I
n-Schritt-Übergangsmatrix
(n)
Für eine HMK (Xn ) ist die Matrix P(n) = (pij ) mit
(n)
(pij ) := P(Xm+n = j|Xm = i) unabhängig von m und heißt
n-Schritt-Übergangsmatrix
40 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Beispiel zur Berechnung
der W-Verteilung im Folgezustand


0, 7 0, 3 0
P =  0, 2 0, 5 0, 3 
0, 1 0, 4 0, 5
Sei ~pn−1 = (0,5,
0,3,
0,2)
~pn = ~pn−1 P = (0,5,
0,3,
0,2) · P
= (0,5 · 0,7 + 0,3 · 0,2 + 0,2 · 0,1,
0,5 · 0,3 + 0,3 · 0,5 + 0,2 · 0,4,
0,5 · 0 + 0,3 · 0,3 + 0,2 · 0,5)
= (0,35 + 0,06 + 0,02,
= (0,43,
0,38,
0,15 + 0,15 + 0,08,
0 + 0,09 + 0,1)
0,19)
41 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
irreduzibel
Zerlegung in Klassen, irreduzibel
Zustandsmenge I einer HMK wird in disjunkte Klassen zerlegt:
zwei Zustände i und j gehören zur selben Klasse, wenn
i = j oder
Zustand j ausgehend von i in endlich vielen Schritten mit
positiver Wahrscheinlichkeit erreicht werden kann (i
j)
und umgekehrt i von j aus erreichbar ist (j
i).
Jeder Zustand i ∈ I gehört zu genau einer Klasse k. Eine HMK
heißt irreduzibel, falls alle Zustände zur selben Klasse gehören
Einfaches Beispiel einer reduziblen HMK:
1−α α
0
1
42 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
aperiodisch
Periode, aperiodisch
Klasse K heißt periodisch mit Periode d, wenn es d (≥ 2)
disjunkte Teilmengen in K gibt, die der Reihe nach in d
Schritten durchlaufen werden.
Eine HMK heißt aperiodisch, wenn es keine periodische Klasse
gibt.
Einfaches Beispiel einer periodischen HMK:
0 1
1 0
43 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Gleichgewicht
Markov-Kette im Gleichgewicht
Eine homogene Markov-Kette (Xn ) ist im Gleichgewicht, wenn für
alle Zustände i ∈ I die Wahrscheinlichkeiten P(Xn =i) unabhängig
vom Zeitpunkt n sind.
Man setzt dann πi := P(Xn =i) bzw. ~π := ~pn und bezeichnet die
Z-Dichte ~π = (πi , i ∈ I ) als Gleichgewichtsverteilung (GGV) der
HMK (Xn )
44 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Berechnung der Gleichgewichtsverteilung (GGV)
Berechnung der Gleichgewichtsverteilung
Die HMK (X0 , X1 , . . .) mit Ü-Matrix (pij , i, j ∈ I ) sei im
Gleichgewicht, d.h. es gelte P(Xn = i) = πi bzw. ~pn = ~π für alle
n = 0, 1, 2 . . . und i ∈ I . Wegen
P
P(Xn = j) = i∈I P(Xn−1 = i) · pij
gelten dann für alle Werte πi , i ∈ I die folgenden beiden
Gleichgewichtsbedingungen:
X
πj =
πi pij für alle j ∈ I bzw. ~π = ~π P
i∈I
πj ≥ 0
für alle j ∈ I und
X
πj = 1
j∈I
45 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Berechnung der Gleichgewichtsverteilung
Beispiel


0, 7 0, 3 0
(pij ) =  0, 2 0, 5 0, 3 
0, 1 0, 4 0, 5
Gleichgewichtsbedingungen
π0 = 0, 7π0 + 0, 2π1 +0, 1π2
π1 = 0, 3π0 + 0, 5π1 +0, 4π2
π2 =
0, 3π1 +0, 5π2
π0 =
und π0 + π1 + π2 = 1
15
9
13
≈ 0, 35 π1 =
≈ 0, 41 π2 =
≈ 0, 24
37
37
37
46 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Eigenvektor der Übergangsmatrix
Definition Eigenvektor einer Matrix
Betrachtet man die durch die Matrix A definierte Abbildung, so ist
ein Eigenvektor ein Vektor dessen Richtung durch diese Abbildung
nicht verändert wird, d.h. es gilt
λ~π T
= A~π T mit λ ∈ R
λ~π = ~π A mit λ ∈ R
(Rechtseigenvektor) und analog
(Linkseigenvektor).
Für den Vektor der GGV gilt:
~π = ~π P
mit
X
πj = 1
j∈I
π ist daher ein Linkseigenvektor der Ü-Matrix P
47 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Grenzwertsatz für homogene Markov-Ketten
Grenzwertsatz für homogene Markov-Ketten
Ist die HMK(Xn ) mit Ü-Matrix (pij , i, j ∈ I ) irreduzibel und
aperiodisch, dann konvergiert (für alle i ∈ I ) P(Xn = i) unabhängig
von der Startverteilung gegen einen Wert πi mit 0 ≤ πi ≤ 1.
Dabei sind
a) entweder alle πi = 0, und es gibt keine GGV zu (pij ),
b) oder es sind alle πi > 0, und (πi , i ∈ I ) ist die einzige GGV zu
(pij ),
Fall a) kommt nur bei unendlicher Zustandmenge vor.
48 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Unendlicher Zustandsmenge ohne GGV
Beispiel: überlastete Warteschlange
49 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Alternative Methode zu Berechnung der GGV
Basierend auf dem Grenzwertsatz
Ist die HMK(Xn ) mit Ü-Matrix (pij , i, j ∈ I ) irreduzibel und
aperiodisch, dann konvergiert (für alle i ∈ I ) P(Xn = i) unabhängig
von der Startverteilung gegen einen Wert πi mit 0 ≤ πi ≤ 1.
Sei ~x der Vektor mit xi = P(Xn = i) für alle i ∈ I
Beginne mit beliebiger Startverteilung ~x
Berechne Verteilung im nächsten Zustand als ~x P.
Nach zwei Schritten sind wir bei ~x P 2 .
Nach k Schritten sind wir bei ~x P k .
Algorithmus: multipliziere ~x mit steigenden Potenzen von P,
bis Konvergenz erreicht ist
Ergebnis ist unabhängig vom Startvektor
50 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Potenzmethode zur Berechnung der GGV
Verfahren mit steigenden Potenzen von P wird
Potenzmethode genannt (engl. power method)
Berechne die GGV der folgenden Markov-Kette:
51 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Beispiel zur Berechnung der GGV
Startvektor
~x = (0.25, 0.75)
x1
Pt (d1 )
t0
t1
0.25
0.25
x2
Pt (d2 )
0.75
0.75
p11 = 0.25 p12 = 0.75
p21 = 0.25 p22 = 0.75
0.25
0.75
(Konvergenz)
Pt (d1 ) = Pt−1 (d1 ) ∗ p11 + Pt−1 (d2 ) ∗ p21
Pt (d2 ) = Pt−1 (d1 ) ∗ p12 + Pt−1 (d2 ) ∗ p22
GGV: ~π = (π1 , π2 ) = (0.25, 0.75)
52 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Beispiel zur Berechnung der GGV
Fester Startzustand
x1
Pt (d1 )
t0
t1
t2
1.00
0.25
0.25
x2
Pt (d2 )
0.00
0.75
0.75
p11 = 0.25 p12 = 0.75
p21 = 0.25 p22 = 0.75
0.25
0.75
0.25
0.75
(Konvergenz)
Pt (d1 ) = Pt−1 (d1 ) ∗ p11 + Pt−1 (d2 ) ∗ p21
Pt (d2 ) = Pt−1 (d1 ) ∗ p12 + Pt−1 (d2 ) ∗ p22
GGV: ~π = (π1 , π2 ) = (0.25, 0.75)
53 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Potenzmethode: Beispiel 2
Bestimme die GGV für folgende Markov-Kette:
54 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Berechnung der GGV: Potenzmethode
x1
Pt (d1 )
x2
Pt (d2 )
t0
t1
t2
t3
0
0.3
0.24
0.252
1
0.7
0.76
0.748
t∞
0.25
0.75
p11 = 0.1 p12 = 0.9
p21 = 0.3 p22 = 0.7
0.3
0.7
0.24
0.76
0.252
0.748
0.2496
0.7504
...
0.25
0.75
= ~x P
= ~x P 2
= ~x P 3
= ~x P 4
...
= ~x P ∞
GGV: ~π = (π1 , π2 ) = (0.25, 0.75)
Pt (d1 ) = Pt−1 (d1 ) ∗ p11 + Pt−1 (d2 ) ∗ p21
Pt (d2 ) = Pt−1 (d1 ) ∗ p12 + Pt−1 (d2 ) ∗ p22
55 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Potenzmethode für das Telefon-Beispiel


0, 7 0, 3 0
 0, 2 0, 5 0, 3 
0, 1 0, 4 0, 5
~x P
~x P 2
~x P 3
~x P 4
~x P 5
~x P 6
~x P 7
~x P 8
~x P 9
~x P 10
~x P 11
~x P 12
~x P 13
x0
1,00
0,70
0,55
0,47
0,42
0,39
0,37
0,36
0,36
0,36
0,35
0,35
0,35
x1
0,00
0,30
0,36
0,38
0,39
0,40
0,40
0,40
0,40
0,40
0,40
0,41
0,41
x2
0,00
0,00
0,09
0,15
0,19
0,21
0,23
0,23
0,24
0,24
0,24
0,24
0,24
56 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Anwendung der GGV beim Web-Retrieval
PageRank
versucht, Web-Seiten gemäß ihrer Popularität zu gewichten
Popularität hängt ab von der Zitationshäufigkeit (eingehende
Web-Links)
und von der Popularität der referenzierenden Seiten
57 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
PageRank
d0
d1
d2
d3
d4
d5
d6
PageRank
0.05
0.04
0.11
0.25
0.21
0.04
0.31
58 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Begründung der PageRank-Methode
Random Surfer
Grundlage von PageRank
klickt sich durch das Web, wobei er zufällig auf einen der
ausgehenden Links einer Seite klickt
(Gleichverteilung über die ausgehenden Links)
Teleportation: gibt es keine ausgehenden Links, geht er auf
eine zufällige andere Web-Seite
Auch auf einer Seite mit ausgehende Links geht er mit 10%
Wahrscheinlichkeit auf eine zufällige andere Seite
59 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
PageRank
d0
d1
d2
d3
d4
d5
d6
PageRank
0.05
0.04
0.11
0.25
0.21
0.04
0.31
60 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Übergangsmatrix ohne Teleportation
d0
d1
d2
d3
d4
d5
d6
d0
0.00
0.00
0.33
0.00
0.00
0.00
0.00
d1
0.00
0.50
0.00
0.00
0.00
0.00
0.00
d2
1.00
0.50
0.33
0.00
0.00
0.00
0.00
d3
0.00
0.00
0.33
0.50
0.00
0.00
0.33
d4
0.00
0.00
0.00
0.50
0.00
0.00
0.33
d5
0.00
0.00
0.00
0.00
0.00
0.50
0.00
d6
0.00
0.00
0.00
0.00
1.00
0.50
0.33
61 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Übergangsmatrix mit Teleportation
d0
d1
d2
d3
d4
d5
d6
d0
0.02
0.02
0.31
0.02
0.02
0.02
0.02
d1
0.02
0.45
0.02
0.02
0.02
0.02
0.02
d2
0.88
0.45
0.31
0.02
0.02
0.02
0.02
d3
0.02
0.02
0.31
0.45
0.02
0.02
0.31
d4
0.02
0.02
0.02
0.45
0.02
0.02
0.31
d5
0.02
0.02
0.02
0.02
0.02
0.45
0.02
d6
0.02
0.02
0.02
0.02
0.88
0.45
0.31
62 / 63
Modellierung
Wahrscheinlichkeits-Modelle und stochastische Prozesse
Modelle für stochastische Prozesse
Anwendung der Potenzmethode ~x P k
d0
d1
d2
d3
d4
d5
d6
~x
0.14
0.14
0.14
0.14
0.14
0.14
0.14
~x P 1
0.06
0.08
0.25
0.16
0.12
0.08
0.25
~x P 2
0.09
0.06
0.18
0.23
0.16
0.06
0.23
~x P 3
0.07
0.04
0.17
0.24
0.19
0.04
0.25
~x P 4
0.07
0.04
0.15
0.24
0.19
0.04
0.27
~x P 5
0.06
0.04
0.14
0.24
0.20
0.04
0.28
~x P 6
0.06
0.04
0.13
0.24
0.21
0.04
0.29
~x P 7
0.06
0.04
0.12
0.25
0.21
0.04
0.29
~x P 8
0.06
0.04
0.12
0.25
0.21
0.04
0.30
~x P 9
0.05
0.04
0.12
0.25
0.21
0.04
0.30
~x P 10
0.05
0.04
0.12
0.25
0.21
0.04
0.30
~x P 11
0.05
0.04
0.11
0.25
0.21
0.04
0.30
~x P 12
0.05
0.04
0.11
0.25
0.21
0.04
0.31
~x P 13
0.05
0.04
0.11
0.25
0.21
0.04
0.31
63 / 63