5.7 Exkurs: Stochastische Matrizen

128
5.7
Kapitel 5. Lineare Algebra
Exkurs: Stochastische Matrizen
Nehmen wir an, wir beobachten ein System, das eine endliche Anzahl n von Zuständen annehmen kann und im Lauf der Zeit unter dem Einfluss von Zufall seinen
Zustand ändert. Man spricht dann von einem stochastischen Vorgang oder auch
einem Markov-Prozess. Unter der Übergangsmatrix dieses Vorgangs versteht man
die Matrix
A = (pij ) ,
wobei pij die Wahrscheinlichkeit dafür angibt, dass das System vom Zustand i in
den Zustand j wechselt.
5.7.1 Beispiel Die Entwicklung des Wetters unterliegt zu einem gewissen Grad
dem Zufall, und die Veränderung von heute auf morgen lässt sich als stochastischer
Vorgang auffassen. Wenn wir drei Zustände unterscheiden, nämlich (1) sonnig, (2)
bewölkt, und (3) regnerisch, dann ist die Übergangsmatrix eine 3 × 3-Matrix. Der
Eintrag p11 gibt die Wahrscheinlichkeit dafür an, dass es sonnig bleibt, der Eintrag
p12 gibt die Wahrscheinlichkeit dafür an, dass die Sonne hinter Wolken verschwindet,
usw.
Die Übergangsmatrix eines stochastischen Prozesses enthält nur Einträge, die
zwischen 0 und 1 liegen, weil es sich dabei um Wahrscheinlichkeiten handelt. Ausserdem addieren sich die Einträge jeder Zeile zu 1. Denn die Einträge in der Zeile
mit der Nummer i sind jeweils die Wahrscheinlichkeiten dafür, dass der Zustand i
in einen der Zustände 1, 2, . . . , n übergeht. Also ist pi1 + pi2 + . . . + pin = 1 für alle i.
Diese Beobachtung führt zum folgenden Begriff.
5.7.2 Definition Eine quadratische Matrix A = (aij ) vom Typ n × n heisst stochastisch, wenn sämtliche Einträge grösser oder gleich Null sind und für alle i gilt:
P
n
j=1 aij = 1. Die Matrix A heisst doppelt stochastisch, wenn zusätzlich auch alle
Spaltensummen gleich 1 sind.


8 1 1
1 
Zum Beispiel ist die Matrix A = 10
2 5 3  stochastisch.
3 5 2
5.7.3 Satz
1. Sind A, B Übergangsmatrizen zweier stochastischer Vorgänge im
System S, so ist AB die Übergangsmatrix des zusammengesetzten Vorgangs.
2. Sind A, B stochastische n × n-Matrizen, so ist auch das Produkt AB eine
stochastische Matrix.
Beweis. Nehmen wir an, der erste Vorgang wird durch die Matrix A = (aij ) und der
zweite Vorgang durch die Matrix B = (bij ) beschrieben. Ein Wechsel vom Zustand i
in zwei Schritten in den Zustand j kann auf n verschiedene Arten erfolgen, nämlich
von i nach 1 und dann nach j, oder von i nach 2 und dann nach j usw. Die Wahrscheinlichkeit für den Wechsel von i via k nach j beträgt aik bkj . Summiert man all
diese Wahrscheinlichkeiten auf, erhält man die Wahrscheinlichkeit cij dafür, dass in
5.7. Exkurs: Stochastische Matrizen
129
P
zwei Schritten ein Wechsel von i nach j stattfindet, das heisst: cij = nk=1 aik bkj . Die
Übergangsmatrix C = (cij ) des zusammengesetzten Vorgangs stimmt also überein
mit dem Produkt der Matrizen AB.
q.e.d.
Nehmen wir jetzt an, die Wahrscheinlichkeiten für die Zustandsänderungen seien
zeitlich stabil und wir beobachten einen Vorgang in k Schritten. Die entsprechende
Übergangsmatrix ist dann gerade die k-te Potenz der stochastischen Matrix A des
Einzelvorgangs. Der Grenzwert limk→∞ Ak beschreibt also (wenn er existiert) die
Entwicklung des Prozesses, wenn man die Zeit t gegen unendlich gehen lässt.
5.7.4 Beispiel Nehmen wir an, eine Nachricht der Form ”ja” oder ”nein” werde durch einen Kurier weitergegeben, aber nicht hundertprozentig zuverlässig. Mit
Wahrscheinlichkeit p werde die Nachricht ”ja” in ein ”nein” verfälscht, und mit
Wahrscheinlichkeit q werde die Nachricht ”nein” in ein ”ja”verfälscht. Dann
lautet
1−p
p
. Dabei
die Übergangsmatrix der Nachrichtenübermittlung: A =
q
1−q
sind 0 < p, q < 1. Hier gilt:
q
p k
p+q
p+q
.
lim A =
p
q
k→∞
p+q
p+q
Also ist die Wahrscheinlichkeit dafür, dass nach einer sehr langen Kette von Inq
formanten schliesslich ein ”ja” übermittelt wird, gleich p+q
, und zwar unabhängig
davon, um welche Nachricht es sich ursprünglich handelte.
Ist p = q, so erhalten wir
1 1
k
lim A = 21 12 .
k→∞
2
2
Das bedeutet also, dass schliesslich nach Weitergabe durch viele Zwischenkuriere die
Chance auf eine korrekte Übermittlung der Ausgangsnachricht noch 50% beträgt.
Für dies und auch für das folgende Beispiel ist es nützlich zu wissen, dass unter
bestimmten Voraussetzungen auch für Matrizen ein binomischer Lehrsatz gilt.
5.7.5 Satz Sind A, B quadratische Matrizen vom Typ n×n derart, dass AB = BA,
dann ist für alle n ∈ N
n X
n k n−k
n
A B
.
(A + B) =
k
k=0
Dabei ist nach Definition A0 = E = B 0 .
Beweis. Durch vollständige Induktion ganz ähnlich wie im Fall von Zahlen. Allerdings ist hier entscheidend, dass A und B miteinander kommutieren. Wenn das nicht
der Fall ist, stimmt auch die binomische Formel nicht.
q.e.d.
130
Kapitel 5. Lineare Algebra
Nun können wir die Begründung für die in Beispiel 5.7.4 behauptete Aussage
nachtragen: Wir zerlegen die Matrix A in
−p p
A = E + B, wobei B =
.
q −q
Dann folgt durch vollständige Induktion
"
#
n n X
X
n
−1
n
Bk =
An =
(p + q)k (−1)k B + E ,
k
p+q
k
k=0
k=1
und daraus
An =
1
−1
[(1 − (p + q))n − 1]B + E −→ E +
B.
n→∞
p+q
p+q
q.e.d.
5.7.6 Beispiel Nehmen wir jetzt an, ein Versuchstier werde mit n Türen konfrontiert, hinter denen sich jeweils Futter befindet. Bei jeder Fütterung hat das Tier die
Möglichkeit, eine der Türen auszuwählen. Das Tier habe nur ein kurzes Gedächtnis
und wähle mit Wahrscheinlichkeit a dieselbe Tür wie bei der vorigen Fütterung und
1−a
jeweils irgendeine der anderen Türen. Dann lautet
mit Wahrscheinlichkeit b = n−1


a b ... b
b a ... b
. Dabei sind 0 < a < 1 und
die n × n-Übergangsmatrix dazu: A = 
..
 ...

.
b b ... a
a + (n − 1)b = 1. Hier gilt:
1
1
n
1
n
1
n
n
1
n

lim Ak = 
 ...
k→∞
...
...
..
.
1
n
1
n
...
1
n


.

Beweis. Wir bezeichnen mit F diejenige n × n-Matrix, deren sämtliche Einträge
gleich 1 sind. Dann ist nach dem binomischen Lehrsatz (weil EF = F E):
k X
k
(a − b)k−j bj F j .
A = ((a − b)E + bF ) =
j
j=0
k
k
Durch vollständige Induktion kann man ausserdem zeigen: F j = nj−1 F für alle
j ∈ N. Also folgt
k 1 X k
(a − b)k−j bj nj )F =
A = (a − b) E + (
n j=1 j
k
k
5.7. Exkurs: Stochastische Matrizen
131
1
1
1
((a − b + nb)k − (a − b)k )F = (a − b)k (E − F ) + F .
n
n
n
q.e.d.
Weil |a − b| < 1, ist limk→∞ (a − b)k = 0, und daher limk→∞ Ak = n1 F .
(a − b)k E +
Auf lange Sicht wird also jede Tür mit derselben Wahrscheinlichkeit ausgewählt.
5.7.7 Beispiel Hier ist ein einfaches Modell eines Waldbestandes. Nehmen wir an,
der Wald bestehe aus drei Baumarten, die alle etwa die gleiche Lebensdauer haben.
Die Erneuerung des Waldes durch das Nachwachsen einer neuen Generation sei der
stochastische Vorgang, den wir beschreiben wollen. Der Eintrag pij der Übergangsmatrix P gebe an, mit welcher Wahrscheinlichkeit die Baumart i durch Baumart j
ersetzt wird. Wir gehen wieder davon aus, dass diese Übergangswahrscheinlichkeiten sich nicht ändern. Ausserdem halten wir in einem Zeilenvektor (ak , bk , ck ) fest,
welchen prozentualen Anteil am Gesamtbestand die drei Baumarten in der k-ten
Generation haben. Multipliziert man diesen Zeilenvektor von rechts mit der Übergangsmatrix, erhält man die prozentualen Anteile der Baumarten in der (k + 1)-ten
Generation:
(ak+1 , bk+1 , ck+1) = (ak , bk , ck )P .
Denn das Produkt des Zeilenvektors mit der ersten Spalte von P lautet
ak p11 + bk p21 + ck p31 .
Die hier vorkommenden Einträge von P geben Wahrscheinlichkeiten dafür an, dass
jeweils der erste Baumtyp nachwächst. Wenn wir nun annehmen, dass sich der Bestand anteilsmässig genau so entwickelt, wie es die Wahrscheinlichkeiten vorhersagen, dann ist
ak p11 + bk p21 + ck p31 = ak+1 .
Entsprechendes können wir über das Produkt mit der zweiten und dritten Spalte
von P sagen. Durch Iteration erhalten wir schliesslich:
(ak , bk , ck ) = (a0 , b0 , c0 )P k
für alle k. .
Wir stellen nun die Frage, ob es eine Verteilung (a0 , b0 , c0 ) gibt, die über die Generationen hinweg stabil bleibt. Gesucht ist also ein Vektor (x, y, z) (mit x, y, z > 0
und x + y + z = 1), so dass (x, y, z)P = (x, y, z). Um einen solchen Vektor zu finden (wenn er denn
 existiert),
 ist ein lineares Gleichungssystem zu lösen. Ist etwa
1 4 5
1 
1
konkret P = 10 3 3 4 , so ist 157
(35, 71, 51) ein solcher stabiler Vektor. Das
2 7 1
bedeutet also, dass in dem entsprechenden Wald eine Aufteilung der Baumarten in
circa (22,3%,45,2%,32,5%) ein stabiles Ökosystem darstellt.