Kapitel 13: Evolutionäre Spieltheorie

Kapitel 13:
Evolutionäre Spieltheorie
Kapitel 13
1
Übersicht
Einleitung
Evolutionäre Biologie
Evolutionäre Spieltheorie: Idee
Gefangenendilemma (Beispiel)
Evolutionäre Stabilität
Beispiele
Wiederholtes Gefangenendilemma
Chicken-Spiel
Koordinationsspiel
Kapitel 13
Übersicht
2
Einleitung
Kapitel 13
Einleitung
3
Rationalität als zentrale Annahme der
Spieltheorie.
Sinnvoll in vielen ökonomischen Zusammenhängen
Empirisch bestätigt?
Können wir diese Annahme fallen lassen?
Was sind die Alternativen?
Kapitel 13
Einleitung
4
Alternative: Biologische Evolutionstheorie
Keine Rationalität, da keine bewussten
Entscheidungen gefällt werden.
„Gute“ Strategien werden gegenüber „schlechten“
belohnt.
„Gute“ Strategien erhöhen die Fitness der
Anwender und vermehren sich dadurch stärker in
der Bevölkerung.
Kapitel 13
Einleitung
5
Evolutionäre Biologie
Kapitel 13
Evolutionäre Biologie
6
Grundlagen der evolutionären Biologie
Tierisches Verhalten ist weitgehend genetisch
bestimmt.
Zusammenwirken der Gene bestimmt eine
Verhaltensweise.
Phänotyp: Spezielles Verhaltensmuster, welches
durch ein oder mehrere Gene bestimmt wird.
Kapitel 13
Evolutionäre Biologie
7
Fitness
Fitness: Mass für den Erfolg eines Phänotypen.
Einige Phänotypen passen besser zu den
herrschenden Umweltbedingungen als andere.
Kapitel 13
Evolutionäre Biologie
8
Selektion
Selektion: Ändert die Zusammensetzung der
Phänotypen.
Anzahl der Tiere mit einer höheren Fitness nimmt
zu, weil sie relativ mehr Nachkommen haben.
Kapitel 13
Evolutionäre Biologie
9
Mutationen
Der Zufall produziert Mutationen: Es entstehen
neuen Phänotypen.
Fitness und Selektion bestimmen den Erfolg der
Mutanten.
Die meisten Phänotypen, welche durch eine
Mutation entstehen, sind schlecht an die Umwelt
angepasst und verschwinden unmittelbar wieder.
Kapitel 13
Evolutionäre Biologie
10
Von Zeit zu Zeit entsteht ein neuer Phänotyp, der
besser an die Umwelt angepasst ist.
Der Mutant kann in eine bestehende Population
von Phänotypen eindringen und erreicht einen
signifikanten Anteil in der Bevölkerung.
Kapitel 13
Evolutionäre Biologie
11
Evolutionäre Stabilität
Ein Phänotyp wird evolutionär stabil genannt,
wenn keine Mutanten den Phänotypen
verdrängen können.
Eine Population heisst monomorph, wenn sie aus
nur einem Phänotypen besteht.
Eine Population heisst polymorph, wenn sie aus
mehreren Phänotypen besteht.
Kapitel 13
Evolutionäre Biologie
12
Evolutionäre Spieltheorie:
Idee
Kapitel 13
Evolutionäre Spieltheorie:Idee
13
Evolutionäre Spieltheorie: Anwendung der
evolutionären Biologie auf Strategien.
Strategien werden nicht mehr vom Spieler
durchdacht, vielmehr sind sie angeboren.
Fitness und Selektion bestimmen dann den
„Erfolg“ der Strategie.
Kapitel 13
Evolutionäre Spieltheorie: Idee
14
Wir nutzen die evolutionäre Spieltheorie, um die
Annahme der Rationalität vollständig fallen zu
lassen.
Spieler treffen keine bewussten Entscheidungen,
da sie die Strategien „erben“.
Spieler müssen daher nicht rational sein:
sie müssen die Welt nicht verstehen.
Kapitel 13
Evolutionäre Spieltheorie: Idee
15
Interpretation „erben“:
Akteure erhalten Strategien mittels nichtgenetischer Prozesse:
z.B. Imitation, Erziehung etc..
Fitness beinhaltet Gewinne, Macht, Prestige usw.
und nicht das Überleben als solches.
Kapitel 13
Evolutionäre Spieltheorie: Idee
16
Das Nashgleichgewicht wird ersetzt durch zwei
Konzepte:
Evolutionär stabile Strategie
Populationsdynamik
Das sind unsere neuen „Prognosetools“
Kapitel 13
Evolutionäre Spieltheorie: Idee
17
Der Ansatz der Populationsdynamik betrachtet
dynamische Prozesse, die beschreiben wie sich
die relative Häufigkeit, mit den unterschiedlichen
Strategien in einer Bevölkerung, im Zeitablauf
ändern.
Der Ansatz der evolutionär stabilen Strategien
versucht einen Bevölkerungszustand zu
beschreiben, unter dem sich keine alternative
Strategie (eine “Mutation”) in der Bevölkerung
ausbreiten kann.
Kapitel 13
Evolutionäre Spieltheorie: Idee
18
„Evolutionary Theory of Gravitation“
Question: Why does an apple fall from the tree to
the earth?
Answer: Originally, apples that came loose from
trees went in all directions. But only those that
were genetically predisposed to fall to the earth
could reproduce.
Kapitel 13
Evolutionäre Spieltheorie: Idee
19
Gefangenendilemma
Kapitel 13
Gefangenendilemma
20
Bevölkerung besteht aus 2 Phänotypen
Kooperierende: Gestehen nicht
Abweichende: Gestehen
Spieler können Strategie nicht wählen: Sie
werden als Kooperierende oder Abweichende
„geboren“.
Kapitel 13
Gefangenendilemma
21
Um die durchschnittliche Auszahlung (Fitness)
einer Strategie zu bestimmen, braucht es ein
Modell der Interaktion innerhalb der Bevölkerung.
Zufälliges Aufeinandertreffen vs. geordnetes
Aufeinandertreffen.
Wir betrachten das einfachste Modell der
Interaktion innerhalb einer Bevölkerung.
Kapitel 13
Gefangenendilemma
22
Für jedes Individuum in der Bevölkerung gilt:
die Wahrscheinlichkeit, dass er auf ein
Individuum mit einer gegebenen Verhaltensweise
trifft, entspricht genau der relativen Häufigkeit
dieser Verhaltensweise in der Bevölkerung.
Sei x der Anteil kooperierender Spieler (Phänotyp
„nicht gestehen“).
Kapitel 13
Gefangenendilemma
23
SPALTE
1-x
Gestehen
x
Kooperieren
Gestehen
10 yr, 10 yr
1 yr, 25 yr
Kooperieren
25 yr, 1 yr
3 yr, 3 yr
ZEILE
x = Wahrscheinlichkeit auf einen Kooperierenden zu treffen
(1 – x) = Wahrscheinlichkeit auf einen nicht kooperierenden zu treffen
Kapitel 13
Gefangenendilemma
24
Erwartete Freiheitsstrafe für kooperieren
3x + 25(1 – x) = 25 – 22x
Erwartete Freiheitsstrafe für gestehen
x + 10(1 – x) = 10 – 9x
Für jedes 0 ≤ x ≤ 1 gilt:
10 – 9x < 25 – 22x
13x < 15
Kapitel 13
Gefangenendilemma
25
Evolutionär stabile Strategie
Die Strategie „gestehen“ erwartet eine geringere
Haftstrafe für jedes x ∈ (0,1).
In einer Population in der alle Spieler „gestehen“,
kann damit die Mutation „kooperieren“ nicht
erfolgreich eindringen.
Falls „kooperieren“ per Zufall entsteht, wird sie
unmittelbar wieder verdrängt.
Die Strategie „gestehen“ ist damit evolutionär
stabil (ESS) im Gefangenendilemma.
Kapitel 13
Gefangenendilemma
26
Im Gegensatz dazu ist die Strategie
„kooperieren“ nicht evolutionär stabil.
In einer Population in der alle Spieler die
Strategie „kooperieren“ anwenden, kann die
Strategie „gestehen“ erfolgreich eindringen.
Kapitel 13
Gefangenendilemma
27
Populationsdynamik
Sei x der Anteil Spieler die anfänglich nicht
gestehen. Wie ändert sich x über die Zeit?
Da für jedes x „gestehen“ eine geringere
Haftstrafe erzielt als „ kooperieren“ wird x über
die Zeit abnehmen.
Dieser Prozess hört erst auf, wenn es nur noch
Spieler gibt, welche gestehen.
Daher ist nur x = 0 ein Gleichgewicht (stabiler
Zustand) der Populationsdynamik.
Kapitel 13
Gefangenendilemma
28
Evolutionäre Stabilität für reine
Strategien
Kapitel 13
Stabilität für reine Strategien
29
Symmetrisches 2-Personen-Spiel in strategischer
Form mit m Aktionen.
Zumeist betrachten wir den Fall m = 2.
In biologischen Anwendungen ist die Betrachtung von
2-Personen-Spielen die Regel.
Kapitel 13
Stabilität für reine Strategien
30
Auszahlungsfunktion: verwendet in einer
Interaktion ein Spieler die Aktion k so ist seine
Auszahlung u(k, l) wenn sein Gegenspieler die
Aktion l verwendet.
Wir betrachten in diesem Abschnitt den Fall, in
dem jeder einzelne Spieler eine reine Strategie
verwendet, d.h. eine der m Aktionen verwendet.
Kapitel 13
Stabilität für reine Strategien
31
Definition: Eine Aktion k ist eine evolutionär stabile
Strategie, wenn für jede Aktion l ≠ k entweder
u(k, k) > u(l, k)
oder
u(k, k) = u(l, k) und u(k, l) > u(l, l)
gilt.
Kapitel 13
Stabilität für reine Strategien
32
Es wird eine Situation betrachtet, in der die
gesamte Bevölkerung die Aktion k verwendet.
Wechselt nun ein Teil ε der Bevölkerung zu einer
alternativen Aktion l ≠ k, so sind die
durchschnittlichen Auszahlungen:
(1 − ε)u(k, k) + εu(k, l) für die Aktion k
(1 − ε)u(l, k) + εu(l, l) für die Aktion l
Kapitel 13
Stabilität für reine Strategien
33
Die Aktion k erzielt eine strikt grössere
durchschnittliche Auszahlung als die Aktion l (und
kann diese daher per Annahme aus der
Bevölkerung verdrängen) falls
(1 − ε) [u(k, k) − u(l, k)] + ε[u(k, l) − u(l, l)] > 0
gilt.
Kapitel 13
Stabilität für reine Strategien
34
Die Bedingungen in der Definition einer
evolutionär stabilen Strategie sind genau
diejenigen, die sichern, dass diese Ungleichung
für alle hinreichend kleinen ε > 0 erfüllt sind.
Gilt u(k, k) > u(l, k) wird die “Mutation” l verdrängt, da
der erste Summand strikt positiv und der zweite
Summand für hinreichend kleine ε diesen Effekt nicht
umdrehen kann
Gilt u(l, k) = u(k, k), so ist der Gesamtausdruck für ε >
0 genau dann strikt positiv, wenn u(k, l) > u(l, l) gilt.
Kapitel 13
Stabilität für reine Strategien
35
Theorem: Ist k eine evolutionär stabile
Strategie, so ist (k, k) ein NashGleichgewicht in reinen Strategien.
Kapitel 13
Stabilität für reine Strategien
36
Das Theorem liefert eine Rechtfertigung für das
Konzept des Nash-Gleichgewichts aus
evolutionärer Sicht.
Die Rechtfertigung ist nur teilweise, da
nur symmetrische Nash-Gleichgewichte einer
evolutionär stabilen Strategie entsprechen können.
nicht jedes Nash-Gleichgewicht evolutionär stabil ist.
Kapitel 13
Stabilität für reine Strategien
37
Theorem: Ist (k, k) ein striktes Nash-Gleichgewicht
so ist k evolutionär stabil.
In einem symmetrischen 2-Personen-Spiel ist (k,
k) genau dann ein striktes Nash-Gleichgewicht,
wenn u(k, k) > u(l, k) für alle l gilt.
Kapitel 13
Stabilität für reine Strategien
38
Insbesondere ist (k, k) ein striktes NashGleichgewicht – und damit k evolutionär stabil wenn k eine dominante Aktion ist (Beispiel:
einfaches Gefangenendilemma).
Kapitel 13
Stabilität für reine Strategien
39
Wiederholtes
Gefangenendilemma
Kapitel 13
Wiederholtes Gefangenendilemma
40
Zwei Wiederholungen
Wiederholtes Gefangenendilemma (zweimal)
Zwei Strategien
Immer gestehen (A)
Tit-for-tat (T)
Kapitel 13
Wiederholtes Gefangenendilemma
41
Spiel für die Strategien A und T
SPALTE
A 1-x
T
A
20, 20
11, 35
T
35, 11
6, 6
x
ZEILE
x = Wahrscheinlichkeit auf einen T Spieler zu treffen
(1 – x) = Wahrscheinlichkeit auf einen A Spieler zu treffen
Copyright © 2000 by W.W. Norton & Company
Kapitel 13
Wiederholtes Gefangenendilemma
42
Evolutionär stabile Strategien
(A, A) und (T, T) sind strikte
Nashgleichgewichte in reinen Strategien.
A und T sind damit evolutionär stabile
Strategien (ESS).
Kapitel 13
Wiederholtes Gefangenendilemma
43
Populationsdynamik
Sei x der Anteil der tit-for-tat (T) Spieler.
Wie ändert sich dieser Anteil über die Zeit?
Die erwartete Freiheitsstrafe eines A Spielers
beträgt 11x + 20(1 – x) = 20 – 9x.
Die erwartete Freiheitsstrafe eines T Spielers ist
6x + 35(1 – x) = 35 – 29x.
Wenn x > 3/4 : 35 – 29x < 20 – 9x
Kapitel 13
Wiederholtes Gefangenendilemma
44
Wenn mehr als 75% der Bevölkerung schon vom
Typ T ist, dann hat T eine höhere Fitness als A
und wird zu 100% anwachsen (x = 1).
Wenn weniger als 75% der Bevölkerung vom Typ
T ist, hat A eine höhere Fitness und wird zu
100% wachsen (x = 0).
Kapitel 13
Wiederholtes Gefangenendilemma
45
Unfitness
(Jahre im
Gefängnis)
35
Unfitness
des Typ T
35 – 29x
20
Typ A
20 – 9x
11
6
0
1
Anteil x des Typs T
in der Bevölkerung
Copyright © 2000 by W.W. Norton & Company
Kapitel 13
Wiederholtes Gefangenendilemma
46
Ein polymorphes Gleichgewicht existiert, wenn
die Bevölkerung exakt zu 75% aus T und zu 25%
aus A besteht.
Beide Typen besitzen dieselbe Fitness und
vermehren sich proportional.
Dies ist ein Gleichgewicht, es ist aber nicht stabil.
Einführung eines Mutanten eines Typs stürzt das
Gleichgewicht.
Kapitel 13
Wiederholtes Gefangenendilemma
47
Chicken-Spiel
Kapitel 13
Chicken-Spiel
48
B
Wimp
Macho
Wimp
0, 0
-1, 1
Macho
1, -1
-2, -2
A
Copyright © 2000 by W.W. Norton & Company
Kapitel 13
Chicken-Spiel
49
Evolutionär stabile Strategien
Ist Wimp eine ESS?
Wimp ist evolutionär stabil, falls
u(Wimp, Wimp) > u(Macho, Wimp)
Es gilt u(Wimp, Wimp) = 0 und u(Macho,
Wimp) = 1.
Somit ist Wimp keine ESS.
Kapitel 13
Chicken-Spiel
50
Evolutionär stabile Strategien
Ist Macho eine ESS?
Macho ist evolutionär stabil, falls
u(Macho, Macho) > u(Wimp, Macho)
Es gilt u(Macho, Macho) = -2 und u(Wimp,
Macho) = -1.
Somit ist Macho keine ESS.
Kapitel 13
Chicken-Spiel
51
Jeder Typ hat eine höhere Fitness, wenn er in
der Bevölkerung eine Minderheit repräsentiert.
Jeder Typ kann somit erfolgreich in eine
Bevölkerung eindringen, welche nur aus Spielern
mit den anderen Phänotypen besteht.
Die reinen Strategien Wimp und Macho sind
damit keine ESS.
Kapitel 13
Chicken-Spiel
52
Evolutionär stabile Strategien
Das Chicken Spiel hat das symmetrische
Nashgleichgewicht [(0.5, 0.5), (0.5, 0.5)].
Ist die gemischte Strategie (0.5, 0.5) ein
ESS?
Kapitel 13
Chicken-Spiel
53
Betrachten wir noch einmal die Definition einer
EES.
Definition: Eine Aktion k ist eine evolutionär stabile
Strategie, wenn für jede Aktion l ≠ k entweder
u(k, k) > u(l, k)
oder
u(k, k) = u(l, k) und u(k, l) > u(l, l)
gilt.
Kapitel 13
Stabilität für reine Strategien
54
Evolutionär stabile Strategien
Die gemischte Strategie (0.5, 0.5) ist eine
evolutionär stabile Strategie falls,
u[(0.5, 0.5), i] > u(i, i)
wobei i entweder Wimp = (1, 0) oder
Macho = (0, 1) ist.
Kapitel 13
Chicken-Spiel
55
Evolutionär stabile Strategien
Es gilt dass u[(0.5, 0.5), (1, 0)] = 0.5
und u[(1, 0), (1, 0)] = 0.
Es gilt auch dass u[(0.5, 0.5), (0, 1)] =
-1.5 und u[(0, 1), (0, 1)] = -2.
Somit ist (0.5, 0.5) ein ESS.
Kapitel 13
Chicken-Spiel
56
Populationsdynamik
x = Anteil Machos, (1 – x) = Anteil Wimps
Fitness eines Wimps:
(0)(1 – x) + (-1)x = -x
Fitness eines Machos:
1(1 – x) + (-2)x = 1 – 3x
Kapitel 13
Chicken-Spiel
57
Typ Macho hat die höhere Auszahlung wenn:
1 – 3x > -x , d.h. wenn x < ½.
Wenn die Bevölkerung also weniger als zur
Hälfte aus Machos besteht, haben Machos eine
höhere Fitness und der Anteil an Machos nimmt
zu.
(0.5, 0.5) ist ein polymorphes Gleichgewicht.
Dieses Gleichgewicht ist stabil: nach einer kleine
Änderung der Anteile gehen die Anteile wiederum
auf (0.5, 0.5) zu.
Kapitel 13
Chicken-Spiel
58
Fitness
1
Macho
1/2
0
Wimp
1
Anteil x an Machos
Machos in Bevölkerung
-1
-2
Fitness Graphen und polymorphes Gleichgewicht
für Chicken-Spiele
Kapitel 13
Chicken-Spiel
Copyright © 2000 by W.W. Norton & Company
59
Vergleich mit klassischer Spieltheorie
Klassische Spieltheorie: Das Chicken Spiel hat
die drei Nashgleichgewichte [(0.5, 0.5), (0.5,
0.5)], [(1, 0), (0, 1)] und [(0, 1), (1, 0)].
Evolutionäre Spieltheorie: Die zwei reinen
Strategien sind nicht evolutionär stabil.
Die gemischte Strategie ist evolutionär stabil.
Kapitel 13
Chicken-Spiel
60
Interpretationen unterscheiden sich:
In der klassischen Spieltheorie mischen die Spieler.
In evolutionären Spielen ist die Bevölkerung eine
Mischung aus ihren Phänotypen.
Kapitel 13
Chicken-Spiel
61
Koordinationsspiele
Kapitel 13
Koordinationsspiele
62
B
T
M
T
1, 1
0, 0
M
0, 0
2, 2
A
Copyright © 2000 by W.W. Norton & Company
Kapitel 13
Koordinationsspiele
63
Evolutionär stabile Strategien
(M,M) und (T,T) sind strikte
Nashgleichgewichte in reinen Strategien.
M und T sind damit evolutionär stabile
Strategien (ESS).
Kapitel 13
Koordinationsspiele
64
Evolutionär stabile Strategien
[(2/3,1/3), (2/3,1/3)] ist ein symmetrisches
Nashgleichgewicht in gemischten Strategien.
Die gemischte Strategie (2/3,1/3) ist eine ESS
falls,
u[(2/3,1/3), i] > u(i, i)
wobei i entweder T = (1, 0) oder M = (0, 1)
ist.
Kapitel 13
Koordinationsspiele
65
Evolutionär stabile Strategien
Da u((2/3,1/3), T) = 2/3 und u(T, T) = 1, ist
die gemischte Strategie nicht evolutionär
stabil.
Kapitel 13
Koordinationsspiele
66
Populationsdynamik
T hat Fitness:
x(1) + (1 – x)(0) = x
M hat Fitness:
x(0) + (1 – x)(2) = 2(1 – x)
T hat grössere Auszahlung wenn x > 2/3
M wenn x < 2/3
Kapitel 13
Koordinationsspiele
67
Populationsdynamik
Sei x > 2/3, dann konvergiert x gegen x = 1.
Sei x < 2/3, dann konvergiert x gegen x = 0.
Instabiles Gleichgewicht der Populationsdynamik
wenn x = 2/3.
Instabil: jegliche Mutation von T oder M führt weg von
x = 2/3.
Kapitel 13
Koordinationsspiele
68
Fitness
2
Typ M
Typ T
0
2/3
1
1
Anteil x an T Typen
In der Bevölkerung
Copyright © 2000 by W.W. Norton & Company
Kapitel 13
Koordinationsspiele
69
Vergleich mit klassischer Spieltheorie
Klassische Spieltheorie: Drei Nash
Gleichgewichte [(1, 0),(1,0)], [(0,1), (0,1)], und
[(2/3, 1/3), (2/3, 1/3)].
Evolutionäre Spieltheorie: Die gemischte
Strategie ist keine evolutionär stabile Strategie.
Die reinen Strategien sind evolutionär stabile
Strategien (ESS).
Kapitel 13
Koordinationsspiele
70