Kapitel 13: Evolutionäre Spieltheorie

Kapitel 13:
Evolutionäre Spieltheorie
Kapitel 13
1
Übersicht






Einleitung
Evolutionäre Biologie
Evolutionäre Spieltheorie: Idee
Gefangenendilemma (Beispiel)
Evolutionäre Stabilität
Beispiele
 Wiederholtes Gefangenendilemma
 Chicken-Spiel
 Koordinationsspiel
Kapitel 13
Übersicht
2
Einleitung
Kapitel 13
Einleitung
3
 Rationalität als zentrale Annahme der
Spieltheorie.
 Sinnvoll in vielen ökonomischen Zusammenhängen
 Empirisch bestätigt?
 Können wir diese Annahme fallen lassen?
 Was sind die Alternativen?
Kapitel 13
Einleitung
4
Alternative: Biologische Evolutionstheorie
 Keine Rationalität, da keine bewussten
Entscheidungen gefällt werden.
 „Gute“ Strategien werden gegenüber „schlechten“
belohnt.
 „Gute“ Strategien erhöhen die Fitness der
Anwender und vermehren sich dadurch stärker in
der Bevölkerung.
Kapitel 13
Einleitung
5
Evolutionäre Biologie
Kapitel 13
Evolutionäre Biologie
6
Grundlagen der evolutionären Biologie
 Tierisches Verhalten ist weitgehend genetisch
bestimmt.
 Zusammenwirken der Gene bestimmt eine
Verhaltensweise.
 Phänotyp: Spezielles Verhaltensmuster, welches
durch ein oder mehrere Gene bestimmt wird.
Kapitel 13
Evolutionäre Biologie
7
Fitness
 Fitness: Mass für den Erfolg eines Phänotypen.
 Einige Phänotypen passen besser zu den
herrschenden Umweltbedingungen als andere.
Kapitel 13
Evolutionäre Biologie
8
Selektion
 Selektion: Ändert die Zusammensetzung der
Phänotypen.
 Anzahl der Tiere mit einer höheren Fitness nimmt
zu, weil sie relativ mehr Nachkommen haben.
Kapitel 13
Evolutionäre Biologie
9
Mutationen
 Der Zufall produziert Mutationen: Es entstehen
neuen Phänotypen.
 Fitness und Selektion bestimmen den Erfolg der
Mutanten.
 Die meisten Phänotypen, welche durch eine
Mutation entstehen, sind schlecht an die Umwelt
angepasst und verschwinden unmittelbar wieder.
Kapitel 13
Evolutionäre Biologie
10
 Von Zeit zu Zeit entsteht ein neuer Phänotyp, der
besser an die Umwelt angepasst ist.
 Der Mutant kann in eine bestehende Population
von Phänotypen eindringen und erreicht einen
signifikanten Anteil in der Bevölkerung.
Kapitel 13
Evolutionäre Biologie
11
Evolutionäre Stabilität
 Ein Phänotyp wird evolutionär stabil genannt,
wenn keine Mutanten den Phänotypen
verdrängen können.
 Eine Population heisst monomorph, wenn sie aus
nur einem Phänotypen besteht.
 Eine Population heisst polymorph, wenn sie aus
mehreren Phänotypen besteht.
Kapitel 13
Evolutionäre Biologie
12
Evolutionäre Spieltheorie:
Idee
Kapitel 13
Evolutionäre Spieltheorie:Idee
13
 Evolutionäre Spieltheorie: Anwendung der
evolutionären Biologie auf Strategien.
 Strategien werden nicht mehr vom Spieler
durchdacht, vielmehr sind sie angeboren.
 Fitness und Selektion bestimmen dann den
„Erfolg“ der Strategie.
Kapitel 13
Evolutionäre Spieltheorie: Idee
14
 Wir nutzen die evolutionäre Spieltheorie, um die
Annahme der Rationalität vollständig fallen zu
lassen.
 Spieler treffen keine bewussten Entscheidungen,
da sie die Strategien „erben“.
 Spieler müssen daher nicht rational sein:
sie müssen die Welt nicht verstehen.
Kapitel 13
Evolutionäre Spieltheorie: Idee
15
 Interpretation „erben“:
Akteure erhalten Strategien mittels nichtgenetischer Prozesse:
z.B. Imitation, Erziehung etc..
Fitness beinhaltet Gewinne, Macht, Prestige usw.
und nicht nur das Überleben als solches.
Kapitel 13
Evolutionäre Spieltheorie: Idee
16
 Das Nashgleichgewicht wird ersetzt durch zwei
Konzepte:
 Evolutionär stabile Strategie
 Populationsdynamik
 Das sind unsere neuen „Prognosetools“
Kapitel 13
Evolutionäre Spieltheorie: Idee
17
 Der Ansatz der Populationsdynamik betrachtet
dynamische Prozesse, die beschreiben wie sich
die relative Häufigkeit unterschiedlicher
Strategien in einer Bevölkerung im Zeitablauf
ändern.
 Der Ansatz der evolutionär stabilen Strategien
beschreibt einen Zustand, unter dem sich keine
alternative Strategie (eine “Mutation”) in der
Bevölkerung ausbreiten kann.
Kapitel 13
Evolutionäre Spieltheorie: Idee
18
„Evolutionary Theory of Gravitation“
 Question: Why does an apple fall from the tree to
the earth?
 Answer: Originally, apples that came loose from
trees went in all directions. But only those that
were genetically predisposed to fall to the earth
could reproduce.
Kapitel 13
Evolutionäre Spieltheorie: Idee
19
Gefangenendilemma
Kapitel 13
Gefangenendilemma
20
 Bevölkerung besteht aus 2 Phänotypen
 Kooperierende: Gestehen nicht
 Abweichende: Gestehen
 Spieler können Strategie nicht wählen: Sie
werden als Kooperierende oder Abweichende
„geboren“.
Kapitel 13
Gefangenendilemma
21
 Um die durchschnittliche Auszahlung (Fitness)
einer Strategie zu bestimmen, braucht es ein
Modell der Interaktion innerhalb der Bevölkerung.
 Zufälliges Aufeinandertreffen vs. geordnetes
Aufeinandertreffen.
 Wir betrachten das einfachste Modell der
Interaktion innerhalb einer Bevölkerung.
Kapitel 13
Gefangenendilemma
22
 Für jedes Individuum in der Bevölkerung gilt:
die Wahrscheinlichkeit, dass er auf ein
Individuum mit einer gegebenen Verhaltensweise
trifft, entspricht genau der relativen Häufigkeit
dieser Verhaltensweise in der Bevölkerung.
 Sei x der Anteil kooperierender Spieler (Phänotyp
„nicht gestehen“).
Kapitel 13
Gefangenendilemma
23
SPALTE
1-x
Gestehen
ZEILE
x
Kooperieren
Gestehen
10 yr, 10 yr
1 yr, 25 yr
Kooperieren
25 yr, 1 yr
3 yr, 3 yr
x = Wahrscheinlichkeit auf einen Kooperierenden zu treffen
1 – x = Wahrscheinlichkeit auf einen nicht kooperierenden zu treffen
Kapitel 13
Gefangenendilemma
24
 Erwartete Freiheitsstrafe für kooperieren
3x + 25(1 – x) = 25 – 22x
 Erwartete Freiheitsstrafe für gestehen
x + 10(1 – x) = 10 – 9x
 Für jedes 0  x  1 gilt:
10 – 9x < 25 – 22x
13x < 15
Kapitel 13
Gefangenendilemma
25
Evolutionär stabile Strategie
 Die Strategie „gestehen“ erwartet eine geringere
Haftstrafe für jedes x  (0,1).
 In einer Population in der alle Spieler „gestehen“,
kann damit die Mutation „kooperieren“ nicht
erfolgreich eindringen.
 Falls „kooperieren“ per Zufall entsteht, wird sie
unmittelbar wieder verdrängt.
 Die Strategie „gestehen“ ist damit evolutionär
stabil (ESS) im Gefangenendilemma.
Kapitel 13
Gefangenendilemma
26
 Im Gegensatz dazu ist die Strategie
„kooperieren“ nicht evolutionär stabil.
 In einer Population in der alle Spieler die
Strategie „kooperieren“ anwenden, kann die
Strategie „gestehen“ erfolgreich eindringen.
Kapitel 13
Gefangenendilemma
27
Populationsdynamik
 Sei x der Anteil Spieler die anfänglich nicht
gestehen. Wie ändert sich x über die Zeit?
 Da für jedes x „gestehen“ eine geringere
Haftstrafe erzielt als „ kooperieren“ wird x über
die Zeit abnehmen.
 Dieser Prozess hört erst auf, wenn es nur noch
Spieler gibt, welche gestehen.
 Daher ist nur x = 0 ein Gleichgewicht (stabiler
Zustand) der Populationsdynamik.
Kapitel 13
Gefangenendilemma
28
Evolutionäre Stabilität für reine
Strategien
Kapitel 13
Stabilität für reine Strategien
29
 Symmetrisches 2-Personen-Spiel in strategischer
Form mit m Aktionen.
 Zumeist betrachten wir den Fall m = 2.
 In biologischen Anwendungen ist die Betrachtung von
2-Personen-Spielen die Regel.
Kapitel 13
Stabilität für reine Strategien
30
 Auszahlungsfunktion: verwendet in einer
Interaktion ein Spieler die Aktion k so ist seine
Auszahlung u(k, l) wenn sein Gegenspieler die
Aktion l verwendet.
 Wir betrachten in diesem Abschnitt den Fall, in
dem jeder einzelne Spieler eine reine Strategie
verwendet, d.h. eine der m Aktionen verwendet.
Kapitel 13
Stabilität für reine Strategien
31
Definition: Eine Aktion k ist eine evolutionär stabile
Strategie, wenn für jede Aktion l ≠ k entweder
u(k, k) > u(l, k)
oder
u(k, k) = u(l, k) und u(k, l) > u(l, l)
gilt.
Kapitel 13
Stabilität für reine Strategien
32
 Es wird eine Situation betrachtet, in der die
gesamte Bevölkerung die Aktion k verwendet.
 Wechselt nun ein Teil ε der Bevölkerung zu einer
alternativen Aktion l ≠ k, so sind die
durchschnittlichen Auszahlungen:
 (1 − ε)u(k, k) + εu(k, l) für die Aktion k
 (1 − ε)u(l, k) + εu(l, l) für die Aktion l
Kapitel 13
Stabilität für reine Strategien
33
 Die Aktion k erzielt eine strikt grössere
durchschnittliche Auszahlung als die Aktion l (und
kann diese daher per Annahme aus der
Bevölkerung verdrängen) falls
(1 − ε) [u(k, k) − u(l, k)] + ε[u(k, l) − u(l, l)] > 0
gilt.
Kapitel 13
Stabilität für reine Strategien
34
 Die Bedingungen in der Definition einer
evolutionär stabilen Strategie sind genau
diejenigen, die sichern, dass diese Ungleichung
für alle hinreichend kleinen ε > 0 erfüllt sind.
 Gilt u(k, k) > u(l, k) wird die “Mutation” l verdrängt, da
der erste Summand strikt positiv und der zweite
Summand für hinreichend kleine ε diesen Effekt nicht
umdrehen kann
 Gilt u(l, k) = u(k, k), so ist der Gesamtausdruck für ε >
0 genau dann strikt positiv, wenn u(k, l) > u(l, l) gilt.
Kapitel 13
Stabilität für reine Strategien
35
Theorem: Ist k eine evolutionär stabile
Strategie, so ist (k, k) ein NashGleichgewicht in reinen Strategien.
Kapitel 13
Stabilität für reine Strategien
36
 Das Theorem liefert eine Rechtfertigung für das
Konzept des Nash-Gleichgewichts aus
evolutionärer Sicht.
 Die Rechtfertigung ist nur teilweise, da
 nur symmetrische Nash-Gleichgewichte einer
evolutionär stabilen Strategie entsprechen können.
 nicht jedes Nash-Gleichgewicht evolutionär stabil ist.
Kapitel 13
Stabilität für reine Strategien
37
Theorem: Ist (k, k) ein striktes Nash-Gleichgewicht
so ist k evolutionär stabil.
 In einem symmetrischen 2-Personen-Spiel ist (k,
k) genau dann ein striktes Nash-Gleichgewicht,
wenn u(k, k) > u(l, k) für alle l gilt.
Kapitel 13
Stabilität für reine Strategien
38
 Insbesondere ist (k, k) ein striktes NashGleichgewicht – und damit k evolutionär stabil wenn k eine dominante Aktion ist (Beispiel:
einfaches Gefangenendilemma).
Kapitel 13
Stabilität für reine Strategien
39
Wiederholtes
Gefangenendilemma
Kapitel 13
Wiederholtes Gefangenendilemma
40
Zwei Wiederholungen
 Wiederholtes Gefangenendilemma (zweimal)
 Zwei Strategien
 Immer gestehen (A)
 Tit-for-tat (T)
Kapitel 13
Wiederholtes Gefangenendilemma
41
Spiel für die Strategien A und T
SPALTE
A 1-x
ZEILE
T
A
20, 20
11, 35
T
35, 11
6, 6
x
x = Wahrscheinlichkeit auf einen T Spieler zu treffen
(1 – x) = Wahrscheinlichkeit auf einen A Spieler zu treffen
Copyright © 2000 by W.W. Norton & Company
Kapitel 13
Wiederholtes Gefangenendilemma
42
Evolutionär stabile Strategien
 (A, A) und (T, T) sind strikte
Nashgleichgewichte in reinen Strategien.
 A und T sind damit evolutionär stabile
Strategien (ESS).
Kapitel 13
Wiederholtes Gefangenendilemma
43
Populationsdynamik
 Sei x der Anteil der tit-for-tat (T) Spieler.
 Wie ändert sich dieser Anteil über die Zeit?
 Die erwartete Freiheitsstrafe eines A Spielers
beträgt 11x + 20(1 – x) = 20 – 9x.
 Die erwartete Freiheitsstrafe eines T Spielers ist
6x + 35(1 – x) = 35 – 29x.
 Wenn x > 3/4 : 35 – 29x < 20 – 9x
Kapitel 13
Wiederholtes Gefangenendilemma
44
 Wenn mehr als 75% der Bevölkerung schon vom
Typ T ist, dann hat T eine höhere Fitness als A
und wird zu 100% anwachsen (x = 1).
 Wenn weniger als 75% der Bevölkerung vom Typ
T ist, hat A eine höhere Fitness und wird zu
100% wachsen (x = 0).
Kapitel 13
Wiederholtes Gefangenendilemma
45
Unfitness
(Jahre im
Gefängnis)
35
Unfitness
des Typ T
35 – 29x
20
Typ A
20 – 9x
11
6
0
1
Anteil x des Typs T
in der Bevölkerung
Copyright © 2000 by W.W. Norton & Company
Kapitel 13
Wiederholtes Gefangenendilemma
46
 Ein polymorphes Gleichgewicht existiert, wenn
die Bevölkerung exakt zu 75% aus T und zu 25%
aus A besteht.
 Beide Typen besitzen dieselbe Fitness und
vermehren sich proportional.
 Dies ist ein Gleichgewicht, es ist aber nicht stabil.
 Einführung eines Mutanten eines Typs stürzt das
Gleichgewicht.
Kapitel 13
Wiederholtes Gefangenendilemma
47
Chicken-Spiel
Kapitel 13
Chicken-Spiel
48
B
Wimp
Macho
Wimp
0, 0
-1, 1
Macho
1, -1
-2, -2
A
Copyright © 2000 by W.W. Norton & Company
Kapitel 13
Chicken-Spiel
49
Evolutionär stabile Strategien
 Ist Wimp eine ESS?
 Wimp ist evolutionär stabil, falls
u(Wimp, Wimp) > u(Macho, Wimp)
 Es gilt u(Wimp, Wimp) = 0 und u(Macho,
Wimp) = 1.
 Somit ist Wimp keine ESS.
Kapitel 13
Chicken-Spiel
50
Evolutionär stabile Strategien
 Ist Macho eine ESS?
 Macho ist evolutionär stabil, falls
u(Macho, Macho) > u(Wimp, Macho)
 Es gilt u(Macho, Macho) = -2 und u(Wimp,
Macho) = -1.
 Somit ist Macho keine ESS.
Kapitel 13
Chicken-Spiel
51
 Jeder Typ hat eine höhere Fitness, wenn er in
der Bevölkerung eine Minderheit repräsentiert.
 Jeder Typ kann somit erfolgreich in eine
Bevölkerung eindringen, welche nur aus Spielern
mit den anderen Phänotypen besteht.
 Die reinen Strategien Wimp und Macho sind
damit keine ESS.
Kapitel 13
Chicken-Spiel
52
Evolutionär stabile Strategien
 Das Chicken Spiel hat das symmetrische
Nashgleichgewicht [(0.5, 0.5), (0.5, 0.5)].
 Ist die gemischte Strategie (0.5, 0.5) ein
ESS?
Kapitel 13
Chicken-Spiel
53
Betrachten wir noch einmal die Definition einer
EES.
Definition: Eine Aktion k ist eine evolutionär stabile
Strategie, wenn für jede Aktion l ≠ k entweder
u(k, k) > u(l, k)
oder
u(k, k) = u(l, k) und u(k, l) > u(l, l)
gilt.
Kapitel 13
Stabilität für reine Strategien
54
Evolutionär stabile Strategien
 Die gemischte Strategie (0.5, 0.5) ist eine
evolutionär stabile Strategie falls,
u[(0.5, 0.5), i] > u(i, i)
wobei i entweder Wimp = (1, 0) oder
Macho = (0, 1) ist.
Kapitel 13
Chicken-Spiel
55
Evolutionär stabile Strategien
 Es gilt dass u[(0.5, 0.5), (1, 0)] = 0.5
und u[(1, 0), (1, 0)] = 0.
 Es gilt auch dass u[(0.5, 0.5), (0, 1)] =
-1.5 und u[(0, 1), (0, 1)] = -2.
 Somit ist (0.5, 0.5) ein ESS.
Kapitel 13
Chicken-Spiel
56
Populationsdynamik
 x = Anteil Machos, (1 – x) = Anteil Wimps
 Fitness eines Wimps:
(0)(1 – x) + (-1)x = -x
 Fitness eines Machos:
1(1 – x) + (-2)x = 1 – 3x
Kapitel 13
Chicken-Spiel
57
 Typ Macho hat die höhere Auszahlung wenn:
1 – 3x > -x , d.h. wenn x < ½.
 Wenn die Bevölkerung also weniger als zur
Hälfte aus Machos besteht, haben Machos eine
höhere Fitness und der Anteil an Machos nimmt
zu.
 (0.5, 0.5) ist ein polymorphes Gleichgewicht.
 Dieses Gleichgewicht ist stabil: nach einer kleine
Änderung der Anteile gehen die Anteile wiederum
auf (0.5, 0.5) zu.
Kapitel 13
Chicken-Spiel
58
Fitness
1
Macho
1/2
0
Wimp
1
Anteil x an Machos
Machos in Bevölkerung
-1
-2
Fitness Graphen und polymorphes Gleichgewicht
für Chicken-Spiele
Kapitel 13
Chicken-Spiel
Copyright © 2000 by W.W. Norton & Company
59
Vergleich mit klassischer Spieltheorie
 Klassische Spieltheorie: Das Chicken Spiel hat
die drei Nashgleichgewichte [(0.5, 0.5), (0.5,
0.5)], [(1, 0), (0, 1)] und [(0, 1), (1, 0)].
 Evolutionäre Spieltheorie: Die zwei reinen
Strategien sind nicht evolutionär stabil.
 Die gemischte Strategie ist evolutionär stabil.
Kapitel 13
Chicken-Spiel
60
 Interpretationen unterscheiden sich:
 In der klassischen Spieltheorie mischen die Spieler.
 In evolutionären Spielen ist die Bevölkerung eine
Mischung aus ihren Phänotypen.
Kapitel 13
Chicken-Spiel
61
Koordinationsspiele
Kapitel 13
Koordinationsspiele
62
B
A
T
M
T
1, 1
0, 0
M
0, 0
2, 2
Copyright © 2000 by W.W. Norton & Company
Kapitel 13
Koordinationsspiele
63
Evolutionär stabile Strategien
 (M,M) und (T,T) sind strikte
Nashgleichgewichte in reinen Strategien.
 M und T sind damit evolutionär stabile
Strategien (ESS).
Kapitel 13
Koordinationsspiele
64
Evolutionär stabile Strategien
 [(2/3,1/3), (2/3,1/3)] ist ein symmetrisches
Nashgleichgewicht in gemischten Strategien.
 Die gemischte Strategie (2/3,1/3) ist eine ESS
falls,
u[(2/3,1/3), i] > u(i, i)
wobei i entweder T = (1, 0) oder M = (0, 1)
ist.
Kapitel 13
Koordinationsspiele
65
Evolutionär stabile Strategien
 Da u((2/3,1/3), T) = 2/3 und u(T, T) = 1, ist
die gemischte Strategie nicht evolutionär
stabil.
Kapitel 13
Koordinationsspiele
66
Populationsdynamik
 T hat Fitness:
x(1) + (1 – x)(0) = x
 M hat Fitness:
x(0) + (1 – x)(2) = 2(1 – x)
 T hat grössere Auszahlung wenn x > 2/3
 M wenn x < 2/3
Kapitel 13
Koordinationsspiele
67
Populationsdynamik
 Sei x > 2/3, dann konvergiert x gegen x = 1.
 Sei x < 2/3, dann konvergiert x gegen x = 0.
 Instabiles Gleichgewicht der Populationsdynamik
wenn x = 2/3.
 Instabil: jegliche Mutation von T oder M führt weg von
x = 2/3.
Kapitel 13
Koordinationsspiele
68
Fitness
2
Typ M
Typ T
0
2/3
1
1
Anteil x an T Typen
In der Bevölkerung
Copyright © 2000 by W.W. Norton & Company
Kapitel 13
Koordinationsspiele
69
Vergleich mit klassischer Spieltheorie
 Klassische Spieltheorie: Drei Nash
Gleichgewichte [(1, 0),(1,0)], [(0,1), (0,1)], und
[(2/3, 1/3), (2/3, 1/3)].
 Evolutionäre Spieltheorie: Die gemischte
Strategie ist keine evolutionär stabile Strategie.
Die reinen Strategien sind evolutionär stabile
Strategien (ESS).
Kapitel 13
Koordinationsspiele
70