AP - Statistik und Ökonometrie

Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
1. Grundlagen der Wahrscheinlichkeitstheorie
1.1 Zufallsereignisse, Ereignisraum und Ereignismenge
•
Zufallsexperiment: nach einer bestimmten Vorschrift ausgeführter, unter gleichen
Bedingungen beliebig oft wiederholbarer Vorgang mit mindestens 2 möglichen
(bekannten) Ergebnissen. Es ist nicht bekannt bzw. ungewiss, welches Ergebnis
eintreten wird, d.h. es kann nicht exakt vorausgesagt werden.
(Bsp.: Werfen eines Würfels oder einer Münze)
•
Elementarereignisse = einzelne, nicht mehr zerlegbare und sich gegenseitig ausschließende Ergebnisse eines Zufallsexperiments.
(Z.B. Zahl der Augen beim Würfel)
1
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
•
Ereignisraum: Die Menge Ω aller n Elementarereignisse ω1 , ω2 ,..., ωn eines Zufallsexperiments
stellt
den
Ereignisraum
(Stichprobenraum)
dieses
Zu-
fallsexperiments dar: Ω = {ω1 , ω2 ,..., ωn }
Voraussetzung: endlich viele oder höchstens abzählbar unendlich viele ωn
⇔ stetiges Kontinuum
•
Zusammengesetztes Ereignis:
Ein zufälliges Ereignis A ist eine Teilmenge von Ω . Das Ereignis A ist eingetreten,
wenn das Ergebnis des Zufallsexperiments ein Element der Teilmenge A ist.
•
Ereignismenge: Alle Ereignisse eines Zufallsexperiments mit Ereignisraum Ω
bilden die dazugehörige Ereignismenge E (Ω) .
2
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
1. sicheres Ereignis: Ω ⊂ Ω
2. unmögliches Ereignis: ∅ ⊂ Ω
Tritt das Ereignis A immer ein, wird es mit A = Ω bezeichnet; tritt es niemals ein wird
es mit A = ∅ bezeichnet.
3
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
1.2 Ereignisse und ihre Verknüpfungen
•
Wenigstens eines der beiden Ereignisse A oder B (oder beide) treten ein: A ∪ B
(Vereinigung).
•
Gemeinsam auftretende Ereignisse: sowohl A als auch B müssen eintreten:
A ∩ B (Durchschnitt)
4
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
•
Komplementärereignis: Das Komplementärereignis A tritt genau dann ein, wenn
A nicht eintritt (Negation): A := Ω \ A , d.h. A und A sind komplementär zueinander
Es gilt:
A ∩ A = ∅ und A ∪ A = Ω
A = A , Ω = ∅ und ∅ = Ω
5
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
• Differenz A \ B : Das Ereignis A ohne das Ereignis B :
• Disjunkte Ereignisse: Falls A und B niemals gleichzeitig eintreten können,
A ∩ B = ∅ , dann gelten die Ereignisse als disjunkt (unvereinbar), d.h. sie schließen
sich gegenseitig aus.
6
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
• Implikation: Das Ereignis A enthält das Ereignis B : B ⊂ A ( B impliziert A )
Da das Ergebnis eines Zufallsexperiments ist nicht vorhersagbar, aber man kann möglichen Ereignissen Wahrscheinlichkeiten (reelle Zahlen) zuordnen:
P : E → ℜ (reellwertige Funktion)
P : A → P ( A)
7
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
Regeln für Ereignisoperationen:
A∪ B = B∪ A
bzw. A ∩ B = B ∩ A
A ∪ ( B ∪ C ) = ( A ∪ B) ∪ C
bzw. A ∩ ( B ∩ C ) = ( A ∩ B ) ∩ C
Kommutativgesetze
Assoziativgesetze
A ∪ ( B ∩ C ) = ( A ∪ B) ∩ ( A ∪ C )
bzw. A ∩ ( B ∪ C ) = ( A ∩ B ) ∪ ( A ∩ C )
A∪ B = A ∩ B
bzw. A ∩ B = A ∪ B
Distributivgesetze
De Morgansche Regeln
8
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
1.3 Wahrscheinlichkeitsbegriffe
• Definition der Wahrscheinlichkeit nach Laplace (klassische Wahrscheinlichkeit): Die Wahrscheinlichkeit für das Eintreten des Ereignisses A ist die Anzahl der
(günstigen) Fälle in denen A eintritt im Verhältnis zu allen möglichen Fällen. (Achtung: Setzt die Gleichwahrscheinlichkeit für das Eintreten aller möglichen Fälle
voraus.)
P( A) :=
Anzahl der günstigen Ausgänge Anzahl der Elemente A
=
Anzahl der möglichen Ausgänge Anzahl der Elemente Ω
Rechtfertigung: Prinzip des unzureichenden Grundes
9
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
• Definition der Wahrscheinlichkeit nach von Mises (statistische Wahrscheinlichkeit): Nach n-maligem Durchführen eines Zufallsexperiments konvergiert die
relative Häufigkeit f ( A) bei sehr großen n gegen die statistische Wahrscheinlichkeit des Auftretens von A , P( A) :
P( A) = lim f ( A)
n →∞
bzw.
lim P ( f ( A) − P ( A) > ε ) = 0
n →∞
Bsp.: Würfel wird 3000mal hintereinander geworfen. Es interessiert die Anzahl der
Sechser:
10
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
Anzahl der Würfe
Absolute H. der
Augenzahl 6
Relative Häufigkeit
der Augenzahl 6
1
1
1,00000
2
1
0,50000
3
1
0,33333
4
1
0,25000
5
2
0,40000
10
2
0,20000
M
M
M
3000
560
0,16867
Konvergenz der relativen Häufigkeit wird als Gesetz der großen Zahlen bezeichnet.
f ( A) wird dann als Näherungswert oder Schätzwert
P̂
für die gesuchte
Wahrscheinlichkeit P( A) verwendet
11
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
• Subjektiver Wahrscheinlichkeitsbegriff
Risikosituation A:
Man erhält 1000 EUR mit Wahrscheinlichkeit p .
Man erhält 0 EUR mit Wahrscheinlichkeit 1 − p .
Risikosituation B: Man erhält 1000 EUR, wenn DAX innerhalb nächsten
drei Monate um 100 Punkte steigt.
Wenn nicht, geht man leer aus.
• Axiomatischer Wahrscheinlichkeitsbegriff nach Kolmogorov
Axiom 1 (Nichtnegativität): P ( A) ≥ 0 für jedes A ∈ E . P(A) ist eine nichtnegative
reelle Zahl.
Axiom 2 (Normierung): Das sichere Ereignis hat die Wahrscheinlichkeit 1: P (Ω ) = 1
12
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
Axiom 3 (Additivität): P ( A ∪ B ) = P ( A) + P (B ) , falls A ∩ B = ∅ (Additionsregel für
disjunkte Ereignisse).
Für die Ereignismenge E muss gelten:
(1)
Ω ∈ E (sicheres Ereignis gehört zur Ereignismenge)
(2)
A ∈ E , wenn A ∈ E (jedes Ereignis besitzt komplementäres Ereignis)
∞
(3)
UA
j =1
j
∈E
(Abgeschlossenheit der Menge E )
Axiom 3’: P ( A1 ∪ A2 ∪ A3 ∪ K) = P ( A1 ) + P ( A2 ) + P ( A3 ) + K
Kolmogorovscher Wahrscheinlichkeitsraum: [Ω, E , P (⋅)]
13
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
1.4 Wichtige Regeln der Wahrscheinlichkeitsrechnung
Theorem 1: Die Wahrscheinlichkeit des zu A komplementären Ereignisses ist:
P ( A ) = 1 − P ( A) für jedes A∈ E
Beweis:
Ereignisse A und A sind disjunkt, folglich gilt (Axiom 3 und 2):
P (A ∪ A ) = P ( A) + P (A ) = P (Ω ) = 1 ⇒ P ( A) = 1 − P (A )
Theorem 2: Die Wahrscheinlichkeit des unmöglichen Ereignisses beträgt:
P(∅) = 0
Beweis:
∅ und Ω sind komplementäre Ereignisse. Nach Axiom 2 ist P (Ω ) = 1 und
nach Theorem 1 folgt P(∅) = 1 − 1 = 0 .
14
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
Theorem 3: Sind die Ereignisse A1 , A2 ,K, An ∈ E paarweise disjunkt, dann ist die
Wahrscheinlichkeit für das Ereignis, das aus der Vereinigung all dieser
Ereignisse entsteht, die Summe der Einzelwahrscheinlichkeiten:
 n  n
P( A1 ∪ A2 ∪ A3 ∪ K) = P U Ai  = ∑ P( Ai )
 i =1  i =1
Beweis:
bei n disjunkte Ereignissen:
vollständige Induktion nach Axiom 3 bzw. Axiom 3’.
Theorem 4: Für eine Differenzmenge A \ B gilt stets: P( A\ B) = P( A) − P( A ∩ B)
Beweis:
Ereignis A setzt sich aus A \ B und A∩ B zusammen, so dass aus Axiom 3
folgt: P( A) = P( A \ B) + P( A ∩ B )
15
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
Theorem 5: Additionsgesetz für beliebige (auch für nicht disjunkte) Ereignisse:
P( A ∪ B) = P( A) + P( B) − P( A ∩ B)
Beweis:
Das Ereignis A∪ B setzt sich aus den drei disjunkten (gegenseitig ausschließenden) Ereignissen A \ B , A∩ B und B \ A zusammen und nach
Theorem 4 gilt:
P( A\ B) = P(A)- P( A ∩ B) und P( B \ A) = P(B) - P( A ∩ B)
Dann folgt nach Theorem 3:
P( A ∪ B) = P(A\ B) + P( A ∩ B) + P(B \ A)
= P( A) − P( A ∩ B) + P( A ∩ B) + P(B) - P( A ∩ B)
= P( A) − P( A ∩ B) + P( A ∩ B) + P(B) - P( A ∩ B)
= P( A) + P(B) - P( A ∩ B)
16
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
Additionsgesetz für (zwei) disjunkte Ereignisse:
P( A ∪ B) = P( A) + P(B) , da A ∩ B = ∅ bzw. P( A ∩ B) = 0
Theorem 6: Monotonieeigenschaft des Wahrscheinlichkeitsmaßes
Impliziert Ereignis A das Ereignis B ( A ⊂ B ) dann folgt grundsätzlich:
P( A) ≤ P( B)
Beweis:
Ereignis B setzt sich aus den beiden disjunkten Ereignissen A und B \ A
zusammen und nach Axiom 3 gilt: P( A) + P( B \ A) = P(B ) . Da P( B \ A)
nach Axiom 1 nicht negativ sein kann, gilt:
P( A) ≤ P( B) .
17
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
1.5 Bedingte Wahrscheinlichkeit und stochastische Unabhängigkeit
Bedingte Wahrscheinlichkeit: Die bedingte Wahrscheinlichkeit P ( A B ) ist die Wahrscheinlichkeit für das Eintreten des Ereignisses A unter der Voraussetzung, das B
bereits eingetreten ist.
P( A B) =
P( A ∩ B)
P( B) > 0
P ( B ) , für
= bedingte Wahrscheinlichkeit von A unter der Bedingung von B
18
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
A
B
A∩
∩B
Die bedingte Wahrscheinlichkeit P (⋅ B ) ist selbst ein Wahrscheinlichkeitmaß und
gehorcht ebenfalls den Kolmogorovschen Axiomen, denn es gilt:
(1)
P ( A B ) ≥ 0 für beliebige Ereignisse A∈ E
(2)
P (Ω B ) = 1 für das sichere Ereignis Ω
(3)
P ( A1 ∪ A2 B ) = P ( A1 B ) + P ( A2 B ) , falls A1 ∩ A2 = ∅
19
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
P ( A1 ∪ A2 B ) =
=
P (( A1 ∪ A2 ) ∩ B ) P (( A1 ∩ B ) ∪ ( A2 ∩ B ))
=
P( B)
P( B)
P ( A1 ∩ B ) P ( A2 ∩ B )
+
= P ( A1 B ) + P ( A2 B )
P( B)
P( B)
Theorem 7: Multiplikationssatz der Wahrscheinlichkeitsrechnung (für beliebige Ereignisse)
durch Umformen der Definition der bedingten Wahrscheinlichkeit:
P ( A ∩ B ) = P ( A) ⋅ P (B A) , wenn P ( A) > 0 bzw.
P ( A ∩ B ) = P (B ) ⋅ P (A B ) , wenn P (B ) > 0
20
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
Multiplikationssatz für drei Ereignisse:
P ( A ∩ B ∩ C ) = P (A B ∩ C )⋅ P (B C )⋅ P (C ) , wenn P (B ∩ C ) > 0
Aus P (B ∩ C ) > 0 folgt P (C ) ≥ P ( B ∩ C ) > 0 ist. Daher gilt:
P ( A ∩ B ∩ C ) = P ( A ∩ ( B ∩ C )) = P ( A B ∩ C ) ⋅ P (B C ) ⋅ P (C )
Stochastische Unabhängigkeit: Zwei Ereignisse
A und B heißen stochastisch
unabhängig, wenn
( )
( )
P(B A) = P B A = P(B ) bzw. P(A B ) = P A B = P( A)
Theorem 8:
Multiplikationssatz für stochastisch unabhängige Ereignisse:
P ( A ∩ B ) = P ( A ) ⋅ P (B )
21
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
1.6 Totale Wahrscheinlichkeit und das Bayes Theorem
Theorem 9:
Satz der totalen Wahrscheinlichkeit
Besteht ein Ereignisraum Ω aus n disjunkten Ereignissen A1 , A2 ,..., An
n
(d.h. Ai ∩ A j = ∅ für i ≠ j und
UA =Ω
i
i =1
bzw. vollständige Zerlegung
der Ereignismenge), und ist das Ereignis B ein Teil von Ω , B ⊂ Ω , dann
sind B ∩ A1 , B ∩ A2 , …, B ∩ An disjunkte Ereignisse und es gilt:
 n

P(B ) = P U ( B ∩ Ai )  = P (B ∩ A1 ) + P(B ∩ A2 ) + ... + P(B ∩ An )
 i =1

n
= ∑ P(B ∩ Ai )
i =1
22
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
n
Da P(B ∩ Ai ) = P(B Ai ) ⋅ P( Ai ) ist, kann P(B ) auch als: P(B ) = ∑ P(B Ai )⋅ P( Ai )
i =1
geschrieben werden.
23
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
Theorem von Bayes: Aus der Verknüpfung von bedingter und totalen Wahrscheinlichkeit folgt die Formel von Bayes:
P(Ai B ) =
P( Ai ∩ B ) P ( B Ai ) ⋅ P( Ai )
=
P (B )
P( B )
Ersetzt man P(B ) im Nenner durch den Ausdruck der totalen Wahrscheinlichkeit, dann
erhält man:
P(Ai B ) =
P( Ai ) ⋅ P (B Ai )
n
∑ P(A ) ⋅ P(B
j
Aj
)
j =1
24
Lehrstuhl für Empirische Wirtschaftsforschung und Ökonometrie
Dr. Roland Füss ● Statistik II: Schließende Statistik ● SS 2007
Interpretation der Formel von Bayes:
A1 , A2 ,..., An sind sich ausschließende mögliche Zustände der Welt (alternative
Hypothesen), von denen genau eine zutrifft. B ist das Ergebnis einer Beobachtung.
Für jede der n Hypothesen Ai ist die Wahrscheinlichkeit bekannt, dass B eintritt, wenn
Ai gilt. P ( Ai ) ist die A-priori-Wahrscheinlichkeit von Ai bzw. die Wahrscheinlichkeit, dass die i-te Hypothese zutrifft. Die bedingte Wahrscheinlichkeit P(B Ai ) ist die
Wahrscheinlichkeit von B , wenn die Hypothese Ai zutrifft.
P(Ai B ) ist die A-posteriori-Wahrscheinlichkeit von
Ai bzw. die (nach der Beobachtung
von B ) ermittelte Wahrscheinlichkeit, dass die i-te Hypothese zutrifft, unter der
Bedingung, dass das Ergebnis B beobachtet worden ist.
25