Elementare Grundlagen der Wahrscheinlichkeitstheorie

Elementare Grundlagen der
Wahrscheinlichkeitstheorie
Kursfolien
Karin Haenelt
Oktober 2000
02.04.2007
1
Inhalt
„
„
„
„
Ereignisraum
Wahrscheinlichkeitsraum
Bedingte Wahrscheinlichkeiten
Theorem von Bayes
02.04.2007
Karin Haenelt,
Elementare Grundlagen der
Wahrscheinlichkeitstheorie
2
Ereignisraum
W
Ergebnismenge (sample space)
W = {nom,gen,dat,acc}
Menge der möglichen
Elementarereignisse
w
Elementarereignisse (basic outcome, sample points)
w = nom | gen | dat | acc
A
Ereignis (event)
Teilmenge von W
F
02.04.2007
Karin Haenelt,
Elementare Grundlagen der
Wahrscheinlichkeitstheorie
1
Ai = {nom,dat,acc}
Ereignisraum (event space)
Menge der möglichen Ereignisse
ƒ
Nicht notwendigerweise jede Teilmenge von W
ƒ
Mindestens
ƒ
W
als sicheres Ereignis
ƒ
4
als unmögliches Ereignis
ƒ
Möglich: belieb. Komplemente u. Vereinigungen
3
Ereignisraum
2
2F Potenzmenge von W (power set of sample space) P(W)
Menge aller Teilmengen der Ergebnismenge
(bei n Ergebnissen gibt es 2n Ereignisse)
W = {a,b,c,d}
A1 = {a,b,c}
A3 = {a,c,d}
A5 = {a,b}
A7 = {a,d}
A9 = {b,d}
A11 = {a}
A13 = {c}
4
02.04.2007
Karin Haenelt,
Elementare Grundlagen der
Wahrscheinlichkeitstheorie
A2 = {a,b,d}
A4 = {b,c,d}
A6 = {a,c}
A8 = {b,c}
A10 = {r,d}
A12 = {b}
A14 = {d}
Sicheres Ereignis
Ereignisse
ElementarEreignisse
Unmögliches
Ereignis
4
Potenzmenge - Beispiel 1
Experiment:
•in einer Urne befinden sich vier Kugeln:
schwarz (s), weiß (w), rot (r1), rot (r2)
• eine Kugel wird zufällig gezogen
konstruierbare Ereignisse
W = {s,w,r1,r2}
A2 = {s,w,r2}
A1 = {s,w,r1}
A4 = {w,r1,r2}
A3 = {s,r1,r2}
A6 = {s,r1}
A5 = {s,w}
A8 = {w,r1}
A7 = {s,r2}
A10 = {r,r2}
A9 = {w,r2}
A11 = {s}
A12 = {w}
A14 = {r2}
A13 = {r1}
4
02.04.2007
Karin Haenelt,
Elementare Grundlagen der
Wahrscheinlichkeitstheorie
Sicheres Ereignis
Ereignisse
ElementarEreignisse
Unmögliches
Ereignis
Wird weiß gezogen, sind W, A1,A2,A4,A5,A8,A9,A12 eingetroffen
5
Potenzmenge - Beispiel 2
Experiment (vereinfacht):
Sei W = {nom,gen,dat,acc} die Menge der Kasus von Nomina,
die ein Verb regieren kann
konstruierbare Ereignisse (Kasusrahmen)
W = {nom,gen,dat,acc}
A1 = {nom,gen,dat} A2 = {nom,gen,acc}
A3 = {nom,dat,acc} A4 = {gen,dat,acc}
A6 = {nom,dat}
A5 = {nom,gen}
A8 = {gen,dat}
A7 = {nom,acc}
A10 = {dat,acc}
A9 = {gen,acc}
A12 = {gen}
A11 = {nom}
A14 = {acc}
A13 = {dat}
4
02.04.2007
Karin Haenelt,
Elementare Grundlagen der
Wahrscheinlichkeitstheorie
Sicheres Ereignis
Ereignisse
ElementarEreignisse
Unmögliches
Ereignis
Wird ein Verb und ein Nomen mit cas=acc im Text gefunden,
kann das Verb Kasusrahmen W, A2,A3,A4,A7,A9,A9,A10,A14
haben
6
Ereignisraum
3
s-Ereignisraum
Ω∈F
4∈ F
A (= Ω − A) ∈ F
∞
für A1, A2, ... ∈ Ω gilt U Ai ∈ F
i =1
∞
für A1, A2, ... ∈ Ω gilt I Ai ∈ F
i =1
(trivialerweise erfüllt durch die Potenzmenge von W)
02.04.2007
Karin Haenelt,
Elementare Grundlagen der
Wahrscheinlichkeitstheorie
Grundsätze der Wahrscheinlichkeitstheorie setzen F
als s-Feld voraus
7
Wahrscheinlichkeitsraum
Wahrscheinlichkeitsraum (probability space)
Ein wohlgeformter Wahrscheinlichkeitsraum besteht aus
ƒ
einer Ergebnismenge W
ƒ
einem s-Feld von Ereignissen F
ƒ
einer Wahrscheinlichkeitsfunktion P
(Manning/Schütze, 2000, 41)
02.04.2007
Karin Haenelt,
Elementare Grundlagen der
Wahrscheinlichkeitstheorie
8
Wahrscheinlichkeitsfunktion P
1
P: F ≅ [0,1]
Wahrscheinlichkeitsfunktion P
über einen Ereignisraum F
ist eine normierte Maßfunktion und
ordnet den Ereignissen Wahrscheinlichkeiten zu.
Wahrscheinlichkeiten werden als Zahlen zwischen
0 und 1 angegeben
0 Unmöglichkeit
1 Sicherheit
( 0%
(100%
Wahrscheinlichkeit)
Wahrscheinlichkeit)
02.04.2007
Karin Haenelt,
Elementare Grundlagen der
Wahrscheinlichkeitstheorie
9
Wahrscheinlichkeitsfunktion P
2
P: F ≅ [0,1]
Es gilt das Axiomensystem nach Kolmogoroff:
(K 1) Nichtnegativität
P(A) ≥ 0 für alle A aus F
(K 2) Additivität
∞
∞
i =1
i =1
P(U Ai) = ∑ P(Ai), falls Ai I Aj = ∅
K(3) Normierung
P(Ω) = 1
02.04.2007
Karin Haenelt,
Elementare Grundlagen der
Wahrscheinlichkeitstheorie
(Oberschelp, 1966, 350)
10
Gleichwahrscheinlichkeit
atomarer Ereignisse
P(Ai) = 1/m
für i = 1,2, ..., m.
Anzahl der Vorkommen von Ai in der Versuchsreihe
Gegeben:
ein normaler Würfel
die Ereignismenge W = {1,2,3,4,5,6}
(= Menge der möglichen Augenzahlen eines Wurfes)
Wahrscheinlichkeit, eine 6 zu würfeln:
Wahrscheinlichkeit, eine 6 oder eine 1 zu würfeln:
1
6
+ 16 =
1
6
1
3
02.04.2007
Karin Haenelt,
Elementare Grundlagen der
Wahrscheinlichkeitstheorie
11
Relative Häufigkeit
atomarer Ereignisse
H (ω )
hn(ω ) =
n
hn(ω )
relative Häufigkeit von ω
nach n Versuchen
H (ω )
absolute Häufigkeit von ω
Zufallsversuchsreihe der Länge n
n
02.04.2007
Karin Haenelt,
Elementare Grundlagen der
Wahrscheinlichkeitstheorie
12
Wahrscheinlichkeit – Beispiel
Gegeben sei
die Ereignismenge
W = {nom,gen,dat,acc} und
die Funktion
P: F ≅ [0,1] mit folgenden Werten:
A
{nom}
{gen}
{dat}
{acc}
P(A)
0.45
0.05
0.15
0.35
Wie groß ist die Wahrscheinlichkeit, ein Nomen im
Nominativ oder Akkusativ zu finden?
02.04.2007
Karin Haenelt,
Elementare Grundlagen der
Wahrscheinlichkeitstheorie
0.45 + 0.35 = 0.80
13
Bedingte Wahrscheinlichkeit
1
Bedingte Wahrscheinlichkeit
P(A|B) Die Wahrscheinlichkeit, dass Ereignis A eintritt,
wenn Ereignis B eingetreten ist,
oder
Die Wahrscheinlichkeit, dass A zutrifft,
wenn B wahr ist
A priori-Wahrscheinlichkeit
02.04.2007
Karin Haenelt,
Elementare Grundlagen der
Wahrscheinlichkeitstheorie
Wahrscheinlichkeit eines Ereignisses vor der
Betrachtung zusätzlichen Wissens
P(A)
A posteriori-Wahrscheinlichkeit
Neue Wahrscheinlichkeit, die aus der Betrachtung
zusätzlichen Wissens resultiert
P(A|B)
(Manning/Schütze,2000,42)
14
Bedingte Wahrscheinlichkeit
2
Bedingte Wahrscheinlichkeit: Definition
Andere Schreibweise
P(A | B) =
P(A ∩ B)
P(B)
P(A | B) =
P(A, B)
P(B)
Bedingte Wahrscheinlichkeit: Illustration
A
B
A IB
02.04.2007
Karin Haenelt,
Elementare Grundlagen der
Wahrscheinlichkeitstheorie
Manning/Schütze,2000,42
15
Unabhängigkeit von Ereignissen
Definition
Zwei Ereignisse A und B sind unabhängig, wenn gilt
P(A | B) = P(A)
Sind A und B unabhängig, so gilt
P(A I B) = P(A) * P(B)
Beispiel
02.04.2007
Karin Haenelt,
Elementare Grundlagen der
Wahrscheinlichkeitstheorie
Es werden zwei Würfel geworfen.
Sei A das Ereignis: der 1. Wurf ist eine 6
A = {(6,1),(6,2),(6,3),(6,4),(6,5),(6,6)}
Sei B das Ereignis: der 2. Wurf ist eine 1
B = {(1,1),(2,1),(3,1),(4,1),(5,1),(6,1)}
Wahrscheinlichkeit A und B:
1
1
6*6 =
1
36
16
Theorem von Bayes
Ermöglicht es, P(B|A) aus P(A|B) zu berechnen,
d.h. die Betrachtung der Abhängigkeitsverhältnisse
umzukehren
Bedingte Wahrscheinlichkeit
P(A | B) =
P(A ∩ B)
P(B)
Regel von Bayes
P(A I B) = P(A) * P(B | A) = P(B) * P(A | B)
Theorem von Bayes
02.04.2007
Karin Haenelt,
Elementare Grundlagen der
Wahrscheinlichkeitstheorie
P(B | A) = P(B) *
P(A | B)
P(B | A)
= P(A) *
P(A)
P(A)
17
Bedingte Wahrscheinlichkeit
Beispiel
Beispielcorpus
Beispielanfrage
Das
Der
Haus
Haus
Baum
Sei Ereignis A = {Wort mit Lexem=„Haus“}
Sei Ereignis B = {Wort mit categ=nomn}
dete
dete
nomn
nomn
nomn
Wie groß ist die Wahrscheinlichkeit von A?
wenn B gegeben ist
Berechnung
A P(A=„Haus“|B=nomn) =
Haus
Haus
Baum
02.04.2007
Karin Haenelt,
Elementare Grundlagen der
Wahrscheinlichkeitstheorie
P(A=„Haus“) * P(B=nomn|A=„Haus“) / P(B=nomn) =
2/5
*
1
/
3/5 = 2/3 =
B
P(B=nomn)
3/5
* P(A=„Haus“|B=nomn) / P(B=nomn) =
*
2/3
/
3/5 = 2/3
18
Literaturangaben
Kübler, Friedemann (1974):
Statistik für Sie 2. Wahrscheinlichkeitsrechnung. München:
Hueber-Holzmann Verlag.
Manning, Christopher; Schütze, Hinrich (2000): Foundations of
Statistical Natural Language Processing. Cambridge, Mass.:
MIT Press.
Oberschelp, Walter (1966):Wahrscheinlichkeitsrechnung. In:
Das Fischer Lexikon. Mathematik II, hrsg. V. H. Behnke und
H. Tietz, Frankfurt und Hamburg: Fischer Bücherei, 356-375.
02.04.2007
Karin Haenelt,
Elementare Grundlagen der
Wahrscheinlichkeitstheorie
19