Wahrscheinlichkeiten in der KI und im alltäglichen

Probabilistische Folgerungsmodelle und -strategien
Wahrscheinlichkeitstheorie und Commonsense Reasoning
Wahrscheinlichkeiten in der KI und im alltäglichen
Leben
Einerseits – sehr alltäglich:
• “Da kommt eine große dunkle Wolke, es wird wahrscheinlich regnen.”
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
26 / 231
Probabilistische Folgerungsmodelle und -strategien
Wahrscheinlichkeitstheorie und Commonsense Reasoning
Wahrscheinlichkeiten in der KI und im alltäglichen
Leben
Einerseits – sehr alltäglich:
• “Da kommt eine große dunkle Wolke, es wird wahrscheinlich regnen.”
andererseits –
• “Wahrscheinlichkeiten sind epistemologisch unangemessen.”
[McCarthy 1969]
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
26 / 231
Probabilistische Folgerungsmodelle und -strategien
Wahrscheinlichkeitstheorie und Commonsense Reasoning
Wahrscheinlichkeiten in der KI und im alltäglichen
Leben
Einerseits – sehr alltäglich:
• “Da kommt eine große dunkle Wolke, es wird wahrscheinlich regnen.”
andererseits –
• “Wahrscheinlichkeiten sind epistemologisch unangemessen.”
[McCarthy 1969]
• “Um mit Wahrscheinlichkeiten zu arbeiten, brauche ich jede Menge
Daten.”
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
26 / 231
Probabilistische Folgerungsmodelle und -strategien
Wahrscheinlichkeitstheorie und Commonsense Reasoning
Wahrscheinlichkeiten in der KI und im alltäglichen
Leben
Einerseits – sehr alltäglich:
• “Da kommt eine große dunkle Wolke, es wird wahrscheinlich regnen.”
andererseits –
• “Wahrscheinlichkeiten sind epistemologisch unangemessen.”
[McCarthy 1969]
• “Um mit Wahrscheinlichkeiten zu arbeiten, brauche ich jede Menge
Daten.”
• “Menschen können nicht gut Wahrscheinlichkeiten verarbeiten, das ist
psychologisch erwiesen.”
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
26 / 231
Probabilistische Folgerungsmodelle und -strategien
Wahrscheinlichkeitstheorie und Commonsense Reasoning
Wahrscheinlichkeiten in der KI und im alltäglichen
Leben
Einerseits – sehr alltäglich:
• “Da kommt eine große dunkle Wolke, es wird wahrscheinlich regnen.”
andererseits –
• “Wahrscheinlichkeiten sind epistemologisch unangemessen.”
[McCarthy 1969]
• “Um mit Wahrscheinlichkeiten zu arbeiten, brauche ich jede Menge
Daten.”
• “Menschen können nicht gut Wahrscheinlichkeiten verarbeiten, das ist
psychologisch erwiesen.”
• “Statistiken lügen.” – “Ich mag keine Wahrscheinlichkeiten, die habe
ich noch nie verstanden.”
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
26 / 231
Probabilistische Folgerungsmodelle und -strategien
Wahrscheinlichkeitstheorie und Commonsense Reasoning
Wahrscheinlichkeiten – effizient oder ineffizient?
Einerseits – als intensionales, semantisches Folgerungsinstrument ist
probabilistisches Schlussfolgern sehr ressourcenintensiv.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
27 / 231
Probabilistische Folgerungsmodelle und -strategien
Wahrscheinlichkeitstheorie und Commonsense Reasoning
Wahrscheinlichkeiten – effizient oder ineffizient?
Einerseits – als intensionales, semantisches Folgerungsinstrument ist
probabilistisches Schlussfolgern sehr ressourcenintensiv.
Andererseits – in unsicheren Umgebungen hat man nur zwei “sichere”
Alternativen:
• Man ignoriert Unsicherheit und wendet klassische Methoden an (mit
z.T. katastrophalen Folgen!).
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
27 / 231
Probabilistische Folgerungsmodelle und -strategien
Wahrscheinlichkeitstheorie und Commonsense Reasoning
Wahrscheinlichkeiten – effizient oder ineffizient?
Einerseits – als intensionales, semantisches Folgerungsinstrument ist
probabilistisches Schlussfolgern sehr ressourcenintensiv.
Andererseits – in unsicheren Umgebungen hat man nur zwei “sichere”
Alternativen:
• Man ignoriert Unsicherheit und wendet klassische Methoden an (mit
z.T. katastrophalen Folgen!).
• Man versucht (so gut es geht), alle Möglichkeiten zu betrachten –
Zeitverschwendung!
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
27 / 231
Probabilistische Folgerungsmodelle und -strategien
Wahrscheinlichkeitstheorie und Commonsense Reasoning
Wahrscheinlichkeiten – effizient oder ineffizient?
Einerseits – als intensionales, semantisches Folgerungsinstrument ist
probabilistisches Schlussfolgern sehr ressourcenintensiv.
Andererseits – in unsicheren Umgebungen hat man nur zwei “sichere”
Alternativen:
• Man ignoriert Unsicherheit und wendet klassische Methoden an (mit
z.T. katastrophalen Folgen!).
• Man versucht (so gut es geht), alle Möglichkeiten zu betrachten –
Zeitverschwendung!
Wahrscheinlichkeiten bieten einen Ausweg aus diesem Dilemma:
Indem man wahrscheinliche Möglichkeiten berücksichtigt und
unwahrscheinliche Möglichkeiten ausblendet, spart man wertvolle Zeit.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
27 / 231
Probabilistische Folgerungsmodelle und -strategien
Wahrscheinlichkeitstheorie und Commonsense Reasoning
Ein einführendes Beispiel 1/2
Alice und Bob spielen Karten:
♥A, ♥D, ♠A, ♠D.
Alice bekommt zwei Karten:
Alice :
G. Kern-Isberner (TU Dortmund)
∗1, ∗2
Commonsense Reasoning
28 / 231
Probabilistische Folgerungsmodelle und -strategien
Wahrscheinlichkeitstheorie und Commonsense Reasoning
Ein einführendes Beispiel 1/2
Alice und Bob spielen Karten:
♥A, ♥D, ♠A, ♠D.
Alice bekommt zwei Karten:
Alice :
∗1, ∗2
Einige (kombinatorische) a priori-Wahrscheinlichkeiten, die Bob berechnet:
P (♥A ∧ ♠A) = 1/6
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
28 / 231
Probabilistische Folgerungsmodelle und -strategien
Wahrscheinlichkeitstheorie und Commonsense Reasoning
Ein einführendes Beispiel 1/2
Alice und Bob spielen Karten:
♥A, ♥D, ♠A, ♠D.
Alice bekommt zwei Karten:
Alice :
∗1, ∗2
Einige (kombinatorische) a priori-Wahrscheinlichkeiten, die Bob berechnet:
P (♥A ∧ ♠A) = 1/6
G. Kern-Isberner (TU Dortmund)
P (♥A ∨ ♠A) = 5/6
Commonsense Reasoning
28 / 231
Probabilistische Folgerungsmodelle und -strategien
Wahrscheinlichkeitstheorie und Commonsense Reasoning
Ein einführendes Beispiel 1/2
Alice und Bob spielen Karten:
♥A, ♥D, ♠A, ♠D.
Alice bekommt zwei Karten:
Alice :
∗1, ∗2
Einige (kombinatorische) a priori-Wahrscheinlichkeiten, die Bob berechnet:
P (♥A ∧ ♠A) = 1/6
P (♥A)
= 1/2
G. Kern-Isberner (TU Dortmund)
P (♥A ∨ ♠A) = 5/6
P (♠A)
= 1/2
Commonsense Reasoning
28 / 231
Probabilistische Folgerungsmodelle und -strategien
Wahrscheinlichkeitstheorie und Commonsense Reasoning
Ein einführendes Beispiel 2/2
Alice sagt nun: Ich habe ein As:
Alice :
G. Kern-Isberner (TU Dortmund)
A ≡ ♥A ∨ ♠A.
Commonsense Reasoning
29 / 231
Probabilistische Folgerungsmodelle und -strategien
Wahrscheinlichkeitstheorie und Commonsense Reasoning
Ein einführendes Beispiel 2/2
Alice sagt nun: Ich habe ein As:
Alice :
A ≡ ♥A ∨ ♠A.
Bob berechnet nun:
P (♥A ∧ ♠A|A) = 1/5 > 1/6.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
29 / 231
Probabilistische Folgerungsmodelle und -strategien
Wahrscheinlichkeitstheorie und Commonsense Reasoning
Ein einführendes Beispiel 2/2
Alice sagt nun: Ich habe ein As:
Alice :
A ≡ ♥A ∨ ♠A.
Bob berechnet nun:
P (♥A ∧ ♠A|A) = 1/5 > 1/6.
Alice wird noch etwas genauer: Ich habe Pik As:
Alice :
G. Kern-Isberner (TU Dortmund)
♠A.
Commonsense Reasoning
29 / 231
Probabilistische Folgerungsmodelle und -strategien
Wahrscheinlichkeitstheorie und Commonsense Reasoning
Ein einführendes Beispiel 2/2
Alice sagt nun: Ich habe ein As:
Alice :
A ≡ ♥A ∨ ♠A.
Bob berechnet nun:
P (♥A ∧ ♠A|A) = 1/5 > 1/6.
Alice wird noch etwas genauer: Ich habe Pik As:
Alice :
Bob:
♠A.
P (♥A ∧ ♠A|♠A) = 1/3 > 1/5.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
29 / 231
Probabilistische Folgerungsmodelle und -strategien
Wahrscheinlichkeitstheorie und Commonsense Reasoning
Ein einführendes Beispiel 2/2
Alice sagt nun: Ich habe ein As:
Alice :
A ≡ ♥A ∨ ♠A.
Bob berechnet nun:
P (♥A ∧ ♠A|A) = 1/5 > 1/6.
Alice wird noch etwas genauer: Ich habe Pik As:
Alice :
Bob:
♠A.
P (♥A ∧ ♠A|♠A) = 1/3 > 1/5.
Andererseits: Auch P (♥A ∧ ♠A|♥A) = 1/3, und Bob weiß schon bei A,
dass Alice eines von beiden Assen haben muss.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
29 / 231
Probabilistische Folgerungsmodelle und -strategien
Wahrscheinlichkeitstheorie und Commonsense Reasoning
Ein einführendes Beispiel 2/2
Alice sagt nun: Ich habe ein As:
Alice :
A ≡ ♥A ∨ ♠A.
Bob berechnet nun:
P (♥A ∧ ♠A|A) = 1/5 > 1/6.
Alice wird noch etwas genauer: Ich habe Pik As:
Alice :
Bob:
♠A.
P (♥A ∧ ♠A|♠A) = 1/3 > 1/5.
Andererseits: Auch P (♥A ∧ ♠A|♥A) = 1/3, und Bob weiß schon bei A,
dass Alice eines von beiden Assen haben muss.
Warum ist es dann entscheidend zu wissen, welches As Alice hat ?
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
29 / 231
Probabilistische Folgerungsmodelle und -strategien
Wahrscheinlichkeitstheorie und Commonsense Reasoning
Notizen
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
29 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Übersicht Kapitel 4 – Probabilistik
4.1 Einführung und Übersicht
4.2 Wahrscheinlichkeitstheorie und Commonsense Reasoning
4.3 Grundideen probabilistischen Schlussfolgerns
4.4 Schlussfolgern über Unabhängigkeiten
4.5 Propagation in baumartigen Netzen
4.6 Probabilistische Inferenz auf der Basis optimaler Entropie
4.7 Schlussworte und Zusammenfassung
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
30 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Kapitel 4
4. Probabilistische
Folgerungsmodelle und -strategien
4.3 Grundideen probabilistischen
Schlussfolgerns
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
31 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Probabilistik und plausibles Schlussfolgern 1/4
George Polya (1887-1985) machte sich in seinem 1954 erschienen Buch
Mathematics and plausible reasoning ernsthaft Gedanken um das
menschliche Schlussfolgern; er stellte einige allgemeine Prinzipien für das
plausible Schlussfolgern auf, darunter auch das folgende
Induktive Prinzip: Die Bestätigung einer Konsequenz macht eine
Hypothese glaubhafter.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
32 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Probabilistik und plausibles Schlussfolgern 1/4
George Polya (1887-1985) machte sich in seinem 1954 erschienen Buch
Mathematics and plausible reasoning ernsthaft Gedanken um das
menschliche Schlussfolgern; er stellte einige allgemeine Prinzipien für das
plausible Schlussfolgern auf, darunter auch das folgende
Induktive Prinzip: Die Bestätigung einer Konsequenz macht eine
Hypothese glaubhafter.
Beispiel: Die Hypothese “Es regnete letzte Nacht.” wird glaubhafter, wenn
wir feststellen: “Das Gras ist nass.”
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
32 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Probabilistik und plausibles Schlussfolgern 2/4
Polya glaubte, dass die Wahrscheinlichkeitstheorie der ideale Rahmen
wäre, in dem sich plausibles Schlussfolgern realisieren ließe, da die Axiome
der Wahrscheinlichkeitstheorie keine Fehlschlüsse zulassen würden.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
33 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Probabilistik und plausibles Schlussfolgern 2/4
Polya glaubte, dass die Wahrscheinlichkeitstheorie der ideale Rahmen
wäre, in dem sich plausibles Schlussfolgern realisieren ließe, da die Axiome
der Wahrscheinlichkeitstheorie keine Fehlschlüsse zulassen würden.
Tatsächlich lässt sich das induktive Prinzip probabilistisch nachvollziehen:
Nehmen wir an, es gilt A ⇒ B und wir stellen B fest; nachzuweisen ist,
dass A plausibler geworden ist durch B, d.h. es sollte gelten
P (A|B) ≥ P (A), wenn P (A ⇒ B) = 1;
das lässt sich aber mit dem Satz von Bayes leicht zeigen.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
33 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Probabilistik und plausibles Schlussfolgern 3/4
Der Haken hierbei ist, dass diese Schlussfolgerung nicht nur alleine von A
und B abhängt, sondern auch vom Kontext bzw. von anderen möglichen
Evidenzen (= Beobachtungen).
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
34 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Probabilistik und plausibles Schlussfolgern 3/4
Der Haken hierbei ist, dass diese Schlussfolgerung nicht nur alleine von A
und B abhängt, sondern auch vom Kontext bzw. von anderen möglichen
Evidenzen (= Beobachtungen).
Sind die Variablen
A : Es regnete letzte Nacht.
B : Mein Rasen ist nass.
C : Der Rasen meines Nachbarn ist trocken.
gegeben, so sollte für eine “vernünftige” Wahrscheinlichkeitsverteilung P
gelten:
P (A|B) > P (A), aber P (A|B, C) < P (A).
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
34 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Probabilistik und plausibles Schlussfolgern 4/4
Plausibles Schlussfolgern ist also nichtmodular – es genügt nicht,
Bedingungen lokal zu überprüfen, sondern man muss immer den Kontext
relevanter Bedingungen sehen.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
35 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Probabilistik und plausibles Schlussfolgern 4/4
Plausibles Schlussfolgern ist also nichtmodular – es genügt nicht,
Bedingungen lokal zu überprüfen, sondern man muss immer den Kontext
relevanter Bedingungen sehen.
Wir werden sehen, dass dieser Kontext nicht zuletzt durch die Frage
bestimmt wird, durch die die Berechnung der Wahrscheinlichkeiten
angestoßen wird.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
35 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Das Gefangenenparadoxon 1/7
Drei Gefange A, B, C warten auf die Urteilsverkündung. Sie wissen, dass
(genau) einer von ihnen zum Tode verurteilt und am nächsten Morgen
gehenkt wird. In der Nacht bittet A den Wärter, ihm zu verraten, wer von
den anderen beiden nicht gehenkt wird; da er ja weiß, dass mindestens
einer von ihnen freigelassen wird, nützt ihm die Information nichts, so
denkt er. Der Wärter antwortet ihm, dass B freigelassen wird. Als A zu
seinem Bett zurückgeht, stutzt er: “Seltsam, bevor ich mit dem Wärter
gesprochen habe, waren meine Chancen, gehenkt zu werden, 1/3. Nun, da
ich weiß, dass B morgen freigelassen wird, sind nur noch C und ich übrig,
also hat sich für mich die Chance, gehenkt zu werden, auf 1/2 erhöht
. . . ?!”
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
36 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Das Gefangenenparadoxon 2/7
Wir arbeiten zunächst mit den folgenden Variablen:
GA A wird schuldig gesprochen (G = guilty)
IB B wird frei gesprochen (I = innocent)
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
37 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Das Gefangenenparadoxon 2/7
Wir arbeiten zunächst mit den folgenden Variablen:
GA A wird schuldig gesprochen (G = guilty)
IB B wird frei gesprochen (I = innocent)
Die Wahrscheinlichkeit, dass A schuldig gesprochen wird, wenn B als
unschuldig gilt, beträgt (nach dem Satz von Bayes):
P (GA |IB ) =
G. Kern-Isberner (TU Dortmund)
P (IB |GA )P (GA )
P (IB )
Commonsense Reasoning
37 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Das Gefangenenparadoxon 2/7
Wir arbeiten zunächst mit den folgenden Variablen:
GA A wird schuldig gesprochen (G = guilty)
IB B wird frei gesprochen (I = innocent)
Die Wahrscheinlichkeit, dass A schuldig gesprochen wird, wenn B als
unschuldig gilt, beträgt (nach dem Satz von Bayes):
P (GA |IB ) =
=
G. Kern-Isberner (TU Dortmund)
P (IB |GA )P (GA )
P (IB )
1
1· 3 1
2 = 2
3
Commonsense Reasoning
37 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Das Gefangenenparadoxon 2/7
Wir arbeiten zunächst mit den folgenden Variablen:
GA A wird schuldig gesprochen (G = guilty)
IB B wird frei gesprochen (I = innocent)
Die Wahrscheinlichkeit, dass A schuldig gesprochen wird, wenn B als
unschuldig gilt, beträgt (nach dem Satz von Bayes):
P (GA |IB ) =
=
P (IB |GA )P (GA )
P (IB )
1
1· 3 1
2 = 2
3
Ist das jedoch die Situation, in der sich A befindet ?
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
37 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Notizen
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
37 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Das Gefangenenparadoxon 3/7
Eigentlich muss man doch folgende Variable betrachten:
0
IB
G. Kern-Isberner (TU Dortmund)
Wärter sagt, B würde freigesprochen
Commonsense Reasoning
38 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Das Gefangenenparadoxon 3/7
Eigentlich muss man doch folgende Variable betrachten:
0
IB
Wärter sagt, B würde freigesprochen
Damit erhält man als aktuelle Wahrscheinlichkeit
0
P (GA |IB
) =
G. Kern-Isberner (TU Dortmund)
0 |G )P (G )
P (IB
A
A
0 )
P (IB
Commonsense Reasoning
38 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Das Gefangenenparadoxon 3/7
Eigentlich muss man doch folgende Variable betrachten:
0
IB
Wärter sagt, B würde freigesprochen
Damit erhält man als aktuelle Wahrscheinlichkeit
0
P (GA |IB
) =
=
0 |G )P (G )
P (IB
A
A
0 )
P (IB
1
2
·
1
2
1
3
=
1
3
Dies ist die korrekte Wahrscheinlichkeit, da sie den Kontext der Frage
besser berücksichtigt.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
38 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Notizen
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
38 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Das Gefangenenparadoxon 4/7
Nehmen wir nun an, es sind nicht drei, sondern 1000 Gefangene, die
besorgt dem nächsten Morgen entgegensehen, an dem genau einer von
ihnen hingerichtet wird. A ist einer dieser Gefangenen, seine
1
Wahrscheinlichkeit, hingerichtet zu werden, beträgt a priori 1000
.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
39 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Das Gefangenenparadoxon 4/7
Nehmen wir nun an, es sind nicht drei, sondern 1000 Gefangene, die
besorgt dem nächsten Morgen entgegensehen, an dem genau einer von
ihnen hingerichtet wird. A ist einer dieser Gefangenen, seine
1
Wahrscheinlichkeit, hingerichtet zu werden, beträgt a priori 1000
.
Nun findet A eine Liste L, auf der 998 Namen von Gefangenen aufgeführt
sind, alle mit dem Vermerk unschuldig – sein Name ist nicht darunter!
Steigt seine Wahrscheinlichkeit, hingerichtet zu werden, damit auf 12 statt
1
1000 ?
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
39 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Das Gefangenenparadoxon 4/7
Nehmen wir nun an, es sind nicht drei, sondern 1000 Gefangene, die
besorgt dem nächsten Morgen entgegensehen, an dem genau einer von
ihnen hingerichtet wird. A ist einer dieser Gefangenen, seine
1
Wahrscheinlichkeit, hingerichtet zu werden, beträgt a priori 1000
.
Nun findet A eine Liste L, auf der 998 Namen von Gefangenen aufgeführt
sind, alle mit dem Vermerk unschuldig – sein Name ist nicht darunter!
Steigt seine Wahrscheinlichkeit, hingerichtet zu werden, damit auf 12 statt
1
1000 ?
Ja, offensichtlich!
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
39 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Notizen
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
39 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Notizen
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
39 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Das Gefangenenparadoxon 5/7
Was aber wäre, wenn A nun unten auf der Liste den folgenden Zusatz
finden würde:
Ausdruck der Namen von 998 unschuldigen rechtshändigen
Gefangenen
und A wüsste, er wäre der einzige Linkshänder unter den Gefangenen?
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
40 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Das Gefangenenparadoxon 5/7
Was aber wäre, wenn A nun unten auf der Liste den folgenden Zusatz
finden würde:
Ausdruck der Namen von 998 unschuldigen rechtshändigen
Gefangenen
und A wüsste, er wäre der einzige Linkshänder unter den Gefangenen?
In diesem Fall sollte sich die Wahrscheinlichkeit doch wieder bei
einpendeln . . . oder ?.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
1
1000
40 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Das Gefangenenparadoxon 6/7
LR
A
A taucht auf der Liste der 998 unschuldigen rechtshändigen
Gefangenen auf
Gesucht ist die Wahrscheinlichkeit P (GA |¬LR
A ):
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
41 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Das Gefangenenparadoxon 6/7
LR
A
A taucht auf der Liste der 998 unschuldigen rechtshändigen
Gefangenen auf
Gesucht ist die Wahrscheinlichkeit P (GA |¬LR
A ):
P (GA |¬LR
A ) = P (GA ) = 0.001,
wegen des Satzes von Bayes.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
41 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Notizen
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
41 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Das Gefangenenparadoxon 7/7
Für den rechtshändigen Gefangenen B, dessen Name auch nicht auf der
Liste auftaucht, gilt jedoch
P (GB |¬LR
B) =
=
G. Kern-Isberner (TU Dortmund)
P (¬LR
B |GB ) P (GB )
P (¬LR
B)
1 · P (GB )
1 − P (LR
B)
Commonsense Reasoning
42 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Das Gefangenenparadoxon 7/7
Für den rechtshändigen Gefangenen B, dessen Name auch nicht auf der
Liste auftaucht, gilt jedoch
P (¬LR
B |GB ) P (GB )
P (¬LR
B)
1 · P (GB )
=
1 − P (LR
B)
0.001
=
0.002
= 0.5
P (GB |¬LR
B) =
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
42 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Notizen
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
42 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Notizen
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
42 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Notizen
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
42 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Notizen
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
42 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Bedeutung des Kontextes
Für die wahrscheinlichkeitstheoretische Beantwortung einer Frage ist also
der Kontext von besonderer Bedeutung, wobei dieser durch die folgenden
Aspekte bestimmt wird:
• die Problemstellung und ihre Umgebung muss expliziert werden;
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
43 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Bedeutung des Kontextes
Für die wahrscheinlichkeitstheoretische Beantwortung einer Frage ist also
der Kontext von besonderer Bedeutung, wobei dieser durch die folgenden
Aspekte bestimmt wird:
• die Problemstellung und ihre Umgebung muss expliziert werden;
• die Fragestellung muss so genau wie möglich repräsentiert werden;
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
43 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Bedeutung des Kontextes
Für die wahrscheinlichkeitstheoretische Beantwortung einer Frage ist also
der Kontext von besonderer Bedeutung, wobei dieser durch die folgenden
Aspekte bestimmt wird:
• die Problemstellung und ihre Umgebung muss expliziert werden;
• die Fragestellung muss so genau wie möglich repräsentiert werden;
• man muss in der Regel einen Überblick über die möglichen Antworten
haben.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
43 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Autonome Informations-Agenten
Es ist jedoch nicht immer möglich, den Ursprung gewonnener Information
so genau in Erfahrung zu bringen.
Stellen wir uns die Situation vor, wir würden zur Klärung einer
Fragestellung eine Reihe autonomer Informations-Agenten aussenden, die
Informationen zu bestimmten Teilfragestellungen zusammentragen sollen.
Die Agenten benutzen zur Informationsgewinnung private Prozeduren, wir
wissen also nicht, auf welche Weise die Informationen gewonnen wurden.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
44 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Autonome Informations-Agenten
Es ist jedoch nicht immer möglich, den Ursprung gewonnener Information
so genau in Erfahrung zu bringen.
Stellen wir uns die Situation vor, wir würden zur Klärung einer
Fragestellung eine Reihe autonomer Informations-Agenten aussenden, die
Informationen zu bestimmten Teilfragestellungen zusammentragen sollen.
Die Agenten benutzen zur Informationsgewinnung private Prozeduren, wir
wissen also nicht, auf welche Weise die Informationen gewonnen wurden.
Wenn wir annehmen, dass die Teilfragestellungen zueinander disjunkt sind
– d.h. jeder der Agenten sammelt Informationen zu einem eigenen
Teilbereich – und dass die Information aus einer Wahrscheinlichkeit zu
einer Teilfragestellung besteht, so führt uns das auf Jeffrey’s Regel.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
44 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Jeffrey’s Regel 1/4
Seien B1 , . . . , Bn disjunkte Aussagen, über die zunächst
Wahrscheinlichkeiten
P (B1 ), . . . , P (Bn )
bekannt sind; wir können annehmen, dass B1 , . . . , Bn auch erschöpfend
sind, d.h. dass gilt
P (B1 ) + . . . + P (Bn ) = 1.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
45 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Jeffrey’s Regel 1/4
Seien B1 , . . . , Bn disjunkte Aussagen, über die zunächst
Wahrscheinlichkeiten
P (B1 ), . . . , P (Bn )
bekannt sind; wir können annehmen, dass B1 , . . . , Bn auch erschöpfend
sind, d.h. dass gilt
P (B1 ) + . . . + P (Bn ) = 1.
Wie verändert sich die gesamte Verteilung P , wenn nun neue
Informationen über die Wahrscheinlichkeiten der Bi bekannt werden?
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
45 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Beispiel Kerzenlicht
Ein Agent untersucht ein Stück Stoff bei schummeriger Beleuchtung; er
schätzt die Farbe des Stoffes wie folgt ein:
P (grün) = 0.30, P (blau) = 0.30, P (lila) = 0.40;
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
46 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Beispiel Kerzenlicht
Ein Agent untersucht ein Stück Stoff bei schummeriger Beleuchtung; er
schätzt die Farbe des Stoffes wie folgt ein:
P (grün) = 0.30, P (blau) = 0.30, P (lila) = 0.40;
er zündet nun eine Kerze an und revidiert nun seine Entscheidung:
P ∗ (grün) = 0.70, P ∗ (blau) = 0.25, P ∗ (lila) = 0.05.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
46 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Beispiel Kerzenlicht
Ein Agent untersucht ein Stück Stoff bei schummeriger Beleuchtung; er
schätzt die Farbe des Stoffes wie folgt ein:
P (grün) = 0.30, P (blau) = 0.30, P (lila) = 0.40;
er zündet nun eine Kerze an und revidiert nun seine Entscheidung:
P ∗ (grün) = 0.70, P ∗ (blau) = 0.25, P ∗ (lila) = 0.05.
Im Prinzip ist P ∗ = P (·|e), wobei e die visuelle Wahrnehmung des
Agenten bei Kerzenlicht repräsentiert, die sich jedoch in der Regel weder
explizit beschreiben lässt noch überhaupt syntaktischer Bestandteil der
Problemsprache ist.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
46 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Beispiel Kerzenlicht
Ein Agent untersucht ein Stück Stoff bei schummeriger Beleuchtung; er
schätzt die Farbe des Stoffes wie folgt ein:
P (grün) = 0.30, P (blau) = 0.30, P (lila) = 0.40;
er zündet nun eine Kerze an und revidiert nun seine Entscheidung:
P ∗ (grün) = 0.70, P ∗ (blau) = 0.25, P ∗ (lila) = 0.05.
Im Prinzip ist P ∗ = P (·|e), wobei e die visuelle Wahrnehmung des
Agenten bei Kerzenlicht repräsentiert, die sich jedoch in der Regel weder
explizit beschreiben lässt noch überhaupt syntaktischer Bestandteil der
Problemsprache ist.
Frage: Wie lässt sich dennoch P ∗ bestimmen?
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
46 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Jeffrey’s Regel 2/4
Die Lösung zu diesem Problem liefert eine Annahme, die man als
probability kinematics bezeichnet – nämlich, dass die neuen
Wahrscheinlichkeiten der Bi keine der unter Bi bedingten
Wahrscheinlichkeiten ändern sollte:
P ∗ (A|Bi ) = P (A|Bi )
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
47 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Jeffrey’s Regel 2/4
Die Lösung zu diesem Problem liefert eine Annahme, die man als
probability kinematics bezeichnet – nämlich, dass die neuen
Wahrscheinlichkeiten der Bi keine der unter Bi bedingten
Wahrscheinlichkeiten ändern sollte:
P ∗ (A|Bi ) = P (A|Bi )
Daraus ergibt sich sofort mit dem Satz von der totalen Wahrscheinlichkeit
∗
P (A) =
n
X
P ∗ (A|Bi )P ∗ (Bi )
i=1
die Regel von Jeffrey:
P ∗ (A) =
n
X
P (A|Bi )P ∗ (Bi ).
i=1
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
47 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Jeffrey’s und Bayes Regel
Jeffrey’s Regel verallgemeinert die Konditionalisierung nach Bayes:
Liegt nämlich nur ein Ereignis B mit Wahrscheinlichkeit P ∗ (B) = 1 vor,
so ergibt Jeffrey’s Regel:
P ∗ (A) = P (A|B)P ∗ (B) = P (A|B),
d.h. die posteriori Wahrscheinlichkeit ist nichts anderes als die nach B
konditionalisierte priori Wahrscheinlichkeit;
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
48 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Jeffrey’s und Bayes Regel
Jeffrey’s Regel verallgemeinert die Konditionalisierung nach Bayes:
Liegt nämlich nur ein Ereignis B mit Wahrscheinlichkeit P ∗ (B) = 1 vor,
so ergibt Jeffrey’s Regel:
P ∗ (A) = P (A|B)P ∗ (B) = P (A|B),
d.h. die posteriori Wahrscheinlichkeit ist nichts anderes als die nach B
konditionalisierte priori Wahrscheinlichkeit; umgekehrt erhält man die
bedingte Wahrscheinlichkeit als Spezialfall der Regel von Jeffrey, wenn die
neue Information sicher ist, also Wahrscheinlichkeit 1 besitzt.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
48 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Jeffrey’s Regel 3/4
Die Anwendbarkeit von Jeffrey’s Regel hängt jedoch entscheidend von der
Anwendbarkeit der probability kinematics-Annahme ab; wenn wir den
Ansatz
P ∗ = P (·|e)
verwenden, können wir den folgenden Vergleich ziehen:
∗
P (A) =
n
X
P (A|Bi )P ∗ (Bi )
(Satz von Jeffrey)
i=1
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
49 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Jeffrey’s Regel 3/4
Die Anwendbarkeit von Jeffrey’s Regel hängt jedoch entscheidend von der
Anwendbarkeit der probability kinematics-Annahme ab; wenn wir den
Ansatz
P ∗ = P (·|e)
verwenden, können wir den folgenden Vergleich ziehen:
∗
P (A) =
P (A|e) =
n
X
i=1
n
X
P (A|Bi )P ∗ (Bi )
(Satz von Jeffrey)
P (A|Bi , e)P (Bi |e) (Satz v.d. totalen bed. W’keit).
i=1
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
49 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Jeffrey’s Regel 4/4
Dieser Vergleich ist jedoch nur haltbar, wenn gilt
P (A|Bi ) = P (A|Bi , e),
d.h. wenn A und e bedingt unabhängig unter Bi sind, d.h. e soll keinen
direkten Einfluss auf A haben.
Dies ist eine wichtige Voraussetzung für Jeffrey’s Regel!
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
50 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Bedingte Unabhängigkeit 1/2
≈ Unabhängigkeit unter gewissen Umständen
A, B, C (disjunkte) Mengen von mehrwertigen Aussagevariablen mit
P (c) > 0 für alle Vollkonjunktionen c über C.
A
gdw.
G. Kern-Isberner (TU Dortmund)
|=
A und B heißen bedingt unabhängig gegeben C, in Zeichen
P
B | C,
P (a|c ∧ b) = P (a|c).
Commonsense Reasoning
51 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Bedingte Unabhängigkeit 1/2
≈ Unabhängigkeit unter gewissen Umständen
A, B, C (disjunkte) Mengen von mehrwertigen Aussagevariablen mit
P (c) > 0 für alle Vollkonjunktionen c über C.
A
gdw.
|=
A und B heißen bedingt unabhängig gegeben C, in Zeichen
P
B | C,
P (a|c ∧ b) = P (a|c).
Das ist äquivalent zu
P (a ∧ b|c) = P (a|c) · P (b|c).
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
51 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Bedingte Unabhängigkeit 2/2
G. Kern-Isberner (TU Dortmund)
P
B | C und A
|=
• A = ∅ oder B = ∅: ∅
|=
A, B, C müssen nicht unbedingt 6= ∅ sein:
Commonsense Reasoning
P
∅ | C gelten immer!
52 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Bedingte Unabhängigkeit 2/2
P
B | C und A
|=
• A = ∅ oder B = ∅: ∅
|=
A, B, C müssen nicht unbedingt 6= ∅ sein:
P
∅ | C gelten immer!
• C = ∅ → statistische Unabhängigkeit
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
52 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Beispiel Kerzenlicht (Forts.)
Nehmen wir an, dass die Chancen des Verkaufs des Stoffes (A)
ausschließlich von seiner Farbe abhängen, und zwar wie folgt:
P rob(A|grün) = 0.40,
P rob(A|blau) = 0.40,
P rob(A|lila) = 0.80,
wobei P rob jede der beiden Wahrscheinlichkeiten P und P ∗ bezeichnet.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
53 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Beispiel Kerzenlicht (Forts.)
Wir können nun die Wahrscheinlichkeit, dass der Stoff am nächsten Tag
verkauft werden kann, als priori- und als posteriori-Wahrscheinlichkeit
berechnen:
P (A) = P (A|grün)P (grün) + P (A|blau)P (blau)
+P (A|lila)P (lila)
= 0.40 · 0.30 + 0.40 · 0.30 + 0.80 · 0.40= 0.56;
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
54 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Beispiel Kerzenlicht (Forts.)
Wir können nun die Wahrscheinlichkeit, dass der Stoff am nächsten Tag
verkauft werden kann, als priori- und als posteriori-Wahrscheinlichkeit
berechnen:
P (A) = P (A|grün)P (grün) + P (A|blau)P (blau)
+P (A|lila)P (lila)
= 0.40 · 0.30 + 0.40 · 0.30 + 0.80 · 0.40= 0.56;
P ∗ (A) = 0.40 · 0.70 + 0.40 · 0.25 + 0.80 · 0.05= 0.42
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
54 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Beispiel Kerzenlicht (Forts.)
Die probability kinematics-Annahme, die in diesem Beispiel überprüft
werden muss, ist die folgende
P (A|Farbe, e) = P (A|Farbe).
Da wir annehmen, dass die Möglichkeit des Verkaufs ausschließlich von der
Farbe abhängt, ist die Annahme gerechtfertigt, wir konnten also die Regel
von Jeffrey anwenden.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
55 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Modifiziertes Beispiel Kerzenlicht
Nehmen wir an, das Hauptinteresse des Betrachters gilt gar nicht dem
Stoff, sondern der Kerze selbst – es sei bekannt, dass ein bestimmtes
billiges Wachs eine Flamme hervorbringt, deren Licht Lila-Töne verfälscht.
A Die Kerze ist aus dem billigen Wachs.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
56 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Modifiziertes Beispiel Kerzenlicht
Nehmen wir an, das Hauptinteresse des Betrachters gilt gar nicht dem
Stoff, sondern der Kerze selbst – es sei bekannt, dass ein bestimmtes
billiges Wachs eine Flamme hervorbringt, deren Licht Lila-Töne verfälscht.
A Die Kerze ist aus dem billigen Wachs.
Die Voraussetzungen seien wie oben:
P (grün) = 0.30,
P ∗ (grün) = 0.70,
P (blau) = 0.30,
P ∗ (blau) = 0.25,
P (lila) = 0.40;
P ∗ (lila) = 0.05.
Kann man nun P ∗ (A) mit Jeffrey’s Regel berechnen?
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
56 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Modifiziertes Beispiel Kerzenlicht (Forts.)
In diesem Fall sind nun sicherlich vor dem Anzünden der Kerze (d.h. in P )
A und Farbe voneinander unabhängig, d.h. es gilt
P (A|Bi ) = P (A);
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
57 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Modifiziertes Beispiel Kerzenlicht (Forts.)
In diesem Fall sind nun sicherlich vor dem Anzünden der Kerze (d.h. in P )
A und Farbe voneinander unabhängig, d.h. es gilt
P (A|Bi ) = P (A);
Die Anwendung von Jeffrey’s Regel ergibt dann
P ∗ (A) =
3
X
P (A)P ∗ (Bi ) = P (A),
i=1
d.h. das Anzünden der Kerze würde keine neuen Erkenntnisse über A
bringen !
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
57 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Modifiziertes Beispiel Kerzenlicht (Forts.)
Die Ursache dieses kontraintuitiven Ergebnisses liegt darin, dass hier die
probability kinematics-Annahme
P (A|Bi , e) = P (A|Bi )
nicht haltbar ist, da die Farben im Kerzenlicht (Bi ∧ e) Rückschlüsse auf
das Kerzenwachs erlauben, die Farben alleine (Bi ) jedoch nicht.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
58 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Modifiziertes Beispiel Kerzenlicht (Forts.)
Die Ursache dieses kontraintuitiven Ergebnisses liegt darin, dass hier die
probability kinematics-Annahme
P (A|Bi , e) = P (A|Bi )
nicht haltbar ist, da die Farben im Kerzenlicht (Bi ∧ e) Rückschlüsse auf
das Kerzenwachs erlauben, die Farben alleine (Bi ) jedoch nicht.
Das Konzept der bedingten Unabhängigkeit ist also von entscheidender
Bedeutung für das Schlussfolgern mit Wahrscheinlichkeiten.
→ Probabilistische Netzwerke (Netzwerktopologie drückt bedingte
Unabhängigkeiten aus)
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
58 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Notizen
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
58 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Markov- und Bayes-Netze – Rückblick (DVEW)
Die bedingte Unabhängigkeit zwischen Variablen ist eine wichtige
qualitative Information zur Strukturierung probabilistischer Information in
Netzwerken:
• In (ungerichteten) Markov-Netzen zeigt die globale
G. Kern-Isberner (TU Dortmund)
G
B | C impliziert A
Commonsense Reasoning
|=
A
|=
Markov-Eigenschaft bedingte Unabhängigkeiten an:
P
B|C
59 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Markov- und Bayes-Netze – Rückblick (DVEW)
Die bedingte Unabhängigkeit zwischen Variablen ist eine wichtige
qualitative Information zur Strukturierung probabilistischer Information in
Netzwerken:
• In (ungerichteten) Markov-Netzen zeigt die globale
G
B | C impliziert A
|=
A
|=
Markov-Eigenschaft bedingte Unabhängigkeiten an:
P
B|C
• In (gerichteten) Bayes-Netzen schirmen die Elternknoten die
Ai
|=
Kindknoten gegen direkte Einflüsse ab:
G. Kern-Isberner (TU Dortmund)
P
nd(Ai ) | pa(Ai ) für alle i = 1, . . . , n
Commonsense Reasoning
59 / 231
Probabilistische Folgerungsmodelle und -strategien
Grundideen probabilistischen Schlussfolgerns
Markov- und Bayes-Netze – Rückblick (DVEW)
Die bedingte Unabhängigkeit zwischen Variablen ist eine wichtige
qualitative Information zur Strukturierung probabilistischer Information in
Netzwerken:
• In (ungerichteten) Markov-Netzen zeigt die globale
G
B | C impliziert A
|=
A
|=
Markov-Eigenschaft bedingte Unabhängigkeiten an:
P
B|C
• In (gerichteten) Bayes-Netzen schirmen die Elternknoten die
Ai
|=
Kindknoten gegen direkte Einflüsse ab:
P
nd(Ai ) | pa(Ai ) für alle i = 1, . . . , n
Zunächst einmal beschäftigen wir uns intensiver mit dem qualitativen
Phänomen der bedingten Unabhängigkeit.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
59 / 231
Probabilistische Folgerungsmodelle und -strategien
Schlussfolgern über Unabhängigkeiten
Übersicht Kapitel 4 – Probabilistik
4.1 Einführung und Übersicht
4.2 Wahrscheinlichkeitstheorie und Commonsense Reasoning
4.3 Grundideen probabilistischen Schlussfolgerns
4.4 Schlussfolgern über Unabhängigkeiten
4.5 Propagation in baumartigen Netzen
4.6 Probabilistische Inferenz auf der Basis optimaler Entropie
4.7 Schlussworte und Zusammenfassung
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
60 / 231
Probabilistische Folgerungsmodelle und -strategien
Schlussfolgern über Unabhängigkeiten
Kapitel 4
4. Probabilistische
Folgerungsmodelle und -strategien
4.4 Schlussfolgern über Unabhängigkeiten
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
61 / 231
Probabilistische Folgerungsmodelle und -strategien
Schlussfolgern über Unabhängigkeiten
Relevanz und Abhängigkeit 1/3
Einer der wichtigsten Aspekte des menschlichen Schlussfolgern ist die
Fähigkeit, relevante Informationen für einen Kontext zu erkennen und irrelevante Details auszublenden.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
62 / 231
Probabilistische Folgerungsmodelle und -strategien
Schlussfolgern über Unabhängigkeiten
Relevanz und Abhängigkeit 1/3
Einer der wichtigsten Aspekte des menschlichen Schlussfolgern ist die
Fähigkeit, relevante Informationen für einen Kontext zu erkennen und irrelevante Details auszublenden.
Relevanz 6= Abhängigkeit
Es ist wichtig, Relevanz und Abhängigkeit voneinander zu unterscheiden.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
62 / 231
Probabilistische Folgerungsmodelle und -strategien
Schlussfolgern über Unabhängigkeiten
Relevanz und Abhängigkeit 2/3
• Relevanz impliziert immer Abhängigkeit
Beispiel: Die Lesefähigkeit eines Kindes hängt von seiner Körpergröße
ab.
♣
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
63 / 231
Probabilistische Folgerungsmodelle und -strategien
Schlussfolgern über Unabhängigkeiten
Relevanz und Abhängigkeit 2/3
• Relevanz impliziert immer Abhängigkeit
Beispiel: Die Lesefähigkeit eines Kindes hängt von seiner Körpergröße
ab.
♣
• Abhängigkeit impliziert aber nicht immer Relevanz, sondern hängt
von der verfügbaren Information ab.
Beispiel: Ist das Lebensalter eines Kindes bekannt, so ist die
Körpergröße irrelevant für seine Lesefähigkeit.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
♣
63 / 231
Probabilistische Folgerungsmodelle und -strategien
Schlussfolgern über Unabhängigkeiten
Relevanz und Abhängigkeit 3/3
Relevanz von Informationen (informational relevance) zu erkennen ist eine
qualitative Eigenschaft des Commonsense Reasoning, die sich aber
quantitativ abbilden lässt durch die probabilistische Eigenschaft der
bedingten Unabhängigkeit:
P (A|K, B) = P (A|K) (K = Kontext)
Im Kontext K liefert B keine zusätzliche Information für A.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
64 / 231
Probabilistische Folgerungsmodelle und -strategien
Schlussfolgern über Unabhängigkeiten
Relevanz und Abhängigkeit 3/3
Relevanz von Informationen (informational relevance) zu erkennen ist eine
qualitative Eigenschaft des Commonsense Reasoning, die sich aber
quantitativ abbilden lässt durch die probabilistische Eigenschaft der
bedingten Unabhängigkeit:
P (A|K, B) = P (A|K) (K = Kontext)
Im Kontext K liefert B keine zusätzliche Information für A.
Beispiel: A = Lesefähigkeit, B = Körpergröße, K = Lebensalter. Dann
ist
P (A ∧ B) 6= P (A) · P (B) A und B sind abhängig
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
64 / 231
Probabilistische Folgerungsmodelle und -strategien
Schlussfolgern über Unabhängigkeiten
Relevanz und Abhängigkeit 3/3
Relevanz von Informationen (informational relevance) zu erkennen ist eine
qualitative Eigenschaft des Commonsense Reasoning, die sich aber
quantitativ abbilden lässt durch die probabilistische Eigenschaft der
bedingten Unabhängigkeit:
P (A|K, B) = P (A|K) (K = Kontext)
Im Kontext K liefert B keine zusätzliche Information für A.
Beispiel: A = Lesefähigkeit, B = Körpergröße, K = Lebensalter. Dann
ist
P (A ∧ B) 6= P (A) · P (B) A und B sind abhängig, aber
P (A|B ∧ K) = P (A|K)
A und B sind
bedingt unabhängig im Kontext K.
G. Kern-Isberner (TU Dortmund)
Commonsense Reasoning
♣
64 / 231