Bayessche Netze - Fakultät Elektrotechnik und Informationstechnik

Elektrotechnik und Informationstechnik Institut für Automatisierungstechnik, Professur Prozessleittechnik
Bayessche Netze
VL Prozessinformationsverarbeitung
WS 2009/2010
Problemstellung
• Wie kann Wissen über zufällige Ereignisse
und mögliche kausale Zusammenhänge
zwischen diesen mathematisch effizient
gefasst werden um
– aus Beobachtung auf die WS einer Folge zu
schließen (Deduktion)
– aus Beobachtung (Symptomen) auf die WS
bekannter Ursachen zu schließen (Induktion)?
– aus Beobachtungen und grundlegendem Wissen
über Zusammenhänge die Verbundws zu lernen?
26.02.2010
Folie 2
Übersicht
• Bayessche Netze
–
–
–
–
Einführung
Modellierungsansatz
Berechnung
Typische Fragestellungen an ein BN
• Erweiterung um Zeit: Dynamische Bayessche
Netze
– Modellierungansatz
– DBN = Generalisierung von MM, HMM
26.02.2010
Folie 3
WDH: bedingte Wahrscheinlichkeit
• P(A)
WS, dass Ereignis A eintritt
– Beispiel „Wurf mit einem Würfel“
• P(A,B)
WS, dass die Ereignisse A und B
eintreten
– Beispiel „Zwei Würfe“
• P(B|A)
bedingte WS, dass das Ereignis A
eintritt, wenn das Ereignis B eingetreten ist
– Beispiel „Zwei Würfe hintereinander“
26.02.2010
Folie 4
Baumdiagramm
• Pfadregel 1: WS eines Ereignisses = Produkt
der WS auf dem Pfad, der zu diesem Ereignis
führt
– P(A,B) = P(A) * P(B|A)
– P(B|A) = P(A,B) / P(A)
• Pfadregel 2: WS eines Ereignisses = Summe
der WS der Pfade, die zu diesem Ereignis
führen
26.02.2010
Folie 5
Unabhängigkeit
• Zwei Ereignisse A,B sind unabhängig wenn
– P(A,B) =
!
P(B|A)P(A)
= P(B)P(A) 
P(B|A) = P(B)
– WS von B wird durch A nicht beeinflusst
• Zwei Ereignisse A,B sind bei gegebenem C
bedingt unabhängig wenn
– P(B|A,C) = P(B|C)
– WS von B wird durch A nicht beeinflusst
26.02.2010
Folie 6
Satz von Bayes
• Es existiert eine endliche Anzahl von Zufallsprozessen,
aus dem einer ausgewählt wird und das Eintreten
gewisser Ereignisse zur Folge hat.
– P(k)
– P(A|k)
:= a priori WS des k-ten Prozesses
:= bedingte WS von A und k
• P(k|A) = P(k) * P(A|k) / P(A)
• Induktion: Schlussfolgerung von eingetretenem
Ereignis auf erzeugendes Ereignis
26.02.2010
Folie 7
Beispiele  Tafel
Bayessche Netze
• Kombination Graphentheorie + WSRechnung
• Gerichteter azyklischer Graph (DAG) mit
• Knoten: diskretwertige Zufallsvariablen
• Kanten: direkte stochastische Abhängigkeiten
zwischen Variablen
• Knoten ohne Eltern:
– aprior WS: P(A=i)  i
• Knoten mit Eltern:
– Bedingte WS: P(A=i|B=j,C=k)  i,j,k
26.02.2010
Folie 8
Beispiel
• Ich wohne in Kalifornien und bin nicht zu Hause.
• Mein Nachbar Harald ruft mich an, um mir mitzuteilen,
dass in meinem Haus die Alarmanlage angegangen ist.
• Meine Nachbarin Stefanie ruft an und teilt mir
dasselbe mit.
• Aber:
– Die Alarmanlage wird manchmal auch durch leichte
Erdbeben ausgelöst.
– Harald verwechselt schon mal das Geräusch meines
Telefons mit dem Geräusch der Alarmanlage
• Variablen:
– Erdbeben, Einbruch, Alarm, Anruf Stefanie und Anruf
Harald
26.02.2010
Folie 9
Modellierung
• Erdbeben & Einbruch sind unabhängig
– P(Erdbeben|Einbruch) = P(Erdbeben)
– P(Einbruch|Erdbeben) = P(Einbruch)
• Kausuale Zusammenhänge
– Erdbeben oder Einbruch führen unabhängig
voneinander mit bestimmten WS zu Alarm
– Alarm/Kein Alarm führen mit bestimmten WS zu
Anrufen der Nachbarn.
26.02.2010
Folie 10
Darstellung durch einen Graphen
26.02.2010
Folie 11
Probabilistische Inferenz
• Diagnostische Inferenz:
– Geg: Effekt
– Ges: Ursache
– P(Alarm | Anruf Stefanie)
• Kausale Inferenz:
– Geg: Ursache
– Ges: Effekt
– P(Anruf Stefani | Einbruch)
• Interkausale Inferenz:
– Geg: eine mögliche Ursache, Effekt
– Ges: andere Ursache
– P(Einbruch | Alarm, Erdbeben)
• + Kombination aus 1-3
26.02.2010
Folie 12
Inferenz nach Beobachtungen
• Diagnostisch
Kausal
Interkausal
?
Einbruch
Erdbeben
Einbruch
Erdbeben
Einbruch
Erdbeben
?
Alarm
Anruf
Harald
26.02.2010
Alarm
Anruf
Stefanie
Anruf
Harald
Alarm
?
Anruf
Stefanie
Anruf
Harald
Anruf
Stefanie
Folie 13
Neues einfaches Beispiel
• Hebebühne
– Batterie, hebbares Teil
– Batterieanzeige (Gauge), Bewegung
26.02.2010
Folie 14
?
Kausale Inferenz
• Wie WS ist es, dass wir das teil heben
können, wenn es hebbar ist?
• Ansatz
– Q=Query, E=Evidenz,
– P(Q|E)=ΣP(Q,R=ri|E) mit R = Eltern(Q)\E
– ΣP(Q,R=ri|E) = ΣP(Q,R=ri,E)P(R=ri)
26.02.2010
Folie 15
?
Diagnostische Inferenz
• Wie WS ist es, dass das Teil zu schwer ist,
wenn wir sehen, dass sich nichts bewegt?
• Ansatz Bayessche Regel
– P(Q|E)= P(E|Q)P(Q)/P(E)
26.02.2010
Folie 16
?
Interkausale Inferenz
• Wie WS ist es, dass das Teil zu schwer ist,
wenn wir sehen, dass sich nichts bewegt und
die Batterie leer ist?
• Ansatz P(¬L|¬B, ¬M)
26.02.2010
Folie 17
Berechnung der bed. WS eines Knotens in einem
einfach verbundenen Netz (1/2)
• Gesucht: P(X|E)
• Vereinfachung: Netz nur
einfach verbunden
(Polytree)
• Aufteilung in
diagnostische und
kausale Evidenz
(unabhängig!)
– P(X|E) =
 P(E-|X) P(X|E+)
26.02.2010
Folie 18
Berechnung der bed. WS eines Knotens in einem
einfach verbundenen Netz (2/2)
• …
• Berechnung diagn.Evidenz P(X|E+)
– Alle Kombinationen der Werte der Elternknoten
gemäß WSTabelle von X betrachten und mit ihren
WS gewichten, die rekursiv auf gleiche Weise
berechnet werden.
• Berechnung kausalen Evidenz P(E-|X)
– Alle Kombinationen der Werte der Kindknoten
gemäß WSTabelle von X betrachten und mit ihren
WS gewichten, die rekursiv auf gleiche Weise
berechnet werden.
• Algorithmus O(n)
26.02.2010
Folie 19
Belief-Net-Ask-Algorithmus
• Beiträge von E+ und E– P(X|E+,E-) = (P(E-|X,E+)+P(X|E+))/P(E-|E+)
• X d-separiert E+ und E– Exkurs Abhängigkeit in BN, d-separation  F. 24ff
– P(X|E) = a P(E-|X) P(X|E+)
26.02.2010
Folie 20
Mehrfach verbundene Netze
• Ursache kann mehrere Effekte bewirken.
Inferenz NP-vollständig!
26.02.2010
Folie 21
Effizienzsteigerung
• Cluster Methode
26.02.2010
Folie 22
Konditionierung
• Wertebelegung
26.02.2010
Folie 23
Abhängigkeiten in Bayesschen Netzen
• Definition |<X,Y,Z> : Bei gegebenem Y sind
X und Z bedingt unabhängig
• |<X,Y,Z> JA
26.02.2010
|<X,U,Z> Nein
|<X,{U,V},Z> Ja
Folie 24
Kausale Verbindungen in BN
• Seriell
– B bekannt 
A,C unabhängig
• Divergent
– A bekannt 
B,C bedingt unabhängig
A
B
C
A
B
• Konvergent
– C unbekannt 
A,B unabhängig
– C bekannt 
A,B bedingt abhängig
26.02.2010
C
B
C
A
Folie 25
D-Separation - Begriff / Definition
D-Separation erlaubt eine allgemeine Aussage darüber, ob eine
Knotenmenge X unabhängig von einer Knotenmenge Y ist,
gegeben eine Evidenzknotenmenge E.
• Zwei verschiedene Variablen X und Y sind d-separated (directiondependent-separated), falls auf allen Pfaden zwischen X und Y eine
Variable Z existiert, so dass entweder ...
– die Verbindung seriell oder divergent und Z ein Evidenzknoten ist
oder
– die Verbindung konvergent und weder Z noch Z‘s Nachfahren
Evidenzknoten sind
• Sind zwei Knoten nicht d-separated, werden sie auch als dconnected bezeichnet
26.02.2010
Folie 26
Topologische Interpretation
• Jeder (ungerichtete) Pfad von X nach Y ist
durch E blockiert. Ein Pfad ist blockiert durch
einen Knoten z, wenn
– z  E und z mit ein- und ausgehenden Unterpfad
– z  E und beide Unterpfade ausgehend
– z  E, beide Pfade eingehend und  Nachfolger z‘
von z gilt: z‘  E
26.02.2010
Folie 27
D-Separation - Beispiel
A
F
C
B
G
D
H
E
Welche Aussagen sind wahr?
F d-separated von H bei geg. G
C d-separated von G bei geg. F
F d-separated von E bei geg. C
A d-separated von B bei geg. D
A d-separated von B
D d-separated von F bei geg. C, G
26.02.2010
Folie 28
Literatur & Bibliotheken
• Literatur
– Pearl, J. (1988) Probabilistic Reasoning in Intelligent
Systems. Morgan Kaufmann
– Charniak, E. (1991) Bayesian Networks without Tears.
AI Magazine Winter 1991. 50-63.
– Korb, K. and Nicholson, A. (2003) Bayesian Artificial
Intelligence, Chapman&Hall
• Bibliotheken
– Kevin Murphy's Bayesian Network Toolbox for MatLab:
http://bnt.sourceforge.net
– Lernen von Bayesschen Netzen in R
http://www.mascherini.org/Mastino.html
– Bayesian network tools in Java:
http://bnj.sourceforge.net/
– Tutorial: http://aispace.org/bayes/
26.02.2010
Folie 29
Grundlagen - Unbedingte/Bedingte WSK
• Unbedingte WS: P(A)
• Bedingte WS: P(B|A)
– WS des Ereignisses B unter der Bedingung, dass A
bereits eingetreten ist
– Rechenregeln:
• P(B | A)  P( A  B) P( A)
• Allgemeiner Multiplikationssatz für 2 Ereignisse:
P  A  B   P  A  P  B | A  P  B   P  A | B 
• Allgemeiner Multiplikationssatz für n Ereignisse:
n 
P   Ai   P  A1   P  A2 | A1   P  A3 | A1  A2     P  An | A1    An 1 
 i 1 
26.02.2010
Folie 30

Grundlagen – Totale WSK / BayesSatz
•Formel der totalen Wahrscheinlichkeit:
n
PB  PB | Ai   P( Ai )
i 1
•Der Bayes‘sche Satz:
PB | Ak   P Ak 
PB | Ak   P Ak 
P Ak | B 
 n
PB
 PB | Ai  P Ai 
i 1
26.02.2010
Folie 31
Darstellung kausaler Beziehungen durch bed. WS.
• Produktregel: Von der Ursache zur
(wahrscheinlichen) Wirkung
• P(A,B|C)= P(A|B,C)*P(B|C) = P(B|A,C)*P(A|C)
• Bayessche Regel: Von der Wirkung zur
(wahrscheinlichen) Ursache
• P(B|A,C)= P(A|B,C)*P(B|C) / P(A,C)
26.02.2010
Folie 32