Einführung in die Wahrscheinlichkeitsrechnung

Einführung in die
Wahrscheinlichkeitsrechnung
anteroposterior
medio-lateral
Christian Eurich
Institut für Theoretische Neurophysik
Ziele
Wahrscheinlichkeitsrechnung...
 ... In 8 Schritten
 ... Grundbegriffe ins Gedächtnis rufen
 ... nicht für Experten!
 ... Mischung aus Mathematik und Praxis
 ... Anwendungen aus dem Neuro-Bereich
1. Stochastizität: Arbeitsdefinition
Ein System verhält sich stochastisch, wenn wir sein
Verhalten nicht vorhersagen können. Die Ursache der
Stochastizität wird (hier) nicht betrachtet.
Beispiele:
anteroposterior
 Radioaktiver Zerfall
 Münzwurf, Würfeln
medio-lateral
 Schwankungen des
Körpergleichgewichts
Stabilogramm
Stochastizität: Arbeitsdefinition
 Neuronale Aktivität
 Metronom:
Beschreibung
hängt von der
gewünschten
Genauigkeit ab
2. Zufallsexperimente und Ereignisse
Ein Experiment heißt Zufallsexperiment, wenn die
Ergebnisse, die auftreten können, bekannt sind. Es ist
jedoch nicht bekannt, welches Ergebnis tatsächlich
als nächstes auftritt.
Die Menge aller möglichen Ergebnisse ist der
Stichprobenraum .
Teilmengen A   heißen Ereignisse, einelementige
Teilmengen B   heißen Elementarereignisse.
 kann diskret (abzählbar) oder kontinuierlich
(überabzählbar) sein.
Zufallsexperimente und Ereignisse
Beispiel:
 Würfeln
Stichprobenraum ={1,2,3,4,5,6}
Elementarereignis A={1}, B={2} (eig.: „1 Auge“ etc.)
Ereignis: C = „ungerade“ = {1,3,5}
Wird z. B. eine 1 gewürfelt, so sagt man, die Ereignisse A
und C seien eingetreten.
{} ist das unmögliche Ereignis.
 ist das sichere Ereignis.
Zufallsexperimente und Ereignisse
Beispiel:
 Neuronale Feuerstatistik
Spiketrain
500 ms
Zeit
Stichprobenraum ={„0 Spikes“, „1 Spike“, ..., „10 Spikes“}
Elementarereignis A={„3 Spikes“}
Ereignis: B = {„< 5 Spikes“}
Entspr. maximaler Feuerrate
3. Axiomatische Definition der Wahrscheinlichkeit
(Kolmogorov 1933)
Eine Funktion P, die jedem Ereignis eines Zufallsexperiment
eine Zahl zuordnet, heißt Wahrscheinlichkeit, falls sie
folgende Axiome erfüllt:
1. Für jedes Ereignis
0  P(A) 1.
A
gilt
2. Es ist P() = 1 (sicheres Ereignis).
3. Für zwei Ereignisse A, B mit A  B = {}
(unverträgliche Ereignisse) gilt:
P(A  B) = P(A) + P(B).
Axiomatische Definition der Wahrscheinlichkeit
3. Für zwei Ereignisse A, B mit A  B = {}
(unverträgliche Ereignisse) gilt:
P(A  B) = P(A) + P(B).
Beispiel:
 Würfeln
A = {1}, B = {2}
P(A) = 1/6, P(B) = 1/6
Aber:
A = {1,2}, B = {2}
P(A) = 1/3, P(B) = 1/6
Somit: P(A  B) = P({1,2}) = 1/3
Daher: P(A B)  3/6,
sondern:
P(A  B) = P({1,2}) = 1/3
4. Bestimmung von Wahrscheinlichkeiten
Axiome von Kolmogorov legen die Wahrscheinlichkeiten
noch nicht fest! Sie müssen definiert oder gemessen
werden.
Dieses Kapitel ist umfasst Mathematik und Empirie.
Bestimmung von Wahrscheinlichkeiten
a) Mathematik; für endliche Stichprobenräume
Ordne jedem Elementarereignis die gleiche
Wahrscheinlichkeit zu (Laplace-Experiment) und wende
Abzähltechniken an (Kombinatorik).
Beispiel:
 Würfeln mit einem fairen Würfel
P({1}) = P({2}) = ... = P({6}) = 1/6.
-Wie kommt man zu der Zahl „1/6“?
P() = 1 (Axiom 2) und Axiom 3!
Bestimmung von Wahrscheinlichkeiten
a) Mathematik; für endliche Stichprobenräume
Ordne jedem Elementarereignis die gleiche
Wahrscheinlichkeit zu (Laplace-Experiment) und wende
Abzähltechniken an (Kombinatorik).
Komplizierteres Beispiel:  Lotto (6 aus 49)
P(„4 Richtige“) =
 6  43 
  
 4  2 
 49 
 
6
mit
6
  =
 4
6!
4!2!
Bestimmung von Wahrscheinlichkeiten
b) Empirie; für diskrete Stichprobenräume
Führe das Zufallsexperiment N-mal aus. Das Ereignis A
trete dabei NA-mal auf. Eine Schätzung für die
Wahrscheinlichkeit P(A) ist die relative Häufigkeit
P(A)  NA / N.
Die Division durch N liefert dabei die Normierung: Es
muss für Elementarereignisse Bi gelten:
Si P(B ) = 1.
i
Die Schätzung wird für große N genau (Gesetz der großen
Zahlen).
Bestimmung von Wahrscheinlichkeiten
b) Empirie; für diskrete Stichprobenräume
Beispiel:
 Neuronale Feuerstatistik
5. Wahrscheinlichkeitsverteilungen
Für alle Elementarereignisse x  nennt man die Funktion
P(x) eine Wahrscheinlichkeitsverteilung (oder kurz
Verteilung).
Beispiel:
 Neuronale Feuerstatistik
Verteilung der Anzahl
von Spikes als Antwort
auf einen bestimmten Reiz
Zumeist: Umrechnung auf die Feuerrate r (# Spikes / s)
Wahrscheinlichkeitsverteilungen
Beispiel:
 Poisson-Verteilung
Betrachte ein Intervall (Zeitintervall, Raumbereich usw.).
Wieviele Ereignisse treten in diesem Intervall auf? Es
seien im Mittel l Ereignisse.
Poisson-Verteilung:
P(k ; l ) =
lk
k!
e l
Poisson-Verteilung
 Poisson-Verteilung
P(k ; l ) =
lk
k!
e
l
Eine Poisson-Verteilung ist dann zu
erwarten, wenn die einzelnen Ereignisse
unabhängig voneinander auftreten.
Gehorchen neuronale Feuerereignisse
einer Poisson-Verteilung?
l = rt ,
r
Feuerrate
(rt ) k rt
P(k ; rt ) =
e
k!
(?)
Poisson-Verteilung
(rt ) k rt
P(k ; rt ) =
e
k!
{
 Poissonscher
Spiketrain
Dt
Test: Verteilung der Wartezeiten ist exponentiell;
hier: Interspike-Intervalle
p(Dt ) = re  rDt
Oft gute Näherung, aber nicht
exakt erfüllt: z. B. Refraktärzeit
6. Bedingte Wahrscheinlichkeit
Wahrscheinlichkeiten ändern sich, wenn sich der Stichprobenraum  ändert. Dies ist i. a. der Fall, wenn wir mehr
Wissen über ein System bekommen.
Wir wollen eine bedingte Wahrscheinlichkeit
P(A|B)
A,B   Ereignisse
„Wahrscheinlichkeit von A unter der Bedingung, dass B
eingetreten ist“
einführen.
Bedingte Wahrscheinlichkeit
Beispiel:
 Würfeln
Schritt 1
A = {1}, P(A) = 1/6
B = {1,2,3}, P(B) = ½
P(A|B) = 1/3
Hier: P(A|B) = P(A)/P(B)
Das ist aber noch nicht die endgültige Version, das
Beispiel war zu simpel...
Bedingte Wahrscheinlichkeit
Beispiel:
 Würfeln
Schritt 2
A = {1,6}, P(A) = 1/3
B = {1,2,3}, P(B) = ½
P(A|B) = 1/3 (!)
Wichtig ist nur die „1“,
also A B mit P(A B)=1/6
Anstatt
P(A|B) = P(A)/P(B):
P(A|B) = P(A B)/P(B)
Bedingte Wahrscheinlichkeit
 Neuronale Feuerstatistik
Präsentiere verschiedene Reize A1, A2, A3, ...
 Die neuronale Feuerstatistik ändert sich (i. A.
verschiedene mittlere Feuerraten, andere Verteilung)
Wie groß ist die Wahrscheinlichkeit, als Antwort auf die
Präsentation eines Reizes eine bestimmte Feuerrate r
(oder eine bestimmte Anzahl n von Spikes) zu
bekommen?
Interpretiert als bedingte Wahrscheinlichkeit
P(r|A1), P(r|A2), P(r|A3), ... bzw.
P(n|A1), P(n|A2), P(n|A3), ...
7. Satz von Bayes
Was ist der Zusammenhang zwischen P(A|B) und P(B|A)?
P(A|B) = P(A B) /P(B)
P(B|A) = P(B A) /P(A)
Somit P(A|B) P(B) = P(B|A) P(A)
oder
P(B | A) P(A)
P(A | B) =
P(B)
Der Satz von Bayes hat sehr viele Anwendungen. Hier:
statistische Signalverarbeitung
Satz von der totalen Wahrscheinlichkeit
Benötigt für den Nenner
P(A | B) =
Zerlege  in disjunkte Teilmengen:
 = A1, A2, A3, ... mit Ai Aj = {} für alle i j.
Dann gilt für ein beliebiges Ereignis B:
P(B) = P(B|A1) P(A1) + P(B|A2) P(A2) + ...
Im Satz von Bayes:
P(A | B) =
P(B | A) P(A)
P(B | A1) P(A1)  P(B | A2) P(A2)  ...
wobei A eines der Ereignisse Ai ist.
,
P(B | A) P(A)
P(B)
Anwendung auf neuronale Antworten
 Neuronale Feuerstatistik
Verschiedene mögliche Reize A1, A2, A3, ...
Wie groß ist die Wahrscheinlichkeit, als Antwort auf die Präsentation eines Reizes Ai
eine bestimmte Feuerrate r (oder eine bestimmte Anzahl n von Spikes) zu bekommen?
Interpretiert als bedingte Wahrscheinlichkeit
P(r|A1), P(r|A2), P(r|A3), ... bzw. P(n|A1), P(n|A2), P(n|A3), ...
Jetzt: Wie groß ist – bei gegebener Antwort r bzw. n –
die Wahrscheinlichkeit, dass der präsentierte Reiz der
Reiz Ai war?
Interpretiert als bedingte Wahrscheinlichkeit
P(A1|r), P(A2|r), P(A3|r), ...
Rekonstruktion von Reizen
Gegeben:
 Verschiedene mögliche Reize A1, A2, A3, ...
 Feuerstatistiken P(n|A1), P(n|A2), P(n|A3), ...
 Ermittle eine neuronale Antwort n
Rekonstruktion:
 Bestimme die Wahrscheinlichkeiten P(A1|n), P(A2|n),
P(A3|n), ... mit dem Satz von Bayes
 Rekonstruierter Reiz: Wähle den Reiz Ai, für den die
Wahrscheinlichkeit P(Ai|n) maximal ist (Maximum-APosteriori-Schätzer).
Unabhängige Ereignisse
Mit Hilfe der bedingten Wahrscheinlichkeit lässt sich die
Unabhängigkeit von Ereignissen definieren.
Zwei Ereignisse A, B heißen unabhängig, wenn gilt:
P(A|B) = P(A).
Beispiel:
 Würfeln mit zwei Würfeln
P(„2 mit Würfel 1“ | „ungerade mit Würfel 2“)
= P(„2 mit Würfel 1“) = 1/6
Aus
P(A|B) = P(A B)/P(B)
folgt: P(A B) = P(A) P(B)
8. Multivariate Verteilungen
Bislang war die Wahrscheinlichkeit P eine Funktion einer
(Zufalls-)Variablen X: P(x).
Jetzt: P(x1, x2, ...): Multivariate Verteilungen.
In einem Zufallsexperiment werden die Größen X1, X2, ...
gemessen; Messergebnis sei x1, x2, .... Dann nennt man die
Funktion P(x1, x2, ...) die Verbundwahrscheinlichkeit von
X1, X2, ...
(Achtung: „Verteilung“ ist doppelt besetzt...)
Multivariate Verteilungen
Beispiel:
 Feuerstatistik zweier Neuronen
Ergibt ein bivariate Verteilung
P(n1,n2) bzw. P(r1,r2).
Praktisches Problem: Es werden
viel mehr Daten benötigt!
Multivariate Verteilungen
 Feuerstatistik zweier Neuronen
Praktisches Problem: Es werden viel mehr Daten benötigt
als bei einem Neuron!
Lösung: Annahme der statistischen Unabhängigkeit:
P(n1,n2) = P(n1) P(n2).
Stimmt die Annahme? Natürlich nicht...