Diskrete Strukturen (WS 2009/10)

Stefan Lucks
Diskrete Strukturen (WS 2009/10)
6: Diskrete Wahrscheinlichkeit
6: Diskrete Wahrscheinlichkeit
– 219 –
Stefan Lucks
Diskrete Strukturen (WS 2009/10)
Wahrscheinlichkeitsrechnung
Eines der wichtigsten mathematischen Werkzeuge für
Informatiker (Analyse probabilistischer Algorithmen,
Zuverlässigkeit eines Systems, . . . )
I Diskrete Wahrscheinlichkeit als besonders einfacher Fall
(im Gegensatz zur kontinuierlichen Wahrscheinlichkeit)
1. Einige Grundbegriffe (z.B. was ist “Wahrscheinlichkeit”?)
2. Secret Sharing bzw. Verschlüsselung mit “perfekter
Sicherheit”
3. Neuer Blick auf den Diffie-Hellman Schlüsselaustausch
Wie berechnet man Diskrete Logarithmen möglichst
effizient? (Oder: Warum verlangen wir q > 2160 ?)
I
6: Diskrete Wahrscheinlichkeit
– 220 –
Stefan Lucks
Diskrete Strukturen (WS 2009/10)
– 221 –
6.1: Grundbegriffe
Definition 91
Ein diskreter Wahrscheinlichkeitsraum besteht aus
I der Menge der Elementarereignisse, einer abzählbaren
Menge Ω, zusammen mit
I der Wahrscheinlichkeitsverteilung, einer Funktion
X
Pr : Ω → R≥0 , mit
Pr(x) = 1.
x∈Ω
Dabei bezeichnet R≥0 die Menge aller reellen Zahlen ≥ 0.
In diesem Kapitel benutzen wir den Bezeichner Ω stets für eine
abzählbare Menge von Elementarereignissen und Pr für die
zugehörige Wahrscheinlichkeitsverteilung.
6: Diskrete Wahrscheinlichkeit
6.1:
Stefan Lucks
Diskrete Strukturen (WS 2009/10)
Beispiele (Würfel)
I
I
I
Fairer Würfel (“Laplace-Würfel”):
Ω = {1, 2, 3, 4, 5, 6}, ∀x ∈ Ω : Pr[x] = 1/6.
Würfel mit Bleigewicht unter der 1:
Ω = {1, 2, 3, 4, 5, 6},
Pr[2] = Pr[3] = Pr[4] = Pr[5] = 1/6, Pr[6] = 3/9.
Was ist Pr[1]?
Wie wahrscheinlich ist es, eine gerade Zahl zu
würfeln?
Fairer Würfel mit manipulierten Augenzahlen
2,3,4,5,6,6:
Ω = {1, 2, 3, 4, 5, 6},
Pr[1] = 0, Pr[2] = Pr[3] = Pr[4] = Pr[5] = 1/6,
Pr[6] = 1/3.
6: Diskrete Wahrscheinlichkeit
6.1:
– 222 –
Stefan Lucks
Diskrete Strukturen (WS 2009/10)
– 223 –
Ereignisse und ihre Wahrscheinlichkeit
Definition 92
Die Elemente von Ω sind die Elementarereignisse,
alle Teilmengen von Ω sind Ereignisse,
und die Wahrscheinlichkeit Pr[E] eines Ereignisses E ⊆ Ω ist
X
Pr[E] =
Pr(x).
x∈E
Das Ereignis {} ist das unmögliche und Ω selbst ist das sichere
Ereignis.
6: Diskrete Wahrscheinlichkeit
6.1:
Stefan Lucks
Diskrete Strukturen (WS 2009/10)
Beispiel: Gleichverteilung
(“Laplace-Verteilung”)
Sei Ω endlich. Sind alle Elementarereignisse gleich
wahrscheinlich, dann ist ∀x ∈ Ω : Pr[x] = 1/|Ω|.
Ferner gilt für alle Ereignisse E ⊆ Ω:
Pr[E] =
|E|
.
|Ω|
Konkretes Beispiel:
Fairer (“Laplace”-) Würfel
(kennen wir schon).
Ω = {1, 2, 3, 4, 5, 6},
∀x ∈ Ω : Pr[x] = 1/6, Pr[{2, 4, 6}] = 1/2.
6: Diskrete Wahrscheinlichkeit
6.1:
– 224 –
Stefan Lucks
Diskrete Strukturen (WS 2009/10)
Eigenschaften der Wahrscheinlichkeit
Satz 93 (Monotonie der Wahrscheinlichkeit)
Sei A ⊆ B ⊆ Ω. Dann gilt
Pr[A] ≤ Pr[B].
Satz 94 (Additivität der Wahrscheinlichkeit)
Seien A, B ⊆ Ω. Dann gilt
Pr[A ∪ B] = Pr[A] + Pr[B] − Pr[A ∩ B].
6: Diskrete Wahrscheinlichkeit
6.1:
– 225 –
Stefan Lucks
Diskrete Strukturen (WS 2009/10)
– 226 –
Folgerungen
Seien A ein Ereignis. Dann gilt:
0 ≤ Pr[A] ≤ 1.
Sind die Ereignisse A und B disjunkt, also A ∩ B = {}, dann gilt
Pr[A ∪ B] = Pr[A] + Pr[B].
Seien A ⊆ Ω. Dann gilt
Pr[A] = 1 − Pr[A].
6: Diskrete Wahrscheinlichkeit
6.1:
Stefan Lucks
Diskrete Strukturen (WS 2009/10)
– 227 –
Beispiel: Mehrere Würfe mit einem Würfel
I
I
I
Man werfe den “fairen” 2,3,4,5,6,6-Würfel zweimal.
Nun ist Ω = {(1, 1), (1, 2), . . . , (6, 6)}
(Beachte: (i, j) heißt “zuerst i, dann j gewürfelt”)
für i 6= j ist (i, j) 6= (j, i)!)
Pr[(1, 1)] = · · · = Pr[(1, 6)] = 0, Pr[(2, 3)] = 1/36, . . .
Was ist Pr[(3, 6)]?
Was ist Pr[(i, i)] für i ∈ {2, . . . , 6}?
6: Diskrete Wahrscheinlichkeit
6.1:
Stefan Lucks
Diskrete Strukturen (WS 2009/10)
– 228 –
Zwei unabhängige Ereignisse
Definition 95
Zwei Ereignisse A, B ⊆ Ω heißen (stochastisch) unabhängig,
wenn
Pr[A ∩ B] = Pr[A] ∗ Pr[B]
gilt. Andernfalls heißen sie (stochastisch) abhängig.
Beispiel: Laplace-Würfel.
E1 = {2, 3}
E2 = {3, 5}
E3 = {2, 3, 4}.
E4 = {1, 2, 3}.
6: Diskrete Wahrscheinlichkeit
6.1:
I
I
Es gibt 6 Paare von Ereignissen
(E1 , E2 ), (E1 , E3 ) . . . , (E3 , E4 ).
Welche dieser Paare sind
unabhängig, welche nicht?
Stefan Lucks
Diskrete Strukturen (WS 2009/10)
– 229 –
Das Zwei-Würfel Experiment
Wir haben zwei “faire” Würfel, 1,1,2,3,4,5 und 2,3,4,5,6,6. Wir
wählen zufällig einen der beiden Würfel und würfeln.
Es ist Ω = {1, 2, . . . , 6}, und für alle x ∈ Ω ist Pr[x] = 1/6.
(Nachrechnen!)
Nun würfeln wir zweimal. Also ist Ω = {1, 2, . . . , 6}2 . Sei X das
Ereignis, dass wir im ersten Wurf eine 6 werfen, Y das Ereignis,
dass wir im zweiten Wurf eine 6 werfen.
6: Diskrete Wahrscheinlichkeit
6.1:
Stefan Lucks
Diskrete Strukturen (WS 2009/10)
– 230 –
Das Zwei-Würfel Experiment (2)
Wenn wir für beide Würfel den gleichen (zuvor zufällig
gewählten) Würfel wählen, dann sind X und Y abhängig.
(Nachrechnen!)
Wenn wir dagegen den Würfel nach dem ersten Wurf
zurücklegen und vor dem zweiten Wurf wieder zufällig einen der
beiden Würfel wählen, dann sind X und Y unabhängig.
(Nachrechnen – auch wenn es offensichtlich erscheint!)
6: Diskrete Wahrscheinlichkeit
6.1:
Stefan Lucks
Diskrete Strukturen (WS 2009/10)
– 231 –
Bedingte Wahrscheinlichkeit
Definition 96
Seien A und B zwei Ereignisse mit Pr[B] > 0. Die bedingte
Wahrscheinlichkeit Pr[A|B], dass das Ereignis A unter der
Bedingung B eintritt, ist
Pr[A|B] =
Pr[A ∩ B]
.
Pr[B]
Beispiel: Das Zwei-Würfel-Experiment (ohne Zurücklegen),
X : “Beim ersten Wurf eine 6”, Y : “Beim zweiten Wurf eine 6”.
Man rechne Pr[X |Y ] aus!
Satz 97
Zwei Ereignisse A, B ⊆ Ω sind unabhängig, genau dann, wenn
Pr[A|B] = Pr[A].
6: Diskrete Wahrscheinlichkeit
6.1:
Stefan Lucks
Diskrete Strukturen (WS 2009/10)
– 232 –
Beispiel: Eine Familie mit zwei Kindern
Wir besuchen eine Familie, von der wir wissen, dass sie zwei
Kinder hat. An der Tür werden wir von einem der beiden Kinder
begrüßt. Es ist ein Junge.
Wie wahrscheinlich ist es, dass das andere Kind auch ein Junge
ist?
(Dabei sei es gleich wahrscheinlich, dass ein Kind als Junge
geboren wird, oder als Mädchen. Insbesondere sei dieses
Ereignis unabhängig vom Geschlecht der anderen
Geschwister.)
6: Diskrete Wahrscheinlichkeit
6.1:
Stefan Lucks
Diskrete Strukturen (WS 2009/10)
Eigenschaften der bedingten
Wahrscheinlichkeit
Satz 98 (Multiplikationssatz für Wahrscheinlichkeiten)
Pr[A ∪ B] = Pr[B] ∗ Pr[A|B].
Satz 99 (Bayes)
Seien A, B ⊂ Ω Ereignisse mit Pr[A] > 0 < Pr[B]. Dann gilt:
Pr[A|B] =
6: Diskrete Wahrscheinlichkeit
6.1:
Pr[A]
∗ Pr[B|A].
Pr[B]
– 233 –
Stefan Lucks
Diskrete Strukturen (WS 2009/10)
– 234 –
6.2: Perfekt sichere Verschlüsselung
Szenario:
I
I
I
I
M ∈ {0, 1}n : vertrauliche Nachricht
C = EK (M): Chiffretext (Verschlüsselung von M unter
einem geheimen Schlüssel K )
“Angreifer” kennt C, aber weder M noch K
Legaler Empfänger kennt K , erfährt C und berechnet
M = DK (C) durch Entschlüsselung von C unter K
Idee
Ein Verschlüsselungssystem heißt perfekt, falls der “Angreifer”
aus dem Chiffretext “nichts über M erfährt, was er nicht sowieso
schon weiß”.
6: Diskrete Wahrscheinlichkeit
6.2: Perfekt sichere Verschlüsselung
Stefan Lucks
Diskrete Strukturen (WS 2009/10)
Von der Idee zur formalen Definition
Definition 100
Ein Verschlüsselungssystem heißt perfekt, falls für den
“Angreifer” und für alle Nachrichten M ∈ {0, 1}n und alle
Chiffretexte C gilt:
Pr[“M”|“C”] = Pr[“M”].
(Achtung: Etwas missbräuchliche Notation! Für M ∈ {0, 1}n
bezeichnet “M” das Ereignis, dass der Sender diese Nachricht
verschickt. Ebenso für Chiffretexte “C” und Schlüssel “K ”.)
Das Shamir Secret Sharing kann man als perfektes
Verschlüsselungssystem auffassen. Wir betrachten im
folgenden ein einfacheres Beispiel.
6: Diskrete Wahrscheinlichkeit
6.2: Perfekt sichere Verschlüsselung
– 235 –
Stefan Lucks
Diskrete Strukturen (WS 2009/10)
Die Vernam-Chiffre
(“One-Time Pad”, Vernam, 1917)
I
I
I
I
M ∈ {0, 1}n : vertrauliche Nachricht
Schlüssel K ∈ {0, 1}n , gleichverteilt
Chiffretext C ∈ {0, 1}n : C = M ⊕ K .
Entschlüsselung: M = C ⊕ K .
Satz 101 (Shannon, 1949)
Die Vernam-Chiffre ist perfekt.
6: Diskrete Wahrscheinlichkeit
6.2: Perfekt sichere Verschlüsselung
– 236 –
Stefan Lucks
Diskrete Strukturen (WS 2009/10)
– 237 –
Perfekte Verschlüsselung ist in der Praxis
eine seltene Ausnahme
Satz 102
Bei jedem perfekten Verschlüsselungssystem muss der
Schlüssel mindestens so lang sein, wie die Nachricht.
Werden mehrere Nachrichten verschlüsselt, muss der Schlüssel
mindestens so lang sein, wie die Längen aller Nachrichten
zusammen.
(Ohne Beweis)
6: Diskrete Wahrscheinlichkeit
6.2: Perfekt sichere Verschlüsselung
Stefan Lucks
Diskrete Strukturen (WS 2009/10)
6.3: Das Geburtstagsparadoxon
Wie wahrscheinlich ist
es, dass von 23 Leuten
auf einem Fußballfeld
(beide Teams und der
Schiedsrichter) zwei am
gleichen Tag
Geburtstag haben
Etwa 50.7 %. Überrascht?
hhttp://de.wikipedia.org/wiki/Geburtstagsparadoxoni
6: Diskrete Wahrscheinlichkeit
6.3: Das Geburtstagsparadoxon
– 238 –
Stefan Lucks
Diskrete Strukturen (WS 2009/10)
Wie rechnet man das aus?
I
I
n ≤ 365 Bälle, die jeweils zufällig in einen
von 365 Körben geworfen werden.
Die Wahrscheinlichkeit pn , dass von n
Bällen in jedem Korb höchstens ein Ball ist:
I
I
I
I
I
p1 = (365/365) = 1
p2 = (364/365)
p3 = (364/345) ∗ (363/365)
p4 = (364/345) ∗ (363/365) ∗ (362/365)
...
Y 365 − i
.
pn =
365
0≤i<n
I
Die Wahrscheinlichkeit, dass in mindestens
einem Korb mehr als ein Ball liegt, ist
natürlich 1 − pn , siehe Tabelle.
6: Diskrete Wahrscheinlichkeit
6.3: Das Geburtstagsparadoxon
– 239 –
Anz.
1
2
3
4
..
.
1 − pn
0.0000
0.0027
0.0082
0.0164
..
.
20
21
22
23
24
25
26
27
28
0.4114
0.4437
0.4757
0.5073
0.5383
0.5687
0.5982
0.6269
0.6545
Stefan Lucks
Diskrete Strukturen (WS 2009/10)
Verallgemeinerung des
Geburtstagsproblems
I
I
k Körbe und (wie bisher) n ≤ k Bälle.
Die Wahrscheinlichkeit, dass Bälle in verschiedenen
Körben landen:
Y k−i
.
pn =
k
0≤i<n
I
I
Für “große” k erwartet man eine Kollision (zwei Bälle im
gleichen Korb) bei
r
π √
n=
∗ k
2
p
(ohne Beweis). Es ist π2 ≈ 1.25.
√
p
Ist n = c ∗ π2 ∗ k, dann ist die erwartete Anzahl an
Kollisionen c2 .
6: Diskrete Wahrscheinlichkeit
6.3: Das Geburtstagsparadoxon
– 240 –
Stefan Lucks
Diskrete Strukturen (WS 2009/10)
– 241 –
Warum ist das für die Informatik relevant?
I
I
I
I
Die Effizienz vieler probabilistischer Algorithmen hängt eng
mit der Anzahl an “zufälligen Kollisionen” zusammen.
Uns schon bekannt ist das Problem des Diskreten
Logarithmus: (→ Diffie-Hellman Schlüsselaustausch):
Seien ein erzeugendes Element g einer (zyklischen)
Gruppe der Ordnung q und x = g y gegeben, gesucht ist y.
Es gibt Algorithmen zur Berechnung des Diskreten
Logarithmus, die mit
q
√
π
∗ q Rechenschritten
2
auskommen (Berechne viele g i ∗ x j , → Tafel).
Warum verlangen wir für den D.-H. Schlüsselaustausch
q > 2160 ? Wir wollen Angreifer zwingen, mindestens 280
Rechenschritte durchzuführen – in der Erwartung, dass sie
diese Rechenleistung nicht aufbringen können.
6: Diskrete Wahrscheinlichkeit
6.3: Das Geburtstagsparadoxon