Randomisierte Algorithmen“ ¨Ubungsblatt 5, WS 2009/10

TU Ilmenau, Fakultät IA
Institut für Theoretische Informatik
FG Komplexitätstheorie und Effiziente Algorithmen
Univ.-Prof. Dr. Martin Dietzfelbinger, Dr. Ulf Schellbach
http://www.tu-ilmenau.de/fakia/RA WS09.html
Randomisierte Algorithmen“
”
Übungsblatt 5, WS 2009/10
Besprechung: Freitag, den 15.01.2010
(Mit Möglichkeit zum Vorrechnen.)
Aufgabe 1 (Quicksort benötigt O(n log n) Schritte mit hoher Wahrscheinlichkeit)
Sei n ≥ 1 ganzzahlig, L := dlog3/2 ne, sowie c ≥ 6 ganzzahlig und so groß, dass
e−(1−3/c)
2
<
3/c
3
(3/c)
gilt. Seien weiter Y1 , Y2 , . . . , YcL unabhängige, 0-1-wertige Zufallsvariablen mit Pr(Yi = 1) = 1/3
und sei Y := Y1 + · · · + YcL .
(a) Zeigen Sie:
1
.
n2
Hinweis: Anwendung der Chernoff-Hoeffding-Ungleichung in der zweiten Form:
Pr(X ≤ (1 − ε)m) ≤ (e−ε /(1 − ε)1−ε )m .
Pr(Y ≤ L) ≤
(b) Verfolgen Sie bei randomisiertem Quicksort für Input (a1 , . . . , an ), wobei die ai paarweise
verschieden sind, das Schicksal“ eines Schlüssels z, z ∈ {a1 , . . . , an }. Wir nennen einen
”
partition-Aufruf für ein Teilarray A[a..b], in dem z vorkommt, gut für z, wenn nach dem
Aufruf das neue Teilarray, in dem z steht, höchstens 32 (b − a + 1) Einträge hat (oder wenn
z als Pivot gewählt wird).
Argumentieren Sie, dass ein fest gewähltes z höchstens L = dlog3/2 ne gute Aufrufe
erleben“ kann.
”
(c) Zeigen Sie: Wenn z in A[a..b] liegt und partition für A[a..b] ausgeführt wird, ist die
Wahrscheinlichkeit, dass dieser Aufruf gut für z ist, mindestens 1/3.
(d) Argumentieren Sie: Die Wahrscheinlichkeit, dass unter den ersten cL partitionAufrufen, an denen z beteiligt ist, weniger als L viele gut für z sind, ist durch 1/n2 nach
oben beschränkt.
(e) Argumentieren Sie: Es gibt eine Konstante C, so dass die Wahrscheinlichkeit, dass beim
randomisierten Quicksort mehr als Cn log n Vergleiche ausgeführt werden, durch 1/n nach
oben beschränkt ist.
Aufgabe 2 (Chernoff-Hoeffding für Summen geometrisch verteilter Zufallvariabler)
Seien Z1 , Z2 , Z3 , . . . unabhängige Zufallsvariable, die jeweils zum Parameter p, 0 < p < 1,
geometrisch verteilt sind. (Siehe Übungsblatt 2, Aufgabe 3.) Diese Zufallsvariablen modellieren
die Wartezeit auf einen Erfolg bei unabhängigen Versuchen mit Erfolgswahrscheinlichkeit p.
Weiter sei für k ≥ 1 die Zufallsvariable Yk definiert durch Yk = Z1 +Z2 +· · ·+Zk . Dann modelliert
Yk die Wartezeit auf k Erfolge bei unabhängigen Versuchen mit Erfolgswahrscheinlichkeit p.
Wir wollen eine Art Hoeffding-Chernoff-Schranke für Yk ermitteln.
(a) Zeigen Sie:
E(Yk ) = kp .
2
Randomisierte Algorithmen“
”
Übungsblatt 5, WS 2009/10
(b) Finden Sie eine obere Schranke für Pr Yk ≥ (1 + ε) kp .
Hinweis: Wenn X1 , X2 , X3 , . . . unabhängige 0-1-Zufallsvariable mit Pr(Xi = 1) = p sind,
dann kann man sich vorstellen, dass Yk wie folgt definiert ist:
Yk = min{i | X1 + X2 + · · · + Xi ≥ k}.
Also gilt für ganzzahlige t, dass Pr (Yk > t) = Pr(X1 + · · · + Xt < k). Nun kann man die
Hoeffding-Chernoff-Schranke aus Aufgabe 1 ins Spiel bringen.
(c) (Optional.) Finden Sie eine obere Schranke für Pr Yk ≤ (1 − ε) kp .
(d) Benutzen Sie das Ergebnis von (b) und (c), um folgende Strategie zu analysieren: Gegeben
ist eine unfaire Münze, die mit Wahrscheinlichkeit p Kopf und mit Wahrscheinlichkeit 1−p
Zahl zeigt. Der unbekannte Parameter p soll geschätzt werden.
Man wirft die Münze mehrmals, bis genau k-mal Kopf erschienen ist. Die beobachtete Zahl
der Versuche ist Y . Nun gibt man p̂ = k/Y als Schätzwert für p aus. Es soll etwas über
die Wahrscheinlichkeit gesagt werden, dass man mit dieser Schätzung weit vom echten p
entfernt liegt.
Aufgabe 3
(Vierfach unabhängige Suche)
In dem in Kapitel 4.1 der Vorlesung beschriebenen Szenario (die Menge A ist ein Zp , A ⊇ B 6= ∅,
% = |B|/|A|) seien die Zufallsvariablen Xi , 0 ≤ i ≤ p − 1, jetzt definiert durch
Xi = (a0 + a1 i + a2 i2 + a3 i3 ) mod p ,
wobei a0 , a1 , a2 , a3 ∈ A = Zp zufällig gewählt werden. Erinnerung (siehe Blatt 4, Aufg. 2):
Wenn i1 , . . . , i4 verschieden sind, dann sind Xi1 , . . . , Xi4 unabhängig; jede ist uniform in Zp
verteilt.
Wie in der Vorlesung sei Yi = 1, falls Xi ∈ B, und Yi = 0 sonst, und es sei Zi = Y0 + · · · + Yi−1 .
(a) Zeigen Sie:
E (Zi − i%)4
Pr(Zi = 0) ≤
(i%)4
Hinweis: Verallgemeinerte Markovsche Ungleichung.
(b) (Etwas schwieriger.) Beweisen Sie:
E (Zi − i%)4 ≤ i% + 3(i%)2
Hinweis: Für unabhängige Zufallsvariablen X, Y ist der Erwartungswert
multiplikativ,
P
d. h., es ist E(X · Y ) = E(X) · E(Y ). Man multipliziere E ( 0≤j<i (Yj − %))4 aus und
vereinfache mit der Multiplikationsregel. Dabei fallen sehr viele Terme weg, weil E(Yj −%) =
0 ist.
(c) (Wieder leicht.) Zeigen Sie:
Pr(Zi = 0) ≤
3
1
+
3
(i%)
(i%)2
Falls i% ≥ 1 gilt, ist dies nicht größer als 4/(i%)2 .
(d) Zeigen Sie:
1
%
P
Hinweis: Den Erwartungswert schätzt man mit der Formel E(#Tests) = i Pr(#Tests ≥
i) und Teil (c) ab. Die entstehende Summe wird durch ein Integral abgeschätzt.
E(#Tests) = O