Onkel Srivastav`s lustige Fragestunde:

20.04.09
10:15
Onkel Srivastav's lustige Fragestunde:
Informatik als Wissenschaft
– Problem losen strukturiert
– Basic Skills
– effizientes ( Be- ) Rechnen (schnell und Genau)
– Maschinen, Computer
– Programmierbare Computer
– Turing-Maschinen
Pfeiler der Informatik als Wissenschaft
– Algorithmen
– Komplexität
– Computer
– Programme
– effizientes ( Be- ) Rechnen (schnell und Genau)
– Maschinen, Computer
– Programmierbare Computer
– Turing-Maschinen
Arithmeum Bonn Forschungsinstitut für Diskrete Mathematik J. v. Neumann
1900 Paris
Dand Hilbert 22 Probleme
Diophantisches Problem
x 2 xyz 3z 2 x=0 für den ℝ ,ℂ , ℤ
Computational Science
11:15
Primzahl-Problem
Eingabe : n natürliche zahl
Frage : ist n eine Primzahl?
Lösungsverfahren:
1. Euklidischer Algorithmus, Prüfe alle natürlichen Zahlen ob l , l ∈[1,  n]∩ℕ Teiler von n ist.
Komplexität:
polynomiell in n.
L
n=∑ 2 l a l L=# der Bits in Binärdarstellung
−L
L≤⌈ log 2 n⌉
Komplexität euklidischer Algorithmus : mind.
1/2
 n=n 1/ 2= 2log n   =21 / 2log  n≥2 1/ 2 L
2
2
Frage: Gibt es einen in L polynomiellen Algorithmus für Primzahl ?
NP = Menge Aller endlichen Probleme, für die man eine Lösung in Polymonialzeit
verifizieren kann.
P = Menge Aller endlichen Probleme die man in Polynomialzeit lösen kann.
Kürzester Weg im Graphen shortest path
unleserlich
Hamiltonkreis : Graph G(V,E)
hat G einen geschlossenen Weg?
Hamiltonkreis ∈ P nicht bekannt !
aber ∈NP
22.04.09
Bla bla bla vom HIWI
Randomisierte Algorithmen
Komplexitätstheorie
• P „eine Lösung kann in polynomieller Zeit gefunden werden.“
• NP „eine Lösung kann in polynomieller Zeit erkannt werden.“
Problem
• Sei Σ eine endliche Menge, genannt Alphabet.
• Bezeichne Σ* die Menge aller Folgen über Σ.
• ...
Beispiel
1.
• Σ={0,1}
• Ein Wort w kodiert eine natürliche Zahl n
• L={w€ Σ* | w kodiert eine Primzahl}
2.
• Sei Σ so, dass wir damit Graphen und natürliche Zahlen kodieren können.
• Ein Wort w kodiert einen Graphen G und einer natürliche Zahl k.
• L bestehe aus allen (G,k) mit der Eigenschaft, dass G eine Clique der größe mindestens k besitzt.
Gegeben eine Sprache L⊆U⊆∑∗ und ein Wort w € U, so möchten wir effizient mit einem Algorithmus
feststellen, ob w € L oder nicht. Zu einem Algorithmus A bezeichne tA(w) die Laufzeit von A auf w.
Effizient heißt, dass es konstanten k,d > 0 gibt, so dass für alle w € U gilt
tA(w) <= k*|w|^d=O(|w|^d).
Alle Sprachen für die es effiziente Algorithmen gibt (=polynomielle Algorithmen) fasst man zur Klasse P
zusammen.
Polynomielle Prüfer und NP
Gegeben eine Sprache L⊆U⊆∑∗, U'⊆∑∗. Wir nennen einen Algorithmus V: UxU' → {Ja , Nein} einen
polynomiellen Prüfer , falls es d0,d1 > 0 so gibt, dass für alle w € U gilt :
1. Falls w nicht€ L, so ist V(w,c)=Nein für alle c€U'.
2. Falls w € L, so gibt es ein c0 € U' , so dass |c0|=O(|w|^d0), V(w,c0)=Ja und t_V(w,c0)=O(|w|^d1).
„L=alle Graphen mit Hamiltonkreis“ „w = G“ „c = W“
Beispiel für polynomielle Prüfer : Hamiltonkreis
Gegeben Graph G=(V,E). Frage: hat G einen Hamiltonkreis?
• Wir geben einem polynomiellen Prüfer an. Die erste Eingabe ist G.
Als zweite Eingabe wählen einen Vektor von Knoten W=(V1,...,Vk), k beliebig.
• Der Prüfer prüft ob :
– k=n
– Vi <> Vj für alle i<>j
– {Vi,Vi+1} € E für alle i € [1, k-1]
{Vk,V1} € E
O(k²)=O(n²)
Wenn ja, gibt er „Ja“ aus, ansonsten „Nein“.
Alle Sprachen mit polynomiellen Prüfer fasst man zu NP zusammen.
P
NP
NPC
Randomisierte Algorithmen
• Mit gewisser Wahrscheinlichkeit falsches Ergebnis, deterministische Laufzeit. (Monte-CarloAlgorithmus)
• Mit gewisser Wahrscheinlichkeit falsches Ergebnis, Laufzeit ist Zufallsgröße. (auch Monte-CarloAlgorithmus)
• Ergebnis stets richtig, Laufzeit ist Zufallsvariable ( Las-Vegas-Algorithmus)
Bei Monte-Carlo-Algorithmus unterscheidet man zwischen ein und zwei seitigen Fehler. Bei einseitigen Fehler
ist eine Ja- (Nein-) Antwort immer richtig, eine Nein- (Ja-) kann falsch sein. Bei zweiseitigen Fehler können Ja
und Nein Antworten falsch sein.
Beispiel: einseitiger Fehler: Nein immer richtig, Ja mit Wahrscheinlichkeit p falsch.
Primzahltest Gegeben n € N. Frage: Ist n eine Primzahl?
– Sieb des Erastostens : O(poly n ) ~~> nicht polynomiell in Eingabelänge O(ld n).
– Primzahltest € NP (Pratt 1975)
– Es gibt einen polynomiellen Monte-Carlo-Algorithmus mit einseitigen Fehler
(Solovay, Strassen 1977).
Lemma
Sei p > 2 eine Primzahl. Dann gilt a^(p-1)/2 * (a|p) Legendre-Symbol mod p = 1 für
alle a € {1, … , p-1}
bandance of whitness
27/04/09
Srivastav selber da
Das Ziegenproblem (G. v. Randow)
Ein Kandidat einer Fernsehshow darf zwischen drei geschlossenen Türen wählen. Hinter einer der Türen
befindet sich der Hauptgewinn, z.B. neues Auto, hinter den andern Türen steht jeweils eine Ziege
(ZONK,NIETE). Nach dem der Kandidat eine Tür gewählt hat, hilft der Showmaster, in dem er eine der Türen,
hinter der sich eine Ziege befindet, öffnet. Er bietet dem Kandidaten an seine getroffene Entscheidung zu
überdenken und gegebenen Falls die Tür zu wechseln.
Lohnt es sich zu Wechseln? Was würden sie Tun?
Skizze
H
Z
Z
Kolmogoroff Axiome
Wahrscheinlichkeitstheorie wurde Mathematisch fundiert und erst dadurch Teilgebiet der exakten
Wissenschaften durch die Axiome von Kolmogoroff. Diese sind :
1. Ein Zufallsexperiment wird durch einen Wahrscheinlichkeitsraum beschrieben.
Eine Grundmenge Ω umfasst alle möglichen Ereignisse eines Zufallsexperiments.
2. Ereignisse sind Teilmengen von Ω.
3. Die Wahrscheinlichkeit eines Ereignisses A⊂Ω wird durch eine Funktion P  A , P  A∈[0,1] ,
angegeben.
1.2. Sigmaalgebren
Es Sei Ω eine Menge, und Ω sei die Potenzmenge über Ω.
Definition 1.1 (sigma-Algebra) : Eine Teilmenge Sigma subset P(Ω) heißt sigma-Algebra falls folgende
Bedingungen gelten:
(i) Ω in Sigma
(ii) A in Sigma = > A^c in Sigma
(iii) Für jede Folge A_1,..... in Sigma gilt Union 1 bis unendlich A_i in Sigma.
Ω heißt Ergennissraum, Sigma nennt man Ereignissraum auf (Ω,Sigma) heißt Meßraum.
Weitere Eigenschaft : emptyset in Sigma, weil mit Ω in Sigma auf empyset=Ω^c in Sigma.
Ferner gilt : Schnitt aller A_i = (union aller A_i)^c in Sigma, falls A_i in Sigma.
.sigma-Algebren sind Teilmengen der Potenzmenge P(Ω). welches ist die kleinste, welches die größte sigmaAlgenbra über Ω?
• Sigma=P(Ω) ist die größte sigma-Algebra über Ω.
• Sigma={emptyset, Ω} ist die kleinste sigma-Algebra.
Für eine beliebige sigma-Algebra Sigma gilt somit {emptyset,Ω} subset Sigma subset P(Ω).
Die Wahl von Sigma legt die Struktur des Zufallsexperiments fest.
Das muss bei einer Modellierung zu allererst gemacht werden.
Bisherige Beispiele für Meßräume
a.) Laplace`sche Zufallsexperiment : Menge Ω, Sigma = P(Ω). Wahrscheinlichkeit
Laplaceraum
z.b. Lottospiel : Ω={(a_1,...,a_6); 1<= a_1 ...<= a_6 <= 49}
Sigma = P(Ω)
1.3. Wahrscheinlichkeitsraum
Definition 1.2. (Maß) : Sei (Ω,Sigma) ein Meßraum.
P  A=∣ A∣/∣Ω ∣
i. Eine Funktion mu : Sigma → [0,unendlich] heißt Maß falls folgendes gilt :
a. mu(emptyset)=0
b. Für jede Folge von paarweise disjunkten Mengen A_i in Sigma gilt:
mu(union A_i) = Summe mu(A_i).
(sigma-Additivität)
(Ω,Sigma,mu) nennt man Maßraum.
ii. Ein Maß P, P: Sigma → [0,1] heißt Wahrscheinlichkeitsmaß, falls P(Ω)=1.
iii. Das Tripel (Ω,Sigma,P) nennt man Wahrscheinlichkeitsraum.
Beispiel
Sei (Ω,P(Ω), P) ein Laplaceraum. Hierbei ist P  A:=∣ A∣/∣Ω∣ , A⊂Ω. Ein Laplaceraum ist auch ein
Wahrscheinlichkeitsraum :
• (Ω,P(Ω) ist Meßraum, da P(Ω) sigma-Algebra
• P ist eine Wahrscheinlichkeitsmaß:
a. P Ω =∣Ω∣/∣Ω ∣=1
b. P ist eine Funktion von P  Ω
c. P ∅=∣∅∣/∣ Ω∣=0
d. Seien A_i ind P(Ω), paarweise disjunkt.
P(union A_i)=|union A_i| / |Ω| = |A_1|+... /|Ω| = Summe |A_i| / |Ω| = Summe |A_i|/|Ω| = Summe
P(A_i)
==> ( Ω,P(Ω),P) ist ein Wahrscheinlichkeitsraum
der Laplaceraum beschreibt das Ziehen von Elementen unter der Gleichverteilung, d.h. P({w})=P({w'}) für alle
w,w' in Ω.
Bemerkung nicht jeder endliche Wahrscheinlichkeitsraum ist eine Laplaceraum!
Ω = {1, … , n} , Sigma = P(Ω)
P*({i})=1/i
P*(Ω) = Summe 1/i = H_n
(~log(n))
durch normieren von P* erhalten wir ein Wahrscheinlichkeitsmaß
P({i})=1/H_n*1/i
=> P(Ω)=Summe 1/H_n*1/i = 1/H_n*Summe 1/i = 1 .
(Ω,P(Ω),P) ist ein Wahrscheinlichkeitsraum aber keine Laplaceraum.
Definition 1.3. (Diskreter unendlicher Wahrscheinlichkeitsraum) :
i. Ein Wahrscheinlichkeitsraum (Ω,Sigma,P) heißt diskreter Wahrscheinlichkeitsraum falls Ω diskret ist.
ii. Ein Wahrscheinlichkeitsraum (Ω,Sigma,P) heißt endlicher Wahrscheinlichkeitsraum falls Ω endlich ist
und Sigma = P(Ω).
Die Elemente aus Ω heißen Atome und das Wahrscheinlichkeitsmaß für einen
Wahrscheinlichkeitsraum ist schon vollständig definiert durch seine Auswertung auf den Atomen.
29/04/09
endlichen
Wiederholung .....
- Ω∈ Σ
- A ∈ Σ ⇒ Ac ∈ Σ
−
∞
UA ∈ Σ
falls A1 , A2 ,... ∈ Σ
i
i= 1
Warscheinlichkeitsmaß P ≥ 0
- P( Ω ) = 1
 ∞

- P  U Ai  =
 i= 0 
--------------
∞
∑ P( A )
i
i= 1
A paarweise disjunkt
Proposition 1.4. : Sei ( Ω ,Σ ,P ) ein Wahrscheinlichkeitsraum, und seien A,B,A1 ,A 2 ,... ∈ Σ
Es gelten folgende Eigenschaften :
( i ) P ( Ac ) = 1 − P ( A)
( ii ) P ( A ∪ B ) + P ( A ∩ B ) = P ( A) + P ( B )
( iii ) A ⊆ B ⇒ P ( B \ A) = P ( B ) − P ( A)
( iv ) A ⊆ B ⇒ P ( A) ≤ P ( B )
 n 
v
Für
A
,...,
A
∈
Σ
:
P
( )
1
n
 U Ai  ≤
 i= 1 
n
∑ P ( A ) ( Union Bound )
i= 1
i
Beweis :
( i)
( ii )
P ( Ω ) = P ( Ac ∪ A ) = P ( Ac ) + P ( A ) = 1 − P ( A ) + P ( A ) = 1
A ∪ B = A ∪ ( B \ A) , B = ( A ∩ B ) ∪ ( B \ A)
⇒ P ( A ∪ B)
P ( B)
=
σ − Additivität
=
σ − Additivität
P ( A) + P ( B \ A)
P ( A ∩ B ) + P ( B \ A)
⇒ P ( A ∪ B ) − P ( B ) = P ( A) − P ( A ∩ B )
( iii )
( iv )
( v)
⇒ P ( A ∪ B ) + P ( A ∩ B ) = P ( A) + P ( B )
P ( B ) = P ( A ∩ B ) + P ( B \ A ) = P ( A ) + P ( B \ A)
⇒ P ( B \ A) = P ( B ) − P ( A)
P ( B ) ≥ P ( A)
( iii )
I.A.
Für n=2 wegen ( ii ) gültig: P ( A1 ∪ A2 ) = P ( A1 ) + P ( A2 ) - P ( A1 ∩ A2 )
≤ P ( A1 ) + P ( A2 )
I.V. n → n+1


P  A1 ∪ ..... ∪ An  = P ( A ∪ An + 1 ) ≤ P ( A) + P ( An + 1 ) ≤
:= A


n
∑
i= 1
P ( Ai ) + P ( An + 1 ) =
n+ 1
∑ P ( A ).
i= 1
i
q.e.d .
Lebesque Maß
Riemannintegral : →
1
Sei f = 1[ a ,b ] ⇒
∫
0
∫
∈ C [ 0,1] ⇒
1
∫ f ( x ) dx = I ( f )
0
1
b
0
a
f ( x ) dx = ∫ 1[ a ,b ] ( x ) dx = ∫ 1dx = b − a = länge [ a, b ]
 1 : x ∈ [ a, b ]
 0 : sonst
1[ a ,b] = 
Leider ist das Riemannsche Maß kein Maß im wahrescheinlichkeitstheoretischen
Sinne.
Wir suchen eine Maß, dass mit dem Riemannintegral mindestens für 1[ a,b] übereinstimmt.
Ein solches Maß existiert und heißt Lebesquemaß λ . Es hat folgende Eigenschaft:
λ
( [ a,b] ) = b − a
Sei Ω = [ 0,1]
Sei B1[ 0,1] die kleinste σ -Algebra, die alle abgeschlossenen Intervalle der Form
[ a,b ] ≤ [ 0,1]
enthält. Das ist die sogenannte Borelsche σ -Algebra über [ 0,1] .
Man weiß: B1[ 0,1] ≠ ℘
¤ ∩ [ 0,1] =
( [ 0,1] )
U { x} ( abzählbare Vereinigung )
x∈ ¤ ∩ [ 0,1]


λ ( ¤ ∩ [ 0,1] ) = λ  U { x} 
=
λ x = 0
 x∈ ¤∩ [ 0,1]
 σ − Additivität x∈ ¤∑∩ [ 0,1] ( {= } ) 0


Def.: Lebesquemaß
Vorlesung 04/05/09
1.4. Bedingte Wahrscheinlichkeiten
Definition 1.5: Sei ( Ω , Σ , P ) ein Wahrscheinlichkeitsraum und seien A,B ∈ Σ
Ereignisse mit P ( B ) > 0. Der Ausdruck
P ( A / B ) :=
P ( A ∩ B)
P ( B)
ist die beingte Wahrscheinlichkeit von A gegeben B.
Spezialfall : P ( A ∩ B ) = P ( A ) ⋅ P ( B ) =
P ( A ∩ B) P ( A ) ⋅ P ( B)
=
= P ( A) .
P ( B)
P ( B)
Man sieht in diesem Fall, dass B keinen Einfluss auf das Auftreten von A hat.
Ferner gilt allgemein P ( A ∩ B ) = P ( A | B ) ⋅ P ( B ) .
Satz 1.6. Multiplikationssatz
 n

 n− 1 
Seien A1 ,..., A n Ereignisse mit P  I A i  = P ( A1 ) ⋅ P ( A 2 | A1 ) ⋅ ... ⋅ P  I Ai  .
 i= 1 
 i= 1 
n− 1


Beweis : Es gilt P ( A1 ) ≥ P ( A1 ∩ A 2 ) ≥ ... ≥ P  I A i  > 0.
 i= 1 
n− 1
P ( A 2 ∩ A1 )
P ( A n ∩ .... ∩ A1 )


 n

P ( A1 ) ⋅ P ( A 2 | A1 ) ⋅ ... ⋅ P  I A i  = P ( A1 ) ⋅
⋅ ... ⋅
= P ( A n ∩ ... ∩ A1 ) = P  I A i  .
n− 1
P ( A1 )


 i= 1 
 i= 1 
P  I Ai 
 i= 1 
q.e.d.
Lösung des Geburtstagsproblems
Frage: Wie groß ist die Wahrscheinlichkeit, dass in einer m-köpfigen Gruppe Zwei Personen
am gleichen Tag Geburtstag haben?
( heute ca. m=50 in der VL Schätzungen 90%,75%,30%,25% )
Entsprechendes Urnenproblem : Wir werfen m Bälle zufällig mit gleicher Wahrscheinlichkeit
in n Körbe/Urnen. ( Hier n=365) .
Wir nehmen an, dass die Bälle nacheinander in die Urnen geworfen werden.
A i bezeichne das Ereignis : "Ball i landet in einer noch leeren Urne"
Sei A das Ereignis : "alle m Bälle liegen in unterschiedlichen Urnen"
Damit ist A c das gesuchte Ereignis :
"mindestens zwei Bälle liegen in ein und der selben Urne"
Es gilt :
m− 1
 m



A=P  I Ai 
=
P ( A1 ) ⋅ P ( A 2 | A1 ) ⋅ ... ⋅ P  A m | I A i 
i= 1
 i = 1  Multiplikationssatz


j− 1


P  A j | I A i  ist die Wahrscheinlichkeit, dass der j-te Ball in einer leeren
i= 1


Urne landet, wenn die vorherigen j-1 Bälle jeweils in einer leeren Urne gelandet sind.
Falls A j eintritt, landet der j-te Ball in einer der n - ( j-1) noch leeren Urnen.
j− 1
j− 1
−

 n − ( j − 1)
j− 1
P  A j | I Ai  =
= 1−
≤ −x
e n
n
n wegen1− x ≤ e ∀ x∈ ¡
i= 1


j− 1

⇒ P ( A) = ∏  1−
≤
n 
j= 1 
m
m
∏
e
−
j− 1
n
= e
1
− ⋅
n
m
∑
j
j= 1
= e
1 m⋅ ( m − 1)
− ⋅
n
2
j= 1
⇒ P ( Ac ) = 1 − P ( A ) ≥ 1 − e
1 m⋅ ( m − 1)
− ⋅
n
2
= 0,9550 @ 95,5%
n = 365
q.e.d.
m = 50
Satz 1.7. Formel von Bayes; Satz der totalen Wahrscheinlichkeit
Die Ereignisse B1 ,..., Bn seien paarweise disjunkt mit P ( Bi ) > 0 für i=1,...,n.
Es sei Ω =B1 ∪ ... ∪ Bn . Dann folgt für jedes A ∈ Σ
P ( A) =
n
∑ P( A | B ) ⋅ P( B )
i
i= 1
i
Beweis: A= ( A ∩ B1 ) ∪ .... ∪ ( A ∩ Bn )
⇒ P ( A)
n
=
σ-Additivität von P
n
∑ P( A ∩ B ) = ∑ P( A | B ) ⋅ P( B )
i
i= 1
i
i= 1
i
q.e.d.
Lösung des Ziegenproblems
Ziegenproblem
K
Z
Z
A
A sei das Ereignis : "Kandidat hat beim ersten Tip das Autogewählt."
G sei das Ereignis : "Kandidat gewinnt nach wechseln der Tür."
2
P ( G ) = P ( G | A ) ⋅ P ( A ) + P ( G | A c ) ⋅ P ( A c ) = P ( A c ) = = 0, 666 @ 66, 6% > 50%
Satz 1.7. 1
424
3
1424
3
3
=0
=1