Diskrete Mathematik Zusammenfassung der letzten LVA Inhalte der

Zusammenfassung
Zusammenfassung der letzten LVA
Definition
• Eine Menge M heißt endlich, wenn es eine natürliche Zahl m und
eine bijektive Abbildung α : {0, 1, . . . , m − 1} → M gibt
Diskrete Mathematik
• In diesem Fall ist m eindeutig bestimmt und man nennt #(M) := m
die Anzahl der Elemente von M
Christina Kohl
Georg Moser
Oleksandra Panasiuk
Christian Sternagel
Vincent van Oostrom
Definition
Eine Menge M heißt abzählbar unendlich, wenn eine bijektive Abbildung
α : N → M , i 7→ xi existiert. Man schreibt dann M = {x0 , x1 , x2 , . . .}
nennt α eine Aufzählung von M und α−1 eine Nummerierung von M.
Institut für Informatik @ UIBK
Sommersemester 2017
Beispiel
Sei Σ ein endliches Alphabet. Dann ist das Wortmonoid Σ∗ :=
abzählbar. Andererseits sind die reellen Zahlen nicht abzählbar.
GM (IFI)
Übersicht
S
n>0 Σ
n
Diskrete Mathematik
143/1
Diskrete Wahrscheinlichkeitstheorie
Inhalte der Lehrveranstaltung
Beispiel
Beweismethoden
deduktive Beweise, Beweise von Mengeninklusionen, Kontraposition,
Widerspruchsbeweise, vollständige Induktion, wohlfundierte Induktion,
strukturelle Induktion, Gegenbeispiele
Gegeben seien die ersten 15 Primzahlen in aufsteigender Reihenfolge und
wir suchen die durchschnittliche Anzahl der notwendigen Vergleiche, um
eine gegebene Zahl zu finden, wenn wir binäre Suche verwenden.
19
Relationen, Ordnungen und Funktionen
7
Äquivalenzrelationen, partielle Ordnungen, Wörter, asymptotisches Wachstum von Funktionen
3
37
S
13
S
29
43
S
Graphentheorie
gerichtete Graphen, ungerichtete Graphen
2
Zähl- und Zahlentheorie
S
Aufzählen und Nummerien von Objekten, Abzählbarkeit, Wahrscheinlichkeitstheorie, Lösen von Rekursionsformeln, Rechnen mit ganzen Zahlen,
euklidischer Algorithmus, Primzahlen, Restklassen
GM (IFI)
Diskrete Mathematik
144/1
S
5
11
U S U S
S
17
23
S
S
S
31
41
S
S
S
47
S
# der erfolgreichen Blätter = 15
GM (IFI)
Diskrete Mathematik
145/1
Diskrete Wahrscheinlichkeitstheorie
Diskrete Wahrscheinlichkeitstheorie
Beispiel (cont’d)
Definition
• eine Teilmenge E ⊆ S wird Ereignis genannt
• Angenommen die gesuchten Zahlen sind gleichverteilt: die
Wahrscheinlichkeit dass wir nach Primzahl p suchen ist
1
15
• die Wahrscheinlichkeit eines Ereignisses E ist wie folgt definiert
• Nun zählen jeden Konten als einen Vergleich, summieren die Anzahl
P(E ) :=
der gesamten Vergleiche und dividieren durch 15
X
P(x)
x∈E
8∗4+4∗3+2∗2+1
49
=
≈ 3, 27
15
15
Lemma
Seien A und B Ereignisse, dann gilt:
Also brauchen wir im Durchschnitt 3, 27 Vergleiche
P(A ∪ B) = P(A) + P(B) − P(A ∩ B)
Definition
P(∼A) = 1 − P(A)
wobei ∼A die Komplementärmenge von A
• der Ergebnisraum beschreibt die Menge aller möglichen Ergebnisse
Beispiel
• eine Wahrscheinlichkeitsverteilung auf einem Ergebnisraumes S ist
eine Abbildung
Angenommen wir werfen eine (faire) Münze zweimal, dann beschreibt
S = {KK , KZ , ZK , ZZ } den Ergebnisraum und E = {KZ , ZK } dass
genau einmal Kopf gewürfelt wird; es gilt P(E ) = ( 12 )( 21 ) + ( 12 )( 12 ) = 12
P : S → [0, 1]
sodass
P
x∈S
P(x) = 1
GM (IFI)
Diskrete Mathematik
146/1
Diskrete Wahrscheinlichkeitstheorie
GM (IFI)
Diskrete Mathematik
147/1
Diskrete Wahrscheinlichkeitstheorie
Definition
Beispiel (Satz von Bayes)
Wenn A und B Ereignisse sind und P(B) 6= 0, dann ist die bedingte
Wahrscheinlichkeit von A unter der Vorausetzung B wie folgt definiert:
Angenommen FCW gewinnt 75% aller Spiele bei gutem Wetter und 50%
bei schlechten Wetter; außerdem gelte, dass im Mai 2/3 schöne Tage
gegen 1/3 schlechte stehen. Was ist die Wahrscheinlichkeit für schlechtes
Wetter, wenn wir im Mai lesen der FCW hat gewonnen? Ereignisse W
(win), L (loose), B (bad), G (good).
P(A | B) :=
P(A ∩ B)
P(B)
Wir suchen P(B | W ) =
Lemma
A und B Ereignisse, dann: P(A ∩ B) = P(A) · P(B | A) = P(B) · P(A | B)
P(B | W ) =
2% der Studenten der UIBK studieren Informatik (Ereignis A) und 1%
studiert Mathematik (Ereignis B); außerdem studiert 0.1% beides, also
GM (IFI)
P(A ∩ B)
0.001
=
= 0.1
P(B)
0.01
P(B | A) =
Diskrete Mathematik
P(A ∩ B)
= 0.05
P(A)
148/1
und wissen P(W | G ) = 34 ,
P(W | B) = 12 , P(G ) =
= 13 ; es gilt W = (G ∩ W ) ∪ (B ∩ W ),
also P(W ) = P(G ∩ W ) + P(B ∩ W ) und somit:
Beispiel
P(A | B) =
P(B∩W )
P(W )
2
,
3 P(B)
GM (IFI)
P(B ∩ W )
P(B ∩ W )
=
P(W )
P(G ∩ W ) + P(B ∩ W )
P(W | B) P(B)
=
P(W | G ) P(G ) + P(W | B) P(B)
( 1 )( 1 )
1
= 3 22 31 1 =
4
( 4 )( 3 ) + ( 2 )( 3 )
Diskrete Mathematik
149/1
Diskrete Wahrscheinlichkeitstheorie
Diskrete Wahrscheinlichkeitstheorie
Satz
Beispiel (Bernoulliexperiment)
Sei S ein Ergebnisraum und sei {H1 , . . . Hn } eine Partition von S; E ein
Ereignis mit P(E ) 6= 0; dann gilt für i = 1, . . . , n:
• Wir betrachten n Münzwürfe mit einer Münze und berechnen die
Wahrscheinlichkeit mit der die Münze genau k-mal Kopf zeigt, wobei
die Münzwürfe unabhängig sind
P(Hi ∩ E )
P(Hi | E ) =
P(H1 ∩ E ) + · · · + P(Hn ∩ E )
=
• Zunächst betrachten wir die Wahrscheinlichkeit, dass die ersten k
Würfe Kopf zeigen und die restlichen Würfe Zahl
P(Hi ) P(E | Hi )
P(H1 ) P(E | H1 ) + · · · + P(Hn ) P(E | Hn )
• Bezeichne Ai das Ereignis, dass beim iten Wurf Kopf gewürfelt wird
• Wir nennen P(Hi ) auch a priori Wahrscheinlichkeit von Hi
und nehmen an, dass die Münze mit Wahrscheinlichkeit p Kopf zeigt,
dann gilt
• Und P(Hi | E ) heißt a posteriori Wahrscheinlichkeit von Hi ,
P(A1 ) · · · P(Ak ) · P(∼Ak+1 ) · · · P(∼An ) = p k (1 − p)n−k
gegeben E
• Somit ist die Wahrscheinlickeit genau k-mal Kopf zu würfeln wir
folgt gegegeben:
Definition
n k
p (1 − p)n−k
k
Ereignisse A und B sind unabhängig, wenn P(A ∩ B) = P(A) P(B)
GM (IFI)
Diskrete Mathematik
150/1
Diskrete Wahrscheinlichkeitstheorie
GM (IFI)
Diskrete Mathematik
151/1
Diskrete Wahrscheinlichkeitstheorie
Definition
Definition
Ein Bernoulliexperiment ist ein Experiment mit genau zwei möglichen
Ausgängen (Erfolg bzw. Misserfolg)
Bezeichne V : S → R eine Wertefunktion für den Ergebnisraum
S = {x1 , . . . , xn }; der Erwartungswert von V ist wie folgt definiert:
E(V ) := V (x1 ) P(x1 ) + · · · + V (xn ) P(xn )
Lemma
1
Die Wertefunktion V wird auch als Zufallsvariable bezeichnet
Die Wahrscheinlichkeit des k-maligen Erfolges bei einem n-fach
wiederholten Bernoulliexperiment ist:
n k
b(k; n; p) :=
p (1 − p)n−k
k
Beispiel
Angenommen wir suchen ein Element X in einem Array der Länge n
wobei P(“Erfolg”) = p
2
Die Wahrscheinlichkeitsverteilung b(k; n; p) für festes n und p heißt
Binomialverteilung; beachte
n
n X
X
n k
b(k; n; p) =
p (1 − p)n−k = (p + (1 − p))n = 1
k
k=0
GM (IFI)
k=0
Diskrete Mathematik
152/1
i := n ;
w h i l e i > 0 and X 6= L[i] do
i := i − 1
od
Gesucht: die durchschnittliche Zahl der Vergleiche X 6= L[i]; bezeichne Ii
das Ergebnis L[i] = X (1 6 i 6 n) und In+1 das Ergebnis X 6∈ L
GM (IFI)
Diskrete Mathematik
153/1
Diskrete Wahrscheinlichkeitstheorie
Diskrete Wahrscheinlichkeitstheorie
Beispiel (cont’d)
Definition
• der Ergebnisraum S = {I1 , I2 , . . . , In+1 }
• die Wertefunktion V : S → N bezeichnet die Anzahl der Vergleiche:
(
n − i + 1 falls I = Ii und 1 6 i 6 n
V (I ) :=
n
sonst
• Schließlich bezeichne q die Wahrscheinlichkeit, dass X ∈ L, dann gilt
P(Ii ) =
q
n
Eine Markowkette ist eine endliche Abfolge von Zuständen, sodass jeder
Zustandswechsel nur von dem vorherigen Zustand und einer
vorausgesetzten Wahrscheinlichkeitsverteilung abhängt
Beispiel
Wir betrachen zwei Zustände, bezeichnet mit 0 und 1; die
Wahrscheinlichkeiten der Zustandswechsel werden durch eine
Übergangsmatrix ausgedrückt
0.1 0.9
0.6 0.4
• die Wahrscheinlichkeit etwa eines Überganges von Zustand 0 nach
Zustand 1 ist also 90%
(1 6 i 6 n) und P(In+1 ) = 1 − q
• die Durchschnittskomplexität Avg : N → N kann nun mittels des
Erwartungswertes von V berechnet werden:
q
q
Avg(n) = E(V ) = (n + 1 − 1) + · · · + (n − n + 1) + (1 − q)n
n
n
n+1
q (n + 1)n
=
+ (1 − q)n = q(
) + (1 − q)n
n
2
2
• Ähnlich kann die Durchschnittskomplexität der Suche nach einer der
• Wahrscheinlichkeiten nach n Schritten können durch n-faches
Potenzieren der Übergangsmatrix P berechnet werden
ersten 15 Primzahlen in einer Liste berechnen werden; im
Durchschnitt brauche ich 8 Vergleiche
GM (IFI)
Diskrete Mathematik
154/1
Diskrete Wahrscheinlichkeitstheorie
Diskrete Mathematik
Definition
• Sei P eine Übergangsmatrix. Dann sind die Wahrscheinlichkeiten
Pn
• Für eine Folge f : N → R heißt die Potenzreihe
gegeben
F (x) :=
• Diese Eigenschaft heißt Markoweigenschaft oder auch
∞
X
f (n) · x n
n=0
Gedächtnislosigkeit
die erzeugende Funktion von f
• Die Methode der erzeugenden Funktionen versucht, aus den
Satz (Markowketten)
Rekursionsformeln für f (n) Gleichungen für F (x) herzuleiten und
diese mit algebraischen oder analytischen Mitteln zu lösen
Sei P eine Übergangsmatrix einer Markowkette, sodass für eine Potenz P 0
gilt, dass P 0 keine Nulleinträge besitzt, dan gilt:
1
Es existiert ein eindeutiger Wahrscheinlichkeitsvektor ~v , sodass
~v P = ~v und ~v enthält keine Nulleinträge
2
Bei wachsendem n nähert sich die Potenz P n der Matrix an, die den
Vektor ~v als Eintrag in jeder Zeile hat
3
Bezeichne ~v0 die initial Wahrscheinlichkeitsverteilung der Zustände.
Dann nähert sich der Vektor ~v0 P n dem Vektor ~v an
GM (IFI)
155/1
Lösen von Rekursionsformeln
Definition
nach n Schritten durch
GM (IFI)
Diskrete Mathematik
Beispiel
156/1
Die Fibonacci-Zahlen sind rekursiv definiert durch


falls n = 0
0
f (n) = 1
falls n = 1


f (n − 1) + f (n − 2) falls n > 2.
GM (IFI)
Diskrete Mathematik
157/1
Lösen von Rekursionsformeln
Lösen von Rekursionsformeln
Beispiel (cont’d)
Beispiel (cont’d)
Für die erzeugende Funktion F (x) folgt aus obiger Rekursion die
Gleichung
∞
∞
X
X
F (x) =
f (n)x n = f (0) + f (1)x +
(f (n − 1) + f (n − 2)) x n
Weiters gilt, dass Reihen konvergieren, konkret gilt für die geometrische
Reihe (für q < 1)
X
1
qn =
1−q
n=0
n>0
n=2
2
= x + x · F (x) + x · F (x)
Einsetzen der geometrischen Reihe
Konvergenzannahmen liefert
und durch Partialbruchzerlegung
1
x
F (x) =
=√
2
1−x −x
5
1
1−
√
1+ 5
2
−
·x
1−
√
1− 5
2
GM (IFI)
√
1+ 5
2 )
· (x +
·x
√
1− 5
2 ))
Diskrete Mathematik
158/1
Lösen von Rekursionsformeln
GM (IFI)
=
1
1−x
unter optimistischen
Diskrete Mathematik
159/1
Lösen von Rekursionsformeln
Beispiel
Beispiel (cont’d)
Die Menge der binären Bäume über der Menge M wird als formale
Sprache mit Hilfe der Klammern „ ( “ und „ ) “ induktiv definiert:
Für die erzeugende Funktion F (x) folgt
1
Die leere Zeichenkette ist ein binärer Baum
2
Wenn x ∈ M und L, R binäre Bäume sind, dann ist (LxR) ein
binärer Baum mit Knoten x
F (x) =
f (n)x n = 1 +
∞
n−1
X
X
n=1
!
f (k) · f (n − 1 − k) x n
k=0
= 1 + x · F (x) · F (x)
also F (x)2 −
1
x
· F (x) +
1
x
=0
F (x)2 −
Äquivalenzklassen binärer Bäume mit n Knoten läßt sich wie folgt
berechnen:
(
1
n=0
f (n) = Pn−1
k=0 f (k) · f (n − 1 − k) n > 0
Diskrete Mathematik
∞
X
n=0
Wir nennen binäre Bäume strukturell gleich, wenn sie durch
Umbezeichnen der Elemente von M ineinander übergehen. Also sind
((a)b(c)) und ((c)a(b)) gleich, nicht aber ((a)b(c)) und (a(b(c)));
strukturelle Gleichheit ist eine Äquivalenzrelation. Die Zahl der
GM (IFI)
n
"∞
1 X
F (x) = √
5 n=0
(NB: Die Lösungsformel für ax 2 + bx + c = 0 lautet
√
−b ± b 2 − 4ac
x1,2 =
2a
folglich gilt: 1 − x − x 2 = (−x −
n>0 x
√ !n #
√ !n
∞
X
1+ 5
1
−
5
xn −
xn
2
2
n=0
P∞
n
und da per Definition F (x) = n=0 f (n)x liefert ein
Koeffizientenvergleich:
"
√ !n
√ !n #
1
1+ 5
1− 5
f (n) = √
−
2
2
5
!
1
P
1
1
· F (x) + = 0
x
x
Lösen der quadratischen Gleichung gibt
√
1 ± 1 − 4x
F (x) =
2x
160/1
GM (IFI)
Diskrete Mathematik
161/1
Lösen von Rekursionsformeln
Lösen von Rekursionsformeln
Beispiel (Divide-and-Conquer-Algorithmen)
Beispiel (cont’d)
Beachte, dass die Definition des Bionomialkoeffizienten direkt auf
r ∈ R erweiterbar ist, also gilt mit der Binomialreihe
√
r
n
für
Somit erhält man
F (x) =
1−
• Instanzen der Größe n > m hingegen zerlegt der Algorithmus in a
Teilinstanzen mit Größen bn/bc und dn/be; löst diese rekursiv und
setzt Teillösungen zusammen
∞ 1
∞
X
X
1
2 2n − 2 n
n
2
2
1 − 4x = (1 − 4x) =
(−4x) = 1 −
x
n
n n−1
n=0
• Algorithmus löst Instanzen bis zur Größe m direkt
• Zeit zum Aufteilen der Instanz und zum Zusammenfügen der
n=1
Lösungen betrage f (n)
• Gesamtzeit sei T (n), wobei wir annehmen T (n + 1) > T (n)
√
∞
X
1 − 4x
2n n
1
=
x
2x
n+1 n
• Dann folgt
a · T (bn/bc) + f (n) 6 T (n) 6 a · T (dn/be) + f (n)
n=0
Koeffizientenvergleich liefert
• speziell für n = m · b k wird k-mal geteilt, sodass es für r := logb a
1
2n
f (n) =
n+1 n
GM (IFI)
gilt: es gibt ak = (b r )k = (b k )r = m−r · nr Basisinstanzen
• Lösung der Basisinstanzen kostet Θ(nr ) an Aufwand
Diskrete Mathematik
162/1
Lösen von Rekursionsformeln
GM (IFI)
163/1
Lösen von Rekursionsformeln
Satz (Master-Theorem)
Beispiel (cont’d)
(1) Wenn f ∈ O(ns ) für eine reelle Zahl s mit s < r := logb a , dann ist
• wir definieren
(
a · T − (bn/bc) + f (n)
T (n) :=
T (n)
(
a · T + (dn/be) + f (n)
T + (n) :=
T (n)
−
falls n > m
falls n 6 m
T (n) ∈ Θ(nr ) .
(2) Wenn f ∈ Θ(nr ) , dann ist
falls n > m
falls n 6 m
T (n) ∈ Θ(nr · log n) .
• dann gilt für all n: T − (n) 6 T (n) 6 T + (n), sodass für die Analyse
die Funktionen T ± (n) an Stelle von T (n) verwendet werden können
(3) Wenn eine reelle Zahl c mit c < 1 und eine natürliche Zahl k
existieren, sodass
a · f (dn/be) 6 c · f (n)
• für n = m · b k ist der Aufwand der Lösung der Basisfälle durch
für alle n mit n > k , dann ist f ∈ Ω(ns ) für eine reelle Zahl s mit
s > r und
T (n) ∈ Θ(f ) .
Θ(nlogb a ) gegegeben
• Berücksichtigung des Aufwandes für das Aufteilen und
Zusammensetzen, erlaubt die asymptotische Analyse von T ± (n)
GM (IFI)
Diskrete Mathematik
Diskrete Mathematik
164/1
GM (IFI)
Diskrete Mathematik
165/1
Lösen von Rekursionsformeln
Beispiel (Merge Sort)
Betrachte Merge Sort:
merge : : Ord a => [ a ] −> [ a ] −> [ a ]
merge x s [ ] = x s
merge [ ] y s = y s
merge ( x : x s ) ( y : y s )
| ( x <= y ) = x : ( merge x s ( y : y s ) )
| o t h e r w i s e = y : ( merge ( x : x s ) y s )
mergesort
mergesort
mergesort
mergesort
: : Ord a => [ a ] −> [ a ]
[] = []
[x] = [x]
x s = merge ( m e r g e s o r t ( f s t h a l f x s ) )
( mergesort ( s n d h a l f xs ))
Wegen a = b = 2 und f ∈ Θ(n) gibt das Master-Theorem die
Laufzeitabschätzung T (n) ∈ Θ(n · log n), da gilt r := logb a = 1 und
somit f (n) ∈ Θ(nr ) (zweiter Fall)
GM (IFI)
Diskrete Mathematik
166/1