1. Kapitel des Skripts

1
Mathematische Hilfsmittel
1.1
1.1.1
Notation
Zahlbereiche
1. Bezeichnungen
N = {0, 1, 2, 3, . . .}
N>0 = {1, 2, 3, . . .}
Z = {0, ±1, ±2, ±3, . . .}
Q = {p/q; p, q ∈ Z, q ∈ N>0 , gcd(p, q) = 1}
R=
R>0 =
C=
natürliche Zahlen
positive ganze Zahlen
ganze Zahlen
rationale Zahlen
reelle Zahlen
positive reelle Zahlen
komplexe Zahlen
2. Eigenschaften
– Q, R, C sind Körper;
– Z ist ein Ring, aber kein Körper;
– R>0 ist eine multiplikative Gruppe, aber kein Ring;
– N ist eine additive Halbgruppe, aber keine Gruppe;
– N ist eine multiplikative Halbgruppe, aber keine Gruppe.
1.1.2
Polynome
1. Definition: R sei ein Ring. Polynome sind Terme (Koeffizientenfolgen)
a(X) = a0 + a1 X + a2 X 2 + · · · + am X m =
↔ (a0 , a1 , a2 , . . . , am , 0, 0, 0 . . .)
m
!
ak X k
k=0
mit Koeffizienten ak ∈ R (k ≥ 0).
Ist am $= 0 so ist m = deg a der Grad von a(X).
2. Spezialfälle 0 ↔ (0, 0, 0, . . .), ist das Nullpolynom (mit Grad −∞)
1 ↔ (1, 0, 0, . . .), ist das Einspolynom (mit Grad 0)
Elemente von R sind Konstante = Polynome vom Grad < 1.
5
3. Bezeichnungen
R[X] = Menge der Polynome mit Koeffizienten in R in der Variablen X
R[X]<m = . . . mit Grad < m . . .
4. Operationen
– Addition: koeffizientenweise
m
!
ak X k +
"k=0 #$
a(X)
%
ak X k ∗
"k=0 #$
a(X)
max m,n
b! X ! =
"!=0#$ %
"
b(X)
– Multiplikation (Faltung)
m
!
n
!
n
!
b! X ! =
% "!=0#$ %
b(X)
m+n
!
j=0
"
!
(aj + bj )X j
j=0
#$
%
a(X)+b(X)
&
!
k+!=j
ak · b!
#$
a(X)∗b(X)
'
Xj
%
– R[X] ist ein Ring bezüglich Addition und Multiplikation (mit dem Nullpolynom als Nullelement und dem Einspolynom als Einselement)
– Ist deg a = m und deg b = n, so gilt für c(X) = a(X) + b(X)
– deg c ≤ max{deg a, deg b}
– deg c < max{deg a, deg b} falls deg a = deg b = m und am = −bm
– Ist deg a = m und deg b = n, so gilt für c(X) = a(X) ∗ b(X)
– deg c ≤ deg a + deg b
– deg c < deg a + deg b falls am · bn = 0
1.1.3
Potenzreihen
1. Definition: R sei ein Ring. Potezreihen sind Terme (Koeffizientenfolgen)
a(X) = a0 + a1 X + a2 X 2 + · · · =
mit Koeffizienten ak ∈ R (k ≥ 0).
6
∞
!
k=0
ak X k
↔ (a0 , a1 , a2 , . . .)
2. Spezialfälle
Polynome sind spezielle Potenzreihen: nur endlich viele Koeffizienten $= 0.
Nullreihe 0 ↔ (0, 0, 0, . . .) = Nullpolynom
Einsreihe 1 ↔ (1, 0, 0, . . .) = Einspolynom
Elemente von R sind Konstante : a ↔ (a, 0, 0, . . .)
3. Bezeichnung
R[[X]] = Menge der Potenzreihen mit Koeffizienten in R in der Variablen X
4. Operationen
– Addition: koeffizientenweise
∞
∞
∞
!
!
!
k
!
ak X +
b! X =
(aj + bj ) X j
"k=0 #$
a(X)
"!=0#$ %
%
b(X)
– Multiplikation (Faltung)
∞
!
k
ak X ∗
"k=0 #$
a(X)
∞
!
!
b! X =
% "!=0#$ %
b(X)
∞
!
j=0
"
j=0
"
#$
a(X)+b(X)
&
!
k+!=j
%
'
ak · b ! X j
#$
a(X)∗b(X)
%
– R[[X]] ist ein Ring bezüglich Addition und Multiplikation (mit dem
Nullreihe als Nullelement und dem Einsreihe als Einselement)
– Sind a(X) und b(X) Reihen mit a(X)∗b(X) = 1, so ist b(X) das Inverse
von a(X) (im Ring R[[X]]), d.h. b(X) = a(X)−1 . Gleichwertig dazu ist
(
!
1 (j = 0)
ak · b ! =
0 (j > 0)
k+!=j
Ein Inverses existiert also immer, wenn der konstante Koeffizient a0 im
Ring R ein Inverses Element hat:
(
a−1
(j = 0)
0
bj =
)
−1
−a0
(j > 0)
1≤k≤j ak bj−k
– Polynome vom Grad ≥ 1 haben im Ring R[X] keine Inversen, können
aber sehr wohl im Ring R[[X]] Inverse haben
7
1.1.4
Bitvektoren
1. B = {0, 1}
– ist ein Körper (F2 ) mit den Operationen ⊕ = +mod 2 (Addition) und
* = ∗mod 2 (Multiplikation)
(beachte: wegen 1 ⊕ 1 = 0 ist die Subtraktion + gleich der Addition ⊕)
– ist eine boolesche Algebra mit den Operationen ∨ (= sup = Supremum
= Disjunktion = “oder”) und ∧ ( inf = Infimum = Konjunktion =
“und”)
2. Bn = {0, 1}n : Bitvektoren der Länge n
– ist ein Vektorraum der Dimension n über dem Körper F2 (komponentenweise Addition ⊕) mit Nullvektor 0 = (0, 0, . . . , 0)
– ist eine boolesche Algebra (komponentenweises sup = ∨ und inf = ∧),
isomorph zur Algebra der Teilmengen einer n-elementigen Menge mit ∪
und ∩ als Operationen, mit minimalem Element 0 = (0, 0, . . . , 0) und
maximalem Element 1 = (1, 1, . . . , 1)
3. Für x = x1 x2 . . . xn ∈ Bn ist 0x0 = !{i ; xi = 1} das Hamminggewicht.
– Bnk = {x ∈ Bn ; 0x0 = k}
* +
– !Bnk = nk
– d(x, y) = 0x + y0 = 0x ⊕ y0 Hammingdistanz
– d : Bn × Bn → {0, 1, . . . , n} ist eine Metrik, d.h. es gilt
– d(x, y) ≥ 0 und d(x, y) = 0 ⇔ x = y
– d(x, y) = d(y, x)
– d(x, y) + d(y, z) ≥ d(x, z)
– d(x, y) = 0x0 + 0y0 − 20x ∧ y0
– Bn≤k (z) = {x ∈ Bn ; d(x, z) ≤ k} : H-kugel mit Zentrum z und Radius
k
) * +
– !Bn≤k (z) = kj=0 nj
8
1.1.5
Permutationen
1. S(A) = {f : A → A ; f bijektiv} : Permutationen von A
Speziell: Sn = S({1, 2, . . . , n})
2. S(A) ist eine Gruppe bezgl. Hintereinanderausführung (Komposition ◦) von
Abbildungen, die symmetrische Gruppe von A; diese Gruppe ist nicht kommutativ, wenn !A ≥ 3 ist, d.h. i.a. gilt f ◦ g $= g ◦ f .
3. !S(A) = (!A)!
4. Listendarstellung für Elemente von Sn
f ↔ [f (1), f (2), . . . , f (n)]
5. c ∈ S(A) ist zyklische Permutation (Zyklus) der Länge k ≥ 2, wenn es
paarweise verschiedene Elemente a1 , a2 , . . . , ak ∈ A gibt mit
c
c
c
c
c
a1 5→ a2 5→ a3 5→ · · · 5→ ak 5→ a1
und c(a) = a für a ∈
/ {a1 , a2 , . . . , ak }. |c| = {a1 , a2 , . . . , ak } ist die zyklische
pemutierte Teilmenge von A.
Schreibweise:
f ↔ (a1 , a2 , . . . , ak )
* +
· (k − 1)! Zyklen der Länge k, insbesondere (n − 1)! Zyklen
6. S(A) enthält "A
k * +
der Länge n und n2 Zyklen der Länge 2 (Transpositionen)
7. Zyklische Permutationen c1 , c2 ∈ S(A) sind disjunkt, wenn |c1 | ∩| c2 | = ∅
8. Jede Permutation f ∈ S(A) lässt sich eindeutig (bis auf die Reihenfolge der
Faktoren) als Produkt von paarweise disjunkten zyklischen Permutationen
schreiben:
†
f = c1 ◦ c2 ◦ · · · ◦ ck
9. Jede Permutation f ∈ S(A) lässt sich (i.a. nicht eindeutig) als Produkt von
(i.a. nicht disjunkten) Transpositionen schreiben:
‡
f = t1 ◦ t2 ◦ · · · ◦ t!
10. Das Signum einer Permutation σ(f ) ist
σ(f ) = (−1)"Zyklen gerader Länge in † = (−1)"Transpositionen in ‡
Die Abbildung S(A) → {±1} ist ein Homomorphismus von Gruppen:
σ(f ◦ g) = σ(f ) · σ(g)
9
11. Permutationen f mit σ(f ) = +1 heissen gerade Permutationen, solche mit
σ(f ) = −1 ungerade Permutationen. Die geraden Permutationen aus S(A)
bilden eine Gruppe, die alternierende Gruppe A(A). Ist !A ≥ 2, so gbt es
genausoviele gerade wie ungerade Permutationen in S(A)
1.1.6
Binärbäume
1. Bn : Menge der Binärbäume mit n inneren und n + 1 äusseren Knoten
(Blättern)
,
Menge der Binärbäume: B = n≥0 Bn
2. Rekursive Definition:
B = {!} | 7 × B × B
Dabei steht 7 für “innerer Knoten” und ! für “äusserer Knoten”.
3. Induktive Definition
B0 = {!}
- .
/
Bn+1 =
(7, t! , tr ) ; t! ∈ B! , tr ∈ Br
i+j=n
4. Kardinalität
0 1
2n
1
cn := !Bn =
n+1 n
(Catalanzahlen)
5. Codierung durch Bitstrings
(
! 5→ 1
code : B → {0, 1} :
(7, t! , tr ) 5→ 0.code(t! ).code(tr )
∗
Dabei gilt code : Bn → B2n+1
n+1
10
1.2
1.2.1
Funktionen
Polynome
1. Jedes Polynom
a(X) = a0 + a1 X + a2 X 2 + · · · + am X m ∈ R[X]
definiert Polynomfunktion (durch Einsetzen)
a : R → R : z 5→ a(z) = a0 + a1 z + a2 z 2 + · · · + am z m
2. Ein Polynom m-ten Grades ist durch seine Werte an m + 1 verschiedenen
Stellen z0 , z1 , . . . , zn ∈ R eindeutig bestimmt; das zeigt die Interpolationsformel von Lagrange
2&
m
!
(X − zj )
a(zi ) 2i&
a(X) =
i (zi − zj )
i=0
2&
2m
Dabei steht i für j=0 .
j!=i
1.2.2
Potenzreihen
1. Jedes Potenzreihe
2
n
a(X) = a0 + a1 X + a2 X + · · · + an X + · · · =
∞
!
n=0
an X n ∈ C[[X]]
definiert (durch Einsetzen) eine Funktion
a : z 5→ a(z) = a0 + a1 z + a2 z 2 + · · · + an z n + · · · =
∞
!
an z n
n=0
für diejenigen Argumente z ∈ C, für die diese unendliche Reihe konvergiert.
2. Zu jeder Potenzreihe a(X) ∈ C[[X]] gibt es eine Zahl 0 ≤ ρa ≤ ∞, genannt
Konvergenzradius von a(X), mit der Eigenschaft
– a(z) konvergiert für alle z ∈ C mit |z| < ρa ;
– a(z) divergiert für alle z ∈ C mit |z| > ρa ;
– für die z ∈ C mit |z| = ρa können sowohl Konvergenz, wie Divergenz
auftreten.
11
3. Für den Konvergenzradius gilt
1/n
,
ρ−1
a = lim sup |an |
n→∞
was besagt: für jedes ε > 0 gilt
n
−1
n
(ρ−1
a − ε) <i.o. |an | <a.e. (ρa + ε) ,
wobei <i.o ≡ “< für unendlich viele n” und <a.e. ≡ “< für alle n bis auf
endlich viele Ausnahmen”
Anschaulich: das Wachstum der Folge (an )n≥0 für n → ∞ hat einen exponentiellen Anteil (ρ−n
a )n≥0 , d.h.
an = ρ−n
a · αn
wobei lim sup |αn |1/n = 1
Notation(s.u.): an &' ρ−n
a
1.2.3
Exponentialfunktion
1. Exponentialreihe
exp(X) =
! Xk
k≥0
k!
=1+X +
X X3 X4
+
+
···
2
6
24
Diese Reihe hat unendlichen Konvergenzradius ρexp = ∞.
2. Definition der Exponentialfunktion
exp : C → C : z 5→ ez = exp(z) =
3. Spezieller Wert
exp(1) = e = lim
0
exp(z) = ez = lim
3
n→∞
allgemein gilt
n→∞
1
1+
n
1+
! zk
k≥0
k!
1n
z 4n
n
4. Rechenregel
exp(x + y) = exp(x) · exp(y)
12
(x, y ∈ C)
1.2.4
Logarithmen
1. Logarithmische Reihe
Λ(X) = −
!
(−1)k
k≥1
Xk
X2 X3 X4
=X−
+
−
+ ···
k
2
3
4
Diese Reihe hat den Konvergenzradius ρΛ = 1.
2. Definition: Die reelle Exponentialfunktion exp : R ⇒ R>0 : z 5→ exp(z)
ist eine monotone, stetige (unendlich oft differenzierbare) Bijektion, hat also
eine Umkehrfunktion ln : R>0 → R, d.h. es gilt exp(ln(z)) = z (z ∈ R>0 ) und
ln(exp(z)) = z (z ∈ R). Das ist die natürliche Logarithmusfunktion ln(z).
ln : R>0 → R : z 5→ ln z
3. Spezielle Werte: ln(1) = 0, ln(e) = 1
4. Zusammenhang mit der logarihmischen Reihe:
Λ(z) = ln(1 + z) für|z| < 1.
5. Für reelles b > 1 definiert man
• Logarithmusfunktion zur Basis b
logb : R>0 → R : z 5→ logb (z) =
ln(z)
ln(b)
• Exponentialfunktion zur Basis b
expb : R → R>0 : z 5→ bz = ez·ln(b)
logb und expb sind Umkehrfuntionen voneinander
6. Rechenregeln
blogb (z) = z
logb (x · y) = logb x + logb y
loga (z) = logb (a) · logb (z)
7. Konvention: log ≡ log2 , ln ≡ loge
13
(z > 0)
(x, y > 0)
(z > 0)
1.2.5
Fakultäten
1. Definition
fac : N → N : n 5→ n! =
n
5
k=1
(n ∈ N)
k = 1 · 2 · 3···n
2. Spezieller Wert: 0! = 1
3. Bedeutung
n! = Anzahl der Permutationen von n Elementen = !Sn
4. Eulers Formel
6
n! =
∞
e−t tn dt
0
HInweis: das ist der Ausgangspunkt für die Definition der Gammafunktion.
1.2.6
Binomialkoeffizienten (als Zahlen)
1. Definition (für n, k ∈ N, 0 ≤ k ≤ n)
0 1
n
n!
n(n − 1)(n − 2) · · · (n − k + 1)
(n, k) 5→
=
=
k! (n − k)!
k!
k
2. Pascals Dreieck
1
1
1
1
1
1
1
1
2
3
3
4
5
6
3. Spezielle Werte
0 1 0 1
n
n
=
=1
0
n
0 1 0
1
n
n
=
=n
1
n−1
0 1
n
=0
k
1
6
10
1
4
10
15
20
1
5
15
1
6
1
(n ∈ N)
(n ∈ N>0 )
(falls k < 0 oder k > n auftreten)
14
4. Rechenregeln
1
0 1 0
n
n
=
n−k
k
0 1
1
0
n
n+1
n+1
·
=
k
k+1
k+1
0
1 0
1 0 1
n+1
n
n
=
+
k+1
k+1
k
0
1 !
n 0 1
n+1
m
=
k+1
k
m=k
(0 ≤ k ≤ n)
(0 ≤ k ≤ n)
(0 ≤ k ≤ n)
(0 ≤ k ≤ n)
5. Binomialformel (für Polynome)
n
(X + Y ) =
n 0 1
!
n
k
k=0
X k Y n−k
(n ∈ N)
Spezialfälle davon:
n
2 =
n 0 1
!
n
(n ≥ 0)
k
(n > 0)
k=0
k
0 1
n
(−1)
0=
k
k=0
n
!
6. Bedeutung
0 1
n
= Anzahl der k-elementigen Teilmengen einer n-elementigen Menge
k
= Anzahl der Bitvektoren der Länge n mit Hamminggewicht k
1.2.7
Binomialkoeffizienten (als Polynome), Binomialreihe
1. Definition
0 1
X(X − 1)(X − 2) · · · (X − k + 1)
X
N → Q[X] : k 5→
=
k
k!
(Polynom vom Grad k)
2. Dies definiert (durch Einsetzen)
*a+
k
15
für jedes a ∈ C und k ∈ N.
(k ∈ N)
3. Newtons Binomialreihe
a
(1 + X) =
! 0a1
k≥0
k
Xk
– ist ein Polynom vom Grad a, falls a ∈ N
– hat Konvergenzradius ρ = 1, falls a ∈ C \ N, also
! 0a1
a
(1 + z) =
zk
(|z| < 1, a ∈ C)
k
k≥0
– Ist a ∈ N, so gilt
! 0n 1
za
zn
=
(1 − z)a+1
a
n≥a
1.2.8
(|z| < 1)
Geometrische Reihe
1. endliche Reihe als Polynome
(1 − X)(1 + X + X 2 + · · · + X n ) = 1 − X n+1
2. endliche Reihe als Funktion
n
!
zk =
k=0
1 − z n+1
1−z
(1 $= z ∈ C)
3. unendliche Reihe als Potenzreihe
(1 − X)(1 + X + X 2 + · · · + X n + · · · ) = 1
)
d.h. g(X) = n≥0 X n ist das Inverse des Polynoms 1 − X in C[[X]]. Die
Reihe g(X) hat den Konvergenzradius 1.
4. unendliche Reihe als Funktion
g(z) =
∞
!
k=0
zk =
1
1−z
16
(z ∈ C, |z| < 1)
1.2.9
Potenzsummen, harmonische Reihe
1. Definition
St : n 5→ St (n) =
n
!
k=1
(t ∈ R)
k t = 1 + 2t + 3t + · · · + nt
2. Spezialfälle
S1 (n) =
n
!
k=1
n
!
k=
n(n + 1)
2
n(n + 1)(2n + 1)
3
k=1
0
12
n
!
n(n + 1
3
k =
S3 (n) =
2
k=1
S2 (n) =
k2 =
Allgemein: St (n) ist für t ∈ N ein Polynom vom Grad t + 1 in der Variablen
n.
3. Wichtiger Spezialfall: harmonische Zahlen
Hn = S−1 (n) =
n
!
1
k=1
k
=1+
1 1
1
+ + ··· +
2 3
n
4. Für t < −1 konvergiert, wenn n → ∞. Beispiele:
1
1
+ 2 + ... +
2
2
3
1
1
S−4 (n) = 1 + 2 + 2 + . . . +
2
3
Für t ≥ −1 divergiert St (n).
S−2 (n) = 1 +
1.2.10
1
−→n→∞
n2
1
−→n→∞
n2
π2
6
π4
90
Entropiefunktion
1. Definition
h(z) = −z log z − (1 − z) log(1 − z)
(0 ≤ z ≤ 1)
2. Spezielle Werte
h(0) = h(1) = 0, h(1/2) = 1, h(z) = h(1 − z)
17
Entropiefunktion h(z) = −z log z − (1 − z) log(1 − z)
1.3
1.3.1
Wachstum von Folgen und Funktionen
Landau-Notation
f = (f (n))n≥0 und g = (g(n))n≥0 seien (o.B.d.A. nichtnegative) reelle Folgen.
f ∈ O(g) g ist asymptotische obere Schranke für f , wenn
∃c > 0 ∃N ∈ N ∀n ≥ N : f (n) ≤ c · g(n)
d.h. die Quotienten f (n)/g(n) sind für n → ∞ beschränkt
f ∈ Ω(g) g is asymptotische untere Schranke für f , wenn
∃d > 0 ∃N ∈ N ∀n ≥ N : f (n) ≥ d · g(n)
d.h. die Quotienten f (n)/g(n) sind für n → ∞ zur 0 hin beschränkt
f ∈ Θ(g) f und g haben gleiche Wachstumsordnung
∃c, d > 0 ∃N ∈ N ∀n ≥ N : d · g(n) ≤ f (n) ≤ c · g(n)
d.h. Θ(g) = O(g) ∩ Ω(g)
f ∈ o(g) f hat kleinere Wachstumsordnung als g, wenn
f (n)
=0
n→∞ g(n)
lim
18
f ∈ ω(g) f hat grössere Wachstumsordnung als g, wenn
g(n)
=0
n→∞ f (n)
lim
f ∼ g f und g sind asymptotisch äquivalent, wenn
f (n)
=1
n→∞ g(n)
lim
Analoge Definitionen für Funktionen f, g : R → R>0 für das Verhalten von f (z)
und g(z) für z → ∞ oder z → z0 ∈ R
f (n) &' K n f hat exponentielles Wachstum von der Ordnung K n (wobei K > 0), wenn
lim sup |f (n)|1/n = K
m→∞
d.h. für jedes ε > 0 gilt
(K − ε)n <i.o |f (n)| <a.e. (K + ε)n
1.3.2
Polynome, Exponentialfunktionen, Logarithmen
1. Ist a(X) ein Polynom vom Grad k und * eine Konstante, so gilt
k [≤, ≥, =, <, >] *
⇒
a(z) ∈ [O, Ω, Θ, o, ω] (z ! )
2. Ist a(X) ein Polynom, so gilt für jedes b > 1
a(z) ∈ o(bz )
Jedes Polynom, also auch jede Potenmzfunktion, wächst echt langsamer als
jede Exponentialfunktion.
19
3. Für a, b > 0 ist
loga (z) ∈ Θ (logb (z))
Logarithmen zu verschiedenen Basen haben gleiches Wachstumsverhalten.
4. Ist b > 1 und k ∈ N, so gilt für jedes ε > 0
logkb (z) ∈ o(z ε )
Jede Potenz einer Logarithmusfunktion wächst echt langsamer als jedes Potenzfunktion, insbesondere als jedes Polynom.
Wachstumsvergleich im doppelt-logarithmischen Masstab
20
1.3.3
Summen und Integrale
Ist f : [a, b] → R stetig und monoton wachsend, a, b ∈ Z, so ist
b−1
!
i=a
6
f (i) ≤
b
a
f (x)dx ≤
b
!
f (i)
i=a+1
(analog für monoton fallende Funktionen)
b−1
! f (i) ≤
i=a
a
1.3.4
a+1
Z
a+2
b
Z
f (x) dx
a
a
a+3
.....
b-2
b-1
b
a
b
f (x) dx ≤
a+1
b
!
f (i)
i=a+1
a+2
a+3
.....
b-2
b-1
b
Summationen von Potenzen
1. Abschätzung für t > 0
St (n − 1) ≤
6
n
xt dx ≤ St (n) − 1
1
2. Abschätzung für t < 0
St (n) − 1 ≤
6
n
1
xt dx ≤ St (n − 1)
3. Folgerung:
St (n) ∈ Θ(nt+1 )
S−1 (n) ∈ Θ(ln n)
Insbesondere konvergiert St (n) für alle t < −1.
4. Folgerung: Für jedes Polynom a(X) vom Grad d gilt
n
!
k=0
a(k) ∈ Θ(nd+1 )
21
(t $= 1)
1.3.5
Wichtiger Spezialfall: harmonische Zahlen
Der Spezialfall t = −1 : harmonische Zahlen
Hn = 1 +
1
1 1
1
+ + · = S−1 (n) = ln(n) + γ + O( ),
2 3
n
n
wobei γ = 0.57721 . . . die Eulersche Konstante ist. Genauer gilt
6 1 * x+
!
1
k1
*k + dx
Hn = ln(n) + γ +
−
(−1)
2n k≥2
k 0 nk
Wachstum und Abschätzung für harmonische Zahlen Hn und Hn /(ln(n) + γ)
22
1.3.6
Stirlings Formel
1. Einfache Abschätzung der Fakultäten
3 e 4n
3 e 4n
< n! < n ·
n
n
2. Stirlings Formel (vereinfacht)
3 e 4n √
n! ∼
2πn
n
log n! = n · log(n) − 1.41 . . . · n + o(n)
3. Stirlings Formel (genauer)
n! =
=
wobei
1
12n+1
< αn <
3 e 4n √
n
3 e 4n √
n
0
1
1
+
2πn 1 +
+ ···
12n 288n2
2πn · eαn
1
12n
Approximationen
n!·en
nn
23
und
n
n!·e
√
nn · 2πn
1
4. Anwendungen: zentrale Binomialkoeffizienten und Catalanzahlen
0 n 1
0 1
0 n 1
0 1
2n
4
1
4
2n
∈Θ √
∈Θ √
, cn =
n+1 n
n
πn
πn3
Approximationen
* +
2n
1
n+1 n
24
·
1
4n
und
* +
2n
1
n+1 n
·
√
πn3
4n
1.3.7
Binomialkoeffizienten
1. Aus der Definition (für festes k ∈ N) folgt
0 1
0 1
n
n
1
k
∈ Θ(n ), genauer
∼ nk
k
k!
k
2. Einfachste Abschätzung
3 n 4k
k
0 1 3
n
e · n 4k
≤
≤
k
k
3. Einfache Entropieabschätzung
0 1
n
≤ 2n·h(k/n)
k
4. Shannons verbesserte Entropieabschätzung (mittels Stirling-Formel)
0 1
2n·h(λ)
n
2n·h(λ)
7
≤
≤7
k
8nλ (1 − λ)
2nλ (1 − λ)
wobei λ = k/n, und somit
0
1
1
n
= h(λ)
lim log
n→∞ n
&λ · n'
5. Abschätzung des Volumens der Hammingkugeln Bn≤k
0
1εn
λ
n
n·h(λ)
!B)λn* ≤ 2
1−λ
für 0 < λ< 1/2, wobei 0 ≤ εn = λn − &λn' < 1
25
1.3.8
Konvergenzradius
• Ist a(X) =
gilt
)
n≥0
an X n eine Potenzreihe und ρa ihr Konvergenzradius, so
an &' ρ−n
a
(Konvergenzkriterium von Cauchy-Hadamard)
1.3.9
DC-Rekursionen
• Erste Version: Die Lösung der Rekursion
n
T (n) = a · T ( ) + c · n, T (1) = d
b
verhält sich so:
(a, c, d ∈ R>0 , b ∈ N>0 )


falls a < b
Θ(n)
T (n) ∈ Θ(n log n) falls a = b


Θ(nlogb a ) falls a > b
• Zweite Version: Die Lösung der Rekursion
T (n) =
m
!
T (αj n) + Θ(nk )
j=1
(0 < αj < 1, m ≥ 1, k ≥ 0)
verhält sich so:

)m k
k

falls
αj < 1
Θ(n )
)j=1
m
k
k
T (n) = Θ(n log n) falls
j=1 αj = 1

)

m
k
Θ(nc )
falls
j=1 αj > 1
wobei c Lösung der Gleichung
)m
j=1
26
αjc = 1
1.3.10
Lineare Rekursionen mit konstanten Koeffizienten
1. Ist b(X) = 1 − b1 X − b2 X 2 · · · − br X r ∈ C[X] ein Polynom mit r verschiedenen Nullstellen ξ1 , ξ2 , . . . , ξr ∈ C \ {0}, d.h. es gilt
b(X) = (X − ξ1 )(X − ξ2 ) · · · (X − ξr ),
so lässt sich die zu b(X) inverse Reihe mittels Partialbruchzerlegung und Entwicklung in geometrische Reihen mit geeigneten komplexen Zahlen α1 , α2 , . . . , αr
schreiben als
& r
'
! !
1
−n
=
αj · ξj
X n,
b(X) n≥0 j=1
d.h. es gilt
r
!
!
1
=
βn X n mit βn =
αj · ξj−n .
b(X) n≥0
j=1
Der Konvergenzradius von b(X)−1 ist
ρ1/b = min {|ξj |} (> 0)
1≤j≤r
und daher βn &' ρ−n
1/b
)
2. Spezieller Fall: sind die Koeffizienten bj ≥ 0 und ist b(1) = 1 − j>0 bj < 1,
so gibt es genau eine reelle Zahl ξ mit 0 < ξ < 1 und b(ξ) = 0.
In diesem Fall ist ξ = ρ1/b der Konvergenzradius von b(X)−1 . Mit η = ξ −1
gilt dann
βn &' η n ,
d.h. die Koeffizientenfolge hat exponentielles Wachstum wie η n .
3. Eine Folge (an )n≥0 ist eine linear-rekursive Folge der Ordnung r, wenn mit
einem Polynom b(X) wie oben gilt:
an = b1 · an−1 + b2 · an−2 + · · · + br · an−r (n ≥ r).
Die Folge (an )n≥0 ist durch ihre r Anfangswerte a0 , a1 , . . . , ar−1 eindeutig
bestimmt. Äquivalent dazu ist – per Koeffizientenvergleich – die Aussage,
dass für die Potenzreihe
!
a(X) = a0 + a1 X + a2 X 2 + · · · =
an X n :
n≥0
27
das Produkt a(X) ∗ b(X) ein Polynom vom Grad < r ist. Genauer:
a(X) ∗ b(X) = c0 + c1 X + · · · + cr−1 X
r−1
=
r−1
!
cj X j
j=0
mit cj = aj − aj−1 · b1 − aj−2 · b2 − · · · − a0 · bj (0 ≤ j < r).
4. Sei (an )n≥0 eine linear-rekursive Folge der Form
an = b1 · an−1 + b2 · an−2 + · · · + br · an−r + gn (n ≥ r).
)
mit Koeffizienten bj ≥ 0 und b(1) = 1 − j>0 bj < 1.
Sei ξ mit 0 < ξ < 1 und b(ξ) = 0 der Konvergenzradius von b(X)−1 , sowie
η = ξ −1 .Gilt auch noch (gn )n≥r ∈ O(η n ), so ist
an &' η n
und insbesondere
(an )n≥0 ∈ O ((η + ε)n )
für jedes ε > 0.
28
1.4
1.4.1
Wahrscheinlichkeitsrechnung
Bezeichnungen, Grundbegriffe
1. Eine Zufallsvariable X, die nur Werte in N annimmt. ist durch die Folge der
Wahrscheinlichkeiten pk = P[X = k] für die Ereignisse [X = k] (k ∈ N)
bestimmt.
)
– Es gilt pk ≥ 0 und k∈N pk = 1.
)
– DerErwartungswert von X ist E(X) = k≥0 k · pk .
– Die Varianz von X ist V(X) = E(X 2 ) − E(X)2 .
2. Die Potenzreihe
GX (z) =
!
k≥0
p k z k = p 0 + p1 z + p2 z 2 + p3 z 3 + · · ·
ist die erzeugende Funktion (probability generating function, pgf ) von X. Es
gelten:
– Normierung: GX (1) = 1
– Erwartungswert: E(X) = G&X (1)
– Varianz: V(X) = G&&X (1) + G&X (1) − G&X (1)2
3. Zwei Zufallsvariable X, Y (wie vorher, auf demselben Wahrscheinlichkeitsraum definiert) sind unabhängig, wenn
P[X = k ∧ Y = *] = P[X = k] · P[Y = *] (k, * ∈ N)
In diesem Fall gilt für alle n ∈ N
!
!
P[X + Y = n] =
P[X = k ∧ Y = *] =
P[X = k] · P[Y = *]
k+!=n
k+!=n
und daher
GX+Y (z) = GX (z) · GY (z).
4. Für Zufallsvariable X, Y gilt immer
E[X + Y ] = E[X] + E[Y ].
Sind X und Y unabhängig, gilt auch noch
V [X + Y ] = V[X] + V[Y ]
29
1.4.2
Beispiele
1. Gleichverteilung auf {0, 1, . . . , n − 1}
Eine Zufallsvariable U ist auf {0, 1, . . . , n − 1} gleichverteilt, wenn
pk = P[U = k] =
Dann ist
1
(0 ≤ k < n).
n
n−1
und man berechnet
1! k
1 1 − zn
z =
GU (z) =
n k=0
n 1−z
GU (1) = 1, G&U (1) =
n−1
(n − 1)(n − 2)
, G&&U (1) =
.
2
3
Daraus erhält man
E[U ] =
n2 − 1
n−1
, V[U ] =
.
2
12
2. Bernoulli-Verteilung
Eine Zufallsvariable Bp ist auf {0, 1} Bernoulli-verteilt zum Parameter p,
(0 ≤ p ≤ 1), wenn
p0 = P[Bp = 0] = 1 − p, p1 = P[Bp = 1] = p
Dann ist
GBp (z) = 1 − p + p z
und man berechnet
GBp (1) = 1, G&Bp (1) = p, G&&Bp (1) = 0.
und man erhält
E[Bp ] = 1 − p, V[Bp ] = p(1 − p).
3. Binomialverteilung
Eine Zufallsvariable Bpn ist auf {0, 1, . . . n} binomialverteilt zum Parameter
p, wenn
0 1
n k
n
pk = P[Bp = k] =
p (1 − p)n−k (0 ≤ k ≤ n)
k
30
Dann ist
G
Bpn
(z) =
n 0 1
!
n
k
k=0
pk (1 − p)n−k z k = (1 − p + pz)n .
Eine solche Zufallsvariable kann realisiert werden als die Summe von n unabhängigen, zum Parameter p Bernoulli-verteilten Zufallsvariablen X1 , X2 , . . . , Xn :
S = X1 + X2 + · · · + Xn .
Daher ist
GS (z) = GX1 (z) · GX2 (z) · · · GXn (z) = (1 − p + pz)n
und man erhält ohne weiteres
E(S) = n E(X1 ) = n p, V(S) = n V(X1 ) = n p(1 − p).
4. Geometrische Verteilung
Eine Zufallsvariable Gp ist auf N geometrisch verteilt zum Parameter p, wenn
pk = P[Gp = k] = pk (1 − p) (k ∈ N).
Dann ist
GGp (z) =
!
k≥0
Man berechnet
pk (1 − p) z k =
1−p
1 − pz
G& (1) =
p
2p2
, G&& (1) =
,
1−p
(1 − p)2
E[Gp ] =
p
p
, V[Gp ] =
.
1−p
(1 − p)2
und man erhält
5. Poisson-Verteilung
Eine Zufallsvariable Pλ ist auf N Poisson-verteilt zum Parameter λ, wenn
pk = P[Pλ = k] =
Dann ist
GPλ (z) =
! λk
k≥0
Man berechnet
k!
λk −λ
e
(k ∈ N).
k!
e−λ z k = eλ(z−1)
G&Pλ (1) = λ, G&&Pλ (1) = λ2 ,
und man erhält
E[Pλ ] = λ, V[Pλ ] = λ.
31
1.4.3
Grafische Darstellungen der Verteilungen
Binomialverteilung mit (n, p) = (20, 0.2), (n, p) = (20, 0.5), (n, p) = (100, 0.2)
Geometrische Verteilung mit p = 0.2, p = 0.5, p = 0.8
Poisson-Verteilung mit λ = 0.5, λ = 1.5, λ = 2.5
32
1.4.4
Wichtige Abschätzungen
1. Markov-Ungleichung
Ist X eine Zufallsvariable z.B. (mit Werten in N oder auch in R≥0 ), so gilt
für jedes t > 0
1
P[X ≥ t] ≤ · E[X].
t
Beweis:
!
!
E[X] ≥
x · P[X = x] ≥
t · P[X = x] = t · P[X ≥ t]
x≥t
x≥t
2. Chebychev-Ungleichung
Ist X eine Zufallsvariable (mit Werten in N oder auch in R). Dann gilt für
jedes t > 0
1
P{|X − E[X]| ≥ t} ≤ 2 · V[X]
t
Beweis: Wende Markov-Ungleichung auf Y = (X − E[X])2 an.
3. Chernoff-Ungleichungen für die Binomialverteilung
X sei eine Zufallsvariable mit Binomialverteilung zu Parametern (n, p):
0 1
n k
pk = P[X = k] =
p (1 − p)n−k (0 ≤ k ≤ n).
k
Dann ist E(X) = n p. Die Verteilung ist scharf um diesen Erwartungswert
konzentriert, denn für δ > 0 gilt:
δ2
P[X ≥ n p + δ] ≤ e− 2n(1−p)
δ2
P[X ≤ n p − δ] ≤ e− 2np
δ2
P[| X − n p | ≥ δ] ≤ e− 2n
NB: die beiden ersten Ungleichungen sind äquivalent, die dritte ist unmittelbare Folge der ersten beiden.
33
1.5
Literatur
1. M. Aigner,
Diskrete Mathematik, Vieweg, 2005 (5. Aufl.).
2. T. Cormen, C. Leiserson, R. Rivest, C. Stein,
Introduction to Algorithms, MIT Press, 2001 (2. A.).
3. R. Graham, D. Knuth, O. Patashnik,
Concrete Mathematics, Addison-Wesley, 1994 (2. A.).
4. V. Heun,
Grundlegende Algorithmen, Vieweg, 2003 (2. A.).
5. D. Knuth,
The Art of Computer Programming (1–3), Addison-Wesley, 1962–1997.
6. U. Schöning,
Algorithmik, Spektrum-Verlag, 2001.
7. R. Sedgewick, P. Flajolet,
An Introduction to the Analysis of Algorithms, Addison-Wesley, 1996.
8. H. Wilf,
Algorithms and Complexity, Prentice-Hall 1986. (Elektronische Version frei
zugänglich bei http://www.math.upenn.edu/~wilf/AlgComp3.html)
34