1 Mathematische Grundlagen 2 Grundlagen der

1 Mathematische Grundlagen
• Exponentialfunktion, Euler-Zahl: ex =
• Binomische Formel: (a + b)n =
n
P
k=0
• Gauß:
n
P
i=
i=1
• Integration:
n
P
n(n+1)
2
i2 =
i=1
n
k
∞
P
n=0
xn
n!
e = lim (1 + n1 )n
n→∞
n
k
ak bn−k
n!
(n−k)!k!
=
=
n
n−k
n(n+1)(2n+1)
6
Rb
f (x) dx = [F (x)]ba = F (b) − F (a)
Rb
Rb
• Partielle Integration: a f (x) · g(x) dx = [F (x) · g(x)]ba − a F (x) · g 0 (x) dx
a
• Ableitung (Kettenregel): (f (g(x)))0 = f 0 (g(x)) · g 0 (x)
• Ableitung (Produktregel): (f (x)g(x))0 = f 0 (x)g(x) + f (x)g 0 (x)
n
P
• Geometrische Reihe:
1−q n+1
1−q
qk =
k=0
=
∞
P
q n+1 −1
q−1
√
qi =
i=0
1
1−q
• Stirling Formel für Fakultäten: n! ≈ 2πn e
0
• Spezielle Ableitungen: ekx = kekx
ln0 (x) = x1
sin0 (x) = cos(x)
cos0 (x) = − sin(x)
arcsin0 (ax + b) = √
n n
• Ableitung der Umkehrfunktion: (f −1 )0 (x) =
R
• Integrationen: sin(α) dα = − cos(α) + C
• Kombinatorik
arccos0 (ax + b) = − √
a
1−(ax+b)2
a
1−(ax+b)2
1
f 0 (f −1 (x))
R
sin(α) dα = − cos(α) + C
ohne Zurücklegen
mit Zurücklegen
n!
Permutation
n!
k1 !·...·kn !
Variation (Reihenfolge wichtig) n ·(n − 1) · . . . · (n − k + 1) nk
n+k−1
Kombination (Reihenfolge egal) nk
k
2 Grundlagen der Wahrscheinlichkeitsrechnung
• Kolmogorow: 0 ≤ P (A) ≤ 1 P (Ω) = 1 Ai ∩ Aj = ∅ : P (
∞
S
Ai ) =
i=1
• Siebformel: P
n
S
i=1
Ai
=
n
P
(−1)k+1
k=1
P
P (Ai )
i=0
T
P
I⊆{1,...,n},|I|=k
∞
P
Ai
i∈I
n = 2 : P (A1 ∪ A2 ) = P (A1 ) + P (A2 ) − P (A1 ∩ A2 )
• Bedingte Wahrscheinlichkeit: P (A|B) =
P (A∩B)
P (B) ,
es gilt auch: P (A|B) = 1 − P (A|B)
• zwei Ereignisse sind genau dann unabh., wenn: P (A ∩ B) = P (A) · P (B) ⇔ P (A|B) = P (A) ⇔ P (A|B)
• Satz der totalen Wahrscheinlichkeit: P (B) =
• Satz von Bayes: P (A|B) =
P (B|A)·P (A)
P (B)
∞
P
i=1
P (B|Ai ) · P (Ai ) Ai sind ausschöpfend und disjunkt
P (Ai |B) =
1
P (B|Ai )·P (Ai )
PN
j=1 P (B|Aj )·P (Aj )
=
P (B|Ai )·P (Ai )
P (B)
3 Zufallsvariablen
3.1 Allgemeines
• Zufallsvariable: X : Ω → R
• diskret: Werte xi sind endlich oder abzählbar unendlich, Wkt. pi = f (xi ) = P (X = xi )
• stetig: Werte xi liegen in beliebigem Intervall in R
Rx
• Verteilungsfunktion FX (x) = P (X < x) = −∞ f (t) dt = P ({ω : X(ω) < x})
Eigenschaften: lim F (x) = 0, lim F (x) = 1
x→∞
x→−∞
• Dichtefunktion, Eigenschaften: für alle x ∈ R gilt: f (x) ≥ 0 und
R∞
−∞ f (x)
dx = 1
• X heißt stetig, wenn eine Dichtefunktion f existiert mit: FX (x) = P (X < x)
• gültige Aussagen: P (a ≤ X < b) = P (X < b) − P (X < a)
• Erwartungswert: E(X) =
∞
P
i=1
pi xi bzw. E(X) =
R∞
−∞ x
· f (x) dx
Eigenschaften: E(c) = c, E(c · X) = c · E(X), E(a · X + b · Y ) = a · E(X) + b · E(Y )
∞
R∞
P
Regel des faulen Statistikers: E(g(X)) = −∞
g(x)f (x) dx (stetige ZV) bzw.
g(xi )pi (diskrete ZV)
i=1
• E(X · Y ) =
PP
x
x · y · P (X = x, Y = y)
y
• p-tes Moment: E(X p ) und p-tes zentrales Moment: E((X − E(X))p )
• Varianz: V ar(X) = E((X − E(X))2 ) = E(X 2 ) − (E(X))2
Covarianz: cov(X, Y ) = E((X − E(X))(Y − E(Y ))) = E(X · Y ) − E(X) · E(Y )
V ar(X + c) = V ar(X), V ar(a · X) = a2 · V ar(X), V ar(X + Y ) = V ar(X) + V ar(Y ) + 2 · cov(X, Y )
Wenn X und Y unabhängig sind, dann gilt cov(X, Y ) = 0 und somit E(X · Y ) = E(X) · E(Y ).
3.2 Diskrete Verteilungen
• Gleichverteilung: pi =
1
N
• Binomial: Anzahl der i Erfolge bei n Versuchen. X ∼ B(p, n) P (X = i) =
E(X) = n · p V ar(X) = np(1 − p)
• Geometrisch: Schritte zum 1. Erfolg X ∼ Geo(p) P (X = i) = p(1 − p)i−1
Sie ist gedächtnislos : P (Y > s + t|Y > t) = P (Y > s)
n
k
pk (1 − p)n−k
E(X) =
1
p
• Hypergeom.: N Stück mit n schlechten, Stichprobe von m Stück. Wkt., dass in Stichprobe x Stück schlecht
(n)·(N −n)
sind: P (X = x) = x Nm−x , kann für große N als Ziehung ohne Zurücklegen als Binomial modelliert werden.
(m)
• Poisson: X ∼ P oi(λ) P (X = n) = λn! · e−λ eingetroene Kunden, zerfallene Teilchen
E(X) = λ (mittl. Ankunftsrate) V ar(X) = λ
n
3.3 Stetige Zufallsvariablen
• (0, 1)-Gleichvert.: X ∼ R(0, 1)
F (x) = {x < 0 : 0, 0 ≤ x < 1 : x, x ≥ 1 : 1} f (x) = {x < 0 : 0, 0 ≤ x < 1 : 1, x ≥ 1 : 0}
2
(b−a)
• (a, b)-Gleichvert.: X ∼ R(a, b) E(X) = a+b
2 V ar(X) =
12
F (x) = {x ≤ a : 0, a < x < b : x−a
,
x
≥
b
:
1}
f
(x)
=
{x
<
a : 0, a ≤ x < b :
b−a
1
b−a , x
• Exponentialvert.: X ∼ Exp(λ) λ > 0 E(X) = λ1 V ar(X) = λ12 , gedächtnislos
F (x) = {x ≥ 0 : 1 − e−λx , x < 0 : 0} f (x) = {x ≥ 0 : λ · e−λx , x < 0 : 0}
Überlebensfunktion: G(t) = 1 − F (t) = e−λt
2
≥ b : 0}
• Normalvert.: X ∼ N (µ, σ 2 ) F (x) =
E(X) = µ V ar(X) = σ 2
√1
2πσ
− 21 ( t−µ
σ )
−∞ e
Rx
2
2
dt f (x) =
1 x−µ
√ 1 e− 2 ( σ )
2πσ
2
2
R x −x
x
√1 · e− 2 Vert.: Φ(x) = √1 ·
2
−∞ e
2π
2π
X−µ
Transformation: X ∼ N (0, 1) ⇔ σX + µ ∼ N (µ, σ 2 ) und X ∼ N (µ, σ 2 ) ⇔ σ ∼ N (0, 1)
x−µ
x−µ
Beispiel: Sei X ∼ N (µ, σ 2 ). Dann ist P (X < x) = P ( X−µ
σ < σ ) = Φ( σ ).
• Standardnormalvert.: X ∼ N (0, 1) Dichte: ϕ(x) =
dx
Eigenschaften: ϕ(x) = ϕ(−x) und Φ(x) = 1 − Φ(−x)
α-Quantil: für welches x gilt Φ(x) = α, außerdem P (a < X < b) = Φ(b) − Φ(a).
3.4 Besonderes
• eindimensionale Transformationsformel für Y = g(X) mit X ∼ F :
diskret: P (Y = y) = P (g −1 (y))
R
−1
stetig: h(y) = |gf0(g(g−1(y))
HY (y) = P (Y < y) = P (g(X) < y) = P (x : g(x) < y) = P (Ay ) = Ay fX (x) dx
(y))|
Wenn X ∼ F , dann ist Y = F (X) ∼ R(0, 1). Wenn U ∼ R(0, 1), dann ist Y = F −1 (U ) ∼ F.
• Mehrdimensionale ZV X = (X1 , X2 ): FX (x1 , x2 ) = P (X1 < x1 , X2 < x2 )
· FX2 (x2 )
X1 und X2 sind genau dann unabh., wenn: FX1 ,X2 (x1 , x2 ) = FX1 (x1 )P
diskret: P (X1 = i, X2 = j) = pij , Randvert. von X1 : P (X1 = xi ) = j∈N pij = pi·
unabh. ⇔ pij = pi · pjR für Ralle i, j
x2
x1
stetig: FX (x1 , x2 ) = −∞
−∞ f (t1 , t2 ) dt1 t2
unabh. ⇔ fX1 ,X2 (x1 , x2 ) = fX1 (x1 ) · fX2 (x2 )
Randvert. von X bzgl. X1 : lim F (x1 , x2 ) = FX1 (x1 ) = P (X1 < x1 )
x2 →∞
R +∞
Randdichte von X bzgl. X1 : fX1 (x1 ) = FX0 1 (x1 ) = −∞
f (x1 , x2 ) dx2
• Transformationssatz
für den EW: sei X = (U, V ) P
mehrdim. und g : R2 → R
P
diskret: wennR x |g(x)| · f (x) < ∞, dann E(g(X)) = x g(x) · f (x)
R
R
R +∞ R +∞
stetig: wenn R2 |g(u, v)| · fU,V (u, v) du dv < ∞, dann E(g(X)) = R2 g(u, v) · fU,V (u, v) du dv ( R2 = −∞
−∞ )
3.5 Grenzwertsätze
• Sei Sn = X1 + . . . + Xn mit Xi unabh. identisch vert. (iid) ZV mit µ = E(Xi ) und σ 2 = V ar(Xi ).
Sei P (Sn < x) gesucht. Sn kann durch die Normalvert. mit N (nµ, nσ 2 ) approx. werden.
n −n·µ
Die zugehörige Standardnormalvert. ist Zn = S√
.
n·σ
x−n·µ
x−n·µ
n −n·µ
√
√
<
=
Φ
.
Zentraler Grenzwertsatz: limn→∞ P (Zn < z) = Φ(z) = limn→∞ P S√
n·σ
n·σ
n·σ
P
• Moivre-Laplace: Sei Xi ∼ Bi(n, p) iid. Dann gilt ni=1 Xi = Zn ∼ Bi(n, p).
Mit dem zentralen Grenzwertsatz und E(Xi ) = np und V ar(X
i ) = np(1 −
p) gilt dann:
limn→∞ Zn ∼ N (np, np(1 − p)). Also gilt z.B.: P (Zn < x) = Φ
√ x−np
np(1−p)
.
Vorbedingung: es muss folgende Faustregel erfüllt sein: n · p ≥ 10 und n · (1 − p) ≥ 10.
3.6 Beispiele
• Reihensystem: X = min Xi , Rel = P (X ≥ t) =
E(X) =
1
n
P
n
Q
P (Xi ≥ t) =
i=1
n
Q
e−λi t
i=1
λi
i=1
• Parallelsystem: X = max Xi , Rel = P (X ≥ t) = 1 − P (X < t) = 1 −
E(X) =
1
λ
n
P
i=1
1
i
• k-aus-n System: E(T ) =
1
λ
k
P
i=1
1
n−i+1
3
n
Q
i=1
P (Xi < t) = 1 − (1 − e−λt )n
3.7 Korrelation
• ρ(X1 , X2 ) = √
cov(X1 ,X2 )
√
V ar(X1 )· V ar(X2 )
ist der Korrelationskoezient (0 = unkorreliert)
3.8 Aufgaben
• Qualitätskontrolle: Ausgangspunkt ist P (X < x), dabei ist X die Anzahl schlechter Chips und x die Grenze.
x−1
P
Für Binomialverteilungen kann man daraus
P (X = i) machen.
i=0
• Schrauben: 0.1 = P (X < 70mm) = P ( X−µ
σ <
).
Φ(x) = 1 − Φ(−x), also 0.9 = Φ(− 70mm−µ
σ
70mm−µ
)
σ
= Φ( 70mm−µ
) = 0.1
σ
• Maximal:
FX (x) = P (X < x) = P (max{T1 , ..., Tn } < x) = P (Ti < y|∀i) = P (T1 < x ∩ ... ∩ Tn < x)
Q
= P (Ti < x)
• Minimal:
Q FX (x) = P (min{T
Q1 , . . . , Tn } < x) = P (Ti < x|∃i) = 1 − P (∀i : Ti ≥ x))
= 1 − P (Ti ≥ x) = 1 − (1 − P (Ti < x)
• Alternativ Minimal: P (min{X, Y } ≤ x), 1: P (X = k), dann P (X ≤ x),
dann P (min ...) = P (X ≤ x ∨ Y < x), dann Siebformel
• 2-D Bernoulli/Binomial Tafel, Erwartungswert-Produkt ist nur da wo 2x eine Eins steht,
normale Erwartungswerte bei p2. und p.2
3.9 Markov-Ketten
• n-Schritt-Übergangswahrscheinlichkeit von i nach j : pij (n) = P (Xn = j|X0 = i) =
P
k∈S
pik (n − 1) · pkj (1)
• n-Schritt-Übergangsmatrix: M n , wobei M die Einschrittübergangsmatrix ist
• Zustandsklassikation:
i und j kommunizieren (i ↔ j ), falls pij (n) > 0 und pji (n) > 0.
↔ ist eine Äquivalenzrelation: reexiv (i ↔ i), symmetrisch (i ↔ j gdw. j ↔ i)
und transitiv (aus i ↔ j und j ↔ k folgt i ↔ k)
Zustandsraum lässt sich in Äquivalenzklassen (ÄK) zerlegen (nicht jeder Zustand
muss in einer ÄK enthalten sein)
weitere Unterteilung der Zustände in den ÄK: i ist unwesentlich, falls pij (n) > 0 (Hinweg),
aber für alle m ist pji (m) = 0 (kein Rückweg). Sonst ist i wesentlich.
hat eine Äquivalenzklasse nur einen Zustand i dann ist i absorbierend
Markov-Kette ist irreduzibel wenn Zustandsraum aus genau einer Klasse wesentlicher Zustände besteht
3.10 Spezielle Funktionen
• Exponentialfunktion: e0 = 1, limx→−∞ = 0
• Logarithmusfunktion ln(x): ln(1) = 0, limx→0 = −∞
• Winkelfunktionen: sin(x) ∈ [−1, 1], cos(x) ∈ [−1, 1], arcsin : [−1, 1] → [− π2 , π2 ], arcsin : [−1, 1] → [0, π2 ],
arctan : (−∞, ∞) → [− π2 , π2 ]
4