Auffrischung: Stochastik - Professur Betriebssysteme

Verlässliche Systeme – Auffrischung: Stochastik
2.1 Grundlagen
Verlässliche Systeme
Wintersemester 2016/2017
2.1 Grundlagen
Motivation
I
Verlässliche Systeme
I
2. Kapitel
Auffrischung: Stochastik
I
Wahrscheinlichkeitsrechnung
I Ursprünglich aus Betrachtungen zum Glücksspiel entstanden
I Zunächst empirisch definiert (L APLACE ), später axiomatisch (K OLMOGOROW )
I
Wahrscheinlichkeitsrechnung ist Teilgebiet der Stochastik; diese umfasst u.a.
Fehlerrechnung, Statistik, etc.
Prof. Matthias Werner
Professur Betriebssysteme
Fehler und Last lassen sich in der Regel nicht deterministisch vorhersagen á
zufällig
Jedoch: zufällige Erscheinungen lassen sich mit Hilfe der
Wahrscheinlichkeitsrechnung / Stochastik beschreiben
WS 2016/17 · M. Werner
Verlässliche Systeme – Auffrischung: Stochastik
2.1 Grundlagen
osg.informatik.tu-chemnitz.de
Verlässliche Systeme – Auffrischung: Stochastik
2.1 Grundlagen
Grundbegriffe
Wahrscheinlichkeit
Zufallsexperiment: Ein Experiment (Versuch), dessen Ausgang durch keine Regel exakt
bestimmbar ist, z.B. Würfeln
Ereignisraum: Menge der bei einem Experiment möglichen Ereignisse (auch Ereignisfeld, Ω)
Ereignis: Jedes (theoretisch) mögliche Ergebnis eines Experiments
sicheres Ereignis: Ein Ereignis, das bei einem Experiment immer eintritt (entspricht Ω)
unmögliches Ereignis: Ein Ereignis, das bei einem Experiment niemals eintritt (entspricht
∅)
zufälliges Ereignis: Ein Ereignis, das weder sicher noch unmöglich ist á Ereignisse können
sich durch mengentheoretischen Verknüpfungen zu weiteren Ereignissen kombinieren
lassen.
I
Beobachtung: Die relative Häufigkeit eines bestimmten Ausgangs (Ereignis A)
stabilisiert sich für eine große Zahl von Wiederholungen des Experiments
I
Notation: Pr(A) oder P (A) = Wahrscheinlichkeit, dass Ereignis A eintrifft
I
Definition nach LAPLACE:
Pr(A) =
I
Elementarereignis: Ein Ereignis, das sich nicht durch die Vereinigung anderer Ereignisse
darstellen lässt
á Das unmögliche Ereignis zählt nicht als Elementarereignis
Zufallsvariable: Abbildung der möglichen Ausgänge eines Experimentes auf reelle Zahlen
WS 2016/17 · M. Werner
2 / 29
3 / 29
osg.informatik.tu-chemnitz.de
Anzahl der für A günstigen Elementarereignisse
Anzahl der möglichen Elementarereignisse
Definition nach KOLMOGOROW: Gegeben ist ein Ereignisraum Ω und Ereignisse Ai
1. Pr(Ai ) ≥ 0
2. Pr(Ω) = 1
3. Pr(A1 ∪ A2 ∪ . . .) = Pr(A1 ) + Pr(A2 ) + · · · wenn jedes Paar
Ai , Aj disjunkt ist (d.h., Ai ∩ Aj = ∅)
WS 2016/17 · M. Werner
4 / 29
osg.informatik.tu-chemnitz.de
Verlässliche Systeme – Auffrischung: Stochastik
2.1 Grundlagen
Verlässliche Systeme – Auffrischung: Stochastik
2.1 Grundlagen
Wahrscheinlichkeiten: grundlegende Eigenschaften
Unabhängigkeit und gegenseitiger Ausschluss
Zwei Ereignisse A und B heißen unabhängig, wenn:
Pr(A ∩ B) = Pr(A) · Pr(B)
Es gibt eine Reihe von Eigenschaften, die sich direkt aus den Axiomen ableiten lassen:
Zwei Ereignisse A und B schliessen sich gegenseitig aus, wenn
I
Pr(∅) = 0
I
Pr(A) = 1 − Pr(Ā), wobei Ā das Komplementärereignis zu A ist
I
Pr(Ā ∩ B) = Pr(B) − Pr(A ∩ B)
I
Pr(A − B) = Pr(A) − Pr(A ∩ B)
I
B ⊆ A ⇒ Pr(B) ≤ Pr(A)
Pr(A ∪ B) = Pr(A) + Pr(B) − Pr(A ∩ B)
I
WS 2016/17 · M. Werner
5 / 29
A∩B =∅
Bitte beachten!
Mitunter werden Unabhängigkeit und gegenseitiger Ausschluss fälschlich
gleichgesetzt.
Offensichtlich kann aber gelten: Pr(A ∩ B) = Pr(A) · Pr(B) 6= 0, wogegen beim
gegenseitigen Ausschluss Pr(A ∩ B) = Pr(∅) = 0 gilt.
osg.informatik.tu-chemnitz.de
WS 2016/17 · M. Werner
Verlässliche Systeme – Auffrischung: Stochastik
2.1 Grundlagen
6 / 29
osg.informatik.tu-chemnitz.de
Verlässliche Systeme – Auffrischung: Stochastik
2.1 Grundlagen
Bedingte Wahrscheinlichkeit
Bedingte Wahrscheinlichkeit (Forts.)
Zwei Ereignisse A und B sind bedingt unabhängig, wenn
Die bedingte Wahrscheinlichkeit Pr(A|B) eines Ereignisses A unter der Bedingung,
dass B schon eingetreten oder bekannt ist, berechnet sich:
Pr(A|B) =
Pr(A ∩ B)
dabei muss Pr(B) 6= 0 gelten
Pr(B)
Pr((A ∩ B)|C) = Pr(A|C) Pr(B|C)
Merke:
Bedingte Unabhängigkeit impliziert nicht Unabhängigkeit!
Für unabhängige Ereignisse A und B gilt:
Aus der Definition der bedingten Wahrscheinlichkeit folgt:
Pr(A|B) = Pr(A)
Theorem 2.1 (Multiplikationstheorem)
Pr(A ∩ B) = Pr(A|B) Pr(B) = Pr(B|A) Pr(A) (mit Pr(A), Pr(B) 6= 0)
WS 2016/17 · M. Werner
7 / 29
osg.informatik.tu-chemnitz.de
WS 2016/17 · M. Werner
8 / 29
osg.informatik.tu-chemnitz.de
Verlässliche Systeme – Auffrischung: Stochastik
2.1 Grundlagen
Verlässliche Systeme – Auffrischung: Stochastik
2.1 Grundlagen
Totale Wahrscheinlichkeit
Satz von BAYES
Es seien A1 , A2 , . . . An seien sich gegenseitg ausschließende zufällige Ereignisse so
dass
I
I
Es seien A1 , A2 , . . . An seien sich gegenseitg ausschließende zufällige Ereignisse so
dass
I
∀i, j, i 6= j, Ai ∩ Aj = ∅
S
Ai = Ω
I
i
i
I
Es sei B ein beliebiges zufälliges Ereignis mit Pr(B) > 0
Dann gilt:
A7
A6
Pr(B) =
n
P
Pr(Ai ) Pr(B|Ai )
i=1
∀i, j, i 6= j, Ai ∩ Aj = ∅
S
Ai = Ω
A1
Es sei B ⊆ Ω ein beliebiges zufälliges Ereignis mit Pr(B) > 0
Dann gilt:
Theorem 2.2 (Satz von BAYES)
A4
W
alle Pr(Ai ) bekannt sind (A-Priori-Wahrscheinlichkeiten)
B
Pr(Ai |B) =
A2
Pr(Ai ∩ B)
Pr(Ai ) Pr(B|Ai )
=P
Pr(B)
Pr(Aj ) Pr(B|Aj )
j
A5
A3
Man nennt Pr(Ai |B) A-posteriori-Wahrscheinlichkeit
WS 2016/17 · M. Werner
9 / 29
WS 2016/17 · M. Werner
osg.informatik.tu-chemnitz.de
Verlässliche Systeme – Auffrischung: Stochastik
2.2 Zufallsvariablen und -verteilungen
Zufallsvariablen und -verteilungen (Forts.)
Pr(X ≤ t) beschreibt die Wahrscheinlichkeit, dass eine Zufallsvariable X einen
Wert kleiner/gleich t hat
I
Stetige Verteilungen werden häufig durch ihre Dichtefunktion fX (t) beschrieben
Zt
I
Man kann t als Funktionsparameter auffassen
I
Die Funktion FX (t) = Pr(X ≤ t) heißt Verteilungsfunktion von X
(t, FX (t) ∈ R)
FX (t) =
fX (τ )dτ
−∞
I
I
Dann gilt:
Zb
Mit ihrer Hilfe lässt sich leicht die Wahrscheinlichkeit errechnen, dass X einen
Wert im Intervall (a, b] annimmt:
Pr(a < X ≤ b) =
11 / 29
fX (t)dt
a
Pr(a < X ≤ b) = FX (b) − FX (a)
WS 2016/17 · M. Werner
osg.informatik.tu-chemnitz.de
Verlässliche Systeme – Auffrischung: Stochastik
2.2 Zufallsvariablen und -verteilungen
2.2 Zufallsvariablen und -verteilungen
I
10 / 29
osg.informatik.tu-chemnitz.de
WS 2016/17 · M. Werner
12 / 29
osg.informatik.tu-chemnitz.de
Verlässliche Systeme – Auffrischung: Stochastik
2.2 Zufallsvariablen und -verteilungen
Verlässliche Systeme – Auffrischung: Stochastik
2.2 Zufallsvariablen und -verteilungen
Typische Verteilungen: Gleichverteilung
Typische Verteilungen: Exponentialverteilung
Bei einer Gleichverteilung ist jeder Wert einer Zufallsvariablen X innerhalb eines
Intervalls I = [a, b] gleichwahrscheinlich.

1
, für t < a
 0
,
für
a
≤
t
≤
b
t−a
b−a
, für a ≤ t ≤ b
F (t) =
f (t) =
0
, sonst
 b−a
1
, für t > b
Bei Zerfallsprozessen hängen Zufallsvariablen häufig von der verbliebenen Restmenge
ab.
Dann erhält man eine Exponentialverteilung.
0
, für t > 0
λe−λt , für t ≥ 0
f (t) =
F (t) =
−λt
0
, sonst
1 − e , für t ≥ 0
F(x)
f(x)
F(t)
f(t)
x
x
a
l1>l2
l1
1
1
b- a
a
b
1
l2
b
t
t
WS 2016/17 · M. Werner
13 / 29
osg.informatik.tu-chemnitz.de
WS 2016/17 · M. Werner
Verlässliche Systeme – Auffrischung: Stochastik
2.2 Zufallsvariablen und -verteilungen
14 / 29
osg.informatik.tu-chemnitz.de
Verlässliche Systeme – Auffrischung: Stochastik
2.2 Zufallsvariablen und -verteilungen
Warum Exponentialfunktion?
Warum Exponentialfunktion? (Forts.)
(?) ist eine DGL. Sie hat den Lösungsansatz
Annahme: Der Zerfallsanteil pro Zeiteinheit ist konstant.
x(t) = x0 · e−λ·t
Anders ausgedrückt: Die Menge zerfallender Elemente pro Zeiteinheit ist proportional zur vorhandenen
Menge (Beispiel: Bierschaum)
Bei Verteilungsfunktionen lautet die Nebenbedingung, dass
R∞
Pr(Ω) = 1, d.h. in diesem Fall x(t)dt = 1
0
Z∞
d
x(t) = −λ · x(t)
dt
x0 e
(?)
0
−λ∞
− x0
WS 2016/17 · M. Werner
15 / 29
osg.informatik.tu-chemnitz.de
[e
−λt
Z∞
dt = 1
x0
e
−λt
dt = 1
∞
1 −λt
x0 − e
=1
λ
0
1
=1
λ
x0 = λ
0
−e
λ
WS 2016/17 · M. Werner
−λ0
]
=1
x0 ·
16 / 29
osg.informatik.tu-chemnitz.de
Verlässliche Systeme – Auffrischung: Stochastik
2.2 Zufallsvariablen und -verteilungen
Verlässliche Systeme – Auffrischung: Stochastik
2.2 Zufallsvariablen und -verteilungen
Typische Verteilungen: Normalverteilung
Erwartungswert
Die vermutlich bekannteste Verteilung: Normal- oder GAUSS- Verteilung.
(t−µ)2
1
f (t) = √ · e− 2σ2
σ 2π
Die Verteilungsfunktion F (t) =
Rt
Verteilungen sind durch Dichtefunktionen vollständig charakterisiert
Aber: mitunter „kompaktere“ Parameter gesucht
(σ > 0)
I
Erwartungswert: Eine Art Mittelwert, gegen den die Zufallsvariable bei einer
großen Anzahl von Versuchen strebt
f (τ )dτ ist nicht elementar berechenbar. Jedoch
+∞
Z
E[X] =
t · fX (t)dt
−∞
gibt es Tabellen für eine normierte Normalverteilung (µ = 0, σ 2 = 1).
−∞
F(t)
f(t)
s1<s2
I
1
s1
0,5
s2
Regeln für den Erwartungswert:
I E[aX + b] = a E[X] + b
n
n
Q
Q
I E
Xi =
E[Xi ]
i=1
(wenn alle Xi unabhängig)
i=1
t
t
µ
µ
WS 2016/17 · M. Werner
17 / 29
osg.informatik.tu-chemnitz.de
Verlässliche Systeme – Auffrischung: Stochastik
2.2 Zufallsvariablen und -verteilungen
WS 2016/17 · M. Werner
18 / 29
osg.informatik.tu-chemnitz.de
Verlässliche Systeme – Auffrischung: Stochastik
2.2 Zufallsvariablen und -verteilungen
Varianz
Momente gängiger Verteilungen
I
Ein Erwartungswert beschreibt eine Art „Masseschwerpunkt“.
I
„Nähe“ der Verteilungswerte zu diesem Schwerpunkt:
Verteilung
Dichte f (x)
E[X]
Var[X]
1
b−a
a+b
2
(b−a)2
12
λ · e−λ·t
1
λ
1
λ2
µ
σ2
2
Var[X] = E[(X − E[X]) ]
Gleich
I
Var[X] wird Varianz genannt (auch etwas ungenau Streuung oder Dispersion).
Exponential
Z∞
2
(t − E[X]) fX (t)dt
Var[X] =
Normal
−∞
Z∞
=

t2 fX (t)dt − 
−∞
WS 2016/17 · M. Werner
Z∞
√ 1
2πσ 2
· e−
(t−µ)2
2σ 2
2
t · fX (t)dt
−∞
19 / 29
osg.informatik.tu-chemnitz.de
WS 2016/17 · M. Werner
20 / 29
osg.informatik.tu-chemnitz.de
Verlässliche Systeme – Auffrischung: Stochastik
2.3 Verknüpfung von Zufallsvariablen
Verlässliche Systeme – Auffrischung: Stochastik
2.3 Verknüpfung von Zufallsvariablen
2.3 Verknüpfung von Zufallsvariablen
Gemeinsame Verteilungen
I
Experimente können auch von zwei oder mehr Zufallsvariablen abhängen
I
Verknüpfung einer Menge von Zufallsvariablen X1 , X2 , . . . , Xn durch eine
Funktion Z = g(X1 , X2 , ..., Xn ) ergibt wieder eine Zufallsvariable
I
Gemeinsame Verteilung fXY (x, y) beschreibt Abhängigkeit zwischen X und Y
I
Für unabhängige X und Y gilt:
Allgemein für zwei Verteilungen:
ZZ
ZZ
FZ (t) = Pr(Z ≤ t) =
fXY (x, y)dx dy
FZ (t) = Pr(Z ≤ t) =
fX (x)fY (y)dx dy
g(x,y)≤t
g(x,y)≤t
Dabei ist fXY (x, y) die Dichte der gemeinsamen Verteilung
FXY (x, y) = Pr(X ≤ x ∧ Y ≤ y).
WS 2016/17 · M. Werner
21 / 29
osg.informatik.tu-chemnitz.de
Verlässliche Systeme – Auffrischung: Stochastik
2.3 Verknüpfung von Zufallsvariablen
WS 2016/17 · M. Werner
22 / 29
osg.informatik.tu-chemnitz.de
Verlässliche Systeme – Auffrischung: Stochastik
2.3 Verknüpfung von Zufallsvariablen
Spezialfälle
Anwendung der LAPLACE-Transformation
Multiplikation: (Z = X · Y, X, Y ≥ 0)
Z∞
fZ (t) =
Da die Faltung häufiger gebraucht wird, aber Integralrechnung nicht immer trivial ist,
wird mitunter die LAPLACE-Transformation eingesetzt.
t 1
fX (τ )fY ( ) dτ
τ |τ |
−∞
L
z = f (t) −−−−→ Z = F (s)




y
yLösung im Bildbereich
Addition: (Z = X + Y, X, Y > 0)
Z∞
z(t)
fX (τ )fY (t − τ )dτ
fZ (t) =
L−1
←−−−−
Z(s)
−∞
I
Man nennt die Operation
R∞
Unter anderem gilt: L (f1 (t) ∗ f2 (t)) = L (f1 (t)) · L (f2 (t))
f1 (τ )f2 (t − τ )dτ die Faltung von f1 und f2 und
−∞
schreibt f1 (t) ∗ f2 (t).
WS 2016/17 · M. Werner
23 / 29
osg.informatik.tu-chemnitz.de
WS 2016/17 · M. Werner
24 / 29
osg.informatik.tu-chemnitz.de
Verlässliche Systeme – Auffrischung: Stochastik
Anhang A: LAPLACE-Transformation
Verlässliche Systeme – Auffrischung: Stochastik
Anhang A: LAPLACE-Transformation
Anhang A: LAPLACE-Transformation
I
Definition
I Hintransformation
Z∞
F (s) =
Berechnung
f (t)e−s·t dt
I
... der harte Weg: Berechnung des Integrals
I
...der lange Weg: zerlegen und Transformationstabellen:
−∞
I
Rücktransformation
1
f (t) =
2πj
δ+j∞
Z
st
F (s)e ds
δ−j∞
(j ist hier die imaginäre Einheit)
I
Schreibweisen:
f (t) c
s F (s)
WS 2016/17 · M. Werner
F (s) s
25 / 29
F (s)
f (t) = L−1 {F (s)}
F (s)
f (t) = L−1 {F (s)}
1
δ(t)
1
sn
tn−1
(n − 1)!
1
s
1(t)
1
s+a
e−at
1
s2
t
1
(s + a)2
te−at
c f (t)
osg.informatik.tu-chemnitz.de
WS 2016/17 · M. Werner
Verlässliche Systeme – Auffrischung: Stochastik
Anhang A: LAPLACE-Transformation
a
s2 + a2
s
s2 + a2
f (t)
sin at
cos at
WS 2016/17 · M. Werner
osg.informatik.tu-chemnitz.de
Verlässliche Systeme – Auffrischung: Stochastik
Anhang A: LAPLACE-Transformation
Berechnung (Forts.)
F (s)
26 / 29
Rechenregeln
F (s)
t(t)
1
1 + sT
t
1e T
T
I
Überlagerungssatz: a1 f1 (t) + a2 f2 (t) c s a1 F1 (s) + a2 F2 (s)
1 F s , a 6= 0
Ähnlichkeitssatz: f (at) c s a
a
c
s
Verschiebungssatz: f (t − T )
e−sT F (s)
Dämpfungssatz: eat f (t) c s F (s − a)
I
Differentiationssatz:
I
I
−
1
·
s(1 + sT1 )
1
(1 + sT2 )
27 / 29
1−
T1
T1 − T2
t
e T1 +
I
−
− t
T2
e T2
T1 − T2
osg.informatik.tu-chemnitz.de
d
dt f (t)
c
s sF (s) − f (−0)
...und für höhere Ableitungen:
dk
f (t) c
dtk
WS 2016/17 · M. Werner
s sk F (s) − sk−1 f (−0) − sk−2 f˙(−0) − · · · − f (k−1) (−0)
28 / 29
osg.informatik.tu-chemnitz.de
Verlässliche Systeme – Auffrischung: Stochastik
Anhang A: LAPLACE-Transformation
Rechenregeln (Forts.)
I
Integrationssatz:
Rt
f (τ )dτ c
0
s 1 F (s)
s
k
s (−1)k d F (s)
dsk
s F1 (s)F2 (s)
I
Differentiation der Bildfunktion: tk f (t) c
I
Faltungssatz: f1 (t) ∗ f2 (t) c
I
Anfangswertsatz: f (+0) = lim f (t) = lim s F (s)
s→∞
t→+0
I
Endwertsatz: lim f (t) = lim s F (s)
t→∞
WS 2016/17 · M. Werner
s→0
29 / 29
osg.informatik.tu-chemnitz.de