systementwurf

SYSTEMENTWURF
Stochastische Grundlagen
Vorlesung im WS 2012/13
System- und Software-Engineering
Prof. Dr.-Ing. Armin Zimmermann
Inhalt
 Wahrscheinlichkeit
 Zufallsvariablen
 Verteilung von Zufallsvariablen
 Momente
 Quantile
 Einige wichtige Verteilungen
 Bestimmen von Verteilungen
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 2
Wahrscheinlichkeit
 Wahrscheinlichkeit


Viele Vorgänge sind nicht exakt vorhersagbar,
z. B. Ausfall eines Rechners
Stochastik: mathematische Modelle
für quantitative Aussagen
 Begriffe

Zufallsexperiment (random experiment)


Elementarereignis (elementary event)


Jeder einzelne mögliche Versuchsausgang
Ereignisraum (sample space)


Experiment mit mehreren möglichen Versuchsausgängen
Menge S aller möglichen Elementarereignisse
Ereignis (event)

Menge E von Elementarereignissen, E Í S
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 3
Wahrscheinlichkeit
 Beispiel: redundantes Rechnersystem



System aus zwei (ausfallenden) Komponenten A und B
System intakt, falls mindestens eine Komponente intakt
Zufallsexperiment




Beobachtung des Systems nach 1000 Betriebsstunden
Mögliche Elementarereignisse:
e1 = A und B intakt
e2 = A intakt, B defekt
e3 = A defekt, B intakt
e4 = A und B defekt
Ereignisraum: S = {e1,e2,e3,e4 }
Ereignisse:
Gesamtsystem intakt : E1 = {e1,e2,e3}
Gesamtsystem defekt: E2 = {e4 }
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 4
Wahrscheinlichkeit
 Beispiel: Lebensdauer einer Festplatte


Anfangs intakt, Ausfall möglich
Zufallsexperiment




Zeitpunkt des Ausfalls
Ereignisraum: S = [0, ¥)
Ereignis: Lebensdauer 1000h: E = [1000, ¥)
Fragestellung in beiden Beispielen:
wie wahrscheinlich sind Ereignisse?
 Formalisierung des
Wahrscheinlichkeitsbegriffes

Die Wahrscheinlichkeit (probability) P(E) ist eine
Maßfunktion, die jedem Ereignis E Í S eine reelle Zahl
aus dem Intervall [0,1] zuordnet
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 5
Wahrscheinlichkeit
 Definitionen und Rechenregeln







(Fast) unmögliches Ereignis P(Æ) = 0
(Fast) sicheres Ereignis P(S) = 1
Komplementäres Ereignis P(E) = P(S \ E) = 1 - P(E)
Durchschnitt E1 Ç E2 ist Ereignis, wenn E1 und E2
eintreten
Vereinigung E1 È E2 ist ein Ereignis, wenn E1 oder E2
(oder beide) eintreten
Disjunkte Ereignisse P(E1 È E2 ) = P(E1 ) + P(E2 )
Veranschaulichung durch
S
Venn-Diagramm
E1
SSE Zimmermann
Systementwurf
E1  E2
E2
Stochastische Grundlagen - 6
Wahrscheinlichkeit
 Bedingte Wahrscheinlichkeit
(conditional probability)



Wahrscheinlichkeit von E1 unter der Voraussetzung, dass
P(E1 Ç E2 )
P(E
|
E
)
=
E2 eingetreten ist:
1
2
P(E2 )
Unabhängigkeit (independence)
 E1 und E2 heißen unabhängig, falls P(E1 | E2 ) = P(E1 )
 Äquivalent zu P(E1 Ç E2 ) = P(E1 ) ⋅ P(E2 )
Beispiel: Zweikomponenten-System


Wahrscheinlichkeit, dass eine Komponente intakt = 0.9
Falls Ausfälle beider Komponenten unabhängig, gilt:
P(A und B intakt) = P(A intakt)  P(B intakt) = 0.92 = 0.81
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 7
 Wahrscheinlichkeit
 Zufallsvariablen
 Verteilung von Zufallsvariablen
 Momente
 Quantile
 Einige wichtige Verteilungen
 Bestimmen von Verteilungen
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 8
Zufallsvariablen
 Zufallsvariablen





Abstraktion: Zuordnung eines numerischen Wertes
zu jedem Elementarereignis
Zufallsvariable (random variable) X ist Abbildung S  
Jedem Elementarereignis e  S wird eine
reelle Zahl X(e) zugeordnet
Begriff Der Funktionswert ist vor Durchführung eines
Experiments unbekannt, danach aber ein fester Wert
Mögliche Fälle:

diskrete Zufallsvariable
Wertebereich der Zufallsvariablen ist endlich oder abzählbar:
X (S )  

kontinuierliche (oder stetige) Zufallsvariable
Wertebereich der Zufallsvariablen ist überabzählbar groß: X (S )  
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 9
Zufallsvariablen
 Beispiel: Zweikomponenten-System


X(A und B intakt) = 2
X(A intakt, B defekt) = 1
X(A defekt, B intakt) = 1
X(A und B defekt) = 0
X(S) = {0,1, 2} (Zufallsvariable ist diskret)
A und B defekt
0
A defekt B intakt
A intakt B defekt
1
A und B intakt
2
S
Zahlengerade
 Beispiel: Lebensdauer Festplatte


X(Lebensdauer y in Stunden) = y
X(S) = [0, ¥) (Zufallsvariable ist kontinuierlich)
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 10
 Wahrscheinlichkeit
 Zufallsvariablen
 Verteilung von Zufallsvariablen
 Momente
 Quantile
 Einige wichtige Verteilungen
 Bestimmen von Verteilungen
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 11
Verteilung von Zufallsvariablen

Verteilung: Beschreibung, mit welcher Wahrscheinlichkeit
eine Zufallsvariable bestimmte Werte annimmt
 Verteilung einer diskreten Zufallsvariablen




Wahrscheinlichkeit jedes einzelnen Werts pn = P(X = x n )
pn heißt diskrete Wahrscheinlichkeitsdichte
(probability mass function, pmf oder discrete density fct.)
Grafische Repräsentation durch Balkendiagramm
Wahrscheinlichkeit, dass Zufallsvariable X einen Wert
annimmt, der ein vorgegebenes x nicht übersteigt:
F(x) = P(X £ x) =
å pn
xn £x

F(x) heißt Wahrscheinlichkeits-Verteilungsfunktion
([cumulative] distribution function, CDF)
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 12
Verteilung von Zufallsvariablen
 Wahrscheinlichkeits-Verteilungsfunktion F(x)








F(x) ist eine Treppenfunktion mit Sprungstellen
Sprunghöhe pn an der Stelle x n
Wertebereich von X endlich bzw. unendlich
 endlich bzw. unendlich viele Sprungstellen
Eigenschaften von Verteilungsfunktionen
0 £ F(x) £ 1
F(x) ist monoton steigend (aber nicht streng)
lim F(x) = 0
x -¥
lim F(x) = 1
x ¥
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 13
Verteilung von Zufallsvariablen
 Beispiel: Zweikomponenten-System


X gibt Anzahl der intakten Komponenten an
Annahmen: P(X = 0) = p0 = 0.1
P(X = 1) = p1 = 0.6
P(X = 2) = p2 = 0.3
pn
F(x)
0.6
0.3
1.0
0.7
0.1
0.1
0
1
SSE Zimmermann
2
x
Systementwurf
0
1
2
x
Stochastische Grundlagen - 14
Verteilung von Zufallsvariablen
 Verteilung einer stetigen Zufallsvariablen

Wie im diskreten Fall kann die WahrscheinlichkeitsVerteilungsfunktion F(x) definiert werden als
F(x) = P(X £ x)

In Analogie zum diskreten Fall wird eine stetige Wahrscheinlichkeitsdichte f(x) (probability density function,
pdf) definiert mit der Eigenschaft
x
F(x) =
ò
f(y)dy
-¥

f(x) ist somit gegeben durch f(x) =
(falls die Ableitung existiert)
SSE Zimmermann
Systementwurf
d
dx
F(x)
Stochastische Grundlagen - 15
Verteilung von Zufallsvariablen
 Beispiel: Gleichverteilung (uniform distribution)

Alle Werte in [a, b] gleich wahrscheinlich
ìï 0
x<a
ï
1
ì b -a a £ x < b
ï
ï
ï
-a a £ x < b
f(x) = í
, F(x) = ï
í bx a
ï
ï
0
sonst
ï
ï
î
ïï1
x³b
î
F(x)
f(x)
1.0
1
b-a
a
SSE Zimmermann
b
x
Systementwurf
a
b
x
Stochastische Grundlagen - 16
Verteilung von Zufallsvariablen
 Eigenschaften


Für diskrete V. genannte Eigenschaften gelten unverändert
Eine Fläche unter f(x) im Intervall [c, d] ist ein Maß für die
Wahrscheinlichkeit, dass X Werte in diesem Intervall
annimmt: P(c < X £ d) = P(X £ d) -dP(X £ c)
= F(d) - F(c) =
ò f(x)dx
c
F(x)
f(x)
1.0
1
b-a
a
SSE Zimmermann
c
db
x
Systementwurf
a
c
d b
x
Stochastische Grundlagen - 17
Verteilung von Zufallsvariablen
 Eigenschaften
¥

ò
f(x)dx = 1 (sicheres Ereignis)
-¥



Die Wahrscheinlichkeit für ein einzelnes
Elementarereignis ist Null
P(X = c) = F(c) - F(c) = 0
Nur Flächen unter f(x) sind Wahrscheinlichkeiten,
Funktionswerte von f(x) nicht
Der Verlauf von f(x) veranschaulicht, wie sich die
Wahrscheinlichkeit auf die Wertebereiche der
Zufallsvariablen verteilt
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 18
Verteilung von Zufallsvariablen
 Gemischte Zufallsvariablen



Diskrete Zufallsvariable  F(x) hat Sprünge
Stetige Zufallsvariable  F(x) steigt stetig
Weitere Möglichkeit
 F(x) hat stetige Anteile und Sprungstellen


X heißt dann gemischte Zufallsvariable
F(x) heißt gemischte Verteilungsfunktion
F(x)
1.0
x
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 19
Verteilung von Zufallsvariablen
 Gemischte Zufallsvariablen


Frage: welche Gestalt hat dann die Dichtefunktion?
Zwei Möglichkeiten



Aufspaltung in diskreten und stetigen Anteil
Verallgemeinerte Funktionen (Dirac-Impuls)
Dirac-Impuls erlaubt die einheitliche Behandlung
diskreter, stetiger und gemischter Zufallsvariablen
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 20
Verteilung von Zufallsvariablen
 Dirac-Impuls



Definition des Einheitsimpulses:
Rechtecke mit Fläche 1, Breite , Höhe 1/
Grenzübergang e  0 liefert Dirac-Impuls d(x)
(x)
 0
1/
- /2
SSE Zimmermann
0
+/2
x
Systementwurf
0
x
Stochastische Grundlagen - 21
Verteilung von Zufallsvariablen
 Dirac-Impuls

Dirac-Impuls an Stelle a : d(x - a)
¥

Ausblendeigenschaft:
ò
g(x) d(x - a)dx = g(a)
-¥
(falls g(x) differenzierbar)
 Sprungfunktion



Integral über Dirac-Impuls für Verteilungsfunktionen
0 x£0
ì
ï
ï
Definition: s(x) = í
1 x>0
ï
ï
î
Beziehungen: d(x - a) = ds(x - a) dx
s(x - a) =
SSE Zimmermann
x
ò-¥ d(t - a) ⋅ dt
Systementwurf
Stochastische Grundlagen - 22
Verteilung von Zufallsvariablen
 Beispiel: deterministische „Verteilung“





Taktzeit in einem Rechnersystem sei fest und gleich 
Fasst man die Zeit als Zufallsvariable X auf, nimmt X
immer den Wert  an
X ist diskret „verteilt“ mit der Dichte P(X = t) = 1
Dichtefunktion: Einheitsimpuls an Stelle  f(x) = d(x - t)
Verteilungsfunktion: Einheitssprung an Stelle 
x
F(x) =
ò
-¥
x
f(y)dy = ò d(y - t)dy = s(x - t)
-¥
F(x)
f(x)
1

SSE Zimmermann
x
Systementwurf

x
Stochastische Grundlagen - 23
Verteilung von Zufallsvariablen
 Beispiel: gemischte Verteilung




Eine Zufallsvariable sei gleichverteilt zwischen [1, 2] mit
dem Wert 0.5
Der einzelne Wert 2 wird mit Wahrscheinlichkeit 0.5
eingenommen
Anwendung: die Bearbeitungszeit für einen Auftrag ist
gleichverteilt, aber begrenzt durch eine Zeitschranke
Dichte- und Verteilungsfunktion:
ìï 0
x <1
ïï
f(x) = ïí 0.5
1£x <2
ïï
ïï 0.5d(x - 2) x ³ 2
ïî
SSE Zimmermann
ìï 0
x <1
ïï
F(x) = ïí 0.5 ⋅ (x - 1) 1 £ x < 2
ïï
ïï1
x³2
î
Systementwurf
Stochastische Grundlagen - 24
Verteilung von Zufallsvariablen
 Beispiel: gemischte Verteilung

Grafisch:
f(x)
F(x)
1
0.5
0.5
1

2
x
1
2
x
Alternative Darstellung:
f(x) = 0.5 ⋅ s(x - 1) + 0.5 ⋅ d(x - 2) - 0.5 ⋅ s(x - 2)
F(x) = 0.5 ⋅ s(x - 1) ⋅ (x - 1) + 0.5 ⋅ s(x - 2)
-0.5 ⋅ s(x - 2) ⋅ (x - 2)
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 25
 Wahrscheinlichkeit
 Zufallsvariablen
 Verteilung von Zufallsvariablen
 Momente
 Quantile
 Einige wichtige Verteilungen
 Bestimmen von Verteilungen
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 26
Momente und Quantile
 Momente und Quantile


Verteilungs- oder Dichtefunktion charakterisieren
Zufallsvariable vollständig
 Oft zu aufwendig bzw. nicht vollständig bekannt!
Gesucht: einfachere Kenngrößen, die eine Zufallsvariable
hinreichend genau beschreiben




Beispiel: „Die mittlere Verzögerungszeit beträgt 30ms“
Beispiel: „95% aller Anfragen werden innerhalb von
24 Stunden beantwortet“
 Momente und Quantile von Verteilungsfunktionen
Die wichtigsten: Mittelwert und Streuung
Kenngrößen sind


aus der Verteilungsfunktion berechenbar
oder z.B. bei unbekannter Funktionsform geschätzt
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 27
Momente
 Wichtigstes Moment: Erwartungswert


f(x) sei Dichtefunktion der Zufallsvariablen X
E [ X ] heißt Erwartungswert (expectation) oder
Mittelwert (mean value) von X
¥

Berechnung:
E[ X ] =
ò
x ⋅ f(x)dx
-¥


Das Integral muss nicht existieren, in diesem Fall gibt es
keinen Erwartungswert
Vereinfachte Schreibweise für diskrete Zufallsvariablen:
E[ X ] =
å x n ⋅ pn
n
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 28
Momente
 Beispiele für die Berechnung des
Erwartungswertes


Beispiel diskreter Fall: Zweikomponenten-System

Wahrscheinlichkeiten der einzelnen Ereignisse:

Erwartungswert: mittlere Anzahl intakter Komponenten
E [ X ] = 0 ⋅ 0.1 + 1 ⋅ 0.6 + 2 ⋅ 0.3 = 1.2
p0 = 0.1, p1 = 0.6, p2 = 0.3
Beispiel kontinuierlicher Fall: Lebensdauer Batterie


Gleichverteilung im Intervall [a, b]
Erwartungswert: mittlere Lebensdauer
b
E[ X ] =
ò
a

b
x
x2
b2 - a 2
a+b
dx =
=
=
b-a
2(b - a) a
2(b - a)
2
Auch geometrisch aus Funktion ableitbar
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 29
Momente
 Funktion einer Zufallsvariablen


Funktion g definiert neue Zufallsvariable Y = g(X)
¥
dann gilt E[Y] = E[g(X)] = ò g(x)f(x) dx
-¥

Der Erwartungswert-Operator ist linear:
 Seien X, Y Zufallsvariablen und ,  Skalare, dann gilt
E[aX + bY] = aE[X] + bE[Y]

Beispiel



Lebensdauer X einer Batterie ist gleichverteilt in [100, 200]
Erwartungswert: (100+200)/2 = 150
Wie groß ist mittlere Lebensdauer einer Batterie mit
dreifachen Parametern [300, 600] (Zufallsvariable Y)?
E[Y] = E[3X] = 3E[X] = 450
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 30
Momente
 Weiteres wichtiges Moment: Varianz

Die Varianz von X, Var[X] ist die mittlere quadratische
Abweichung der Werte der Zufallsvariablen von ihrem
Erwartungswert:
Var[X] = E[(X - E[X])2 ]



Erwartungswert der Abweichung muss nicht existieren,
in diesem Fall ist die Varianz nicht definiert
Beispiel: „heavy-tailed” distributions
Einsetzen liefert
¥
Var[X] =
ò
(x - E[X])2 f(x) dx
-¥

Vereinfachte Schreibweise im diskreten Fall:
Var[X] = å (x n - E[X])2 pn
n
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 31
Momente
 Beispiele für die Berechnung der Varianz

Beispiel diskreter Fall: Zweikomponenten-System

Wahrscheinlichkeiten der einzelnen Ereignisse:

Varianz: mittlere quadratische Abweichung vom Mittelwert
p0 = 0.1, p1 = 0.6, p2 = 0.3
Var [ X ] = (0 - 1.2)2 ⋅ 0.1 + (1 - 1.2)2 ⋅ 0.6 + (2 - 1.2)2
= 0.36

Beispiel kontinuierlicher Fall: Lebensdauer Batterie
a+b
 Gleichverteilung im Intervall [a, b], E [ X ] =
2

Varianz:
Var[x] =
b
ò
a
SSE Zimmermann
2
(b
a)
(x - a +2 b )2 b-1 a dx =  =
12
Systementwurf
Stochastische Grundlagen - 32
Momente
 Alternativen zur Varianz


Es existieren weitere gebräuchliche Maße für die
Abweichung vom Mittelwert
Standardabweichung (standard deviation) s




Quadratische Berechnung vom Mittelwert bei Varianz:
positive und negative Abweichungen dürfen sich nicht
aufheben
Maße im Bereich der Werte: Wurzel aus Varianz
Berechnung: s = Var[X]
Variationskoeffizient (coefficient of variation) C



Varianz und Standardabweichung messen Abweichungen
abhängig von Größenordnung der Werte
Relative, unabhängig von Werten normierte Größe
s
Berechnung: C =
E[X]
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 33
Momente
 Allgemeiner Begriff des Moments

Definition des Erwartungswertes: E [ X ] =
¥

Verallgemeinerung E[X n ] =
heißt n-tes Moment



ò
¥
ò
x ⋅ f(x)dx
-¥
x n f(x) dx
-¥
Erwartungswert: Erstes Moment
Unter bestimmten Voraussetzungen ist eine Verteilung
durch ihre (unendlich vielen) Momente eindeutig bestimmt
Varianz ist aus dem 1. und 2. Moment berechenbar:
Var[X] = E[(X - E[X])2 ] = E[X2 - 2XE[X] + E[X]2 ]
= E[X2 ] - 2E[X]2 + E[X]2 = E[X2 ] - E[X]2

Varianz wird daher 2. zentriertes Moment genannt
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 34
 Wahrscheinlichkeit
 Zufallsvariablen
 Verteilung von Zufallsvariablen
 Momente
 Quantile
 Einige wichtige Verteilungen
 Bestimmen von Verteilungen
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 35
Quantile
 Beschreibung von Zufallsvariablen mit
Quantilen




Vorgegeben ist die Wahrscheinlichkeit 
Das -Quantil einer Zufallsvariablen X ist der Wert xa ,
für den gilt:
P(X £ xa ) = F(xa ) = a
Anschaulich: a ⋅ 100% der möglichen Werte von X
sind kleiner gleich xa
Median



Wert der Zufallsvariablen, bei dem jeweils die Hälfte der
Wahrscheinlichkeitsmasse darüber bzw. darunter liegt
Median = 0.5-Quantil
Nur manchmal (z.B. symmetrische V.) mit Mittelwert
identisch!
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 36
Quantile
 Beispiel für ein Quantil


Bearbeitungszeit für einen Auftrag sei gemäß F(x) verteilt
Wie groß ist die Zeit x 0.95 , in der 95% aller Aufträge
bearbeitet sind?
f(x)
Fläche = 0.05
Fläche = 0.95
x0.95
SSE Zimmermann
Systementwurf
x
Stochastische Grundlagen - 37
 Wahrscheinlichkeit
 Zufallsvariablen
 Verteilung von Zufallsvariablen
 Momente, Quantile
 Einige wichtige Verteilungen


Diskrete Verteilungen
Kontinuierliche Verteilungen
 Bestimmen von Verteilungen
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 38
Wichtige Verteilungen
 Diskrete Verteilungen


Gleichverteilung
Bernoulli-Verteilung, Geometrische Verteilung,
Binomialverteilung, Poisson-Verteilung
 Kontinuierliche Verteilungen



Gleichverteilung
Exponentialverteilung, Erlang-, Gamma-,
Hypo- / Hyperexponential-Verteilung
Normalverteilung, Weibull-Verteilung
 Bedeutung


Messung: Verteilung erkennen bzw. approximieren
Modellierung: Entscheidung für Funktionsform
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 39
Wichtige Verteilungen
 Diskrete Gleichverteilung






discrete uniform, DU(i, j)
Zufälliger Versuchsausgang mit
gleich wahrscheinlichen Ereignissen
Ereignisraum S = {i, i + 1, , j}
i+j
Mittelwert E(X) =
2
(j - i + 1)2 - 1
Varianz Var(X) =
12
Beispiel: Würfel = DU(1,6)
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 40
Wichtige Verteilungen
 Diskrete Gleichverteilung

Sei q =
1
j- i +1
F(X)
1
P(X)
q
q
i-1 i i+1
j-1 j j+1 X
Dichtefunktion
SSE Zimmermann
i i+1
j
X
Verteilungsfunktion
Systementwurf
Stochastische Grundlagen - 41
Wichtige Verteilungen
 Bernoulli-Verteilung


Jakob Bernoulli, 1655-1705
Zufallsversuch mit zwei möglichen Ausgängen
 „Bernoulli trial“, Ereignisraum S = {0,1}







Bezeichnung als „Erfolg“ und „Misserfolg“
Wahrscheinlichkeiten: P[Erfolg] = p,
P[Misserfolg] = q, p+q=1
Bernoulli-Verteilung mit Parameter p: Wahrscheinlichkeitsverteilung P(X) einer Zufallsvariable X, die bei Erfolg
den Wert 1 und bei Misserfolg den Wert 0 annimmt
P(X = 1) = p, P(X = 0) = q oder P(X) = pX q1-X
Erwartungswert E(X) = p , Varianz Var(X) = pq
Grundlage für Binomial-Verteilung und Geometrische V.
Bezeichnung: Bernoulli(p)
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 42
Wichtige Verteilungen
 Bernoulli-Verteilung
F(X)
P(X)
1
q
q
p
0
1
X
Dichtefunktion
SSE Zimmermann
0
1
X
Verteilungsfunktion
Systementwurf
Stochastische Grundlagen - 43
Wichtige Verteilungen
 Geometrische Verteilung

Annahmen









Vorgang ist mit einem Bernoulli-Versuch beschreibbar
Mehrfache Ausführung (beliebig oft?)
Jeder Einzelversuch ist unabhängig
Fortführung bis zum ersten Erfolg
Beispiele: Rechner defekt oder intakt, Betriebsmittel belegt
oder frei, 6 gewürfelt oder nicht, …
Ergebnis: unendliche Folge von Erfolg und Misserfolg
Bezeichne 0 Misserfolg und 1 Erfolg
Ereignisraum S = {0i-11 | i = 1, 2, }
Bezeichnung: geom(p)
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 44
Wichtige Verteilungen
 Geometrische Verteilung


Eine wichtige Zufallsvariable ist die Nummer K
des ersten erfolgreichen Versuchs
Ein Erfolg beim k-ten Versuch setzt k – 1 Misserfolge
voraus: p = P(K = k) = q k-1p = (1 - p)k-1 p
k

Versuche sind laut Voraussetzung unabhängig,
daher Produkt für Und-Verknüpfung
pk
p

Dichtefunktion:
0
SSE Zimmermann
1
Systementwurf
2
3
4
5
k
Stochastische Grundlagen - 45
Wichtige Verteilungen
 Geometrische Verteilung


Verteilungsfunktion
k
F(k) = P(K £ k) = å i=1 pi = 1 - (1 - p)k
Wegen p, q < 1 konvergiert die Reihe:
p
¥
F(¥) = å i=1 pq i =
=1
1-q


k = 1,2,¼
d.h. F(k) ist wirklich eine Verteilung
Erwartungswert der geometrischen Verteilung
1
¥
¥
k -1
E[K] = å k =1 k ⋅ p = p ⋅ å k =1 k ⋅ (1 - p)
=
k
p

Je kleiner die Erfolgswahrscheinlichkeit p, desto länger
muss man im Mittel auf den ersten Erfolg warten
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 46
Wichtige Verteilungen
 Varianz
Var[K] =
1-p
p2
 Gedächtnislosigkeit
der geometrischen Verteilung




Erfolg jedes Versuchs tritt mit p ein
Für den Ausgang des aktuellen Versuchs ist daher die
„Vorgeschichte“ egal
Daher wird geometrische Verteilung als gedächtnislos
(memoryless) bezeichnet
Einzige diskrete Verteilung mit dieser Eigenschaft!
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 47
Wichtige Verteilungen
 Anwendungsbeispiele der geometrischen
Verteilung

Beispiel Round-Robin Scheduling mit Zeitscheiben





Ein Prozess erhält bei jeder Zuteilung eine Zeitscheibe
Prozess terminiert mit der Wahrscheinlichkeit p innerhalb der
Zeitscheibe und benötigt mit 1 – p mehr Rechenzeit
Fortgesetzte Zuweisung von Zeitscheiben entspricht
Folge von Misserfolgen
Terminierung entspricht dem Erfolg
Die benötigte Anzahl von Zeitscheiben und damit die
benötigte Rechenzeit ist geometrisch mit p verteilt
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 48
Wichtige Verteilungen
 Anwendungsbeispiele der geometrischen
Verteilung

Beispiel Kommunikationskanal






Ein Kommunikationskanal kann Datenpakete zu festen
Zeitpunkten i = 0, 1, … übertragen („getaktet“)
Pakete haben feste Länge
Übertragung eines Paketes dauert eine Zeiteinheit
Zur Zeit i will eine Station ein Paket mit Wahrscheinlichkeit p
senden, mit 1 – p ist kein Paket da
Dauer der fortgesetzten Belegung ist geometrisch verteilt
Dauer der Nichtbelegung des Kanals ist geometrisch verteilt
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 49
Wichtige Verteilungen
 Binomialverteilung



Wieder werden Bernoulli-Versuche durchgeführt
Es interessiert die Zufallsvariable S, die die Anzahl der
Erfolge innerhalb von n Versuchen beschreibt
Sei s  n eine Menge von Versuchen

Wahrscheinlichkeit, dass genau diese s Versuche erfolgreich
sind
ps (1 - p)n -s

Anzahl der Möglichkeiten, s aus n Versuchen unterschiedlich
auszuwählen
ænö
n!
çç ÷÷ =
çè s ÷ø s ! (n - s)!

(Binomialkoeffizient)
Bezeichnung: bin(n, p) falls Grundversuch Bernoulli(p)
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 50
Wichtige Verteilungen
 Binomialverteilung

Dichtefunktion der Binomialverteilung




Wahrscheinlichkeit, dass s Erfolge unter n Versuchen sind
ænö s
P(S = s) = çç s ÷÷ ⋅ p ⋅ (1 - p)n-s
çè ÷ø
Erwartungswert E[S] = np
Varianz
Var[S] = np(1 - p)
Betrachtung der Zufallsvariablen S/n, d.h. der Häufigkeit,
mit der Erfolge innerhalb von n Versuchen auftreten


Erwartungswert für beliebiges n ist p
Erfahrung zeigt, dass für großes n die Häufigkeit S/n
die Wahrscheinlichkeit p gut annähert
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 51
Wichtige Verteilungen
 Binomialverteilung
s
Dichtefunktionen für p=0.5 und verschiedene n
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 52
Wichtige Verteilungen
 Anwendungsbeispiele der Binomialverteilung

Beispiel Zeitscheiben
Anzahl von Prozessen, die innerhalb von n Zeitscheiben
terminieren, ist binomialverteilt
 Ihr Mittelwert ist n·p, der mittlere Systemdurchsatz ist
p Prozesse pro Zeiteinheit (= Zeitscheibe)
Beispiel Kommunikationskanal
 Anzahl übertragener Pakete in n Zeiteinheiten:
binomialverteilt
 Mittlerer Kanaldurchsatz: p Pakete/Zeiteinheit
Beispiel Qualitätssicherung
 Anzahl fehlerhafter Produkte bei einer Stichprobe aus einer
Serie ist binomialverteilt
 Sind s von n entnommenen Produkten fehlerhaft, dann ist
p = s/n eine Näherung der Fehlerwahrscheinlichkeit



SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 53
Wichtige Verteilungen
 Poisson-Verteilung


Beispiel: betrachten Anzahl von Aufträgen, die in einem
Datenbankserver innerhalb der Zeit t ankommen
Annahmen






Aufträge werden zufällig erzeugt
Auftragserzeugung mit konstanter Rate  pro Zeiteinheit
Es kommen nie mehrere gleichzeitig an
Falls t ausreichend klein gewählt, ist Wahrscheinlichkeit
für das Eintreffen eines Auftrags in t = * t, und
Wahrscheinlichkeit für mehr als einen Auftrag null
Anzahl der Aufträge innerhalb t ist dann Poisson-verteilt
Bezeichnung: Poisson()
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 54
Wichtige Verteilungen
 Poisson-Verteilung


Herleitung aus Binomial-Verteilung und
Grenzwert für t gegen Null
Dichtefunktion
e-l l x
P(X = x) =
x!
-l

Verteilungsfunktion P(X £ x) = e

Mittelwert E[X] = l

Varianz Var[X] = l
SSE Zimmermann
Systementwurf
ëxû
li
å i!
i=0
(x Î )
(x ³ 0)
Stochastische Grundlagen - 55
Wichtige Verteilungen
 Beispiel Poisson-Verteilung




Ein Kaufhaus wird durchschnittlich alle 10s
von einem Kunden betreten
Werden die pro Minute eintretenden Personen gezählt,
würde man im Mittel 6 Personen erwarten (=6)
P6(n) gibt die Wahrscheinlichkeit dafür an, dass in der
nächsten Minute
genau n Kunden
das Kaufhaus
betreten
Poisson(6)
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 56
 Wahrscheinlichkeit
 Zufallsvariablen
 Verteilung von Zufallsvariablen
 Momente, Quantile
 Einige wichtige Verteilungen


Diskrete Verteilungen
Kontinuierliche Verteilungen
 Bestimmen von Verteilungen
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 57
Wichtige Verteilungen
 Gleichverteilung






Uniform bzw. rectangular U(a, b)
Zufälliger Versuchsausgang mit
gleich wahrscheinlichen Ereignissen
Ereignisraum S = [a, b] a, b Î 
a+b
Mittelwert E(X) =
2
(b - a)2
Varianz Var(X) =
12
Beispiel: Zufallszahlengenerator im Rechner U[0,1]
(näherungsweise)
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 58
Wichtige Verteilungen
 Gleichverteilung

Sei q =
1
b-a
F(X)
1
P(X)
q
a
b
X
Dichtefunktion
SSE Zimmermann
a
b
X
Verteilungsfunktion
Systementwurf
Stochastische Grundlagen - 59
Wichtige Verteilungen
 Exponentialverteilung (exponential distribution)



Wahrscheinlichkeitsdichte
ìï le-lx x > 0
f(x) = ïí
ïï 0
sonst
î
Eindeutig durch den Parameter  (Rate) beschrieben
Anwendungen der kontinuierlichen Exponentialverteilung



Zwischenankunftszeit = Zeit zwischen zwei Aufträgen
Lebenszeit eines Geräts = Zeit bis zum Ausfall
Verteilungsfunktion
ìï1 - e-lx
F(x) = ïí
ïï
0
î
SSE Zimmermann
x>0
Systementwurf
sonst
Stochastische Grundlagen - 60
Wichtige Verteilungen
 Exponentialverteilung

Dichtefunktion


1
2

SSE Zimmermann
3
4
1
4
Systementwurf
Stochastische Grundlagen - 61
Wichtige Verteilungen
 Exponentialverteilung

Verteilungsfunktion
1
l=
0.8
3
4
l=
0.6
1
2
l=
1
4
0.4
0.2
0
0
SSE Zimmermann
2
4
Systementwurf
6
8
10
Stochastische Grundlagen - 62
Wichtige Verteilungen
 Exponentialverteilung


Erwartungswert
E[X] =
ò0

x⋅l⋅e
1
dx =
l
Schaltrate:  (pro Zeiteinheit des Modells)
Mittlere Zeit bis zum Schalten: 1/ 
Varianz
Var [ X ] =
¥
ò
(x - l1 ) l1 ⋅ e-lx dx =  =
0

-lx
Transitionen im stochastischen Petri-Netz mit
exponential verteilter Schaltzeit


¥
1
l2
Gedächtnislosigkeit

Häufig in der Leistungs- und Zuverlässigkeitsbewertung
eingesetzt, da analytisch sehr einfach zu behandeln
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 63
Wichtige Verteilungen
 Erlang-Verteilung


A. K. Erlang, 1878-1929
Annahmen



Vorgang aus r aufeinander folgenden Phasen
Jeweilige Dauer ist exponentialverteilt
Mit gleichem Parameter 

Dann ist Gesamtdauer Erlang-verteilt (r=1: Exponential-V.)

l r tr-1e-lt
Dichtefunktion f(t) =
(r - 1)! r-1


(lt)k -lt
Verteilungsfunktion F(t) = 1 - å
e
k=0 k !
Erlang: Spezialfall wenn r positiv ganzzahlig ist; sonst
Gamma-Verteilung (nicht geschlossen darstellbar)
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 64
Wichtige Verteilungen
 Erlang-Verteilung
r
l
r
Var(X) = 2
l

Mittelwert E(X) =

Varianz

Beispiele für
Dichtefunktionen
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 65
Wichtige Verteilungen
 Hypoexponential-Verteilung

Verallgemeinerung der Erlang-Verteilung, falls nicht alle
Phasen den gleichen Parameter  haben
 Hyperexponential-Verteilung

k alternative Phasen statt aufeinander folgende Phasen
k

Dichtefunktion f(t) =
-l i t
a
l
e
å i i
i =1

Verteilungsfunktion F(t) =
k
-l i t
a
(1
e
)
å i
i =1
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 66
Wichtige Verteilungen
 Normalverteilung oder Gauß-Verteilung
(normal or Gaussian distribution)


C. F. Gauss, 1777-1855
Beschreibung vieler natürlicher Vorgänge



Grund: die Verteilung der Summe unabhängiger,
(identisch verteilter) Zufallsvariablen strebt gegen eine
Normalverteilung


... die zufällig um einen Mittelwert herum variieren
... oder Ergebnis einer Menge von einzelnen Vorgängen sind
zentraler Grenzwertsatz
Verwendung in statistischen Schätzverfahren
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 67
Wichtige Verteilungen
 Normalverteilung
x -m 2
1
- 21 ( s )
⋅e
f(x) =
s 2p

Dichtefunktion

Verteilungsfunktion: nicht geschlossen darstellbar
Normalverteilung ist definiert durch




Mittelwert 
Varianz 2
Bezeichnung N(, 2)
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 68
Wichtige Verteilungen
 Normalverteilung

Beispiel:  = 2, 2 = 1
0.4
f(x)
0.3

0.2
0.1
2
3
0
-1
SSE Zimmermann
0
1
Systementwurf
2
3
4
5
x
Stochastische Grundlagen - 69
Wichtige Verteilungen
 Normalverteilung

Mit welcher Wahrscheinlichkeit liegt eine Zufallsgröße X
innerhalb eines Vielfachen der Standardabweichung  ?
P(m - s < X £ m + s) = 0.683
P(m - 2s < X £ m + 2s) = 0.955
P(m - 3s < X £ m + 3s) = 0.997

Das Integral für F(x) ist nicht geschlossen lösbar


Benutzung von Tabellen einer standardisierten Version
Standardisierte Normalverteilung


Zufallsvariable Z ist normalverteilt mit Mittelwert  = 0 und
Standardabweichung  = 1
Werte von FZ (x) sind tabelliert, Umrechnung:
FX (x) = FZ ( x -m
s )
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 70
Wichtige Verteilungen
 Weibull-Verteilung

E. Weibull, 1887-1979
Beschreibung von Lebensdauern (MTTF)
Parametereinstellung geeignet für alle Phasen der
„Badewannen-Kurve“ von Ausfällen
b-1 -atb
Dichtefunktion f(t) = abt e

Verteilungsfunktion F(t) = 1 - e-at

Sonderfall: Exponentialfunktion für  =1

Bezeichnung: Weibull(, )



b

Parameter: Form , Skalierung 
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 71
Wichtige Verteilungen
 Weibull-Verteilung

Dichte
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 72
 Wahrscheinlichkeit
 Zufallsvariablen
 Verteilung von Zufallsvariablen
 Momente
 Quantile
 Einige wichtige Verteilungen
 Bestimmen von Verteilungen
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 73
Bestimmen von Verteilungen
 Wichtige Festlegung bei der Modellerstellung


Systemteile (Servicedauer, Lagerzeit, …)
Lastmodell (Ankunftsrate, Paketlänge, …)
 Nötige Informationen


Art der Verteilung
Parameter (Lage und Form)
 Woher?




Messen von Teilsystemen
Übernehmen bekannten Verhaltens
Sinnvolle Annahmen
Auch hier: Abwägung Genauigkeit – Aufwand!
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 74
Bestimmen von Verteilungen
 Schritte

Überblick über charakteristische Werte


Histogramm


„summary statistics“
Z.B. Balkendiagramm
Art der Verteilung vermuten

Listen und Bilder, Erfahrungen was wo passt

Parameter aus Messwerten berechnen

Alternativ: Spezialsoftware einsetzen

SPSS, http://www.freestatistics.info/ …
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 75
Bestimmen von Verteilungen
 Typische Anwendung von Verteilungen






Fest getaktet, feste Paketlänge etc. – Deterministisch
Verteilung mit Maximum und Minimum – Gleichverteilung
Ebenso mit höherer Wahrscheinlichkeit dazwischen
– Dreiecksverteilung
Max, Min mit anpassbarem Mittelwert und Varianz – Beta
Natürliche Vorgänge mit Schwankung um einen
Mittelwert – Normalverteilung
Vorgänge mit gedächtnislosem Verhalten – Exponentialoder geometrische Verteilung


Oft ausgelöst durch eine Population unabhängiger Akteure
mit Poisson-Ankunftsprozess
Analytisch einfach zu handhaben
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 76
Bestimmen von Verteilungen
 Typische Anwendung von Verteilungen

Zuverlässigkeitsuntersuchungen, Lebensdauer


Zeit bis zum Abschluss einer Aktion





Gamma, Weibull, Lognormal, Pearson, Log-logistic
Große Werte, großer Variationskoeffizient


Weibull, Pareto, Exponential
heavy-tailed distribution? Pareto
Spitze bei kleinen Werten: lognormal
Positive Werte, Varianz nahe Eins: Exponentialverteilung
Positive Werte, Varianz > 1: Weibull oder Gamma (<1)
… siehe auch Kapitel Stochastische Grundlagen
gute Übersicht: Buch von Law/Kelton (Handout)
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 77
Bestimmen von Verteilungen
 Eingangsdaten: Messen


Erheben von Einzelwerten
Statistisch aussagekräftig:
gesamten modellierten Vorgang abdecken


Oft Instrumentierung des gemessenen Objekts nötig



Sonst Verfälschung!
Einfluss auf Messwerte beachten
Realistische Umgebung herstellen
Ausreichende Anzahl

Genauigkeit: Simulations-Kapitel
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 78
Bestimmen von Verteilungen
 Charakterisierung der Messwerte




Daten x1, x2, , x n
Anzahl n
Achtung: Aus Messwerten gewonnene Informationen sind
keine genauen Daten für die Ursprungsverteilung!
Minimal- und Maximalwert min(x i ) max(x i )
n

Mittelwert (sample mean)

Median
SSE Zimmermann
1
mˆ = å x i
n i=1
Systementwurf
Stochastische Grundlagen - 79
Bestimmen von Verteilungen
 Charakterisierung der Messwerte
n


1
2
Varianz (sample variation) S2 (n) =
ˆ
(x
)
m
i
n -1å
i =1
Variationskoeffizient
(coefficient of variation)
CoV =
S2 (n)
mˆ
n
nˆ(n) =

Schiefe (skewness)

Größte Werte (mode)
SSE Zimmermann
Systementwurf
3
ˆ
m
(x
)
n
å i
i =1
3
[ S (n) ] 2
2
Stochastische Grundlagen - 80
Bestimmen von Verteilungen
 Histogramm

Anzahl der k Kategorien auswählen für n Messwerte
 Sturge‘s Rule: k = ê 1 + log n ú
ë
2 û



Probieren für „gutes“ Aussehen der Kurve
Messwerte in Kategorien einteilen und zählen
Anzahl jeweils auf y-Achse abtragen
 Art der Verteilung ableiten


Mit Bildern vergleichen
Anhand grundsätzlicher Erwägungen ausschließen


Positive Werte, symmetrisch, …
Gewichtete Summen von bekannten Verteilungen
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 81
Bestimmen von Verteilungen
k = êë 1 + log2 n úû
Histogramm-Beispiel
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 82
Bestimmen von Verteilungen
 Parameter schätzen

Arten von Parametern





Location (shift), z.B. Mittelwert der Normalverteilung
Scale, z.B. Standardabweichung für Normalverteilung
Shape, z.B. Beta-Verteilung, skewness
Mittelwert und Varianz siehe Charakterisierung
Maximum-Likelihood-Schätzer (MLE) für individuelle
Verteilungen siehe Literatur (Handout Law/Kelton)
 Auswahl und Parameterbestimmung



„Kurven-Fitting“
Numerische Maße für die Qualität der Anpassung
Statistische Testmethoden für Annahme oder Ablehnung
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 83
Bestimmen von Verteilungen
 Überprüfen der Qualität der Funktion

Gemeinsame grafische Darstellung von geschätzter
Dichtefunktion und Histogramm der Messwerte



Grafische Darstellung der Differenz der
Verteilungsfunktionen


Entsprechend für diskrete Verteilung: Häufigkeitsverteilung
Genaue Übereinstimmung: perfekte Anpassung
Horizontale Linie: Perfekt
Mathematische Verfahren


Chi-Quadrat-Test
Kolmogorow-Smirnow-Test
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 84
Bestimmen von Verteilungen
Quelle: Willig
SSE Zimmermann
Systementwurf
Stochastische Grundlagen - 85