Statistik

I, 1–60 (2013)
c 2013
Statistik
Dr. Jürgen Bolik
Technische Hochschule Nürnberg
f
X
n=1
n=3
n=5
x
TH Nürnberg
2
Inhaltsverzeichnis
1
2
Deskriptive Statistik
1.1 Skalen . . . . . . . . . . . . . . . . . . . . . . . . .
1.2 Der Begriff der Häufigkeit . . . . . . . . . . . . . .
1.3 Beschreibung von Häufigkeitsverteilungen . . . . . .
1.3.1 Lagemaße . . . . . . . . . . . . . . . . . . .
1.3.2 Streuungsmaße . . . . . . . . . . . . . . . .
1.3.3 Maße der Schiefe und Wölbung . . . . . . .
1.4 Der Begriff der Wahrscheinlichkeit . . . . . . . . . .
1.5 Kombinatorik . . . . . . . . . . . . . . . . . . . . .
1.6 Die bedingte Wahrscheinlichkeit und die
Unabhängigkeit von Ereignissen . . . . . . . . . . .
1.7 Bivariate Datenanalyse . . . . . . . . . . . . . . . .
1.8 Das Gaußsche Fehlerfortplanzungsgesetz . . . . . .
1.9 Lineare Regression . . . . . . . . . . . . . . . . . .
1.10 Zufallsvariablen und Wahrscheinlichkeitsverteilungen
1.10.1 Kenngrößen von Zufallsvariablen . . . . . .
1.10.2 Die Binomialverteilung . . . . . . . . . . . .
1.10.3 Die Hypergeometrische Verteilung . . . . . .
1.10.4 Die Poisson-Verteilung . . . . . . . . . . . .
1.10.5 Die Gaußsche Normalverteilung . . . . . . .
1.10.6 Die χ2 -Verteilung . . . . . . . . . . . . . . .
1.11 Grenzwertsätze . . . . . . . . . . . . . . . . . . . .
1.12 Übungsaufgaben . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
3
3
4
5
5
8
9
10
12
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
15
17
23
25
30
31
34
36
36
40
43
44
45
Induktive Statistik
2.1 Schätzen von Parametern . . . . . . . . . .
2.2 Testen von Hypothesen . . . . . . . . . . .
2.2.1 Einseitiger Einstichproben-Gaußtest
2.2.2 Der χ2 -Anpassungstest . . . . . . .
2.3 Übungsaufgaben . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
47
47
52
52
54
57
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
TH Nürnberg
1
3
Deskriptive Statistik
1.1
Skalen
• Nominalskala
Bei Nominalskalen wird lediglich die Gleichheit oder Ungleichheit von Beobachtungen
innerhalb eines Merkmals festgestellt. Dabei wird das Merkmal durch verschiedene Begriffe oder Namen (lateinisch: nomen) untergliedert.
Beispiel: Das Merkmal ”Familienstand” wird durch Zuweisung eines Begriffs, wie ledig,
verheiratet, geschieden, verwitwet, charakterisiert.
• Ordinalskala
Liegt eine Ordinalskala vor, so kann, über Nominalskalen hinaus, auch die Ordnung (lateinisch: ordo) innerhalb eines Merkmals unterschieden werden.
Beispiel: Die Wochenarbeitszeit lässt sich als geordnete Menge beschreiben.
• Intervallskala
Unter einer Intervallskala wird eine Skala verstanden, die bei gleichen Differenzen der
beobachteten Quantitäten gleiche Differenzen der Messwerte impliziert.
Beispiel: Die Celsius- und die Fahrenheit-Skalen zur Temperaturmessung
• Verhältnisskala
Eine Verhältnisskala verfügt, neben den Eigenschafen einer Intervallskala, über einen
absoluten Nullpunkt und hat weist demnach keine negativen Werte auf.
Beispiel: Die Kelvin-Skala zur Temperaturmessung
TH Nürnberg
1.2
4
Der Begriff der Häufigkeit
Seien x1 , ..., xn die beobachteten Merkmalswerte eines Merkmals X mit Ausprägungen a1 , ..., ak ,
wobei
xi = aj (i) , i = 1, ..., n , j = 1, ..., k .
Beispiel
Bei einer Befragung der Studierenden wird untersucht, welche Verkehrsmittel vorwiegend für
den Weg zur Hochschule genutzt werden. Dabei kennzeichne
• a1 : die vorwiegende Nutzung öffentlicher Verkehrsmittel
• a2 : die vorwiegende Nutzung eines privaten KFZ
• a3 : weitere Möglichkeiten.
Gibt beispielsweise der fünfte Studierende an, er nutze vorwiegend öffentliche Verkehrsmittel,
so kann
x5 = a1 (5)
geschrieben werden.
Als absolute Häufigkeit Hn (aj ) der Ausprägung aj wird die Anzahl der Fälle, in denen aj
auftritt, bezeichnet. Es gilt
n
X
Hn (aj ) = n .
j=1
Der Wert
hn (aj ) =
Hn (aj )
n
wird als relative Häufigkeit bezeichnet.
TH Nürnberg
1.3
1.3.1
5
Beschreibung von Häufigkeitsverteilungen
Lagemaße
• Das arithmetische Mittel
n
k
1X
1X
x̄ =
xi =
aj · Hn (aj ) .
n i=1
n j=1
Beispiele
– Sei
h3 (a1 ) =
81
12
7
, h3 (a2 ) =
, h3 (a3 ) =
100
100
100
und
a1 = 1 , a 2 =
3
, a3 = 5 .
2
Dann gilt
x̄ =
81
3 12
7
134
+ ·
+5
=
.
100 2 100
100
100
– Ein Bastler bestimmt die Länge der ihm zur Verfügung stehenden Holzleisten. Dabei
erhält er für die Holzleisten i, 1 ≤ i ≤ 20, folgende Werte:
i
1
2
3
4
5
Länge xi
in cm
115
130
150
115
185
i
Länge xi
in cm
6
145
7
150
8
150
9
145
10
155
i
11
12
13
14
15
Länge xi
in cm
125
130
150
155
175
Für das arithmetische Mittel ergibt sich
n
1X
1
x̄ =
xi =
· 2920 cm = 146 cm .
n i=1
20
i
16
17
18
19
20
Länge xi
in cm
130
175
145
150
145
TH Nürnberg
6
Für die absoluten und relativen Häufigkeiten der verschiedenen Längen gilt
Länge ai
in cm
115
125
130
145
150
155
175
185
Hn (ai )
hn (ai )
2
1
3
4
5
2
2
1
0, 10
0, 05
0, 15
0, 20
0, 25
0, 10
0, 10
0, 05
Das arithmetische Mittel lässt sich auch mit Hilfe der absoluten Häufigkeiten Hn (ai )
bestimmen. Es gilt
8
1 X
ai Hn (ai ) = 146 cm .
x̄ =
20 i
• Das geometrische Mittel
x̄g =
√
n
x1 · x2 · .... · xn ,
wobei xi ≥ 0, i = 1, ..., n, sei.
Beispiel: Mittelwert prozentualer Veränderungen.
• Das harmonische Mittel
n
,
x̄h = P
n
1
i=1
xi
wobei xi > 0, i = 1, ..., n oder xi < 0, i = 1, ..., n sei.
Beispiel: Mittelwert der Geschwindigkeiten
vi =
4xi
, i = 1, 2 ,
4ti
mit 24xi = 4x und 4t1 + 4t2 = 4t.
TH Nürnberg
7
• Der Median x̃0,5
(
x(n+1)/2
falls n ungerade
x̃0,5 = 1
(x n2 + x n2 +1 ) falls n gerade
2
und das α-Quantil x̃α , mit 0 < α < 1,
(
x[n·α]+1
falls n · α ∈
/Z
,
x̃α = 1
(x
+
x
)
falls
n
·
α
∈
Z
n·α
n·α+1
2
wobei x1 ≤ ... ≤ xn vorausgesetzt sei und [r] den ganzzahligen Anteil von r ∈ R
bezeichne.
Beispiel: Sind 30 Messwerte der Größe nach so geordnet dass, x1 ≤ ... ≤ x30 , dann ist
– der Median der Wert von
x15
– und das 0, 1-Quantil der Wert von
1
(x3 + x4 ) ,
2
da n · α = 30 · 0, 1 = 3.
• Der Modalwert
Der Modalwert (oder Modus) xmod ist der häufigste Beobachtungswert. Demnach gilt
hn (xmod ) ≥ hn (aj ) für j = 1, ..., k .
TH Nürnberg
1.3.2
8
Streuungsmaße
• Die Spannweite
Sei {x1 , ..., xn }, mit x1 ≤ .. ≤ xn , eine geordnete Menge von Beobachtungswerten. Dann
heißt
R := xn − x1
Spannweite (Range) R der Häufigkeitsverteilung.
• Der Quantilsabstand
Der Quantilsabstand R1−α , mit 1 < α < 1, ist definiert als
R1−α = x̃1− α2 − x̃ α2 .
Anmerkung: Das Intervall
[x̃ α2 ; x̃1− α2 ]
enthält mindestens (1 − α) · 100% der Beobachtungswerte.
• Die mittlere absolute Abweichung vom Median dx̃ ist definiert als
n
1X
dx̃ :=
|xi − x̃0,5 | .
n i=1
• Die Varianz und die Standardabweichung
Seien x1 , ..., xn Merkmalswerte und a1 , ..., ak Ausprägungen des betrachteten Merkmals.
Dann wird die (empirische) Varianz der Beobachtungsreihe definiert als
n
s2 :=
1X
(xi − x̄)2 .
n i=1
Damit ist auch die Standardabweichung s durch
√
s = s2
gegeben.
Anmerkung: Eine weitere Definition der Varianz ist durch die Stichprobenvarianz
n
1 X
s =
(xi − x̄)2
n − 1 i=1
2
TH Nürnberg
9
gegeben. Diese Definition führt auf zu einer erwartungstreuen Schätzung der Varianz.
Weiterhin gilt
n
X
2
(xi − x̄) =
i=1
n
X
x2i
k
k
X
X
2
− nx̄ =
(aj − x̄) Hn (aj ) =
Hn (aj ) − nx̄2
i=1
j=1
j=1
Beispiel
Für das zweite Beispiel aus Abschnitt 1.3.1 gilt
s2 =
8
1 X
(aj − 146)2 Hn (aj )
20 j=1
1
((115 − 146)2 · 2 + (125 − 146)2 · 1 + ... + (185 − 146)2 · 1) cm2
20
= 329 cm2
=
und
s = 18 cm .
Demnach weisen die Holzleisten eine durchschnittliche Länge von 146 cm mit einer
durchschnittlichen Abweichung von 18 cm auf.
1.3.3
Maße der Schiefe und Wölbung
Seien x1 , ..., xn die Merkmalswerte einer Beobachtung und x̄ der arithmetische Mittelwert dieser Werte.
• Die Schiefe oder das Schiefemaß nach Fischer, γ1 , ist definiert als
n−1
γ1 :=
(n−1
n
P
(xi − x̄)3
i=1
n
P
.
3
(xi − x̄)2 ) 2
i=1
• Die Wölbung (Exzeß, Kurtosis) γ2 ist definiert als
n−1
n
P
(xi − x̄)4
i=1
γ2 :=
(n
n
P
−1
(xi −
i=1
− 3.
x̄)2 )2
TH Nürnberg
1.4
10
Der Begriff der Wahrscheinlichkeit
Mit wachsendem n nähert sich der Wert von h(A) der Wahrscheinlichkeit P (A) an.
Der Grundraum oder Ereignisraum Ω ist die Menge aller möglichen Ergebnisse eines Zufallsexperiments und damit die Vereinigungsmenge aller Elementarereignisse.
Die Wahrscheinlichkeit P wird durch die Kolmogoroffschen Axiome vollständig beschrieben:
• Positivität
P (A) ≥ 0 für jedes Ereignis A ⊂ Ω
• Normiertheit
P (Ω) = 1
• σ-Additivität
P(
∞
[
Ai ) =
i=1
∞
X
P (Ai )
i=1
für jede Folge paarweise disjunkter Ereignisse Ai ⊂ Ω.
Für die Wahrscheinlichkeit der Vereinigung zweier Ereignisse A1 und A2 gilt demnach
P (A1 ∪ A2 ) = P (A1 ) + P (A2 ) − P (A1 ∩ A2 ) .
Auch andere bekannte Rechenregeln lassen sich aus obigen Axiomen herleiten, wie z. B.
P (Ā) = 1 − P (A)
und
P (A − B) = P (A) − P (B) , falls B ⊂ A .
TH Nürnberg
11
Die Laplace-Wahrscheinlichkeit
Für Zufallsexperimente mit endlich vielen, gleichwahrscheinlichen Ereignissen, lässt sich die
Wahrscheinlichkeit eines Ereignisses mittels
P (A) =
|A|
|Ω|
berechnen. Dabei bezeichnet
|A| : die Anzahl der Elemente von A
und
|Ω| : die Anzahl der Elemente von Ω .
Beispiel
Wird zweimal mit einem herkömmlichen Spielwürfel gewürfelt, so beträgt die Wahrscheinlichkeit, dabei zweimal die Augenzahl 3 zu erhalten, d.h. die Wahrscheinlichkeit für das Ereignis
A = {(3, 3)}
P (A) =
1
.
36
Dabei ist die Ereignisraum Ω:
Ω = {(1, 1), (1, 2), (1, 3), ..., (6, 6)} .
TH Nürnberg
1.5
12
Kombinatorik
Permutationen
Hierbei werden n ∈ N verschiedene Elemente zu einem n-Tupel angeordnet. Eine solche Anordnung wird als n-stellige Permutation bezeichnet.
Gibt es unter den Elementen eines n-Tupels k < n voneinander verschiedene, die mit den
jeweiligen Häufigkeiten n1 , n2 , ... , nk auftreten, wobei
n1 + n2 + ... + nk = n
gilt, so wird die Anordnung zu einem n-Tupel als Permutation mit Wiederholung bezeichnet.
• Permutationen ohne Wiederholung
Für die Anzahl p(n) aller n-stelligen Permutationen ohne Wiederholung gilt
p(n) = n! .
• Permutationen mit Wiederholung
Für die Anzahl p(n; n1 , ..., nk ) aller n-stelligen Permutationen mit n1 , ... , nk Wiederholungen gilt
p(n; n1 , ..., nk ) =
n!
.
n1 ! · ... · nr !
Variationen
Hierbei werden k-Tupel (a1 , ..., ak ) mit ai ∈ {a1 , ..., an } betrachtet. Eine solche Anordnung zu
einem k-Tupel heißt Variation k-ter Ordnung von n Elementen. Gilt ai 6= aj für i 6= j so wird
die Anordnung als Variation k-ter Ordnung von n Elementen ohne Wiederholung bezeichnet.
• Variationen ohne Wiederholung
Für die Anzahl v(n, k) aller Variationen k-ter Ordnung von n Elementen
ohne Wiederholung gilt
v(n, k) =
n!
.
(n − k)!
Beispiel: Werden aus eine Menge mit n Elementen ohne Zurücklegen/Wiederholung k
Elemente ausgewählt und die Reihenfolge dieser Auswahl berücksichtigt, so gibt es v(n, k)
Möglichkeiten.
TH Nürnberg
13
• Variationen mit Wiederholung
Für die Anzahl v ∗ (n, k) aller Variationen k-ter Ordnung von n Elementen
mit Wiederholung gilt
v ∗ (n, k) = nk .
Beispiel: Werden aus eine Menge mit n Elementen mit Zurücklegen/Wiederholung k Elemente ausgewählt und die Reihenfolge dieser Auswahl berücksichtigt, so gibt es v ∗ (n, k)
Möglichkeiten.
Kombinationen
Eine Kombination ist eine Teilmenge mit k Elementen, die aus einer Menge mit n Elementen
ausgewählt wird. Eine solche k-elementige Teilmenge heißt Kombination k-ter Ordnung von n
Elementen.
• Kombinationen ohne Wiederholung
Für die Anzahl c(n, k) aller Kombinationen k-ter Ordnung von n Elementen ohne Wiederholung gilt
n
n!
.
c(n, k) =
=
k!(n − k)!
k
Beispiel: Werden aus eine Menge mit n Elementen ohne Zurücklegen/Wiederholung k
Elemente ausgewählt und die Reihenfolge dieser Auswahl nicht berücksichtigt, so gibt es
c(n, k) Möglichkeiten.
• Kombinationen mit Wiederholung
Für die Anzahl c∗ (n, k) aller Kombinationen k-ter Ordnung von n Elementen mit Wiederholung gilt
n+k−1
n + k − 1!
∗
.
c (n, k) =
=
k
k!(n − 1)!
Beispiel: Werden aus eine Menge mit n Elementen mit Zurücklegen/Wiederholung k Elemente ausgewählt und die Reihenfolge dieser Auswahl nicht berücksichtigt, so gibt es
c∗ (n, k) Möglichkeiten.
Beispiele
• Es gibt
49
= 13 983 816
6
Möglichkeiten, aus 49 Zahlen, sechs verschiedene Zahlen auszuwählen.
TH Nürnberg
14
• Sollen jeweils zehn Gegenstände, von denen es vier verschiedene Sorten gibt, in eine Tüte
gefüllt werden, so existieren
4 + 10 − 1
= 286
10
Möglichkeiten, eine Tüte zu befüllen.
TH Nürnberg
1.6
15
Die bedingte Wahrscheinlichkeit und die
Unabhängigkeit von Ereignissen
P (B|A) bezeichnet die Wahrscheinlichkeit für das Eintreten des Ereignisses B unter der Bedingung, dass das Ereignis A bereits eingetreten ist (bedingte Wahrscheinlichkeit).
Es gilt
P (B|A) =
P (B ∩ A)
.
P (A)
Beispiel
Ein elektronisches Bauteil kann beispielsweise durch Kurzschluss ausfallen. Beträgt die Wahrscheinlichkeit P (d), dass ein Bauteil defekt ist 5% und die Wahrscheinlichkeit P (K ∩ d), dass
ein Bauteile durch Kurzschluss ausgefallen ist 3%, so beträgt die Wahrscheinlichkeit P (K|d),
dass ein defektes Bauteil durch Kurzschluss ausgefallen ist
P (K|d) =
0, 03
P (K ∩ d)
=
= 0, 6 .
P (d)
0, 05
Satz von der totalen Wahrscheinlichkeit: Seien A1 , ..., Ak paarweise disjunkte Ereignisse mit
k
[
Ai = Ω .
i=1
Dann gilt für ein beliebiges Ereignis B
P (B) =
k
X
P (B|Ai )P (Ai ) .
i=1
Beispiel
Eine Tierarzpraxis in England beschäftigt drei Ärzte A1 , A2 und A3 . Arzt A1 leitet die Praxis
und arbeitet 4h pro Tag im Außendienst, die Ärzte A2 und A3 jeweils 8h pro Tag. Sei B das
Ereignis, dass bei einer Anfrage nur ein Hausbesuch notwendig ist. Unter P (B|Ai ) verstehen
wir die Wahrscheinlichkeit, dass Arzt Ai für eine Nachfrage nur einen Hausbesuch benötigt.
Hier sei
P (B|A1 ) = 0, 9 , P (B|A2 ) = 0, 8 , P (B|A3 ) = 0, 75 .
Es gilt
P (B) = P (B|A1 )P (A1 ) + P (B|A2 )P (A2 ) + P (B|A3 )P (A3 ) ,
TH Nürnberg
16
wobei P (Ai ) die Wahrscheinlichkeit angibt, dass der Arzt Ai den Hausbesuch abstattet. Demnach erhalten wir
P (B) = 0, 9 ·
1
2
2
+ 0, 8 · + 0, 75 · = 0, 8 .
5
5
5
Zwei Ereignisse A und B werden als (stochastisch) unabhängig bezeichnet, wenn
P (A ∩ B) = P (A)P (B)
gilt. Das ist gleichbedeutend mit
P (B|A) = P (B)
bzw.
P (A|B) = P (A) .
Die Bayessche Formel
Für zwei Ereignisse A und B gilt
P (B|A) =
P (B ∩ A)
.
P (A)
Die Wahrscheinlichkeit P (B ∩ A) wiederum, lässt sich folgendermaßen ausdrücken:
P (B ∩ A) = P (A|B)P (B) .
Ferner gilt
P (A) = P (A|B)P (B) + P (A|B̄)P (B̄) .
Zusammengefasst erhalten wir die Bayessche Formel
P (B|A) =
P (A|B)P (B)
.
P (A|B)P (B) + P (A|B̄)P (B̄)
Diese lautet für paarweise disjunkte Ereignisse A1 , ..., Ak mit
k
[
Ai = Ω .
i=1
und ein beliebiges Ereignis B:
P (Ai |B) =
P (B|Ai )P (Ai )
.
k
P
P (B|Aj )P (Aj )
j=1
TH Nürnberg
1.7
17
Bivariate Datenanalyse
Seien X und Y Merkmale, die in n Untersuchungen, die Ausprägungen
ai , i = 1, ..., l für X
und
bk , k = 1, ..., m für Y
zeigen. Die Werte
Hik = H(ai , bk ) , i = 1, ..., l , k = 1, ..., m ,
geben die absolute Häufigkeit der einzelnen Ausprägungen (ai , bk ) an.
Die Zeilensummen Hi· lassen sich mittels
Hi· :=
m
X
Hik
k=1
und die Spaltensummen mittels
H·k :=
l
X
Hik
i=1
berechnen.
Satz: Sind die Merkmale X und Y unabhängig, so gilt
H̃ik =
Hi· H·k
für i = 1, ..., l, k = 1, ..., m .
n
Beispiel
Für das Merkmal (X, Y ) seien folgende Häufigkeitswerte gegeben:
x1
x2
x3
x4
n·j
y1
y2
Hi·
3
6
12
9
30
7 10
14 20
28 40
21 30
70 100
TH Nürnberg
18
Daher gilt für die bedingten Häufigkeitsfunktionen
x1
x2
x3
x4
sonst
h(xi |y1 )
h(xi |y2 )
3
30
6
30
12
30
9
30
7
70
14
70
28
70
21
70
Summe
=
=
=
=
0
1
10
2
10
4
10
3
10
1, 0
=
=
=
=
0
1
10
2
10
4
10
3
10
1, 0
Da die bedingten relativen Häufigkeitsfunktionen h(xi |y1 ) und h(xi |y2 ) für das Merkmal X
gleich sind, ist das Merkmal X statistisch unabhängig vom Merkmal Y .
Für metrisch skalierte Merkmale (X, Y ) ist der Korrelationskoeffizient nach Bravais-Pearson
rXY gegeben. Treten die Ausprägungen (ai , bk ), i = 1, ..., l, k = 1, ..., m, mit Häufigkeiten Hik
auf, so wird dieser als
l P
m
P
(ai − ā)(bk − b̄)Hik
i=1 k=1
rXY := s
(
l
P
(ai − ā)2 Hi· )(
i=1
m
P
(bk − b̄)2 H·k )
k=1
definiert.
Es gilt
l P
m
P
ai bk Hik − n ā b̄
i=1 k=1
rXY = s
(
l
P
i=1
n
P
xi yi − n x̄ ȳ
i=1
a2i Hi· − nā2 )(
m
P
k=1
=r n
.
n
P 2
P
2
2
2
( xi − n x̄ )( yi − n ȳ )
b2k H·k − n b̄2 )
i=1
i=1
Da die empirische Varianz s2 einer Beobachtungsreihe x1 , ..., xn durch
n
n
1 X 2
1X
2
(xi − x̄) = (
s :=
xi − nx̄2 )
n i=1
n i=1
2
und die empirische Kovarianz zwischen X und Y durch
sXY
n
n
1 X
1X
(xi − x̄)(yi − ȳ) = (
xi yi − n x̄ ȳ)
:=
n i=1
n i=1
TH Nürnberg
19
gegeben ist, gilt demnach
rXY =
sXY
.
sx · sy
Beispiel
Wir nehmen an, dass bei gleichbleibenden Ausprägungen des Merkmals X, die Ausprägungen
des Merkmals Y folgendermaßen varriieren:
xi
0
2
4
6
8
10
12
14
rXY
yi
2
1
4
3
6
5
8
7
0, 905
yi
4
3
2
1
8
7
6
5
0, 52
yi
1
8
2
7
3
6
4
5
0, 19
yi
2
7
5
3
8
4
1
6
0, 00
yi
yi
3
8
8
6
5
4
2
2
7
7
4
3
1
5
6
1
−0, 14 −0, 62
Y
r XY =0,905
X
Abbildung 1.1 Korrelation mit rXY = 0, 905
TH Nürnberg
20
Y
r XY =0,52
X
Abbildung 1.2 Korrelation mit rXY = 0, 52
Y
r XY =0,19
X
Abbildung 1.3 Korrelation mit rXY = 0, 19
TH Nürnberg
21
Y
r XY =0,00
X
Abbildung 1.4 Korrelation mit rXY = 0, 00
Y
r XY =−0,14
X
Abbildung 1.5 Korrelation mit rXY = −0, 14
TH Nürnberg
22
Y
r XY =−0,62
X
Abbildung 1.6 Korrelation mit rXY = −0, 62
TH Nürnberg
1.8
23
Das Gaußsche Fehlerfortplanzungsgesetz
Um zu bestimmen, wie sich Fehler von Messungen in einer Meßgröße niederschlagen, betrachten wir die jeweilige funktionale Abhängigkeit und bestimmen neben dem resultierenden Mittelwert auch die resultierende Abweichung der Meßgröße nach dem Fehlerfortplanzungsgesetz
von Gauß.
Dabei nehmen wir an, dass die Messgröße
f : U → R, x 7→ f (x) ,
mit U ⊂ Rn , von x = (x1 , ..., xn ) abhängt. Werte der Variablen xi werden durch eine Messung
bestimmt. Dabei treten Messfehler auf, so dass wir statt xi die Große xi ± 4xi betrachten.
Für f : U → R mit U ⊂ Rn können wir, bei kleinen, nicht-korrelierten Fehlern
p
4xi = Var Xi
die Näherung
n
X
∂f
(4z) ≈
(
(x = µ))2 (4xi )2
∂x
i
i=1
2
verwenden. Dabei sei µi := E(Xi ) und µ = (µ1 , µ2 , ..., µn ).
Beispiel
Für den Ohmschen Widerstand gilt
R = R(U, I) =
U
.
I
Hier erfolgt die Messung des Widerstandes R anhand einer Messung der Spannung U und der
Stromstärke I.
U0
Sei U0 := µ1 , I0 := µ2 und R0 :=
.
I0
Es gilt
∂R
1
= ,
∂U
I
∂R
U
=− 2
∂I
I
und
(4R)2 ≈ (
1 2
U0
1
) (4U )2 + ( 2 )2 (4I)2 = ( )2 ((4U )2 + R02 (4I)2 )
I0
I0
I0
TH Nürnberg
24
Somit erhalten wir für I = (10 ± 0, 3) A und U = (220 ± 2) V
R0 =
U0
= 22, 0 Ω
I0
und
1
4R ≈
I0
r
q
1
9
(4U )2 + R02 (4I)2 =
22 + 222 ·
Ω ≈ 0, 7 Ω .
10
100
TH Nürnberg
1.9
25
Lineare Regression
Lassen sich die Daten der Ausprägungen zweier Merkmale X und Y näherungsweise in Form
eines linearen Zusammenhangs darstellen, so verhilft die lineare Regressionsrechnung zu einer
genaueren Analyse der funktionalen Abhängigkeit beider Merkmalsausprägungen. Dabei liegen
die Daten in Form von Wertepaaren (x1 , y1 ), ...., (xn , yn ), mit xi , yi ∈ R, vor.
Es wird davon ausgegangen, dass
yi = α + βxi + ci für i = 1, ..., n
gilt. Hier sind α, β, ci ∈ R, wobei die Größen ci zufällige Fehler darstellen.
Die Methode der kleinsten Quadrate
Die Parameter α und β sollen so bestimmt werden, dass durch die Regressionsgerade
ŷ = a + bx
eine möglichst gute Schätzung ŷ für die Ausprägung y des Merkmals Y bietet.
Ein geeignetes Maß für die Güte dieser Schätzung stellt die Summe der Abweichungsquadrate
2
S =
n
X
(yi − ŷi )2
i=1
dar, wobei
ŷi := a + bxi
sei. Nun sollen die Schätzgrößen a und b für α und β so bestimmt werden, dass S 2 minimal
wird.
TH Nürnberg
26
y
6
( xi , yi)
5
̂y =a +b x
4
3
( x i , ŷ i )
2
1
0
0
1
2
3
4
5
6
7
8
x
Abbildung 1.7 Methode der kleinsten Quadrate
Die Parameter a und b ergeben sich dann als Lösungen des Normalengleichungssystems
n
X
∂S 2
= −2
(yi − a − bxi ) = 0
∂a
i=1
und
n
X
∂S 2
= −2
xi (yi − a − bxi ) = 0 .
∂b
i=1
Nach der ersten der beiden Gleichungen ist der Schätzwert für α
a = ȳ − bx̄ ,
wobei
n
n
1X
1X
x̄ =
xi und ȳ =
yi
n i=1
n i=1
die Mittelwerte der Größen xi bzw. yi sind.
Die zweite Gleichung impliziert
n
n
1X
1X 2
xi yi − ȳx̄ + bx̄2 − b
x = 0.
n i=1
n i=1 i
Nach dieser Gleichung und mit Hilfe der Identitäten
n
X
i=1
(xi − x̄)(yi − ȳ) =
n
X
i=1
xi yi − nx̄ȳ
TH Nürnberg
27
und
n
X
(xi − x̄)2 =
i=1
n
X
x2i − x̄2 n
i=1
erhalten wir schließlich
n
P
b=
(xi − x̄)(yi − ȳ)
i=1
n
P
,
(xi − x̄)2
i=1
den Schätzwert für β.
Beispiel
Gesucht ist die Regressionsgerade für folgende Daten (xi , yi ):
(−4, −3), (−2, 1), (−1, 0), (0, 1), (4, 5) .
Die Schätzwerte a und b lassen sich mittels
5
X
xi = −4 − 2 − 1 + 0 + 4 = −3 ,
i=1
5
X
5
X
yi = −3 + 1 + 0 + 1 + 5 = 4 ,
i=1
x2i = 42 + 22 + 1 + 0 + 42 = 37
i=1
und
5
X
xi yi = (−4) · (−3) + (−2) · 1 + (−1) · 0 + 0 · 1 + 4 · 5 = 30
i=1
bestimmen. Demnach gilt
30 · 5 + 12 + b(9 − 5 · 37) = 0
und
5a = 4 + 3b .
TH Nürnberg
28
Die Parameter der Regressionsgerade
y = a + bx
sind daher
a ≈ 1, 35 , b ≈ 0, 92 .
y
6
5
4
3
2
1
0
-5
-4
-3
-2
-1
-1
0
1
2
3
4
5
x
-2
-3
-4
Abbildung 1.8 Datenpunkte und die zugehörige Regressionsgerade
Treten nicht nur zwei, sondern allgemein m unabhängige Merkmale auf, so verwenden wir bei
einem linearen Ansatz als Schätzfunktion
ŷi = a0 + a1 x1i + a2 x2i + ... + am xmi .
Mit

1
1

.
X=
.

.
1
x11
x12
.
.
.
x1n
x21
x22
.
.
.
x2n
...
...
.
.
.
...

xm1
xm2 

. 

. 

. 
xmn
und




y1
a0
 y2 
 a1 
 


 . 
 . 



y=
 . , a =  . 
 


 . 
 . 
yn
am
TH Nürnberg
29
folgt
a = (X t X)−1 X t y
Beweis
Es gilt
ŷ = Xa .
Gemäß der Methode der kleinsten Quadrate wird
2
S =
n
X
(yi − ŷi )2
i=1
minimiert. Mit Hilfe der euklidischen Norm k.k können wir auch
S 2 = ky − Xak2 = (y − Xa)t (y − Xa) = y t y − y t Xa − (Xa)t y + (Xa)t Xa
= at xt Xa − 2y t Xa + y t y
schreiben.
Differenzieren wir S 2 nach a0 , a1 , ..., am und beachten, dass grad S 2 = 0 eine notwendige
Bedingung für das Vorliegen eines kritischen Punktes ist, so erhalten wir
n
X
yi = a0 n + a1
n
X
i=1
n
X
i=1
n
X
i=1
yi x1i = ao
yi x2i = a0
n
X
i=1
n
X
i=1
x1i + a1
x2i + a1
i=1
..
.
n
X
x1i + a2
yi xmi = a0
i=1
n
X
i=1
n
X
i=1
n
X
x21i + a2
i=1
xmi
i=1
n
X
x1i x2i + a2
i=1
xmi + a1
n
X
x2i x1i + ... + am
i=1
..
.
n
X
x2i + ... + am
n
X
i=1
..
.
n
X
i=1
x22i + ... + am
x1i xmi + a2
..
.
n
X
i=1
n
X
i=1
n
X
xmi x1i
xmi x2i
i=1
x2i xmi + ... + am
..
.
n
X
x2mi .
i=1
Demnach gilt
X t Xa = X t y
und daher
a = (X t X)−1 X t y .
Da die Matrix X t X positiv definit ist, existiert deren Inverse und S 2 besitzt in a ein isoliertes
lokales Minimum.
TH Nürnberg
1.10
30
Zufallsvariablen und Wahrscheinlichkeitsverteilungen
Eine Zufallsgröße oder Zufallsvariable ist eine Funktion X : Ω → R,
• deren Werte reelle Zahlen sind, die durch ein Zufallsexperiment bestimmt werden
• und deren Ereignissen Wahrscheinlichkeiten zugeordnet sind.
Der Wert x, den die Zufallsvariable X annimmt, heißt Realisation von X.
Betrachten wir die Ereignisse X ≤ t einer Zufallsvariable X, so erhalten wir mit
FX (t) = P (X ≤ t)
die Verteilungsfunktion oder Wahrscheinlichkeitsverteilung der Zufallsvariablen X.
Die Funktion FX besitzt folgende Eigenschaften:
(i) FX ist monoton wachsend.
(ii) FX ist rechtsseitig stetig, d.h.
lim FX (t + h) = FX (t) .
h&0
(iii) FX besitzt die Grenzwerteigenschaften
lim FX (t) = 1
t→∞
und
lim FX (t) = 0 .
t→−∞
Ist die Zufallsvariable X diskret mit den möglichen Realisationen x1 , x2 , ..., so gilt für die
Verteilungsfunktion
X
FX (t) =
P (X = xi ) .
{i∈N|xi ≤t}
Existiert zu einer Verteilungsfunktion FX eine Funktion fX , so dass
Zt
FX (t) =
fX (ξ)dξ
−∞
gilt, dann wird die Wahrscheinlichkeitsverteilung als stetige Verteilung bezeichnet.
Die Funktion fX heißt Dichtefunktion oder Dichte.
TH Nürnberg
1.10.1
31
Kenngrößen von Zufallsvariablen
Ist X eine stetige Zufallsvariable mit einer Dichte f , für welche das Integral von xf (x) über R
existiert, so gilt für den Erwartungswert oder Mittelwert EX:
Z∞
x · f (x) dx .
EX =
−∞
Ist die Zufallsvariable X diskret mit den möglichen Realisationen x1 , x2 , ..., so gilt
EX =
∞
X
xi · P (X = xi ) .
i=1
Unter der Varianz einer Zufallsgröße X verstehen wir die Größe
Var X := E(X − EX)2 .
Die Größe σ, definiert durch
2
σ 2 = σX
:= Var X
heißt Standardabweichung.
Ungleichung von Tschebyscheff: Ist c ∈ R∗+ , so gilt
P (|X − EX| ≥ c) ≤
Var X
.
c2
Demnach erhalten wir
P (|X − EX| ≥ k · σ) ≤
σ2
1
= 2
2
(k · c)
k
für k · σ ∈ R∗+ . So lässt sich beispielweise herleiten, dass die Wahrscheinlichkeit von Werte die
mindestens 3σ vom Erwartungswert abweichen, höchstens 19 beträgt.
Satz von Steiner: Es gilt
Var X = EX 2 − (EX)2
TH Nürnberg
32
Ist FX eine stetige Verteilung, so gilt für das α-Quantil ξα
Zξα
FX (ξα ) =
fX (x) dx = α .
−∞
f (x)
α
ξα
x
Abbildung 1.9 Das α-Quantil einer stetigen Verteilung
Für α =
1
2
erhalten wir den Median.
Sind X und Y Zufallsvariablen, dann ist die Kovarianz definiert durch
Cov(X, Y ) := E(X − EX)(Y − EY ) .
Ist Cov(X, Y ) = 0, so werden die Zufallsvariablen X und Y als unkorreliert bezeichnet. Sind
die Zufallsvariablen X und Y stochastisch unabhängig, so folgt
E(X1 · X2 ) = E(X1 ) · E(X2 )
und daher Cov(X, Y ) = 0. Die Umkehrung dieser Schlussfolgerung gilt jedoch nicht allgemein.
Weiterhin gilt
Cov(X1 , X2 ) = E(X1 · X2 ) − E(X1 )E(X2 ) ,
Cov(X1 + X2 , Y ) = Cov(X1 , Y ) + Cov(X2 , Y ) ,
Cov(X, Y1 + Y2 ) = Cov(X, Y1 ) + Cov(X, Y2 ) ,
Cov(a0 + a1 X, b0 + b1 Y ) = a1 b1 Cov(X, Y ) für a0 , a1 , b0 , b1 ∈ R .
TH Nürnberg
33
Der Korrelationskoeffizient ρ der Zufallsvariablen X und Y nach Bravais-Pearson ist definiert
durch
ρ = ρ(X, Y ) = Corr(X, Y ) :=
Cov(X, Y )
.
σX · σY
Sind Xi , i = 1, ..., n, Zufallszahlen, so gilt
Var(X1 + X2 + ... + Xn ) =
n
X
i=1
Var(Xi ) +
X
Cov(Xi , Xj ) .
i,j=1,...,n
i6=j
Ist n = 2, so können wir
Var(X1 + X2 ) = Var(X1 ) + Var(X2 ) + 2 Cov(X1 , X2 )
schreiben.
TH Nürnberg
1.10.2
34
Die Binomialverteilung
Eine Zufallsvariable X heißt binomialverteilt mit den Parametern n und p, B(n, p), falls
n
P (X = k) = bn,p (k) :=
· pk · (1 − p)n−k , k ∈ {0, ..., n} ,
k
gilt. Die zugehörige Verteilungsfunktion lautet
X n
Bn,p (x) =
· pk · (1 − p)n−k .
k
k≤x
b6 ;0,5
0,35
0,3
0,25
0,2
0,15
0,1
0,05
0
1
0
2
1
3
2
4
3
5
4
6
5
7
6
8
9
k
Abbildung 1.10 Die Dichte bn,p der Binomialverteilung für
n = 6 und p = 0, 5
b8; 0,3
0,35
0,3
0,25
0,2
0,15
0,1
0,05
0
1
0
2
1
3
2
4
3
5
4
6
5
7
6
8
7
9
k
Abbildung 1.11 Die Dichte bn,p der Binomialverteilung für
n = 8 und p = 0, 3
TH Nürnberg
35
Solche Histogramme ergeben sich auch durch Häufigkeitsverteilungungen eines sog. GaltonBretts. Dabei werden n Kugeln durch Hindernisse abgelenkt, wobei sie mit einer Wahrscheinlichkeit p in eine Richtung abgelenkt werden und mit der Wahrscheinlichkeit 1 − p in die andere
Richtung. Schließlich werden sie in n + 1 Fächern aufgefangen.
Für den Erwartungswert erhalten wir
n
X
n k
EX =
k
p (1 − p)n−k
k
k=0
= np
n
X
k=1
= np
n−1
X
k=0
(n − 1)!
pk−1 (1 − p)n−k
(n − k)!(k − 1)!
(n − 1)!
pk (1 − p)n−(k+1)
(n − (k + 1))!k!
n−1 X
n−1 k
= np
p · (1 − p)n−k−1
k
k=0
und mit dem Binomischen Lehrsatz:
EX = np(p + (1 − p))n−1 = np .
Für die Varianz gilt
V arX = np(1 − p) .
TH Nürnberg
1.10.3
36
Die Hypergeometrische Verteilung
Eine Zufallsvariable X heißt hypergeometrisch verteilt mit den Parametern N , M und n, H(N, M, n),
falls
M N −M
P (X = k) = hN,M,n (k) :=
k
n−k
N
n
, k = 0, ..., n ,
gilt.
Hypergeometrische Verteilungen treten beispielsweise auf, wenn die Wahrscheinlichkeit berechnet werden soll, aus einer Menge von N Kugeln, mit M weißen und N − M schwarzen, k
weiße Kugeln zu ziehen, wobei die Kugeln bei der Ziehung nicht zurückgelegt werden.
1.10.4
Die Poisson-Verteilung
Falls µ = np konstant ist, gilt
lim bn,p (k) =
n→∞
µk e−µ
.
k!
Anmerkung: Nach dem Grenzwertsatz von Poisson gilt das auch unter der schwächeren Voraussetzung, dass Xn B(n, pn )-verteilt sind und lim npn = µ ist.
n→∞
Die durch
ψµ (k) :=
µk e−µ
, k ∈ N0 , µ ∈ R∗+ ,
k!
definierte Verteilung heißt Poisson-Verteilung P (µ). Die zugehörige Verteilungsfunktion lautet
Ψµ (x) =
X µk e−µ
k≤x
k!
.
TH Nürnberg
37
ψ4( k )
0,25
0,2
0,15
0,1
0,05
0
01
21
3
2
43
45
65
7
6
78
89
10
9
11
10
k
Abbildung 1.12 Die Dichte ψµ der Poisson-Verteilung für µ = 4
ψ 8 (k )
0,16
0,14
0,12
0,1
0,08
0,06
0,04
0,02
0
01
12
23
43
45
56
67
8
7
98
10
9
11
10
12
11
13
12
14
13
15
14
16
15
k
Abbildung 1.13 Die Dichte ψµ der Poisson-Verteilung für µ = 8
Für den Erwartungswert erhalten wir
∞
X
∞
λk−1 −µ
µk −µ X
EX =
k· e =
λ·
e = µ.
k!
(k − 1)!
k=0
k=0
Für die Varianz gilt
Var X = µ .
TH Nürnberg
38
Beispiele
• Sei die p = 0, 01 die Wahrscheinlichkeit, dass ein Produkt fehlerhaft ist. Gesucht wird
die Wahrscheinlichkeit, dass unter n = 100 Stück höchstens drei fehlerhafte Erzeugnisse
auftreten.
Mit Hilfe der Binomialverteilung
X n
Bn,p (3) =
· pk · (1 − p)n−k
k
k≤3
erhalten wir
100
100
0
100
Bn,p (3) =
· (0, 01) · (0, 99) +
· (0, 01)1 · (0, 99)99
0
1
100
100
2
98
+
· (0, 01) · (0, 99) +
· (0, 01)3 · (0, 99)97 = 0, 9816 .
2
3
Die Poisson-Verteilung ist eine gute Näherung für die Binomialverteilung, falls n groß
und p, mit p = µn−1 , klein ist. Mittels
X µk e−µ
Ψµ (3) =
k!
k≤x
erhalten wir
10 e−1 11 e−1 12 e−1 13 e−1
Ψµ (3) =
+
+
+
= 0, 9810 .
0!
1!
2!
3!
• Wir betrachten die Anzahl von Telefonanrufen in einer Telefonzentrale. Dabei sei k die
Anzahl von Telefonanrufen innerhalb eines Zeitintervalls I := [t0 , t1 ] und µ die durchschnittliche Anzahl von Anrufen pro Zeiteinheit.
Sei
Ii := [t0 + (i − 1)
t1 − t0
t1 − t0
; t0 + i
], 1 ≤ i ≤ n.
n
n
Daher gilt
n
[
Ii = I mit Ii ∩ Ij = ∅ für i 6= j .
i=1
Die Wahrscheinlichkeit für das Auftreten des Ereignisses, dass k Anrufe in einem Intervall Ii stattfinden, ist für jedes dieser Intervalle gleich. Außerdem sind diese Ereignisse in
Ii stochastisch unabhängig von jenen in Ij , für j 6= i.
Durch Erhöhung von n verfeinern wir die Unterteilung von I so, dass in einem Intervall
Ii höchstens ein Anruf auftreten kann.
TH Nürnberg
39
Es sei nun
pn : Wahrscheinlichkeit für 1 Anruf in einem Intervall Ii
1 − pn : Wahrscheinlichkeit für 0 Anrufe in einem Intervall Ii .
Dann beträgt die Wahrscheinlichkeit für k Anrufe im Gesamtintervall I:
n k
P (X = k) = bn,p (k) =
p (1 − pn )n−k .
k n
Falls lim npn = µ ist, gilt
n→∞
lim bn,pn (k) =
n→∞
µk e−µ
= ψµ (k) .
k!
Sind zwei jeweils poisssonverteilte Zufallsvariable X1 und X2 stochastisch unabhängig mit
X1 ∼ ψµ1 und X2 ∼ ψµ2 ,
so ist auch X := X1 + X2 poissonverteilt und es gilt
X ∼ ψµ mit µ := µ1 + µ2 .
Beispiel
Sei
X1 : Anzahl der Telefonanrufen in der ersten Stunde mit X1 ∼ ψµ1 und µ1 = 3
X2 : Anzahl der Telefonanrufen in der ersten Stunde mit X2 ∼ ψµ2 und µ2 = 1
Die beiden Variablen seien stochastisch unabhängig. Dann kann die Wahrscheinlichkeit, in beiden Stunden insgesamt einen Telefonanruf zu erhalten, folgendermaßen berechnet werden:
(i) Es gilt
X ∼ ψµ mit µ = µ1 + µ2 = 4
und
ψµ (1) =
41 −4
e = 0, 0733 .
1!
(ii) Weiterhin gilt
ψ4 (1) = ψ3 (0)ψ1 (1) + ψ3 (1)ψ1 (0) =
= e−1 + 3 e−1 = 4 e−1 .
30 −0 11 −1 31 −1 10 −0
e · e + e · e
0!
1!
1!
0!
TH Nürnberg
1.10.5
40
Die Gaußsche Normalverteilung
Ist p fest, so nähert sich die Binomialverteilung bn,p für n → ∞ einer Gaußschen Normalverteilung.
Sei µ ∈ R und σ ∈ R∗+ . Die Zufallsgröße X heißt normalverteilt, N (µ, σ 2 ), wenn die Dichtefunktion
(x−µ)2
1
ϕµ,σ (x) = √ e− 2σ2
σ 2π
lautet.
Die Wahrscheinlichkeitsdichte ϕ0,1 ist die Dichte der Standardnormalverteilung N (0, 1) mit der
Verteilungsfunktion
Zx
t2
1
e− 2 dt .
φ(x) = √
2π
−∞
y
x
Abbildung 1.14 Die Dichte ϕ = ϕ0,1 der Standardnormalverteilung
Aus der Wahrscheinlichkeitsdichte zu der Verteilung N (µ, σ 2 ) erhalten wir die Dichte zu N (0, 1)
durch die lineare Transformation
x−µ
x 7→ y =
.
σ
Für den Erwartungswert und die Varianz einer Normalverteilung N (µ, σ 2 ) erhalten wir
Z∞
(x−µ)2
1
EX = √
xe− 2σ2 dx = µ
σ 2π
−∞
TH Nürnberg
41
und
1
Var X = √
σ 2π
Z∞
(x − µ)2 e−
(x−µ)2
2σ 2
dx = σ 2 .
−∞
Entsprechend gilt für eine Standardnormalverteilung N (0, 1):
EX = 0
und
Var X = 1 .
Oft sind die Messfehler einer Messgröße N (µ, σ 2 )-verteilt. Die Wahrscheinlichkeit, dass ein
Messwert im Intervall [a, b] liegt, ist dann gegeben als
1
P (a ≤ x ≤ b) = √
σ 2π
Zb
e−
(x−µ)2
2σ 2
dx .
a
Die Integration
Z
t2
e− 2 dt
lässt sich näherungsweise mit Hilfe der Exponential-Reihe durchführen. Gemäß
1 2
e− 2 t = 1 −
t4
t6
t8
t2
+
−
+
∓ ...
2 · 1! 4 · 2! 8 · 3! 16 · 4!
erhalten wir
2
P (µ − σ ≤ x ≤ µ + σ) = √
2π
Z1
1 2
e− 2 t dt
0
r Z1
2
t2
t4
t6
t8
(1 −
+
−
+
∓ ...) dt .
=
π
2 · 1! 4 · 2! 8 · 3! 16 · 4!
0
Nach gliedweiser Integration ergibt sich für P (µ − σ ≤ x ≤ µ + σ)
r 1
2
t3
t5
t7
t9
t−
+
−
+
∓ ...
π
3 · 2 · 1! 5 · 4 · 2! 7 · 8 · 3! 9 · 16 · 4!
0
r 2
1
1
1
1
=
1−
+
−
+
∓ ... .
π
3 · 2 · 1! 5 · 4 · 2! 7 · 8 · 3! 9 · 16 · 4!
TH Nürnberg
42
• Sind Xi , i = 1, ..., n, stochastisch unabhängige N (µ, σi2 )-verteilte Zufallsvariable, dann
ist die Summe
n
X
Xi
i=1
gemäß
n
X
N
µi ,
i=1
n
X
!
σi2
i=1
verteilt.
• Sind Xi , i = 1, ..., n, stochastisch unabhängige N (µ, σ 2 )-verteilte Zufallsvariable, dann
ist das arithmetische Mittel
n
1X
Xi
n i=1
gemäß
N
verteilt.
σ2
µ,
n
TH Nürnberg
43
Die χ2 -Verteilung
1.10.6
Seien X1 , ..., Xn stochastisch unabhängige N (0, 1)-verteilte Zufallsvariablen. Dann wird die
Verteilung der Zufallsgröße
X :=
n
X
(Xi + µi )2
i=1
als χ2 -Verteilung mit n Freiheitsgraden und Nichtzentralitätsparameter δ 2 , χ2n (δ 2 ),
2
δ :=
n
X
µ2i
i=1
bezeichnet. Ist δ = 0, so heißt die Verteilung zentrale χ2 -Verteilung mit n Freiheitsgraden, χ2n .
Die Dichte dieser zentralen χ2n -Verteilung lautet
fX (x) =
x
n
1
x 2 −1 e− 2 .
n
2 Γ( 2 )
n
2
Dabei bezeichnet Γ die Gamma-Funktion.
f
X
n=1
n=3
n=5
x
Abbildung 1.15 Die Dichte der χ2n -Verteilung für n = 1, 3, 5
Für den Erwartungswert und die Varianz der χ2n -Verteilung gilt
EX = n
und
Var X = 2n .
TH Nürnberg
1.11
44
Grenzwertsätze
Seien Xi identisch verteilte Zufallsvariablen. Dann besagt das Gesetz der großen Zahlen, dass
lim P (|X̄n − µ| ≥ ) = 0 für alle > 0 ,
n→∞
wobei
n
1 X
X̄n := ·
Xi .
n i=1
Für
Zn :=
√ X̄n − µ
n·
.
σ
gilt EZn = 0 und Var Zn = 1.
Der zentrale Grenzwertsatz besagt, dass
lim P (Zn ≤ z) = φ(z) .
n→∞
Demnach ist die Zufallsgröße Zn approximativ N (0, 1)-verteilt.
Ist Xn B(n, pn )-verteilt sind und gilt lim npn = µ, so lässt sich der Grenzwertsatz von Poisson
n→∞
anwenden. Dieser besagt, dass
lim P (Xn = k) =
n→∞
µk e−µ
.
k!
Demnach ist die Zufallsgröße Xn approximativ P (µ)-verteilt.
TH Nürnberg
45
1.12 Übungsaufgaben
Aufgabe 1
Bestimmen Sie die Anzahl der Möglichkeiten
a) beim dreimaligen Würfeln jeweils eine unterschiedliche Augenzahl zu erhalten,
b) aus 49 Zahlen sechs Zahlen auszuwählen,
c) eine Tüte mit zwölf Bonbons zu füllen, wenn es fünf verschiedene Sorten Bonbons gibt.
Aufgabe 2
Herr Meier ist der Aufsichtsratsvorsitzende der Firma X. Neben ihm gehören noch vier Damen
und vier Herren dem Aufsichtsrat an. Bei ihren Sitzungen nehmen die Personen jeweils auf
einem der neun Stühle an einem runden Tisch Platz. Wie viele verschiedene Möglichkeiten der
Sitzordnung gibt es, wenn
• keinerlei Einschränkungen gelten,
• die vier Damen immer nebeneinander sitzen,
• nur nach Damen und Herren unterschieden wird.
Bestimmen Sie außerdem die jeweilige Anzahl an Möglichkeiten, wenn Herr Meier immer auf
einem ausgezeichneten Platz, dem Chefsessel, sitzt.
Aufgabe 3
Berechnen Sie die Wahrscheinlichkeiten für folgende Ereignisse:
a) Bei siebenmaligem Würfeln ist die größte Augenzahl eine Fünf.
b) Bei viermaligem Würfeln treten keine zwei gleichen Augenzahlen auf.
c) Bei einer Ziehung werden aus einer Urne blind vier Kugeln mit drei unterschiedlichen
Farben genommen. Dabei enthält die Urne vier grüne, drei gelbe und drei blaue Kugeln.
Berechnen Sie die Wahrscheinlichkeit, dass von jeder Farbe eine gezogen wird.
Aufgabe 4
Bestimmen Sie die Regressionsgerade für folgende Daten (ti , si ):
3 6
3 7 23
1
).
( , 1), ( , ), (2, ), ( ,
2
2 5
2 2 10
TH Nürnberg
46
Aufgabe 5
Bestimmen Sie die Koeffizienten a0 , a1 , a2 für eine linearen Regression zu folgenden Daten:
x1 x2
74 1
67 1
69 2
72 2
77 3
71 3
y
50
48
51
53
58
55
Aufgabe 6
Zwei Bleche werden aufeinander verschweißt. Die Abweichung dieser Bleche von deren gewünschter Dicke wird durch die Zufallsvariablen X1 und X2 beschrieben. Die Zufallsvariablen
Xi , i = 1, 2, seinen stochastisch unabhängig und N (0, σi2 )-verteilt. Geben Sie die Verteilungsfunktion der Abweichung der Gesamtdicke X1 + X2 an.
Aufgabe 7
Seien X1 und X2 stochastisch unabhängig und N (0, σ 2 )-verteilt mit σ = 2. Weiterhin sei
Y1 := X1
und
Y2 := µ · X1 +
p
1 − µ2 · X2 , mit 0 < µ < 1 .
Bestimmen Sie die Korrelation ρ(Y1 , Y2 ).
Aufgabe 8
Die Länge von 10 Werkstücken ist N (80, 4)-verteilt. Bestimmen Sie die Wahrscheinlichkeit,
dass das arithmetische Mittel der Längen im Intervall [79, 81] liegt.
Aufgabe 9
Zwischen dem Hersteller elektronischer Bauteile und einem Produzenten von Fernsehgeräten
wurde vereinbart, dass bei der Eingangskontrolle maximal 5% der Bauteile defekt sein darf.
Dazu wird aus jeder Lieferung eine Stichprobe von 20 Bauteilen entnommen und überprüft.
a) Wie groß ist die Wahrscheinlichkeit, dass eine Lieferung zurückgewiesen wird, wenn 3%
der Bauteile defekt sind?
b) Wie groß ist die Wahrscheinlichkeit, dass eine Lieferung angenommen wird, obwohl 8%
der Bauteile defekt sind?
TH Nürnberg
2
47
Induktive Statistik
2.1
Schätzen von Parametern
Seien x1 , ..., xn Beobachtungen von Zufallsgrößen X1 , ..., Xn , θ ein unbekannter Parameter der
Verteilungen der Xi und θ̂(X1 , ..., Xn ) eine Stichprobenfunktion. Wird θ mittels θ̂ geschätzt, so
heißt θ̂ Schätzfunktion für θ.
Arten der Schätzung
a) Eine Punktschätzung liegt vor, wenn die aus der Stichprobe erhaltene Ausprägung θ̂(X1 , ..., Xn )
Schätzwert für θ ist, d. h.
θ̂(X1 , ..., Xn ) = θ .
b) Eine Intervallschätzung liegt vor, wenn ein Intervall reeller Zahlen gegeben ist, innerhalb
dessen der gesuchte Parameter mit vorausgesetzter Sicherheit liegt.
Eigenschaften von Schätzfunktionen
a) Erwartungstreue Schätzfunktionen
Eine Schätzfunktion θ̂ für θ heißt erwartungstreu, wenn
E θ̂(X1 , ..., Xn ) = θ .
Beispiel
Wird zur Schätzung des Parameters µ einer N (µ, σ 2 )-Verteilung das arithmetische Mittel
der Stichprobe x1 , ..., xn verwendet, d. h.
θ̂(x1 , ..., xn ) = x̄ ,
so ist diese Schätzfunktion erwartungstreu, da
n
n
1X
1
1X
Xi ) =
EXi = nµ = µ .
E θ̂(X1 , ..., Xn ) = E(
n i=1
n i=1
n
b) Konsistente Schätzfunktionen
Eine Schätzfunktion θ̂n für θ, welche auf n Beobachtungen beruht, heißt konsistent, wenn,
für jedes > 0,
lim P (|θ̂n − θ| > ) = 0
n→∞
gilt.
TH Nürnberg
48
Ein Maß für die Güte eines Schätzers bietet der mittlere quadratische Fehler
E(θ̂ − θ)2 .
Da
E(θ̂ − θ)2 = E θ̂2 − 2(E θ̂)θ + θ2
= E θ̂2 − (E θ̂)2 + (E θ̂)2 − 2(E θ̂)θ + θ2
= Var θ̂ + (E θ̂ − θ)2
gilt, erhalten wir für erwartungstreue Schätzer
E(θ̂ − θ)2 = Var θ̂ .
Dieser ist demnach genau dann konsistent, wenn
lim Var θ̂ = 0
n→∞
ist.
Anmerkung: Die Größe
E θ̂ − θ
wird Bias oder Verzerrung des Schätzers θ̂ genannt.
Beispiel
Für die Schätzfunktion x̄ für den Mittelwert µ der N (µ, σ 2 )-Verteilung gilt
n
1 X
σ2
1
E(X̄ − µ) = Var X̄ = ( )2
Var(Xi ) = ( )2 nσ 2 =
n i=1
n
n
2
und daher
lim Var X̄ = 0 .
n→∞
Demnach ist dieser erwartungstreue Schätzer x̄ konsistent.
TH Nürnberg
49
Konfidenzintervalle
Ist die Irrtumswahrscheinlichkeit, dass ein unbekannter Parameter θ in einem zu bestimmenden Bereich liegt, maximal α, mit 0 < α < 1, so beträgt die Wahrscheinlichkeit, dass θ zu
diesem Bereich gehört 1 − α. Zur Bestimmung eines solchen Konfidenzbereichs werden oft
Punktschätzer θ̂ für den Parameter θ, verwendet, um Zahlen ũ1 , ũ2 ∈ R ∪ {∞} zu finden, so
dass
P (ũ1 ≤ θ̂ ≤ ũ2 ) = 1 − α
gilt. Die so bestimmende Punktmenge heißt Konfidenzbereich zum Niveau 1 − α. Handelt es
sich bei dem Bereich um ein Intervall, so wird es Konfidenzintervall zum Niveau 1 − α genannt.
Falls die standardisierte Zufallsvariable
θ̂ − Eθ
√
Var θ
unabhängig von Var θ ist, können wir
θ̂ − Eθ
≤ u2 ) = 1 − α
P (u1 ≤ √
Var θ
verwenden, um, statt der Zahlen ũ1 , ũ2 , die Zahlen u1 , u2 ∈ R ∪ {∞} zu bestimmen.
Betrachten wir n Realisationen von unabhängigen N (µ, σ 2 )-verteilten Zufallsvariablen, so gilt
für die Schätzfunktion X̄ für µ:
E X̄ = µ
und
n
1 2X
σ2
1 2
2
Var X̄ = ( )
Var Xi = ( ) n · σ =
.
n i=1
n
n
Demnach ist die Zufallsgröße
√ X̄ − µ
n
σ
N (0, 1)-verteilt. Somit gilt
√ X̄ − µ
P −u1− α2 ≤ n
≤ u1− α2 = 1 − α .
σ
Dabei ist u1− α2 das 1 − α2 -Quantil der N (0, 1)-Verteilung.
TH Nürnberg
50
Ein Konfidenzintervall zum Niveau 1 − α für den Parameter µ ist daher durch
σ
σ
x̄ − √ u1− α2 , x̄ + √ u1− α2
n
n
gegeben.
y
α
2
α
2
−u 1− α
2
u1− α
x
2
Abbildung 2.1 Das 1 − α2 -Quantil der N (0, 1)-Verteilung
Beispiel
Für α = 0, 05 erhalten wir u1− α2 = u0,975 = 1, 96. Demnach lautet das Konfidenzintervall zum
Niveau 0, 95:
[10, 85; 11, 23] .
TH Nürnberg
51
Da
√ X̄ − µ
√ X̄ − µ
P
n
≥ −u1−α = P
n
≤ u1−α = 1 − α
σ
σ
ist, lauten die einseitigen Konfidenzintervalle
σ
−∞, x̄ + √ u1−α
n
und
σ
x̄ − √ u1−α , ∞ .
n
y
α
u1−α
x
Abbildung 2.2 Das 1 − α-Quantil der N (0, 1)-Verteilung
Beispiel
Für α = 0, 05 erhalten wir u1−α = u0,95 = 1, 645. Demnach lauten die einseitigen Konfidenzintervalle zum Niveau 0, 95:
(−∞; 11, 20] und [10, 88; ∞) .
TH Nürnberg
2.2
2.2.1
52
Testen von Hypothesen
Einseitiger Einstichproben-Gaußtest
Zur Bestimmung der einseitigen Konfidenzintervalle betrachten wir
√ X̄ − µ
√ X̄ − µ
n
≥ −u1−α = P
n
≤ u1−α = 1 − α .
P
σ
σ
Im Rahmen eines statistischen Tests können wir uns beispielsweise die Aufgabe stellen, zu
untersuchen, ob ein Parameter µ einer N (µ, σ 2 )-Verteilung größer oder kleiner als ein Wert µ0
ist, und hierzu zwischen Nullhypothese H0 und der Alternativhypothese H1 unterscheiden.
Es soll demnach
H0 : µ ≤ µ0
gegen
H1 : µ > µ0
getestet werden. Dabei können folgende Fehler auftreten:
• Fehler 1. Art (α-Fehler):
Obwohl die Aussage von H0 wahr ist, wird dem Test zufolge angenommen, die Aussage
von H1 sei wahr.
• Fehler 2. Art (β-Fehler):
Obwohl die Aussage von H1 wahr ist, wird dem Test zufolge angenommen, die Aussage
von H0 sei wahr.
Führt das Entscheidungsverfahren mit einer Wahrscheinlichkeit von höchstens dem Wert α zu
einem Fehler 1. Art, so wird der Test als Test zum Niveau α bezeichnet. Dann wird α auch
Signifikanzniveau genannt.
TH Nürnberg
53
P ( x)
Fehler 2. Art
μ0
Fehler 1. Art
u1−α
μ1
x
Abbildung 2.3 Einseitiger Einstichproben-Gaußtest
Sei Pµ die Wahrscheinlichkeit bei Vorliegen des Wertes µ.
Ist µ = µ0 , so gilt
√ X̄ − µ
> u1−α ) = α .
Pµ ( n
σ
Ist hingegen µ < µ0 , so gilt
√ X̄ − µ
Pµ ( n
> u1−α ) < α .
σ
Ein Test zum Niveau α liegt vor, wenn die Entscheidung für die Annahme von
• H1 getroffen wird, falls
√ x̄ − µ
n
> u1−α
σ
• H0 getroffen wird, falls
√ x̄ − µ
n
≤ u1−α .
σ
Ein solcher Test heißt einseitiger Einstichproben-Gaußtest.
TH Nürnberg
2.2.2
54
Der χ2 -Anpassungstest
Gegeben seien n stochastisch unabhängige Zufallsvariablen X1 , ..., Xn mit den zugehörigen
Realisierungen x1 , ..., xn . Um die Hypothesen
• H0 : Die Grundgesamtheit ist N (µ0 , σ02 )-verteilt
• H1 : Die Grundgesamtheit ist nicht N (µ0 , σ02 )-verteilt
zu testen, werden, unter der Annahme, dass H0 wahr ist, berechnete mit beobachteten Wahrscheinlichkeiten für die Zugehörigkeit der Größen xi zu geeigneten Klassen durch eine Testgröße T verglichen. Anhand dieser Testgröße, die unter H0 asymptotisch χ2 -verteilt ist, wird
dann entschieden, welche der Hypothesen angenommen wird.
Dabei verfahren wir folgendermaßen:
• Das uneigentliche Intervall (−∞, ∞) = R wird in k disjunkte Intervalle Ii unterteilt.
• Die Anzahl der Beobachtungen ni , i = 1, ..., k, der Messwerte x1 , ..., xn in jedem Ii wird
bestimmt.
• Unter der Annahme, dass H0 wahr ist, werden die Wahrscheinlichkeiten
pi = P (X ∈ Ii ) , i = 1, ..., k ,
und die Werte
Ei := npi , i = 1, ..., k ,
berechnet.
• Die Größe
T :=
k
X
1
(ni − Ei )2
E
i
i=1
wird bestimmt. Dabei gilt die Approximation als hinreichend genau, falls nicht mehr als
20% der Werte Ei kleiner als 5 und kein Wert Ei kleiner als 1 ist.
Die Nullhypothese H0 zum Signifikanzniveau α wird verworfen, falls
T > χ2k−1;1−α
gilt.
TH Nürnberg
55
Der χ2 -Anpassungstest für die Poisson-Verteilung
Um die Hypothesen
• H0 : Die Grundgesamtheit ist P (µ)-verteilt
• H1 : Die Grundgesamtheit ist nicht P (µ)-verteilt
zu testen, nutzen wir das oben vorgestellte Verfahren.
Beispiel
Es soll mit Hilfe eines χ2 -Anpassungstests zum Signifikanzniveau α = 0, 05 überprüft werden,
ob die Anzahl der Anruf in einer Telefonzentrale innerhalb eines bestimmten Zeitintervalls
P (3)-verteilt ist.
Hier wird ein Zeitintervall von 15 min vorausgesetzt und die Anzahl der Anrufe in n = 50
Zeitintervallen der Intervalldauer 15 min gezählt.
Anzahl l Anzahl ml der Zeitintervalle Anzahl l Anzahl ml der Zeitintervalle
der Anrufe
mit l Anrufen
der Anrufe
mit l Anrufen
0
1
6
7
1
6
7
1
2
8
8
1
3
10
9
2
4
6
10
2
5
6
> 10
0
Demnach erhalten wir
i
Ii
ni
Ei
1 (−∞, 1] 7 9, 95
2
(1, 2]
8 11, 2
3
(2, 3]
10 11, 2
4
(3, 4]
6 8, 4
5 (4, ∞) 19 9, 25
Daher gilt für die Testgröße
5
X
1
T =
(ni − Ei )2 = 12, 88 .
Ei
i=1
TH Nürnberg
Da
χ25−1;0,95 = 9, 5 < T
gilt, wird die Nullhypothese verworfen.
56
TH Nürnberg
2.3
57
Übungsaufgaben
Aufgabe 1
Bei den Bundesjugendspielen wird die Zeit des Siegers bei einem 100 m-Lauf gestoppt. Um die
Genauigkeit der Messung zu erhöhen, werden die Messungen eines Laufs von verschiedenen
Lehrern gleichzeitig vorgenommen. Dabei ergeben sich folgende Messwerte:
Nr. der Messung
1
Messwert in s
11,2
2
10,6
3
11,0
4
10,9
5
11,4
6
11,1
7
10,7
8
11,3
9
10,8
10
11,0
Die Messwerte x1 , ..., x10 werden als Realisationen von 10 unabhängigen N (µ, 0, 09)-verteilten
Zufallsvariablen vorausgesetzt. Bestimmen Sie das Konfidenzintervall für den Parameter µ zum
Niveau 0, 95.
Aufgabe 2
Eine Maschine verpackt Zucker in 500 g-Tüten. Die tatsächliche Füllmenge sei N (µ, σ 2 )-verteilt,
wobei σ = 2, 7 g sei. Um zu bestimmen, ob die Maschine eine von der angegebenen Füllmenge
µ0 = 500 g abweichende Zuckermengen abfüllt, wird die jeweilige Masse von 9 gefüllten Tüten
bestimmt. Die Messwerte lauten
Nr. der Messung 1
Messwert in g
505
2
501
3
497
4
503
5
499
6
502
7
497
8
499
9
504
Es soll
H0 : µ ≤ µ0
gegen
H1 : µ > µ0
getestet werden. Dabei werde ein Test zum Niveau 0, 025 durchgeführt.
Welche dieser Hypothesen wird angenommen?
TH Nürnberg
58
Aufgabe 3
Ein Verein erzielt Einnahmen vornehmlich aus Mitgliedsbeiträgen, die zu Beginn eines jeden
Jahres gezahlt werden und zusätzlich durch eine in jedem III. Tertial durchgeführte Veranstaltung. Die Entwicklung des Kassenbestandes ist in folgender Tabelle angegeben:
Jahr
2009
Tertial
I II III
Bestand in e 7110 5220 5770
2010
I II III
6440 5030 5510
2011
I II III
6810 4890 5240
2012
I II III
6210 4430 5230
a) Zeichnen Sie die Zeitreihe.
b) Bestimmen Sie
(i) die Regressionsgerade mittels der Methode der kleinsten Quadrate,
(ii) die Reihe der gleitenden Durchschnitte der Ordnung 3,
wobei als gleitender Durchschnitt yi∗ der Ordnung 2m + 1 zum Beobachtungswert yi , i = 1, ..., n ,
yi∗
m
X
1
:=
yi+k , für i = m + 1, m + 2, ..., n − m ,
2m + 1 k=−m
definiert ist,
(iii) die empirischen Autokorrelationen der Zeitreihe,
wobei als empirische Autokorrelation
r(m) :=
c(m)
,
c(0)
mit
n−m
1X
c(m) :=
(yi − ȳ)(yi+m − ȳ) , m = 0, 1, ..., n − 1
n i=1
und
n
c(0) :=
1X
(yi − ȳ)2 ,
n i=1
definiert ist,
und stellen Sie Ihre Ergebnisse graphisch dar.
c) Bestimmen Sie eine Näherungsfunktion für die Kassenbestände mittels harmonischer
Analyse.
TH Nürnberg
Symbolverzeichnis
Allgemeine Notation
N = {1, 2, 3, ....} Menge der natürlichen Zahlen
N0 = {0, 1, 2, 3, ....}
Z = {0, ±1, ±2, ....} Menge der ganzen Zahlen
p
Q = { | p, q ∈ Z, q 6= 0} Körper der rationalen Zahlen
q
R Körper der reellen Zahlen
R+ := {x ∈ R | x ≥ 0}
R∗ := {x ∈ R | x 6= 0}
R∗+ := {x ∈ R | x > 0}
C Körper der komplexen Zahlen
Symbole zur Statistik
B(n, p) Binomialverteilung mit den Parametern n und p
N (µ, σ 2 ) Normalverteilung mit Mittelwert µ und Varianz σ 2
P (λ) Poisson-Verteilung mit dem Parametern λ
χ2n χ2 -Verteilung mit n Freiheitsgraden
χ2n;γ γ-Quantil der χ2 -Verteilung mit n Freiheitsgraden
59
TH Nürnberg
60
Literatur
[1] I. N. Bronstein, K. A. Semendjajew, Taschenbuch der Mathematik, B. G. Teubner, Nauka
[2] J. Hartung, Statistik, Oldenbourg
[3] J. Hartung, B. Heine, Statistik-Übungen, Oldenbourg
[4] B. Jann, Einführung in die Statistik, Oldenbourg
[5] S. Maaß, Statistik I und II, Vorlesungsskripten, Universität Erlangen-Nürnberg, Volkswirtschaftliches Institut, Lehrstuhl Statistik I
[6] F. Reinhardt, H. Soeder, dtv-Atlas zur Mathematik, Deutscher Taschenbuch Verlag