I, 1–60 (2014) c 2014 Statistik Dr. Jürgen Bolik Technische Hochschule Nürnberg f X n=1 n=3 n=5 x TH Nürnberg 2 Inhaltsverzeichnis 1 2 Deskriptive Statistik 1.1 Skalen . . . . . . . . . . . . . . . . . . . . . . . . . 1.2 Der Begriff der Häufigkeit . . . . . . . . . . . . . . 1.3 Beschreibung von Häufigkeitsverteilungen . . . . . . 1.3.1 Lagemaße . . . . . . . . . . . . . . . . . . . 1.3.2 Streuungsmaße . . . . . . . . . . . . . . . . 1.3.3 Maße der Schiefe und Wölbung . . . . . . . 1.4 Der Begriff der Wahrscheinlichkeit . . . . . . . . . . 1.5 Kombinatorik . . . . . . . . . . . . . . . . . . . . . 1.6 Die bedingte Wahrscheinlichkeit und die Unabhängigkeit von Ereignissen . . . . . . . . . . . 1.7 Bivariate Datenanalyse . . . . . . . . . . . . . . . . 1.8 Das Gaußsche Fehlerfortpflanzungsgesetz . . . . . . 1.9 Lineare Regression . . . . . . . . . . . . . . . . . . 1.10 Zufallsvariablen und Wahrscheinlichkeitsverteilungen 1.10.1 Kenngrößen von Zufallsvariablen . . . . . . 1.10.2 Die Binomialverteilung . . . . . . . . . . . . 1.10.3 Die Hypergeometrische Verteilung . . . . . . 1.10.4 Die Poisson-Verteilung . . . . . . . . . . . . 1.10.5 Die Gaußsche Normalverteilung . . . . . . . 1.10.6 Die χ2 -Verteilung . . . . . . . . . . . . . . . 1.11 Grenzwertsätze . . . . . . . . . . . . . . . . . . . . 1.12 Übungsaufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 3 4 5 5 8 9 10 12 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 17 23 25 30 31 34 36 36 40 43 44 45 Induktive Statistik 2.1 Schätzen von Parametern . . . . . . . . . . 2.2 Testen von Hypothesen . . . . . . . . . . . 2.2.1 Einseitiger Einstichproben-Gaußtest 2.2.2 Der χ2 -Anpassungstest . . . . . . . 2.3 Übungsaufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 47 52 52 54 57 . . . . . . . . . . . . . . . . . . . . . . . . . TH Nürnberg 1 3 Deskriptive Statistik 1.1 Skalen • Nominalskala Bei Nominalskalen wird lediglich die Gleichheit oder Ungleichheit von Beobachtungen innerhalb eines Merkmals festgestellt. Dabei wird das Merkmal durch verschiedene Begriffe oder Namen (lateinisch: nomen) untergliedert. Beispiel: Das Merkmal ”Familienstand” wird durch Zuweisung eines Begriffs, wie ledig, verheiratet, geschieden, verwitwet, charakterisiert. • Ordinalskala Liegt eine Ordinalskala vor, so kann, über Nominalskalen hinaus, auch die Ordnung (lateinisch: ordo) innerhalb eines Merkmals unterschieden werden. Beispiel: Prüfungsleistungen lassen sich auf einer Ordinalskala anordnen. • Intervallskala Unter einer Intervallskala wird eine Skala verstanden, die bei gleichen Differenzen der Quantitäten gleiche Differenzen der Messwerte impliziert. Beispiel: Die Celsius- und die Fahrenheit-Skalen zur Temperaturmessung • Verhältnisskala Eine Verhältnisskala verfügt, neben den Eigenschafen einer Intervallskala, über einen absoluten Nullpunkt und weist demnach keine negativen Werte auf. Beispiel: Die Kelvin-Skala zur Temperaturmessung TH Nürnberg 1.2 4 Der Begriff der Häufigkeit Seien x1 , ..., xn die beobachteten Merkmalswerte eines Merkmals X mit Ausprägungen a1 , ..., ak , wobei xi = aj (i) , i = 1, ..., n , j = 1, ..., k . Beispiel Bei einer Befragung der Studierenden wird untersucht, welche Verkehrsmittel vorwiegend für den Weg zur Hochschule genutzt werden. Dabei kennzeichne • a1 : die vorwiegende Nutzung öffentlicher Verkehrsmittel • a2 : die vorwiegende Nutzung eines privaten KFZ • a3 : weitere Möglichkeiten. Nutzt beispielsweise der fünfte Studierende vorwiegend öffentliche Verkehrsmittel, so kann x5 = a1 (5) geschrieben werden. Als absolute Häufigkeit Hn (aj ) der Ausprägung aj wird die Anzahl der Fälle, in denen aj auftritt, bezeichnet. Es gilt n X Hn (aj ) = n . j=1 Der Wert hn (aj ) = Hn (aj ) n wird als relative Häufigkeit bezeichnet. TH Nürnberg 1.3 1.3.1 5 Beschreibung von Häufigkeitsverteilungen Lagemaße • Das arithmetische Mittel n k 1X 1X x̄ = xi = aj · Hn (aj ) . n i=1 n j=1 Beispiele – Sei h3 (a1 ) = 81 12 7 , h3 (a2 ) = , h3 (a3 ) = 100 100 100 und a1 = 1 , a 2 = 3 , a3 = 5 . 2 Dann gilt x̄ = 81 3 12 7 134 + · +5 = . 100 2 100 100 100 – Ein Bastler bestimmt die Länge der ihm zur Verfügung stehenden Holzleisten. Dabei erhält er für die Holzleisten i, 1 ≤ i ≤ 20, folgende Werte: i 1 2 3 4 5 Länge xi in cm 115 130 150 115 185 i Länge xi in cm 6 145 7 150 8 150 9 145 10 155 i 11 12 13 14 15 Länge xi in cm 125 130 150 155 175 Für das arithmetische Mittel ergibt sich n 1X 1 x̄ = xi = · 2920 cm = 146 cm . n i=1 20 i 16 17 18 19 20 Länge xi in cm 130 175 145 150 145 TH Nürnberg 6 Für die absoluten und relativen Häufigkeiten der verschiedenen Längen gilt Länge ai in cm 115 125 130 145 150 155 175 185 Hn (ai ) hn (ai ) 2 1 3 4 5 2 2 1 0, 10 0, 05 0, 15 0, 20 0, 25 0, 10 0, 10 0, 05 Das arithmetische Mittel lässt sich auch mit Hilfe der absoluten Häufigkeiten Hn (ai ) bestimmen. Es gilt 8 1 X ai Hn (ai ) = 146 cm . x̄ = 20 i • Das geometrische Mittel x̄g = √ n x1 · x2 · .... · xn , wobei xi ≥ 0, i = 1, ..., n, sei. Beispiel: Mittelwert prozentualer Veränderungen • Das harmonische Mittel n , x̄h = P n 1 i=1 xi wobei xi > 0, für i = 1, ..., n, oder xi < 0, für i = 1, ..., n, sei. Beispiel: Mittelwert der Geschwindigkeiten vi = 4xi , i = 1, 2 , 4ti mit 24xi = 4x und 4t1 + 4t2 = 4t. TH Nürnberg 7 • Der Median x̃0,5 ( x(n+1)/2 falls n ungerade x̃0,5 = 1 (x n2 + x n2 +1 ) falls n gerade 2 und das α-Quantil x̃α , mit 0 < α < 1, ( x[n·α]+1 falls n · α ∈ /Z , x̃α = 1 (x + x ) falls n · α ∈ Z n·α n·α+1 2 wobei x1 ≤ ... ≤ xn vorausgesetzt sei und [r] den ganzzahligen Anteil von r ∈ R bezeichne. Beispiel: Sind 30 Messwerte der Größe nach so geordnet dass, x1 ≤ ... ≤ x30 , dann ist – der Median der Wert von 1 (x15 + x16 ) 2 – und das 0, 1-Quantil der Wert von 1 (x3 + x4 ) , 2 da n · α = 30 · 0, 1 = 3. Hierzu betrachten wir beispielsweise die Lebensdauer xi von 30 Glühbirnen: i 1 2 3 4 5 6 xi i xi in h in h 480 7 511 490 8 514 502 9 521 504 10 535 504 11 598 505 12 602 i 13 14 15 16 17 18 xi in h 612 630 670 805 811 880 i 19 20 21 22 23 24 xi in h 920 945 990 1005 1010 1010 i 25 26 27 28 29 30 xi in h 1045 1065 1103 1208 1280 1350 • Der Modalwert Der Modalwert (oder Modus) xmod ist der häufigste Beobachtungswert. Demnach gilt hn (xmod ) ≥ hn (aj ) für j = 1, ..., k . TH Nürnberg 1.3.2 8 Streuungsmaße • Die Spannweite Sei {x1 , ..., xn }, mit x1 ≤ .. ≤ xn , eine geordnete Menge von Beobachtungswerten. Dann heißt R := xn − x1 Spannweite (Range) R der Häufigkeitsverteilung. • Der Quantilsabstand Der Quantilsabstand R1−α , mit 0 < α < 1, ist definiert als R1−α = x̃1− α2 − x̃ α2 . Anmerkung: Das Intervall [x̃ α2 ; x̃1− α2 ] enthält mindestens (1 − α) · 100% der Beobachtungswerte. • Die mittlere absolute Abweichung vom Median dx̃ ist definiert als n 1X dx̃ := |xi − x̃0,5 | . n i=1 • Die Varianz und die Standardabweichung Seien x1 , ..., xn Merkmalswerte und a1 , ..., ak Ausprägungen des betrachteten Merkmals. Dann wird die (empirische) Varianz der Beobachtungsreihe definiert als n s2 := 1X (xi − x̄)2 . n i=1 Damit ist auch die Standardabweichung s durch √ s = s2 gegeben. Anmerkung: Eine weitere Definition der Varianz ist durch die Stichprobenvarianz n 1 X s = (xi − x̄)2 n − 1 i=1 2 TH Nürnberg 9 gegeben. Diese Definition führt zu einer erwartungstreuen Schätzung der Varianz. Weiterhin gilt n X 2 (xi − x̄) = i=1 n X x2i k k X X 2 − nx̄ = (aj − x̄) Hn (aj ) = a2j Hn (aj ) − nx̄2 i=1 j=1 j=1 Beispiel Für das zweite Beispiel aus Abschnitt 1.3.1 gilt s2 = 8 1 X (aj − 146)2 Hn (aj ) 20 j=1 1 ((115 − 146)2 · 2 + (125 − 146)2 · 1 + ... + (185 − 146)2 · 1) cm2 20 = 329 cm2 = und s = 18 cm . Demnach weisen die Holzleisten eine durchschnittliche Länge von 146 cm mit einer durchschnittlichen Abweichung von 18 cm auf. 1.3.3 Maße der Schiefe und Wölbung Seien x1 , ..., xn die Merkmalswerte einer Beobachtung und x̄ der arithmetische Mittelwert dieser Werte. • Die Schiefe oder das Schiefemaß nach Fischer, γ1 , ist definiert als n−1 γ1 := (n−1 n P (xi − x̄)3 i=1 n P . 3 (xi − x̄)2 ) 2 i=1 • Die Wölbung (Exzeß, Kurtosis) γ2 ist definiert als n−1 n P (xi − x̄)4 i=1 γ2 := (n n P −1 (xi − i=1 − 3. x̄)2 )2 TH Nürnberg 1.4 10 Der Begriff der Wahrscheinlichkeit Mit wachsendem n nähert sich der Wert von h(A) der Wahrscheinlichkeit P (A) an. Der Grundraum oder Ereignisraum Ω ist die Menge aller möglichen Ergebnisse eines Zufallsexperiments und damit die Vereinigungsmenge aller Elementarereignisse. Die Wahrscheinlichkeit P wird durch die Kolmogoroffschen Axiome vollständig beschrieben: • Positivität P (A) ≥ 0 für jedes Ereignis A ⊂ Ω • Normiertheit P (Ω) = 1 • σ-Additivität P( ∞ [ Ai ) = i=1 ∞ X P (Ai ) i=1 für jede Folge paarweise disjunkter Ereignisse Ai ⊂ Ω. Für die Wahrscheinlichkeit der Vereinigung zweier Ereignisse A1 und A2 gilt demnach P (A1 ∪ A2 ) = P (A1 ) + P (A2 ) − P (A1 ∩ A2 ) . Auch andere bekannte Rechenregeln lassen sich aus obigen Axiomen herleiten, wie z. B. P (Ā) = 1 − P (A) und P (A − B) = P (A) − P (B) , falls B ⊂ A . TH Nürnberg 11 Die Laplace-Wahrscheinlichkeit Für Zufallsexperimente mit endlich vielen, gleichwahrscheinlichen Ereignissen, lässt sich die Wahrscheinlichkeit eines Ereignisses mittels P (A) = |A| |Ω| berechnen. Dabei bezeichnet |A| : die Anzahl der Elemente von A und |Ω| : die Anzahl der Elemente von Ω . Beispiel Wird zweimal mit einem herkömmlichen Spielwürfel gewürfelt, so beträgt die Wahrscheinlichkeit, dabei zweimal die Augenzahl 3 zu erhalten, d.h. die Wahrscheinlichkeit für das Ereignis A = {(3, 3)} P (A) = 1 . 36 Dabei ist die Ereignisraum Ω: Ω = {(1, 1), (1, 2), (1, 3), ..., (6, 6)} . TH Nürnberg 1.5 12 Kombinatorik Permutationen Hierbei werden n ∈ N verschiedene Elemente zu einem n-Tupel angeordnet. Eine solche Anordnung wird als n-stellige Permutation bezeichnet. Gibt es unter den Elementen eines n-Tupels k < n voneinander verschiedene, die mit den jeweiligen Häufigkeiten n1 , n2 , ... , nk auftreten, wobei n1 + n2 + ... + nk = n gilt, so wird die Anordnung zu einem n-Tupel als Permutation mit Wiederholung bezeichnet. • Permutationen ohne Wiederholung Für die Anzahl p(n) aller n-stelligen Permutationen ohne Wiederholung gilt p(n) = n! . • Permutationen mit Wiederholung Für die Anzahl p(n; n1 , ..., nk ) aller n-stelligen Permutationen mit n1 , ... , nk Wiederholungen gilt p(n; n1 , ..., nk ) = n! . n1 ! · ... · nk ! Variationen Hierbei werden k-Tupel (a1 , ..., ak ) mit ai ∈ {a1 , ..., an } betrachtet. Eine solche Anordnung zu einem k-Tupel heißt Variation k-ter Ordnung von n Elementen. Gilt ai 6= aj für i 6= j so wird die Anordnung als Variation k-ter Ordnung von n Elementen ohne Wiederholung bezeichnet. • Variationen ohne Wiederholung Für die Anzahl v(n, k) aller Variationen k-ter Ordnung von n Elementen ohne Wiederholung gilt v(n, k) = n! . (n − k)! Beispiel: Werden aus eine Menge mit n Elementen ohne Zurücklegen/Wiederholung k Elemente ausgewählt und die Reihenfolge dieser Auswahl berücksichtigt, so gibt es v(n, k) Möglichkeiten. TH Nürnberg 13 • Variationen mit Wiederholung Für die Anzahl v ∗ (n, k) aller Variationen k-ter Ordnung von n Elementen mit Wiederholung gilt v ∗ (n, k) = nk . Beispiel: Werden aus eine Menge mit n Elementen mit Zurücklegen/Wiederholung k Elemente ausgewählt und die Reihenfolge dieser Auswahl berücksichtigt, so gibt es v ∗ (n, k) Möglichkeiten. Kombinationen Eine Kombination ist eine Teilmenge mit k Elementen, die aus einer Menge mit n Elementen ausgewählt wird. Eine solche k-elementige Teilmenge heißt Kombination k-ter Ordnung von n Elementen. • Kombinationen ohne Wiederholung Für die Anzahl c(n, k) aller Kombinationen k-ter Ordnung von n Elementen ohne Wiederholung gilt n n! . c(n, k) = = k!(n − k)! k Beispiel: Werden aus eine Menge mit n Elementen ohne Zurücklegen/Wiederholung k Elemente ausgewählt und die Reihenfolge dieser Auswahl nicht berücksichtigt, so gibt es c(n, k) Möglichkeiten. • Kombinationen mit Wiederholung Für die Anzahl c∗ (n, k) aller Kombinationen k-ter Ordnung von n Elementen mit Wiederholung gilt n+k−1 (n + k − 1)! ∗ . c (n, k) = = k k!(n − 1)! Beispiel: Werden aus eine Menge mit n Elementen mit Zurücklegen/Wiederholung k Elemente ausgewählt und die Reihenfolge dieser Auswahl nicht berücksichtigt, so gibt es c∗ (n, k) Möglichkeiten. Beispiele • Es gibt 49 = 13 983 816 6 Möglichkeiten, aus 49 Zahlen, sechs verschiedene Zahlen auszuwählen. TH Nürnberg 14 • Sollen jeweils zehn Gegenstände, von denen es vier verschiedene Sorten gibt, in eine Tüte gefüllt werden, so existieren 4 + 10 − 1 = 286 10 Möglichkeiten, eine Tüte zu befüllen. TH Nürnberg 1.6 15 Die bedingte Wahrscheinlichkeit und die Unabhängigkeit von Ereignissen P (B|A) bezeichnet die Wahrscheinlichkeit für das Eintreten des Ereignisses B unter der Bedingung, dass das Ereignis A bereits eingetreten ist (bedingte Wahrscheinlichkeit). Es gilt P (B|A) = P (B ∩ A) . P (A) Beispiel Ein elektronisches Bauteil kann beispielsweise durch Kurzschluss ausfallen. Beträgt die Wahrscheinlichkeit P (d), dass ein Bauteil defekt ist 5%, und die Wahrscheinlichkeit P (K ∩ d), dass ein Bauteile durch Kurzschluss ausgefallen ist 3%, so beträgt die Wahrscheinlichkeit P (K|d), dass ein defektes Bauteil durch Kurzschluss ausgefallen ist P (K|d) = 0, 03 P (K ∩ d) = = 0, 6 . P (d) 0, 05 Satz von der totalen Wahrscheinlichkeit: Seien A1 , ..., Ak paarweise disjunkte Ereignisse mit k [ Ai = Ω . i=1 Dann gilt für ein beliebiges Ereignis B P (B) = k X P (B|Ai )P (Ai ) . i=1 Beispiel Eine Tierarzpraxis in England beschäftigt drei Ärzte A1 , A2 und A3 . Arzt A1 leitet die Praxis und arbeitet 4h pro Tag im Außendienst, die Ärzte A2 und A3 jeweils 8h pro Tag. Sei B das Ereignis, dass bei einer Anfrage nur ein Hausbesuch notwendig ist. Unter P (B|Ai ) verstehen wir die Wahrscheinlichkeit, dass Arzt Ai für eine Nachfrage nur einen Hausbesuch benötigt. Hier sei P (B|A1 ) = 0, 9 , P (B|A2 ) = 0, 8 , P (B|A3 ) = 0, 75 . Es gilt P (B) = P (B|A1 )P (A1 ) + P (B|A2 )P (A2 ) + P (B|A3 )P (A3 ) , TH Nürnberg 16 wobei P (Ai ) die Wahrscheinlichkeit angibt, dass der Arzt Ai den Hausbesuch abstattet. Demnach erhalten wir P (B) = 0, 9 · 1 2 2 + 0, 8 · + 0, 75 · = 0, 8 . 5 5 5 Zwei Ereignisse A und B werden als (stochastisch) unabhängig bezeichnet, wenn P (A ∩ B) = P (A)P (B) gilt. Das ist gleichbedeutend mit P (B|A) = P (B) bzw. P (A|B) = P (A) . Die Bayessche Formel Für zwei Ereignisse A und B gilt P (B|A) = P (B ∩ A) . P (A) Die Wahrscheinlichkeit P (B ∩ A) wiederum, lässt sich folgendermaßen ausdrücken: P (B ∩ A) = P (A|B)P (B) . Ferner gilt P (A) = P (A|B)P (B) + P (A|B̄)P (B̄) . Zusammengefasst erhalten wir die Bayessche Formel P (B|A) = P (A|B)P (B) . P (A|B)P (B) + P (A|B̄)P (B̄) Diese lautet für paarweise disjunkte Ereignisse A1 , ..., Ak , mit k [ Ai = Ω , i=1 und ein beliebiges Ereignis B: P (Ai |B) = P (B|Ai )P (Ai ) . k P P (B|Aj )P (Aj ) j=1 TH Nürnberg 1.7 17 Bivariate Datenanalyse Seien X und Y Merkmale, die in n Untersuchungen, die Ausprägungen ai , i = 1, ..., l für X und bk , k = 1, ..., m für Y zeigen. Die Werte Hik = H(ai , bk ) , i = 1, ..., l , k = 1, ..., m , geben die absolute Häufigkeit der einzelnen Ausprägungen (ai , bk ) an. Die Zeilensummen Hi· lassen sich mittels Hi· := m X Hik k=1 und die Spaltensummen mittels H·k := l X Hik i=1 berechnen. Satz: Sind die Merkmale X und Y unabhängig, so gilt Hik = Hi· H·k für i = 1, ..., l, k = 1, ..., m . n Beispiel Für das Merkmal (X, Y ) seien folgende Häufigkeitswerte gegeben: x1 x2 x3 x4 H·j y1 y2 Hi· 3 6 12 9 30 7 10 14 20 28 40 21 30 70 100 TH Nürnberg 18 Daher gilt für die bedingten Häufigkeitsfunktionen x1 x2 x3 x4 sonst h(xi |y1 ) h(xi |y2 ) 3 30 6 30 12 30 9 30 7 70 14 70 28 70 21 70 Summe = = = = 0 1 10 2 10 4 10 3 10 1, 0 = = = = 0 1 10 2 10 4 10 3 10 1, 0 Da die bedingten relativen Häufigkeitsfunktionen h(xi |y1 ) und h(xi |y2 ) für das Merkmal X gleich sind, ist das Merkmal X statistisch unabhängig vom Merkmal Y . Für metrisch skalierte Merkmale (X, Y ) ist der Korrelationskoeffizient nach Bravais-Pearson rXY gegeben. Treten die Ausprägungen (ai , bk ), i = 1, ..., l, k = 1, ..., m, mit Häufigkeiten Hik auf, so wird dieser als l P m P (ai − ā)(bk − b̄)Hik i=1 k=1 rXY := s ( l P (ai − ā)2 Hi· )( i=1 m P (bk − b̄)2 H·k ) k=1 definiert. Es gilt l P m P ai bk Hik − n ā b̄ i=1 k=1 rXY = s ( l P i=1 n P xi yi − n x̄ ȳ i=1 a2i Hi· − nā2 )( m P k=1 =r n . n P 2 P 2 2 2 ( xi − n x̄ )( yi − n ȳ ) b2k H·k − n b̄2 ) i=1 i=1 Da die empirische Varianz s2 einer Beobachtungsreihe x1 , ..., xn durch n n 1 X 2 1X 2 (xi − x̄) = ( s := xi − nx̄2 ) n i=1 n i=1 2 und die empirische Kovarianz zwischen X und Y durch sXY n n 1 X 1X (xi − x̄)(yi − ȳ) = ( xi yi − n x̄ ȳ) := n i=1 n i=1 TH Nürnberg 19 gegeben ist, gilt demnach rXY = sXY . sx · sy Beispiel Wir nehmen an, dass bei gleichbleibenden Ausprägungen des Merkmals X, die Ausprägungen des Merkmals Y folgendermaßen varriieren: xi 0 2 4 6 8 10 12 14 rXY yi 2 1 4 3 6 5 8 7 0, 905 yi 4 3 2 1 8 7 6 5 0, 52 yi 1 8 2 7 3 6 4 5 0, 19 yi 2 7 5 3 8 4 1 6 0, 00 yi yi 3 8 8 6 5 4 2 2 7 7 4 3 1 5 6 1 −0, 14 −0, 62 Y r XY =0,905 X Abbildung 1.1 Korrelation mit rXY = 0, 905 TH Nürnberg 20 Y r XY =0,52 X Abbildung 1.2 Korrelation mit rXY = 0, 52 Y r XY =0,19 X Abbildung 1.3 Korrelation mit rXY = 0, 19 TH Nürnberg 21 Y r XY =0,00 X Abbildung 1.4 Korrelation mit rXY = 0, 00 Y r XY =−0,14 X Abbildung 1.5 Korrelation mit rXY = −0, 14 TH Nürnberg 22 Y r XY =−0,62 X Abbildung 1.6 Korrelation mit rXY = −0, 62 TH Nürnberg 1.8 23 Das Gaußsche Fehlerfortpflanzungsgesetz Um zu bestimmen, wie sich Fehler von Messungen in einer Meßgröße niederschlagen, betrachten wir die jeweilige funktionale Abhängigkeit und bestimmen neben dem resultierenden Mittelwert auch die resultierende Abweichung der Meßgröße nach dem Fehlerfortpflanzungsgesetz von Gauß. Dabei nehmen wir an, dass die Messgröße f : U → R, x 7→ f (x) , mit U ⊂ Rn , von x = (x1 , ..., xn ) abhängt. Werte der Variablen xi werden durch eine Messung bestimmt. Dabei treten Messfehler auf, so dass wir statt xi die Große xi ± 4xi betrachten. Für f : U → R mit U ⊂ Rn können wir, bei kleinen, nicht-korrelierten Fehlern p 4xi = Var Xi die Näherung n X ∂f (4z) ≈ ( (x = µ))2 (4xi )2 ∂x i i=1 2 verwenden. Dabei sei µi := E(Xi ) und µ = (µ1 , µ2 , ..., µn ). Beispiel Für den Ohmschen Widerstand gilt R = R(U, I) = U . I Hier erfolgt die Messung des Widerstandes R anhand einer Messung der Spannung U und der Stromstärke I. U0 Sei U0 := µ1 , I0 := µ2 und R0 := . I0 Es gilt ∂R 1 = , ∂U I ∂R U =− 2 ∂I I und (4R)2 ≈ ( 1 2 U0 1 ) (4U )2 + ( 2 )2 (4I)2 = ( )2 ((4U )2 + R02 (4I)2 ) . I0 I0 I0 TH Nürnberg 24 Somit erhalten wir für I = (10 ± 0, 3) A und U = (220 ± 2) V R0 = U0 = 22, 0 Ω I0 und 1 4R ≈ I0 r q 1 9 (4U )2 + R02 (4I)2 = 22 + 222 · Ω ≈ 0, 7 Ω . 10 100 TH Nürnberg 1.9 25 Lineare Regression Lassen sich die Daten der Ausprägungen zweier Merkmale X und Y näherungsweise in Form eines linearen Zusammenhangs darstellen, so verhilft die lineare Regressionsrechnung zu einer genaueren Analyse der funktionalen Abhängigkeit beider Merkmalsausprägungen. Dabei liegen die Daten in Form von Wertepaaren (x1 , y1 ), ...., (xn , yn ), mit xi , yi ∈ R, vor. Es wird davon ausgegangen, dass yi = α + βxi + ci für i = 1, ..., n gilt. Hier sind α, β, ci ∈ R, wobei die Größen ci zufällige Fehler darstellen. Die Methode der kleinsten Quadrate Die Parameter α und β sollen so bestimmt werden, dass durch die Regressionsgerade ŷ = a + bx eine möglichst gute Schätzung ŷ für die Ausprägung y des Merkmals Y bietet. Ein geeignetes Maß für die Güte dieser Schätzung stellt die Summe der Abweichungsquadrate 2 S = n X (yi − ŷi )2 i=1 dar, wobei ŷi := a + bxi sei. Nun sollen die Schätzgrößen a und b für α und β so bestimmt werden, dass S 2 minimal wird. TH Nürnberg 26 y 6 ( xi , yi) 5 ̂y =a +b x 4 3 ( x i , ŷ i ) 2 1 0 0 1 2 3 4 5 6 7 8 x Abbildung 1.7 Methode der kleinsten Quadrate Die Parameter a und b ergeben sich dann als Lösungen des Normalengleichungssystems n X ∂S 2 = −2 (yi − a − bxi ) = 0 ∂a i=1 und n X ∂S 2 = −2 xi (yi − a − bxi ) = 0 . ∂b i=1 Nach der ersten der beiden Gleichungen ist der Schätzwert für α a = ȳ − bx̄ , wobei n n 1X 1X x̄ = xi und ȳ = yi n i=1 n i=1 die Mittelwerte der Größen xi bzw. yi sind. Die zweite Gleichung impliziert n n 1X 1X 2 xi yi − ȳx̄ + bx̄2 − b x = 0. n i=1 n i=1 i Nach dieser Gleichung und mit Hilfe der Identitäten n X i=1 (xi − x̄)(yi − ȳ) = n X i=1 xi yi − nx̄ȳ TH Nürnberg 27 und n X (xi − x̄)2 = i=1 n X x2i − x̄2 n i=1 erhalten wir schließlich n P b= (xi − x̄)(yi − ȳ) i=1 n P , (xi − x̄)2 i=1 den Schätzwert für β. Beispiel Gesucht ist die Regressionsgerade für folgende Daten (xi , yi ): (−4, −3), (−2, 1), (−1, 0), (0, 1), (4, 5) . Die Schätzwerte a und b lassen sich mittels 5 X xi = −4 − 2 − 1 + 0 + 4 = −3 , i=1 5 X 5 X yi = −3 + 1 + 0 + 1 + 5 = 4 , i=1 x2i = 42 + 22 + 1 + 0 + 42 = 37 i=1 und 5 X xi yi = (−4) · (−3) + (−2) · 1 + (−1) · 0 + 0 · 1 + 4 · 5 = 30 i=1 bestimmen. Demnach gilt 30 · 5 + 12 + b(9 − 5 · 37) = 0 und 5a = 4 + 3b . TH Nürnberg 28 Die Parameter der Regressionsgerade y = a + bx sind daher a ≈ 1, 35 , b ≈ 0, 92 . y 6 5 4 3 2 1 0 -5 -4 -3 -2 -1 -1 0 1 2 3 4 5 x -2 -3 -4 Abbildung 1.8 Datenpunkte und die zugehörige Regressionsgerade Treten nicht nur zwei, sondern allgemein m unabhängige Merkmale auf, so verwenden wir bei einem linearen Ansatz als Schätzfunktion ŷi = a0 + a1 x1i + a2 x2i + ... + am xmi . Mit 1 1 . X= . . 1 x11 x12 . . . x1n x21 x22 . . . x2n ... ... . . . ... xm1 xm2 . . . xmn und y1 a0 y2 a1 . . y= . , a = . . . yn am TH Nürnberg 29 folgt a = (X t X)−1 X t y Beweis Es gilt ŷ = Xa . Gemäß der Methode der kleinsten Quadrate wird 2 S = n X (yi − ŷi )2 i=1 minimiert. Differenzieren wir S 2 nach a0 , a1 , ..., am und beachten, dass grad S 2 = 0 eine notwendige Bedingung für das Vorliegen eines kritischen Punktes ist, so erhalten wir n X y i = a0 n + a1 n X i=1 x1i + a2 i=1 n X i=1 n X yi x1i = ao yi x2i = a0 n X i=1 n X i=1 x1i + a1 x2i + a1 i=1 .. . n X yi xmi = a0 i=1 n X i=1 n X i=1 n X x21i + a2 i=1 xmi i=1 n X x1i x2i + a2 i=1 xmi + a1 n X x2i x1i + ... + am i=1 .. . n X x2i + ... + am n X i=1 .. . n X i=1 x22i + ... + am x1i xmi + a2 .. . n X n X i=1 n X xmi x1i xmi x2i i=1 x2i xmi + ... + am i=1 .. . n X x2mi . i=1 Demnach gilt X t Xa = X t y und daher a = (X t X)−1 X t y . Anmerkung: Mit Hilfe der euklidischen Norm k.k können wir auch S 2 = ky − Xak2 = (y − Xa)t (y − Xa) = y t y − y t Xa − (Xa)t y + (Xa)t Xa = at X t Xa − 2y t Xa + y t y schreiben. TH Nürnberg 1.10 30 Zufallsvariablen und Wahrscheinlichkeitsverteilungen Eine Zufallsgröße oder Zufallsvariable ist eine Funktion X : Ω → R, • deren Werte reelle Zahlen sind, die durch ein Zufallsexperiment bestimmt werden • und deren Ereignissen Wahrscheinlichkeiten zugeordnet sind. Der Wert x, den die Zufallsvariable X annimmt, heißt Realisation von X. Betrachten wir die Ereignisse X ≤ t einer Zufallsvariable X, so erhalten wir mit FX (t) = P (X ≤ t) die Verteilungsfunktion oder Wahrscheinlichkeitsverteilung der Zufallsvariablen X. Die Funktion FX besitzt folgende Eigenschaften: (i) FX ist monoton wachsend. (ii) FX ist rechtsseitig stetig, d.h. lim FX (t + h) = FX (t) . h&0 (iii) FX besitzt die Grenzwerteigenschaften lim FX (t) = 1 t→∞ und lim FX (t) = 0 . t→−∞ Ist die Zufallsvariable X diskret mit den möglichen Realisationen x1 , x2 , ..., so gilt für die Verteilungsfunktion X FX (t) = P (X = xi ) . {i∈N|xi ≤t} Existiert zu einer Verteilungsfunktion FX eine Funktion fX , so dass Zt FX (t) = fX (ξ)dξ −∞ gilt, dann wird die Wahrscheinlichkeitsverteilung als stetige Verteilung bezeichnet. Die Funktion fX heißt Dichtefunktion oder Dichte. TH Nürnberg 1.10.1 31 Kenngrößen von Zufallsvariablen Ist X eine stetige Zufallsvariable mit einer Dichte f , für welche das Integral von xf (x) über R existiert, so gilt für den Erwartungswert oder Mittelwert EX: Z∞ x · f (x) dx . EX = −∞ Ist die Zufallsvariable X diskret mit den möglichen Realisationen x1 , x2 , ..., so gilt EX = ∞ X xi · P (X = xi ) . i=1 Unter der Varianz einer Zufallsgröße X verstehen wir die Größe Var X := E(X − EX)2 . Die Größe σ, definiert durch 2 σ 2 = σX := Var X heißt Standardabweichung. Ungleichung von Tschebyscheff: Ist c ∈ R∗+ , so gilt P (|X − EX| ≥ c) ≤ Var X . c2 Demnach erhalten wir P (|X − EX| ≥ k · σ) ≤ σ2 1 = 2 2 (k · c) k für k · σ ∈ R∗+ . So lässt sich beispielweise herleiten, dass Werten, die mindestens 3σ vom Erwartungswert abweichen, höchstens mit der Wahrscheinlichkeit 19 auftreten. Satz von Steiner: Es gilt Var X = EX 2 − (EX)2 . TH Nürnberg 32 Ist FX eine stetige Verteilung, so gilt für das α-Quantil ξα Zξα FX (ξα ) = fX (x) dx = α . −∞ f (x) α ξα x Abbildung 1.9 Das α-Quantil einer stetigen Verteilung Für α = 1 2 erhalten wir den Median. Sind X und Y Zufallsvariablen, dann ist die Kovarianz definiert durch Cov(X, Y ) := E(X − EX)(Y − EY ) . Ist Cov(X, Y ) = 0, so werden die Zufallsvariablen X und Y als unkorreliert bezeichnet. Sind die Zufallsvariablen X und Y stochastisch unabhängig, so folgt E(X1 · X2 ) = E(X1 ) · E(X2 ) und daher Cov(X, Y ) = 0. Die Umkehrung dieser Schlussfolgerung gilt jedoch nicht allgemein. Weiterhin gilt Cov(X1 , X2 ) = E(X1 · X2 ) − E(X1 )E(X2 ) , Cov(X1 + X2 , Y ) = Cov(X1 , Y ) + Cov(X2 , Y ) , Cov(X, Y1 + Y2 ) = Cov(X, Y1 ) + Cov(X, Y2 ) , Cov(a0 + a1 X, b0 + b1 Y ) = a1 b1 Cov(X, Y ) für a0 , a1 , b0 , b1 ∈ R . TH Nürnberg 33 Der Korrelationskoeffizient ρ der Zufallsvariablen X und Y nach Bravais-Pearson ist definiert durch ρ = ρ(X, Y ) = Corr(X, Y ) := Cov(X, Y ) . σX · σY Sind Xi , i = 1, ..., n, Zufallszahlen, so gilt Var(X1 + X2 + ... + Xn ) = n X i=1 Var(Xi ) + X Cov(Xi , Xj ) . i,j=1,...,n i6=j Ist n = 2, so können wir Var(X1 + X2 ) = Var(X1 ) + Var(X2 ) + 2 Cov(X1 , X2 ) schreiben. TH Nürnberg 1.10.2 34 Die Binomialverteilung Eine Zufallsvariable X heißt binomialverteilt mit den Parametern n und p, B(n, p), falls n P (X = k) = bn,p (k) := · pk · (1 − p)n−k , k ∈ {0, ..., n} , k gilt. Die zugehörige Verteilungsfunktion lautet X n Bn,p (x) = · pk · (1 − p)n−k . k k≤x b6 ;0,5 0,35 0,3 0,25 0,2 0,15 0,1 0,05 0 1 0 2 1 3 2 4 3 5 4 6 5 7 6 8 9 k Abbildung 1.10 Die Dichte bn,p der Binomialverteilung für n = 6 und p = 0, 5 b8; 0,3 0,35 0,3 0,25 0,2 0,15 0,1 0,05 0 1 0 2 1 3 2 4 3 5 4 6 5 7 6 8 7 9 k Abbildung 1.11 Die Dichte bn,p der Binomialverteilung für n = 8 und p = 0, 3 TH Nürnberg 35 Solche Histogramme ergeben sich auch durch Häufigkeitsverteilungungen eines sog. GaltonBretts. Dabei werden n Kugeln durch Hindernisse abgelenkt, wobei sie mit einer Wahrscheinlichkeit p in eine Richtung abgelenkt werden und mit der Wahrscheinlichkeit 1 − p in die andere Richtung. Schließlich werden sie in n + 1 Fächern aufgefangen. Für den Erwartungswert erhalten wir n X n k EX = k p (1 − p)n−k k k=0 = np n X k=1 = np n−1 X k=0 (n − 1)! pk−1 (1 − p)n−k (n − k)!(k − 1)! (n − 1)! pk (1 − p)n−(k+1) (n − (k + 1))!k! n−1 X n−1 k = np p · (1 − p)n−k−1 k k=0 und mit dem Binomischen Lehrsatz: EX = np(p + (1 − p))n−1 = np . Für die Varianz gilt V arX = np(1 − p) . TH Nürnberg 1.10.3 36 Die Hypergeometrische Verteilung Eine Zufallsvariable X heißt hypergeometrisch verteilt mit den Parametern N , M und n, H(N, M, n), falls M N −M P (X = k) = hN,M,n (k) := k n−k N n , k = 0, ..., n , gilt. Hypergeometrische Verteilungen treten beispielsweise auf, wenn die Wahrscheinlichkeit berechnet werden soll, aus einer Menge von N Kugeln, mit M weißen und N − M schwarzen, k weiße Kugeln zu ziehen, wobei die Kugeln bei der Ziehung nicht zurückgelegt werden. 1.10.4 Die Poisson-Verteilung Falls µ = np konstant ist, gilt lim bn,p (k) = n→∞ µk e−µ . k! Anmerkung: Nach dem Grenzwertsatz von Poisson gilt das auch unter der schwächeren Voraussetzung, dass Xn B(n, pn )-verteilt sind und lim npn = µ ist. n→∞ Die durch ψµ (k) := µk e−µ , k ∈ N0 , µ ∈ R∗+ , k! definierte Verteilung heißt Poisson-Verteilung P (µ). Die zugehörige Verteilungsfunktion lautet Ψµ (x) = X µk e−µ k≤x k! . TH Nürnberg 37 ψ4( k ) 0,25 0,2 0,15 0,1 0,05 0 01 21 3 2 43 45 65 7 6 78 89 10 9 11 10 k Abbildung 1.12 Die Dichte ψµ der Poisson-Verteilung für µ = 4 ψ 8 (k ) 0,16 0,14 0,12 0,1 0,08 0,06 0,04 0,02 0 01 12 23 43 45 56 67 8 7 98 10 9 11 10 12 11 13 12 14 13 15 14 16 15 k Abbildung 1.13 Die Dichte ψµ der Poisson-Verteilung für µ = 8 Für den Erwartungswert erhalten wir ∞ X ∞ µk−1 −µ µk −µ X EX = k· e = µ· e = µ. k! (k − 1)! k=0 k=1 Für die Varianz gilt Var X = µ . TH Nürnberg 38 Beispiele • Sei die p = 0, 01 die Wahrscheinlichkeit, dass ein Produkt fehlerhaft ist. Gesucht wird die Wahrscheinlichkeit, dass unter n = 100 Stück höchstens drei fehlerhafte Erzeugnisse auftreten. Mit Hilfe der Binomialverteilung X n Bn,p (3) = · pk · (1 − p)n−k k k≤3 erhalten wir 100 100 0 100 Bn,p (3) = · (0, 01) · (0, 99) + · (0, 01)1 · (0, 99)99 0 1 100 100 2 98 + · (0, 01) · (0, 99) + · (0, 01)3 · (0, 99)97 = 0, 9816 . 2 3 Die Poisson-Verteilung ist eine gute Näherung für die Binomialverteilung, falls n groß und p, mit p = µn−1 , klein ist. Mittels X µk e−µ Ψµ (3) = k! k≤x erhalten wir 10 e−1 11 e−1 12 e−1 13 e−1 Ψµ (3) = + + + = 0, 9810 . 0! 1! 2! 3! • Wir betrachten die Anzahl von Telefonanrufen in einer Telefonzentrale. Dabei sei k die Anzahl von Telefonanrufen innerhalb eines Zeitintervalls I := [t0 , t1 ] und µ die durchschnittliche Anzahl von Anrufen pro Zeiteinheit. Sei Ii := [t0 + (i − 1) t1 − t0 t1 − t0 ; t0 + i ], 1 ≤ i ≤ n. n n Daher gilt n [ Ii = I mit Ii ∩ Ij = ∅ für i 6= j . i=1 Die Wahrscheinlichkeit für das Auftreten des Ereignisses, dass k Anrufe in einem Intervall Ii stattfinden, ist für jedes dieser Intervalle gleich. Außerdem sind diese Ereignisse in Ii stochastisch unabhängig von jenen in Ij , für j 6= i. Durch Erhöhung von n verfeinern wir die Unterteilung von I so, dass in einem Intervall Ii höchstens ein Anruf auftreten kann. TH Nürnberg 39 Es sei nun pn : Wahrscheinlichkeit für 1 Anruf in einem Intervall Ii 1 − pn : Wahrscheinlichkeit für 0 Anrufe in einem Intervall Ii . Dann beträgt die Wahrscheinlichkeit für k Anrufe im Gesamtintervall I: n k P (X = k) = bn,p (k) = p (1 − pn )n−k . k n Falls lim npn = µ ist, gilt n→∞ lim bn,pn (k) = n→∞ µk e−µ = ψµ (k) . k! Sind zwei jeweils poissonverteilte Zufallsvariable X1 und X2 stochastisch unabhängig mit X1 ∼ ψµ1 und X2 ∼ ψµ2 , so ist auch X := X1 + X2 poissonverteilt und es gilt X ∼ ψµ mit µ := µ1 + µ2 . Beispiel Sei X1 : Anzahl der Telefonanrufen in der ersten Stunde mit X1 ∼ ψµ1 und µ1 = 3, X2 : Anzahl der Telefonanrufen in der zweiten Stunde mit X2 ∼ ψµ2 und µ2 = 1. Die beiden Variablen seien stochastisch unabhängig. Dann kann die Wahrscheinlichkeit, in beiden Stunden insgesamt einen Telefonanruf zu erhalten, folgendermaßen berechnet werden: (i) Es gilt X ∼ ψµ mit µ = µ1 + µ2 = 4 und ψµ (1) = 41 −4 e = 0, 0733 . 1! (ii) Weiterhin gilt ψ4 (1) = ψ3 (0)ψ1 (1) + ψ3 (1)ψ1 (0) = = e−1 + 3 e−1 = 4 e−1 . 30 −0 11 −1 31 −1 10 −0 e · e + e · e 0! 1! 1! 0! TH Nürnberg 1.10.5 40 Die Gaußsche Normalverteilung Ist p fest, so nähert sich die Binomialverteilung bn,p für n → ∞ einer Gaußschen Normalverteilung. Sei µ ∈ R und σ ∈ R∗+ . Die Zufallsgröße X heißt normalverteilt, N (µ, σ 2 ), wenn die Dichtefunktion (x−µ)2 1 ϕµ,σ (x) = √ e− 2σ2 σ 2π lautet. Die Wahrscheinlichkeitsdichte ϕ0,1 ist die Dichte der Standardnormalverteilung N (0, 1) mit der Verteilungsfunktion Zx t2 1 e− 2 dt . φ(x) = √ 2π −∞ y x Abbildung 1.14 Die Dichte ϕ = ϕ0,1 der Standardnormalverteilung Aus der Wahrscheinlichkeitsdichte zu der Verteilung N (µ, σ 2 ) erhalten wir die Dichte zu N (0, 1) durch die lineare Transformation x−µ x 7→ y = . σ Für den Erwartungswert und die Varianz einer Normalverteilung N (µ, σ 2 ) erhalten wir Z∞ (x−µ)2 1 EX = √ xe− 2σ2 dx = µ σ 2π −∞ TH Nürnberg 41 und 1 Var X = √ σ 2π Z∞ (x − µ)2 e− (x−µ)2 2σ 2 dx = σ 2 . −∞ Entsprechend gilt für eine Standardnormalverteilung N (0, 1): EX = 0 und Var X = 1 . Oft sind die Messfehler einer Messgröße N (µ, σ 2 )-verteilt. Die Wahrscheinlichkeit, dass ein Messwert im Intervall [a, b] liegt, ist dann gegeben als 1 P (a ≤ x ≤ b) = √ σ 2π Zb e− (x−µ)2 2σ 2 dx . a Die Integration Z t2 e− 2 dt lässt sich näherungsweise mit Hilfe der Exponential-Reihe durchführen. Gemäß 1 2 e− 2 t = 1 − t4 t6 t8 t2 + − + ∓ ... 2 · 1! 4 · 2! 8 · 3! 16 · 4! erhalten wir 2 P (µ − σ ≤ x ≤ µ + σ) = √ 2π Z1 1 2 e− 2 t dt 0 r Z1 2 t2 t4 t6 t8 (1 − + − + ∓ ...) dt . = π 2 · 1! 4 · 2! 8 · 3! 16 · 4! 0 Nach gliedweiser Integration ergibt sich für P (µ − σ ≤ x ≤ µ + σ) r 1 2 t3 t5 t7 t9 t− + − + ∓ ... π 3 · 2 · 1! 5 · 4 · 2! 7 · 8 · 3! 9 · 16 · 4! 0 r 2 1 1 1 1 = 1− + − + ∓ ... . π 3 · 2 · 1! 5 · 4 · 2! 7 · 8 · 3! 9 · 16 · 4! TH Nürnberg 42 • Sind Xi , i = 1, ..., n, stochastisch unabhängige N (µi , σi2 )-verteilte Zufallsvariable, dann ist die Summe n X Xi i=1 gemäß n X N µi , i=1 n X ! σi2 i=1 verteilt. • Sind Xi , i = 1, ..., n, stochastisch unabhängige N (µ, σ 2 )-verteilte Zufallsvariable, dann ist das arithmetische Mittel n 1X Xi n i=1 gemäß N verteilt. σ2 µ, n TH Nürnberg 43 Die χ2 -Verteilung 1.10.6 Seien X1 , ..., Xn stochastisch unabhängige N (0, 1)-verteilte Zufallsvariablen. Dann wird die Verteilung der Zufallsgröße X := n X (Xi + µi )2 i=1 als χ2 -Verteilung mit n Freiheitsgraden und Nichtzentralitätsparameter δ 2 , χ2n (δ 2 ), 2 δ := n X µ2i i=1 bezeichnet. Ist δ = 0, so heißt die Verteilung zentrale χ2 -Verteilung mit n Freiheitsgraden, χ2n . Die Dichte dieser zentralen χ2n -Verteilung lautet fX (x) = x n 1 x 2 −1 e− 2 . n 2 Γ( 2 ) n 2 Dabei bezeichnet Γ die Gamma-Funktion. f X n=1 n=3 n=5 x Abbildung 1.15 Die Dichte der χ2n -Verteilung für n = 1, 3, 5 Für den Erwartungswert und die Varianz der χ2n -Verteilung gilt EX = n und Var X = 2n . TH Nürnberg 1.11 44 Grenzwertsätze Seien Xi identisch verteilte Zufallsvariablen. Dann besagt das Gesetz der großen Zahlen, dass lim P (|X̄n − µ| ≥ ) = 0 für alle > 0 , n→∞ wobei n 1 X X̄n := · Xi . n i=1 Für Zn := √ X̄n − µ n· . σ gilt EZn = 0 und Var Zn = 1. Der zentrale Grenzwertsatz besagt, dass lim P (Zn ≤ z) = φ(z) . n→∞ Demnach ist die Zufallsgröße Zn approximativ N (0, 1)-verteilt. Ist Xn B(n, pn )-verteilt sind und gilt lim npn = µ, so lässt sich der Grenzwertsatz von Poisson n→∞ anwenden. Dieser besagt, dass lim P (Xn = k) = n→∞ µk e−µ . k! Demnach ist die Zufallsgröße Xn approximativ P (µ)-verteilt. TH Nürnberg 45 1.12 Übungsaufgaben Aufgabe 1 Bestimmen Sie die Anzahl der Möglichkeiten a) beim dreimaligen Würfeln jeweils eine unterschiedliche Augenzahl zu erhalten, b) aus 49 Zahlen sechs Zahlen auszuwählen, c) eine Tüte mit zwölf Bonbons zu füllen, wenn es fünf verschiedene Sorten Bonbons gibt. Aufgabe 2 Herr Meier ist der Aufsichtsratsvorsitzende der Firma X. Neben ihm gehören noch vier Damen und vier Herren dem Aufsichtsrat an. Bei ihren Sitzungen nehmen die Personen jeweils auf einem der neun Stühle an einem runden Tisch Platz. Wie viele verschiedene Möglichkeiten der Sitzordnung gibt es, wenn • keinerlei Einschränkungen gelten, • die vier Damen immer nebeneinander sitzen, • nur nach Damen und Herren unterschieden wird. Bestimmen Sie außerdem die jeweilige Anzahl an Möglichkeiten, wenn Herr Meier immer auf einem ausgezeichneten Platz, dem Chefsessel, sitzt. Aufgabe 3 Berechnen Sie die Wahrscheinlichkeiten für folgende Ereignisse: a) Bei siebenmaligem Würfeln ist die größte Augenzahl eine Fünf. b) Bei viermaligem Würfeln treten keine zwei gleichen Augenzahlen auf. c) Bei einer Ziehung werden aus einer Urne, die Kugeln mit drei unterschiedlichen Farben enthält, blind vier Kugeln entnommen. Die Urne enthält vier grüne, drei gelbe und drei blaue Kugeln. Berechnen Sie die Wahrscheinlichkeit, dass von jeder Farbe eine gezogen wird. Aufgabe 4 Bestimmen Sie die Regressionsgerade für folgende Daten (ti , si ): 3 6 3 7 23 1 ). ( , 1), ( , ), (2, ), ( , 2 2 5 2 2 10 TH Nürnberg 46 Aufgabe 5 Bestimmen Sie die Koeffizienten a0 , a1 , a2 für eine linearen Regression zu folgenden Daten: x1 x2 74 1 67 1 69 2 72 2 77 3 71 3 y 50 48 51 53 58 55 Aufgabe 6 Zwei Bleche werden aufeinander verschweißt. Die Abweichung dieser Bleche von deren gewünschter Dicke wird durch die Zufallsvariablen X1 und X2 beschrieben. Die Zufallsvariablen Xi , i = 1, 2, seinen stochastisch unabhängig und N (0, σi2 )-verteilt. Geben Sie die Verteilungsfunktion der Abweichung der Gesamtdicke X1 + X2 an. Aufgabe 7 Seien X1 und X2 stochastisch unabhängig und N (0, σ 2 )-verteilt mit σ = 2. Weiterhin sei Y1 := X1 und Y2 := µ · X1 + p 1 − µ2 · X2 , mit 0 < µ < 1 . Bestimmen Sie die Korrelation ρ(Y1 , Y2 ). Aufgabe 8 Die Länge von 10 Werkstücken ist N (80, 2)-verteilt. Bestimmen Sie die Wahrscheinlichkeit, dass das arithmetische Mittel der Längen im Intervall [79, 81] liegt. Aufgabe 9 Zwischen dem Hersteller elektronischer Bauteile und einem Produzenten von Fernsehgeräten wurde vereinbart, dass bei der Eingangskontrolle maximal 5% der Bauteile defekt sein darf. Dazu wird aus jeder Lieferung eine Stichprobe von 20 Bauteilen entnommen und überprüft. a) Wie groß ist die Wahrscheinlichkeit, dass eine Lieferung zurückgewiesen wird, wenn 3% der Bauteile defekt sind? b) Wie groß ist die Wahrscheinlichkeit, dass eine Lieferung angenommen wird, obwohl 8% der Bauteile defekt sind? TH Nürnberg 2 47 Induktive Statistik 2.1 Schätzen von Parametern Seien x1 , ..., xn Beobachtungen von Zufallsgrößen X1 , ..., Xn , θ ein unbekannter Parameter der Verteilungen der Xi und θ̂(X1 , ..., Xn ) eine Stichprobenfunktion. Wird θ mittels θ̂ geschätzt, so heißt θ̂ Schätzfunktion für θ. Arten der Schätzung a) Eine Punktschätzung liegt vor, wenn die aus der Stichprobe erhaltene Ausprägung θ̂(X1 , ..., Xn ) Schätzwert für θ ist, d. h. θ̂(X1 , ..., Xn ) = θ . b) Eine Intervallschätzung liegt vor, wenn ein Intervall reeller Zahlen gegeben ist, innerhalb dessen der gesuchte Parameter mit vorausgesetzter Sicherheit liegt. Eigenschaften von Schätzfunktionen a) Erwartungstreue Schätzfunktionen Eine Schätzfunktion θ̂ für θ heißt erwartungstreu, wenn E θ̂(X1 , ..., Xn ) = θ . Beispiel Wird zur Schätzung des Parameters µ einer N (µ, σ 2 )-Verteilung das arithmetische Mittel der Stichprobe x1 , ..., xn verwendet, d. h. θ̂(x1 , ..., xn ) = x̄ , so ist diese Schätzfunktion erwartungstreu, da n n 1X 1 1X Xi ) = EXi = nµ = µ . E θ̂(X1 , ..., Xn ) = E( n i=1 n i=1 n b) Konsistente Schätzfunktionen Eine Schätzfunktion θ̂n für θ, welche auf n Beobachtungen beruht, heißt konsistent, wenn, für jedes > 0, lim P (|θ̂n − θ| > ) = 0 n→∞ gilt. TH Nürnberg 48 Ein Maß für die Güte eines Schätzers bietet der mittlere quadratische Fehler E(θ̂ − θ)2 . Da E(θ̂ − θ)2 = E θ̂2 − 2(E θ̂)θ + θ2 = E θ̂2 − (E θ̂)2 + (E θ̂)2 − 2(E θ̂)θ + θ2 = Var θ̂ + (E θ̂ − θ)2 gilt, erhalten wir für erwartungstreue Schätzer: E(θ̂ − θ)2 = Var θ̂ . Dieser ist demnach genau dann konsistent, wenn lim Var θ̂ = 0 n→∞ ist. Anmerkung: Die Größe E θ̂ − θ wird Bias oder Verzerrung des Schätzers θ̂ genannt. Beispiel Für die Schätzfunktion x̄ für den Mittelwert µ der N (µ, σ 2 )-Verteilung gilt n 1 X σ2 1 E(X̄ − µ) = Var X̄ = ( )2 Var(Xi ) = ( )2 nσ 2 = n i=1 n n 2 und daher lim Var X̄ = 0 . n→∞ Demnach ist dieser erwartungstreue Schätzer x̄ konsistent. TH Nürnberg 49 Konfidenzintervalle Ist die Irrtumswahrscheinlichkeit, dass ein unbekannter Parameter θ in einem zu bestimmenden Bereich liegt, maximal α, mit 0 < α < 1, so beträgt die Wahrscheinlichkeit, dass θ zu diesem Bereich gehört 1 − α. Zur Bestimmung eines solchen Konfidenzbereichs werden oft Punktschätzer θ̂ für den Parameter θ, verwendet, um Zahlen ũ1 , ũ2 ∈ R ∪ {∞} zu finden, so dass P (ũ1 ≤ θ̂ ≤ ũ2 ) = 1 − α gilt. Die so bestimmende Punktmenge heißt Konfidenzbereich zum Niveau 1 − α. Handelt es sich bei dem Bereich um ein Intervall, so wird es Konfidenzintervall zum Niveau 1 − α genannt. Falls die standardisierte Zufallsvariable θ̂ − Eθ √ Var θ unabhängig von Var θ ist, können wir θ̂ − Eθ ≤ u2 ) = 1 − α P (u1 ≤ √ Var θ verwenden, um, statt der Zahlen ũ1 , ũ2 , die Zahlen u1 , u2 ∈ R ∪ {∞} zu bestimmen. Betrachten wir n Realisationen von unabhängigen N (µ, σ 2 )-verteilten Zufallsvariablen, so gilt für die Schätzfunktion X̄ für µ: E X̄ = µ und n 1 2X σ2 1 2 2 Var X̄ = ( ) Var Xi = ( ) n · σ = . n i=1 n n Demnach ist die Zufallsgröße √ X̄ − µ n σ N (0, 1)-verteilt. Somit gilt √ X̄ − µ P −u1− α2 ≤ n ≤ u1− α2 = 1 − α . σ Dabei ist u1− α2 das 1 − α2 -Quantil der N (0, 1)-Verteilung. TH Nürnberg 50 Ein Konfidenzintervall zum Niveau 1 − α für den Parameter µ ist daher durch σ σ x̄ − √ u1− α2 , x̄ + √ u1− α2 n n gegeben. y α 2 α 2 −u 1− α 2 u1− α x 2 Abbildung 2.1 Das 1 − α2 -Quantil der N (0, 1)-Verteilung Beispiel Für α = 0, 05 erhalten wir u1− α2 = u0,975 = 1, 96. Ist x̄ = 11, 05, n = 9 und σ = 0, 3, so lautet das Konfidenzintervall zum Niveau 0, 95: [10, 85; 11, 25] . TH Nürnberg 51 Da √ X̄ − µ √ X̄ − µ P n ≥ −u1−α = P n ≤ u1−α = 1 − α σ σ ist, lauten die einseitigen Konfidenzintervalle σ −∞, x̄ + √ u1−α n und σ x̄ − √ u1−α , ∞ . n y α u1−α x Abbildung 2.2 Das 1 − α-Quantil der N (0, 1)-Verteilung Beispiel Für α = 0, 05 erhalten wir u1−α = u0,95 = 1, 645. Ist x̄ = 11, 05, n = 9 und σ = 0, 3, so lauten die einseitigen Konfidenzintervalle zum Niveau 0, 95: (−∞; 11, 21] und [10, 89; ∞) . TH Nürnberg 2.2 2.2.1 52 Testen von Hypothesen Einseitiger Einstichproben-Gaußtest Zur Bestimmung der einseitigen Konfidenzintervalle betrachten wir √ X̄ − µ √ X̄ − µ n ≥ −u1−α = P n ≤ u1−α = 1 − α . P σ σ Im Rahmen eines statistischen Tests können wir uns beispielsweise die Aufgabe stellen, zu untersuchen, ob ein Parameter µ einer N (µ, σ 2 )-Verteilung größer oder kleiner als ein Wert µ0 ist, und hierzu zwischen Nullhypothese H0 und der Alternativhypothese H1 unterscheiden. Es soll demnach H0 : µ ≤ µ0 gegen H1 : µ > µ0 getestet werden. Dabei können folgende Fehler auftreten: • Fehler 1. Art (α-Fehler): Obwohl die Aussage von H0 wahr ist, wird dem Test zufolge angenommen, die Aussage von H1 sei wahr. • Fehler 2. Art (β-Fehler): Obwohl die Aussage von H1 wahr ist, wird dem Test zufolge angenommen, die Aussage von H0 sei wahr. Führt das Entscheidungsverfahren mit einer Wahrscheinlichkeit von höchstens dem Wert α zu einem Fehler 1. Art, so wird der Test als Test zum Niveau α bezeichnet. Dann wird α auch Signifikanzniveau genannt. TH Nürnberg 53 P ( x) Fehler 2. Art μ0 Fehler 1. Art u1−α μ1 x Abbildung 2.3 Einseitiger Einstichproben-Gaußtest Sei Pµ die Wahrscheinlichkeit bei Vorliegen des Wertes µ. Ist µ = µ0 , so gilt √ X̄ − µ > u1−α ) = α . Pµ ( n σ Ist hingegen µ < µ0 , so gilt √ X̄ − µ Pµ ( n > u1−α ) < α . σ Ein Test zum Niveau α liegt vor, wenn die Entscheidung für die Annahme von • H1 getroffen wird, falls √ x̄ − µ n > u1−α , σ • H0 getroffen wird, falls √ x̄ − µ n ≤ u1−α . σ Ein solcher Test heißt einseitiger Einstichproben-Gaußtest. TH Nürnberg 2.2.2 54 Der χ2 -Anpassungstest Gegeben seien n stochastisch unabhängige Zufallsvariablen X1 , ..., Xn mit den zugehörigen Realisierungen x1 , ..., xn . Um die Hypothesen • H0 : Die Grundgesamtheit ist N (µ0 , σ02 )-verteilt • H1 : Die Grundgesamtheit ist nicht N (µ0 , σ02 )-verteilt zu testen, werden, unter der Annahme, dass H0 wahr ist, berechnete mit beobachteten Wahrscheinlichkeiten für die Zugehörigkeit der Größen xi zu geeigneten Klassen durch eine Testgröße T verglichen. Anhand dieser Testgröße, die unter H0 asymptotisch χ2 -verteilt ist, wird dann entschieden, welche der Hypothesen angenommen wird. Dabei verfahren wir folgendermaßen: • Das uneigentliche Intervall (−∞, ∞) = R wird in k disjunkte Intervalle Ii unterteilt. • Die Anzahl der Beobachtungen ni , i = 1, ..., k, der Messwerte x1 , ..., xn in jedem Ii wird bestimmt. • Unter der Annahme, dass H0 wahr ist, werden die Wahrscheinlichkeiten pi = P (X ∈ Ii ) , i = 1, ..., k , und die Werte Ei := npi , i = 1, ..., k , berechnet. • Die Größe T := k X 1 (ni − Ei )2 E i i=1 wird bestimmt. Dabei gilt die Approximation als hinreichend genau, falls nicht mehr als 20% der Werte Ei kleiner als 5 und kein Wert Ei kleiner als 1 ist. Die Nullhypothese H0 zum Signifikanzniveau α wird verworfen, falls T > χ2k−1;1−α gilt. TH Nürnberg 55 Der χ2 -Anpassungstest für die Poisson-Verteilung Um die Hypothesen • H0 : Die Grundgesamtheit ist P (µ)-verteilt • H1 : Die Grundgesamtheit ist nicht P (µ)-verteilt zu testen, nutzen wir das oben vorgestellte Verfahren. Beispiel Es soll mit Hilfe eines χ2 -Anpassungstests zum Signifikanzniveau α = 0, 05 überprüft werden, ob die Anzahl der Anruf in einer Telefonzentrale innerhalb eines bestimmten Zeitintervalls P (3)-verteilt ist. Hier wird ein Zeitintervall von 15 min vorausgesetzt und die Anzahl der Anrufe in n = 50 Zeitintervallen der Intervalldauer 15 min gezählt. Anzahl l Anzahl ml der Zeitintervalle Anzahl l Anzahl ml der Zeitintervalle der Anrufe mit l Anrufen der Anrufe mit l Anrufen 0 1 6 7 1 6 7 1 2 8 8 1 3 10 9 2 4 6 10 2 5 6 > 10 0 Demnach erhalten wir i Ii ni Ei 1 (−∞, 1] 7 9, 95 2 (1, 2] 8 11, 2 3 (2, 3] 10 11, 2 4 (3, 4] 6 8, 4 5 (4, ∞) 19 9, 25 Daher gilt für die Testgröße 5 X 1 T = (ni − Ei )2 = 12, 88 . Ei i=1 TH Nürnberg Da χ25−1;0,95 = 9, 5 < T gilt, wird die Nullhypothese verworfen. 56 TH Nürnberg 2.3 57 Übungsaufgaben Aufgabe 1 Bei den Bundesjugendspielen wird die Zeit des Siegers bei einem 100 m-Lauf gestoppt. Um die Genauigkeit der Messung zu erhöhen, werden die Messungen eines Laufs von verschiedenen Lehrern gleichzeitig vorgenommen. Dabei ergeben sich folgende Messwerte: Nr. der Messung 1 Messwert in s 11,2 2 10,6 3 11,0 4 10,9 5 11,4 6 11,1 7 10,7 8 11,3 9 10,8 10 11,0 Die Messwerte x1 , ..., x10 werden als Realisationen von 10 unabhängigen N (µ, 0, 09)-verteilten Zufallsvariablen vorausgesetzt. Bestimmen Sie das Konfidenzintervall für den Parameter µ zum Niveau 0, 95. Aufgabe 2 Eine Maschine verpackt Zucker in 500 g-Tüten. Die tatsächliche Füllmenge sei N (µ, σ 2 )-verteilt, wobei σ = 2, 7 g sei. Um zu bestimmen, ob die Maschine eine von der angegebenen Füllmenge µ0 = 500 g abweichende Zuckermengen abfüllt, wird die jeweilige Masse von 9 gefüllten Tüten bestimmt. Die Messwerte lauten Nr. der Messung 1 Messwert in g 505 2 501 3 497 4 503 5 499 6 502 7 497 8 499 9 504 Es soll H0 : µ ≤ µ0 gegen H1 : µ > µ0 getestet werden. Dabei werde ein Test zum Niveau 0, 025 durchgeführt. Welche dieser Hypothesen wird angenommen? TH Nürnberg 58 Aufgabe 3 Ein Verein erzielt Einnahmen vornehmlich aus Mitgliedsbeiträgen, die zu Beginn eines jeden Jahres gezahlt werden und zusätzlich durch eine in jedem III. Tertial durchgeführte Veranstaltung. Die Entwicklung des Kassenbestandes ist in folgender Tabelle angegeben: Jahr 2009 Tertial I II III Bestand in e 7110 5220 5770 2010 I II III 6440 5030 5510 2011 I II III 6810 4890 5240 2012 I II III 6210 4430 5230 a) Zeichnen Sie die Zeitreihe. b) Bestimmen Sie (i) die Regressionsgerade mittels der Methode der kleinsten Quadrate, (ii) die Reihe der gleitenden Durchschnitte der Ordnung 3, wobei als gleitender Durchschnitt yi∗ der Ordnung 2m + 1 zum Beobachtungswert yi , i = 1, ..., n , yi∗ m X 1 := yi+k , für i = m + 1, m + 2, ..., n − m , 2m + 1 k=−m definiert ist, (iii) die empirischen Autokorrelationen der Zeitreihe, wobei als empirische Autokorrelation r(m) := c(m) , c(0) mit n−m 1X c(m) := (yi − ȳ)(yi+m − ȳ) , m = 0, 1, ..., n − 1 n i=1 und n c(0) := 1X (yi − ȳ)2 , n i=1 definiert ist, und stellen Sie Ihre Ergebnisse graphisch dar. c) Bestimmen Sie eine Näherungsfunktion für die Kassenbestände mittels harmonischer Analyse. TH Nürnberg Symbolverzeichnis Allgemeine Notation N = {1, 2, 3, ....} Menge der natürlichen Zahlen N0 = {0, 1, 2, 3, ....} Z = {0, ±1, ±2, ....} Menge der ganzen Zahlen p Q = { | p, q ∈ Z, q 6= 0} Körper der rationalen Zahlen q R Körper der reellen Zahlen R+ := {x ∈ R | x ≥ 0} R∗ := {x ∈ R | x 6= 0} R∗+ := {x ∈ R | x > 0} C Körper der komplexen Zahlen Symbole zur Statistik B(n, p) Binomialverteilung mit den Parametern n und p N (µ, σ 2 ) Normalverteilung mit Mittelwert µ und Varianz σ 2 P (λ) Poisson-Verteilung mit dem Parametern λ χ2n χ2 -Verteilung mit n Freiheitsgraden χ2n;γ γ-Quantil der χ2 -Verteilung mit n Freiheitsgraden 59 TH Nürnberg 60 Literatur [1] I. N. Bronstein, K. A. Semendjajew, Taschenbuch der Mathematik, B. G. Teubner, Nauka [2] G. Buttler, S. Maaß, Aufgabensammlung zur Grundausbildung in Statistik, Teil I: Deskriptive Statistik, Teil II: Induktive Statistik, Verlag der Universitätsbuchhandlung Büttner & Co., Nürnberg, 1992, 1993 [3] J. Hartung, Statistik, Oldenbourg [4] J. Hartung, B. Heine, Statistik-Übungen, Oldenbourg [5] B. Jann, Einführung in die Statistik, Oldenbourg [6] S. Maaß, Statistik I und II, Vorlesungsskripten, Universität Erlangen-Nürnberg, Volkswirtschaftliches Institut, Lehrstuhl Statistik I [7] F. Reinhardt, H. Soeder, dtv-Atlas zur Mathematik, Deutscher Taschenbuch Verlag [8] SMART, Mathematik- und Physikaufgabensammlung, Universität Bayreuth, http://btmdx1.mat.uni-bayreuth.de/smart/wp/