Statistik Teil 1
Werbung
Übersicht über die Vorlesung Statistik Statistik R. Frühwirth R. Frühwirth Teil 1: Deskriptive Statistik Statistik Teil 2: Wahrscheinlichkeitsrechnung R. Frühwirth [email protected] Teil 3: Zufallsvariable und Verteilungen VO 142.090 http://tinyurl.com/TU142090 Teil 4: Schätzen von Parametern Februar 2010 R. Frühwirth Statistik 1/388 R. Frühwirth Statistik 2/388 Übersicht über die Vorlesung Statistik Statistik R. Frühwirth R. Frühwirth Teil 5: Testen von Hypothesen Einleitung Grundbegriffe Merkmal- und Skalentypen Aussagen und Häufigkeiten Teil 6: Regression und lineare Modelle Teil 1 Eindimensionale Merkmale Graphische Darstellung Empirische Verteilungsfunktion Kernschätzer Maßzahlen Beispiele Teil 7: Einführung in die Bayes-Statistik Deskriptive Statistik Zweidimensionale Merkmale Qualitative Merkmale Quantitative Merkmale Korrelation Teil 8: Simulation von Experimenten R. Frühwirth Statistik 3/388 R. Frühwirth Statistik 4/388 Grenzverteilungssätze Grenzverteilungssätze Statistik Statistik R. Frühwirth Eindimensionale Zufallsvariable Bi(200,0.1) No(20,18) 0.9 Grundbegriffe Diskrete Zufallsvariable Stetige Zufallsvariable Eindimensionale Zufallsvariable Grundbegriffe Diskrete Zufallsvariable Stetige Zufallsvariable 0.8 0.7 Mehrdimensionale Zufallsvariable Mehrdimensionale Zufallsvariable 0.6 F(x) Grundbegriffe Randverteilungen und bedingte Verteilungen R. Frühwirth 1 Grundbegriffe Randverteilungen und bedingte Verteilungen 0.5 Wichtige Verteilungen Beispiel (Poissonverteilung für großes n) Da eine gemäß Po(λ) verteilte Zufallsvariable als Summe von λ P (1)-verteilten Zufallsvariablen dargestellt werden kann, muss die Poissonverteilung für λ → ∞ gegen eine Normalverteilung streben. Die Abbildung zeigt die Verteilungsfunktion der Poissonverteilung Po(λ) mit λ = 25, sowie die Verteilungsfunktion der Normalverteilung No(µ, σ 2 ) mit µ = λ = 25 und σ 2 = λ = 25. Wichtige Verteilungen Diskrete Verteilungen Stetige Verteilungen Die Normalverteilung und verwandte Verteilungen Diskrete Verteilungen Stetige Verteilungen Die Normalverteilung und verwandte Verteilungen 0.4 0.3 0.2 Momente Erwartung Varianz Schiefe Momente Erwartung Varianz Schiefe 0.1 0 Rechnen mit Verteilungen 0 5 10 15 20 x Faltung und Messfehler Fehlerfortpflanzung, Transformation von Dichten Systematische Fehler Grenzverteilungssätze R. Frühwirth 25 30 35 40 Rechnen mit Verteilungen Faltung und Messfehler Fehlerfortpflanzung, Transformation von Dichten Systematische Fehler Grenzverteilungssätze Statistik R. Frühwirth 285/388 Statistik 286/388 Grenzverteilungssätze Statistik Statistik R. Frühwirth R. Frühwirth 1 Eindimensionale Zufallsvariable Grundbegriffe Diskrete Zufallsvariable Stetige Zufallsvariable Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian 0.8 Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer F(x) 0.6 0.5 Wichtige Verteilungen Diskrete Verteilungen Stetige Verteilungen Die Normalverteilung und verwandte Verteilungen Momente Erwartung Varianz Schiefe Rechnen mit Verteilungen Teil 4 0.7 Mehrdimensionale Zufallsvariable Grundbegriffe Randverteilungen und bedingte Verteilungen Po(25) N(25,25) 0.9 0.4 0.3 Intervallschätzer 0.2 0.1 0 Schätzen von Parametern 0 5 10 15 20 Faltung und Messfehler Fehlerfortpflanzung, Transformation von Dichten Systematische Fehler Grenzverteilungssätze R. Frühwirth Statistik 25 x 30 35 40 45 50 287/388 Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung R. Frühwirth Statistik 288/388 Abschnitt 13: Stichprobenfunktionen Übersicht Teil 4 Statistik Statistik R. Frühwirth R. Frühwirth Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Stichprobenfunktionen 13 Stichprobenfunktionen 14 Punktschätzer 15 Intervallschätzer Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung R. Frühwirth Statistik Punktschätzer 15 Intervallschätzer R. Frühwirth 289/388 Unterabschnitt: Grundbegriffe Statistik 290/388 Grundbegriffe Statistik Statistik R. Frühwirth R. Frühwirth Stichprobenfunktionen X1 , . . . , Xn seien unabhängige Zufallsvariable, die alle die gleiche Verteilung F haben. Stichprobenfunktionen 13 Punktschätzer 14 Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Punktschätzer Intervallschätzer 15 Eine Zufallsvariable Y = h(X1 , . . . , Xn ) heißt eine Stichprobenfunktion. In vielen Fällen sind Momente oder die Verteilung von Y zu bestimmen. Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Intervallschätzer R. Frühwirth Sie bilden dann eine zufällige Stichprobe der Verteilung F . Punktschätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung 14 Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Intervallschätzer Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian 13 Statistik 291/388 R. Frühwirth Statistik 292/388 Unterabschnitt: Stichprobenmittel Stichprobenmittel Statistik Statistik R. Frühwirth R. Frühwirth Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Stichprobenfunktionen Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian 13 Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Punktschätzer 14 Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Intervallschätzer R. Frühwirth Statistik 1 E[X] = µ 2 var[X] = 3 σ2 n Ist F eine Normalverteilung, so ist X normalverteilt. R. Frühwirth Statistik 294/388 Statistik Zentraler Grenzwertsatz 1 Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Hat F das Mittel µ und die Varianz σ 2 , gilt: Unterabschnitt: Stichprobenvarianz Statistik Stichprobenfunktionen Momente des Stichprobenmittels 293/388 Stichprobenmittel R. Frühwirth Das Stichprobenmittel X der Stichprobe X1 , . . . , Xn ist definiert durch n 1X X= Xi n i=1 Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Intervallschätzer 15 Definition (Stichprobenmittel) R. Frühwirth Hat F das Mittel µ und die Varianz σ 2 , so konvergiert die Verteilung von X −µ √ U= σ/ n gegen die Standardnormalverteilung. 2 Ist F eine Normalverteilung, ist U für alle n standardnormalverteilt. Intervallschätzer Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian 13 Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian 14 Punktschätzer 15 Intervallschätzer Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung R. Frühwirth Statistik 295/388 R. Frühwirth Statistik 296/388 Stichprobenvarianz Stichprobenvarianz Statistik R. Frühwirth Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Intervallschätzer Statistik Definition (Stichprobenvarianz) R. Frühwirth 2 Stichprobenfunktionen Die Stichprobenvarianz S der Stichprobe X1 , . . . , Xn ist definiert durch n 1 X S2 = (Xi − X)2 n − 1 i=1 Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Hat F die Varianz σ 2 , gilt: Intervallschätzer 2 E[S ] = σ R. Frühwirth Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung 2 Statistik Statistik R. Frühwirth Stichprobenfunktionen Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Stichprobenfunktionen 14 Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Punktschätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Intervallschätzer 15 2 X und S 2 sind unabhängig. 3 Die Varianz von S 2 ist gegeben durch var[S 2 ] = 4 Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Intervallschätzer Statistik Die Größe X −µ √ S/ n T = ist t-verteilt mit n − 1 Freiheitsgraden. Statistik 298/388 Definition (Stichprobenmedian) Der Stichprobenmedian X̃ der Stichprobe X1 , . . . , Xn ist definiert durch X((n+1)/2) , n ungerade X̃ = 1 X (n/2) + X(n/2+1) , n gerade 2 Momente des Stichprobenmedians Hat F den Median m und die Dichte f , gilt: 1 299/388 lim E[X̃] = m n→∞ 2 lim var[X̃] = n→∞ 3 R. Frühwirth 2σ 4 n−1 Stichprobenmedian Statistik Punktschätzer (n − 1)S 2 /σ 2 ist χ2 -verteilt mit n − 1 Freiheitsgraden. R. Frühwirth R. Frühwirth 13 1 297/388 Unterabschnitt: Stichprobenmedian Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Ist F eine Normalverteilung mit Mittel µ und Varianz σ 2 , so gilt: Punktschätzer Erwartung der Stichprobenvarianz Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Satz 1 , 4 nf 2 (m) wenn f (m) > 0 X̃ ist asymptotisch normalverteilt. R. Frühwirth Statistik 300/388 Abschnitt 14: Punktschätzer Unterabschnitt: Eigenschaften von Punktschätzern Statistik Statistik R. Frühwirth R. Frühwirth Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Stichprobenfunktionen 14 Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-Likelihood-Schätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Stichprobenfunktionen 13 15 Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer 301/388 Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Intervallschätzer Statistik 302/388 Statistik Ein Punktschätzer ist eine Stichprobenfunktion, die einen möglichst genauen Näherungswert für einen unbekannten Verteilungsparameter ϑ liefern soll: R. Frühwirth Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian T = g(X1 , . . . , Xn ) Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer 15 Eigenschaften von Punktschätzern Statistik Stichprobenfunktionen Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-Likelihood-Schätzer R. Frühwirth Eigenschaften von Punktschätzern R. Frühwirth 14 Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Statistik Stichprobenfunktionen Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Intervallschätzer R. Frühwirth 13 Definition (Erwartungstreue) Ein Punktschätzer T für den Parameter ϑ heißt erwartungstreu oder unverzerrt, wenn für alle zulässigen Werte von ϑ gilt: Eϑ [T ] = ϑ Punktschätzer Die Funktion g(x1 , . . . , xn ) wird die Schätzfunktion genannt. Die Konstruktion von sinnvollen Punktschätzern für einen Parameter ϑ ist Aufgabe der Schätztheorie. Für einen Parameter ϑ sind viele Punktschätzer möglich. Ein guter“ Punktschätzer sollte jedoch gewisse Anforderungen ” erfüllen. R. Frühwirth Statistik 303/388 Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer T heißt asymptotisch erwartungstreu, wenn gilt: lim Eϑ [T ] = ϑ n→∞ Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Ist der unbekannte Parameter gleich ϑ, dann ist die Erwartung des Punktschätzers gleich ϑ. Ein erwartungstreuer Punktschätzer hat zwar zufällige Abweichungen vom wahren Wert ϑ, aber keine systematische Verzerrung. R. Frühwirth Statistik 304/388 Eigenschaften von Punktschätzern Eigenschaften von Punktschätzern Statistik R. Frühwirth Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Statistik Definition (MSE) R. Frühwirth Die mittlere quadratische Abweichung (mean squared error, MSE) eines Punktschätzers T für den Parameter ϑ ist definiert durch: MSE[T ] = Eϑ [(T − ϑ)2 ] Definition (MSE-Konsistenz) Ein Punktschätzer T für den Parameter ϑ heißt konsistent im quadratischen Mittel (MSE-konsistent), wenn gilt: lim MSE[T ] = 0 n→∞ R. Frühwirth Statistik Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung MSE[T1 ] ≤ MSE[T2 ] Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Definition (Effizienz) Ein erwartungstreuer Punktschätzer T1 heißt effizienter als der erwartungstreue Punktschätzer T2 , wenn für alle zulässigen ϑ gilt: var[T1 ] ≤ var[T2 ] Ein erwartungstreuer Punktschätzer T heißt effizient, wenn seine Varianz den kleinsten möglichen Wert annimmt. 305/388 R. Frühwirth Statistik 306/388 Eigenschaften von Punktschätzern Statistik Stichprobenfunktionen Ein Punktschätzer T1 heißt MSE-effizienter als der Punktschätzer T2 , wenn für alle zulässigen ϑ gilt: Punktschätzer Eigenschaften von Punktschätzern R. Frühwirth Definition (MSE-Effizienz) Statistik Definition (Fisher-Information) R. Frühwirth Es sei X1 , . . . , Xn eine Stichprobe mit der gemeinsamen Dichte g(x1 , . . . , xn |ϑ). Die Erwartung 2 ∂ ln g(X1 , . . . , Xn |ϑ) Iϑ = E − ∂ϑ2 heißt die Fisher-Information der Stichprobe. Satz von Rao und Cramèr Es sei X1 , . . . , Xn eine Stichprobe mit der gemeinsamen Dichte g(x1 , . . . , xn |ϑ). Die Varianz eines erwartungstreuen Schätzers T für den Parameter ϑ ist nach unten beschränkt durch: var[T ] ≥ 1/Iϑ R. Frühwirth Statistik 307/388 Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Beispiel Es sei X1 , . . . , Xn eine Stichprobe aus der Exponentialverteilung Ex(τ ). Die gemeinsame Dichte ist dann gleich ! n X 1 g(x1 , . . . , xn |τ ) = n exp − xi /τ τ i=1 Daraus folgt: ln g(x1 , . . . , xn |τ ) = − n ln τ − ∂2 ln g(x1 , . . . , xn |τ ) = ∂τ 2 2 ∂ E ln g(X , . . . , X |τ ) = 1 n ∂τ 2 R. Frühwirth Statistik n X xi /τ i=1 P 2 n i=1 τ3 xi n − τ2 n 2 nτ n − 3 −=− 2 τ2 τ τ 308/388 Eigenschaften von Punktschätzern Unterabschnitt: Schätzung des Mittelwerts Statistik R. Frühwirth Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Statistik Beispiel (Fortsetzung) R. Frühwirth Stichprobenfunktionen Die Information ist also gleich Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian n Iτ = 2 τ Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Punktschätzer Für jeden erwartungstreuen Schätzer T von τ gilt folglich: var[T ] ≥ τ2 n Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung R. Frühwirth Statistik Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Intervallschätzer R. Frühwirth Statistik 310/388 Statistik Satz 1 Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Intervallschätzer 15 Schätzung des Mittelwerts Statistik Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-Likelihood-Schätzer 309/388 Schätzung des Mittelwerts Punktschätzer 14 Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Stichprobenfunktionen Stichprobenfunktionen Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Intervallschätzer R. Frühwirth 13 2 R. Frühwirth Es sei X1 , . . . , Xn eine Stichprobe aus der Verteilung F mit Erwartung µ. Dann ist das Stichprobenmittel X ein erwartungstreuer Punktschätzer von µ. Hat F die endliche Varianz σ 2 , so ist X MSE-konsistent. Beispiel Ist F die Normalverteilung No(µ, σ 2 ), so ist X normalverteilt gemäß No(µ, σ 2 /n). Da die Fisher-Information für µ gleich Iµ = n/σ 2 ist, ist X effizient für µ. Beispiel Ist F die Exponentialverteilung Ex(τ ), so ist X Gamma-verteilt mit Mittel τ und Varianz τ 2 /n. Da die Fisher-Information für τ gleich Iτ = n/τ 2 ist, ist X effizient für τ . R. Frühwirth Statistik 311/388 Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Beispiel Ist F die Poissonverteilung Po(λ), hat X Mittel λ und Varianz λ/n. Da die Fisher-Information für λ gleich Iλ = n/λ ist, ist X effizient für λ. Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Beispiel Ist F die Alternativverteilung Al(p), hat X Mittel p und Varianz p(1 − p)/n. Da die Fisher-Information für p gleich Ip = n/[p(1 − p)] ist, ist X effizient für p. Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung R. Frühwirth Statistik 312/388 Unterabschnitt: Schätzung der Varianz Schätzung der Varianz Statistik Statistik R. Frühwirth R. Frühwirth Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer 13 Stichprobenfunktionen 14 Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-Likelihood-Schätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung 15 Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer 3 In diesem Fall ist S 2 MSE-konsistent. R. Frühwirth Statistik 314/388 Unterabschnitt: Schätzung des Medians Statistik Beispiel Ist F die Normalverteilung No(µ, σ 2 ), so ist (n − 1)S 2 /σ 2 χ2 -verteilt mit n − 1 Freiheitsgraden. Die Varianz von S 2 ist dann gleich var(S 2 ) = 2σ 4 n−1 Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian 13 Stichprobenfunktionen 14 Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-Likelihood-Schätzer 15 Intervallschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Die Fisher-Information für σ 2 ist gleich Iσ2 = Stichprobenfunktionen Punktschätzer n 2σ 4 Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung µ4 (n − 3)µ22 − n n(n − 1) R. Frühwirth Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Hat F das endliche vierte zentrale Moment µ4 , so ist var(S 2 ) = 313/388 Statistik Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian 2 Intervallschätzer Schätzung der Varianz Stichprobenfunktionen Es sei X1 , . . . , Xn eine Stichprobe aus der Verteilung F mit Erwartung µ und Varianz σ 2 . Dann ist die Stichprobenvarianz S 2 ein erwartungstreuer Punktschätzer von σ 2 . Punktschätzer Intervallschätzer Statistik 1 Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung R. Frühwirth R. Frühwirth Satz Stichprobenfunktionen Intervallschätzer S 2 ist also ein asymptotisch effizienter Punktschätzer für σ 2 . R. Frühwirth Statistik Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung 315/388 R. Frühwirth Statistik 316/388 Schätzung des Medians Schätzung des Medians Statistik R. Frühwirth Stichprobenfunktionen Statistik Satz 1 Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer R. Frühwirth Es sei X1 , . . . , Xn eine Stichprobe aus der stetigen Verteilung F mit Median m und Dichte f . Dann ist der Stichprobenmedian X̃ ein asymptotisch erwartungstreuer Punktschätzer von m. 2 Für symmetrisches F ist X̃ erwartungstreu. 3 Der Stichprobenmedian X̃ hat asymptotisch die Varianz Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian 4 Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Statistik Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Intervallschätzer σ2 n Die Varianz von X̃ ist für großes n gleich var(X̃) = 2 πσ 2 σ2 ≈ 1.57 4n n Sie ist also um mehr als 50 Prozent größer als die Varianz von X. R. Frühwirth Statistik 318/388 Unterabschnitt: Maximum-Likelihood-Schätzer Statistik Stichprobenfunktionen var(X) = 317/388 Schätzung des Medians R. Frühwirth Es sei X1 , . . . , Xn eine Stichprobe aus der Normalverteilung No(µ, σ 2 ). Die Varianz von X ist gleich Intervallschätzer Der Stichprobenmedian ist MSE-konsistent, sofern f (m) > 0. R. Frühwirth Beispiel Punktschätzer 1 var(X̃) ≈ 4nf (m)2 Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Stichprobenfunktionen Statistik Beispiel R. Frühwirth Es sei X1 , . . . , Xn eine Stichprobe aus der t-Verteilung t(3). Die Varianz von X ist gleich 3 var(X) = n Die Varianz von X̃ ist für großes n gleich var(X̃) = Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer 1 1.8506 3 = ≈ 0.62 4 nf (0)2 n n Sie ist also fast um 40 Prozent kleiner als die Varianz von X. 14 Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-Likelihood-Schätzer 15 Intervallschätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Statistik Stichprobenfunktionen Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung R. Frühwirth 13 319/388 R. Frühwirth Statistik 320/388 Maximum-Likelihood-Schätzer Maximum-Likelihood-Schätzer Statistik R. Frühwirth Stichprobenfunktionen Statistik Definition (ML-Schätzer) 1 Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Stichprobenfunktionen Es sei X1 , . . . , Xn eine Stichprobe mit der gemeinsamen Dichte g(x1 , . . . , xn |ϑ). Die Funktion Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian L(ϑ|X1 , . . . , Xn ) = g(X1 , . . . , Xn |ϑ) Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer R. Frühwirth Punktschätzer heißt die Likelihoodfunktion der Stichprobe. 2 Der plausible oder Maximum-Likelihood-Schätzer ϑ̂ ist jener Wert von ϑ, der die Likelihoodfunktion der Stichprobe maximiert. Oft wird statt der Likelihoodfunktion ihr Logarithmus, die Log-Likelihoodfunktion `(ϑ) = ln L(ϑ) maximiert. R. Frühwirth Statistik Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian n Y pxi (1 − p)1−xi = p P xi P (1 − p)n− xi i=1 Die Log-Likelihoodfunktion ist daher: `(p) = n X Xi ln p + n− i=1 n X ! Xi ln(1 − p) i=1 Ableiten nach p ergibt: n ∂`(p) 1X 1 = Xi − ∂p p i=1 1−p n− n X ! Xi i=1 Statistik 322/388 Statistik Beispiel (Fortsetzung) R. Frühwirth Stichprobenfunktionen Nullsetzen der Ableitung und Auflösen nach p ergibt: p̂ = Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer g(x1 , . . . , xn |p) = Maximum-Likelihood-Schätzer Statistik Stichprobenfunktionen Es sei X1 , . . . , Xn eine Stichprobe aus der Alternativverteilung Al(p). Die gemeinsame Dichte lautet: R. Frühwirth 321/388 Maximum-Likelihood-Schätzer R. Frühwirth Beispiel (ML-Schätzung eines Bernoulli-Parameters) Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian n 1X Xi = X n i=1 Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Der ML-Schätzer ist unverzerrt und effizient. Intervallschätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung R. Frühwirth Statistik 323/388 Beispiel (ML-Schätzung eines Poisson-Parameters) Es sei X1 , . . . , Xn eine Stichprobe aus der Poissonverteilung Po(λ). Die gemeinsame Dichte lautet: g(x1 , . . . , xn |λ) = n Y λxi e−λ xi ! i=1 Die Log-Likelihoodfunktion ist daher: `(λ) = n X [Xi ln λ − λ − ln(xi !)] i=1 Ableiten nach λ ergibt: n ∂`(λ) 1X = Xi − n ∂λ λ i=1 R. Frühwirth Statistik 324/388 Maximum-Likelihood-Schätzer Maximum-Likelihood-Schätzer Statistik R. Frühwirth Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Statistik Beispiel (Fortsetzung) R. Frühwirth λ̂ = Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Stichprobenfunktionen Nullsetzen der Ableitung und Auflösen nach λ ergibt: Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian n 1X Xi = X n i=1 Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Der ML-Schätzer ist unverzerrt und effizient. Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung R. Frühwirth Statistik `(τ ) = n n X 1X [− ln τ − Xi ] τ i=1 i=1 Ableiten nach τ ergibt: n ∂`(τ ) n 1 X =− + 2 Xi ∂τ τ τ i=1 R. Frühwirth Statistik 326/388 Maximum-Likelihood-Schätzer Statistik Statistik Beispiel (Fortsetzung) R. Frühwirth Stichprobenfunktionen Nullsetzen der Ableitung und Auflösen nach τ ergibt: τ̂ = Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer n Y e−xi /τ τ i=1 Die Log-Likelihoodfunktion ist daher: 325/388 Maximum-Likelihood-Schätzer Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian g(x1 , . . . , xn |τ ) = Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Stichprobenfunktionen Es sei X1 , . . . , Xn eine Stichprobe aus der Exponentialverteilung Ex(τ ). Die gemeinsame Dichte lautet: Punktschätzer Intervallschätzer R. Frühwirth Beispiel (ML-Schätzung einer mittleren Lebensdauer) Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian n 1X Xi = X n i=1 Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Der ML-Schätzer ist unverzerrt und effizient. Intervallschätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung R. Frühwirth Statistik 327/388 Beispiel (ML-Schätzung der Parameter einer Normalverteilung) Es sei X1 , . . . , Xn eine Stichprobe aus der Normalverteilung No(µ, σ 2 ). Die gemeinsame Dichte lautet: g(x1 , . . . , xn |µ, σ 2 ) = n Y i=1 (xi − µ)2 1 √ exp − 2 σ2 2πσ Die Log-Likelihoodfunktion ist daher: n X √ (xi − µ)2 1 `(µ, σ 2 ) = − ln 2π − ln σ 2 − 2 2 σ2 i=1 Ableiten nach µ und σ 2 ergibt: n X xi − µ ∂`(µ, σ 2 ) = , ∂µ σ2 i=1 R. Frühwirth n X ∂`(µ, σ 2 ) (xi − µ)2 1 = − + ∂σ 2 2 σ2 2 σ4 i=1 Statistik 328/388 Maximum-Likelihood-Schätzer Maximum-Likelihood-Schätzer Statistik R. Frühwirth Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Statistik Beispiel (Fortsetzung) Nullsetzen der Ableitungen und Auflösen nach µ und σ 2 ergibt: Intervallschätzer 1 σ̂ = n 2 n X Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian 2 Der ML-Schätzer von µ ist unverzerrt und effizient. Der ML-Schätzer von σ 2 ist asymptotisch unverzerrt und asymptotisch effizient. Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Statistik 329/388 Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Statistik 330/388 Statistik Beispiel (Schätzung des Parameters a einer Gammaverteilung) f (xi |a) = xa−1 e−xi i , Γ(a) Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian i = 1, . . . , n Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Der (unbekannte) wahre Wert von a ist aw = 2. Die Log-Likelihoodfunktion lautet ln L(a|x) = n X ln f (xi |a) = (a − 1) i=1 R. Frühwirth n X i=1 Statistik ln xi − n X R. Frühwirth Stichprobenfunktionen Die Stichprobe X1 , . . . , Xn besteht aus n = 200 Werten, die unabhängig aus einer Γa,1 -Verteilung gezogen werden: Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Wird L(ϑ) normiert, so entsteht die Dichte“ einer ” 2 Normalverteilung mit Mittel ϑ̂ und Varianz σn , also gerade P die Varianz der Schätzung ϑ̂ = n1 xi . Maximum-Likelihood-Schätzer Statistik Stichprobenfunktionen Ist des geschätzte Parameter ϑ das Mittel einer Normalverteilung, so ist diese Vorgangsweise für beliebiges n exakt: 1 1X n 2 2 L(ϑ) = (xi − ϑ̂) √ n exp − 2 (ϑ̂ − ϑ) + 2σ n σn 2 π R. Frühwirth Maximum-Likelihood-Schätzer R. Frühwirth Für großes n kann man die Varianz der Likelihoodschätzung ϑ̂ daher aus dem zweiten zentralen Moment der normierten Likelihoodfunktion ablesen. Punktschätzer n−1 2 (Xi − X) = S n i=1 R. Frühwirth Die normierte Likelihoodfunktion kann als a-posteriori Verteilung des geschätzten Parameters interpretiert werden. Stichprobenfunktionen n 1X µ̂ = Xi = X n i=1 Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer R. Frühwirth xi − n ln Γ(a) i=1 331/388 Beispiel (Fortsetzung) Numerische Maximierung von ln L(a) gibt die Maximum Likelihood-Schätzung â. Das Experiment wird N -mal wiederholt und die Schätzungen der einzelnen Experimente (â(k) , k = 1, . . . , N ) werden histogrammiert. Der Vergleich der individuellen (normierten) Likelihoodfunktion mit dem Histogramm (N = 500) zeigt gute Übereinstimmung der Standardabweichungen. Matlab: make ML gamma Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung R. Frühwirth Statistik 332/388 Maximum-Likelihood-Schätzer Maximum-Likelihood-Schätzer Statistik R. Frühwirth Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Statistik Stichprobenfunktionen 0.9 Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Histogram: σ=0.08575 0.8 LF: σ=0.08502 0.7 Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer 0.6 0.5 0.4 0.3 0.1 1.6 1.7 1.8 R. Frühwirth 1.9 2 2.1 2.2 2.3 2.4 Statistik 2.5 Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung 333/388 Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Beispiel (ML-Schätzung des Lageparameters einer Cauchyverteilung) R. Frühwirth Stichprobenfunktionen Es sei X1 , . . . , Xn eine Stichprobe aus der Cauchyverteilung t(1) mit Lageparameter µ. Die gemeinsame Dichte lautet: n Y g(x1 , . . . , xn |µ) = i=1 Der Likelihoodschätzer ϑ̂ ist (unter den selben Voraussetzungen) konsistent. Statistik 334/388 `(µ) = −n ln π − n X Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Beispiel (Fortsetzung) Man kann zeigen, dass die Fisherinformation der Stichprobe gleich Iµ = n 2 Punktschätzer 1 π[1 + (xi − µ)2 ] Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Die Log-Likelihoodfunktion ist daher: Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Satz Statistik Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Daraus folgt sofort die nächste Eigenschaft: Maximum-Likelihood-Schätzer Statistik Stichprobenfunktionen Existieren die ersten beiden Ableitungen von L(ϑ), existiert die Information Ig (ϑ) für alle ϑ und ist E [(ln L)0 ] = 0, so ist die Likelihoodschätzung ϑ̂ asymptotisch normalverteilt mit Mittel ϑ und Varianz 1/Ig (ϑ). ϑ̂ ist daher asymptotisch erwartungstreu und asymptotisch effizient. R. Frühwirth Maximum-Likelihood-Schätzer R. Frühwirth Satz Intervallschätzer 0.2 0 1.5 Der ML-Schätzer hat die folgende wichtige Eigenschaft: R. Frühwirth 1 Intervallschätzer ln[1 + (xi − µ)2 ] ist. Für große Stichproben muss daher die Varianz des ML-Schätzers µ̂ ungefähr gleich 2/n sein. Der Stichprobenmedian x̃ ist ebenfalls ein konsistenter Schätzer für µ. Seine Varianz ist asymptotisch gleich π 2 /(4n) ≈ 2.47/n. Sie ist also um etwa 23 Prozent größer als die Varianz des ML-Schätzers. Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung i=1 Das Maximum µ̂ von `(µ) muss numerisch gefunden werden. Matlab: make ML cauchy R. Frühwirth Statistik 335/388 R. Frühwirth Statistik 336/388 Maximum-Likelihood-Schätzer Maximum-Likelihood-Schätzer Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung 1400 R. Frühwirth Stichprobenfunktionen 1500 1200 µ=0.9998 µ=1.001 σ=0.1588 σ=0.1435 1000 Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian 1000 Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer 600 500 Intervallschätzer 200 0 0 0.5 1 1.5 Stichprobenmedian 0 0 2 0.5 1 1.5 ML−Schätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung 2 Die Korrelation zwischen x̃ und µ̂ ist etwa 90%. R. Frühwirth Statistik 337/388 Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung 3.5 −5 3 −10 2.5 −15 2 −20 1.5 −25 1 −30 0.5 −35 0 0.5 1 µ 1.5 0 0 2 σ=0.1314 0.5 1 µ Statistik 1.5 2 338/388 Maximum-Likelihood-Schätzer Statistik Stichprobenfunktionen Normierte Likelihoodfunktion 0 R. Frühwirth Maximum-Likelihood-Schätzer R. Frühwirth Log−Likelihoodfunktion Punktschätzer 800 400 Die Standardabweichung des ML-Schätzers kann wieder näherungsweise aus der normierten Likelihoodfunktion einer Stichprobe abgelesen werden: log L(µ) Stichprobenfunktionen Statistik Simulation von 10000 Stichproben der Größe n = 100: L(µ) Statistik R. Frühwirth Statistik Beispiel (ML-Schätzung des Obergrenze einer Gleichverteilung) Es sei X1 , . . . , Xn eine Stichprobe aus der Gleichverteilung Un(0, b) mit Obergrenze b. Die gemeinsame Dichte lautet: g(x1 , . . . , xn |b) = 1 , 0 ≤ x1 , . . . , xn ≤ b bn Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer b̂ = max Xi i Beispiel (Fortsetzung) Die Dichte von b̂ = max Xi lautet: i f (x) = nxn−1 bn Daraus können Erwartung und Varianz berechnet werden: E[b̂] = n , n+1 var[b̂] = b2 n (n + 2)(n + 1)2 Intervallschätzer Da ein Randmaximum vorliegt, gelten die üblichen asymptotischen Eigenschaften nicht. Statistik Stichprobenfunktionen Punktschätzer Der größte Wert der Likelihoodfunktion ist daher bei R. Frühwirth R. Frühwirth Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung 339/388 Der Schätzer ist asymptotisch erwartungstreu, die Varianz geht aber wie 1/n2 gegen Null! Der Schätzer ist auch nicht asymptotisch normalverteilt. Matlab: make ML uniform R. Frühwirth Statistik 340/388 Maximum-Likelihood-Schätzer Abschnitt 15: Intervallschätzer Statistik Statistik Simulation von 10000 Stichproben (b = 1) der Größe n = 25 bzw. n = 100: R. Frühwirth Stichprobenfunktionen R. Frühwirth Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian n=25 2500 Punktschätzer 7000 µ=0.9617 σ=0.03632 2000 Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian n=100 µ=0.9902 σ=0.009755 6000 Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer 4000 3000 1000 Intervallschätzer Intervallschätzer 2000 Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung 500 1000 0 0.8 1 ML−Schätzer R. Frühwirth 1.2 0 0.8 Statistik 1 ML−Schätzer 1.2 Statistik R. Frühwirth 14 Stichprobenfunktionen Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung 15 Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Statistik 342/388 Grundbegriffe Statistik 13 Punktschätzer R. Frühwirth R. Frühwirth Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian 14 341/388 Unterabschnitt: Grundbegriffe Stichprobenfunktionen Stichprobenfunktionen Punktschätzer 5000 1500 13 Neben dem Schätzwert selbst ist auch seine Streuung um den wahren Wert von Interesse. Wir wollen aus einer Stichprobe ein Intervall bestimmen, das den wahren Wert mit einer gewissen Wahrscheinlichkeit enthält. Punktschätzer 15 Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung R. Frühwirth Statistik Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung 343/388 Definition (Konfidenzintervall) Es sei X1 , . . . , Xn eine Stichprobe aus der Verteilung F mit dem unbekannten Parameter ϑ. Ein Intervall mit den Grenzen G1 = g1 (X1 , . . . , Xn ) und G2 = g2 (X1 , . . . , Xn ) heißt ein Konfidenzintervall mit Sicherheit 1 − α, wenn gilt: W (G1 ≤ G2) = 1 W (G1 ≤ ϑ ≤ G2) ≥ 1 − α Ein solches Intervall wird kurz als (1 − α)-Konfidenzintervall bezeichnet. R. Frühwirth Statistik 344/388 Grundbegriffe Unterabschnitt: Allgemeine Konstruktion nach Neyman Statistik R. Frühwirth Statistik Zu jedem Wert der Sicherheit 1 − α gibt es viele verschiedene Konfidenzintervalle. R. Frühwirth Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Stichprobenfunktionen Ist F stetig, gibt es unendlich viele Konfidenzintervalle mit Sicherheit 1 − α. Ist F diskret, ist die Sicherheit in der Regel größer als 1 − α. W (ϑ ≤ G1 ) = W (ϑ ≥ G2 ) Ein einseitiges Konfidenzintervall liegt vor, wenn gilt: R. Frühwirth oder Intervallschätzer W (G1 ≤ ϑ) ≥ 1 − α Statistik Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Punktschätzer 15 Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung R. Frühwirth Statistik 346/388 Statistik Es sei Y = h(X1 , . . . , Xn ) eine Stichprobenfunktion. Die Verteilung G von Y hängt dann ebenfalls vom unbekannten Parameter ϑ ab. Für jeden Wert von ϑ bestimmen wir ein Prognoseintervall [y1 (ϑ), y2 (ϑ)] vom Niveau 1 − α: R. Frühwirth Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer W (y1 (ϑ) ≤ Y ≤ y2 (ϑ)) ≥ 1 − α Ist die Beobachtung gleich Y = y0 , so ist das Konfidenzintervall [G1 (Y ), G2 (Y )] gegeben durch: Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung 14 Allgemeine Konstruktion nach Neyman Statistik Stichprobenfunktionen Stichprobenfunktionen 345/388 Allgemeine Konstruktion nach Neyman R. Frühwirth 13 Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Ein symmetrisches Konfidenzintervall liegt vor, wenn gilt: W (ϑ ≤ G2 ) ≥ 1 − α Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Beispiel Es sei X1 , . . . , Xn eine Stichprobe aus No(0, σ 2 ) mit unbekannter Varianz σ. Dann ist (n − 1)S 2 /σ 2 χ2 -verteilt mit n − 1 Freiheitsgraden. Für Varianz σ 2 und Y = S 2 ist daher ! σ 2 χ2α/2,n−1 σ 2 χ21−α/2,n−1 2 W ≤S ≤ =1−α n−1 n−1 Der Ausdruck in der Klammer kann umgeformt werden zu: (n − 1)S 2 (n − 1)S 2 2 ≤ σ ≤ χ21−α/2,n−1 χ2α/2,n−1 Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung G1 = min{ϑ|y1 (ϑ) ≤ y0 ≤ y2 (ϑ)} ϑ G2 = max{ϑ|y1 (ϑ) ≤ y0 ≤ y2 (ϑ)} ϑ R. Frühwirth Statistik 347/388 Daraus folgt G1 = (n − 1)S 2 , χ21−α/2,n−1 R. Frühwirth Statistik G2 = (n − 1)S 2 χ2α/2,n−1 348/388 Allgemeine Konstruktion nach Neyman Unterabschnitt: Binomialverteilung Statistik Statistik 10 R. Frühwirth Stichprobenfunktionen R. Frühwirth Stichprobenfunktionen 9 Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian 8 7 Punktschätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Stichprobenfunktionen 14 Punktschätzer 15 Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer 6 σ2 Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer 13 5 4 3 Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung 2 1 0 0 2 4 6 8 10 2 S Blau: Prognoseintervall für σ 2 = 3; rot: Konfidenzintervall für S 2 = 5 R. Frühwirth Statistik R. Frühwirth 349/388 Binomialverteilung Statistik Es sei k eine Beobachtung aus der Binomialverteilung Bi(n, p). Wir suchen ein Konfidenzintervall für p. R. Frühwirth Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Für die praktische Berechnung des Konfidenzintervalls können die Quantile der Betaverteilung benützt werden: Stichprobenfunktionen Je nach Konstruktion des Prognoseintervalls y1 (p), y2 (p) ergeben sich verschiedene Konfidenzintervalle. Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer y1 (p), y2 (p) sind die Quantile der Binomialverteilung Bi(n, p): y1 (p) = max k y2 (p) = min k R. Frühwirth k X Dieses Intervall ist konservativ in dem Sinn, dass die Sicherheit praktisch immer größer als 1 − α ist. Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung W (k; n, p) ≤ α/2 i=k Statistik G2 (k) = min(B1−α/2,k+1,n−k , 1) Intervallschätzer W (k; n, p) ≤ α/2 i=0 n X G1 (k) = max(Bα/2,k,n−k+1 , 0) Punktschätzer Intervall nach Clopper und Pearson Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung 350/388 Binomialverteilung Statistik R. Frühwirth Statistik 351/388 R. Frühwirth Statistik 352/388 Binomialverteilung Binomialverteilung Statistik R. Frühwirth Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Statistik Approximation durch Normalverteilung Das Standardscore Z= Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer p̂ − p σ[p̂] Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer ist dann annähernd standardnormalverteilt. Aus W (−z1−α/2 ≤ Z ≤ z1−α/2 ) = 1 − α Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung folgt W (p̂ − z1−α/2 σ[p̂] ≤ p ≤ p̂ + z1−α/2 σ[p̂]) = 1 − α R. Frühwirth Statistik 353/388 Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Robustes Verfahren: p wird so gewählt, dass σ[p̂] maximal ist, also p = 0.5. Korrektur gemäß Agresti-Coull Das Intervall nach dem Bootstrap-Verfahren kann eine kleinere Sicherheit als 1 − α haben. Eine Verbesserung wird durch die Definition p̂ = k+2 n+4 erzielt. Statistik 354/388 Binomialverteilung Statistik Stichprobenfunktionen Bootstrap-Verfahren: p wird durch p̂ angenähert. R. Frühwirth Binomialverteilung R. Frühwirth Da p nicht bekannt ist, muss σ[p̂] näherungsweise bestimmt werden. Stichprobenfunktionen Für genügend großes n ist p̂ = k/n annähernd normalverteilt gemäß No(p, p(1 − p)/n). Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung R. Frühwirth Statistik Beispiel R. Frühwirth Angabe: Bei einer Umfrage unter n = 400 Personen geben k = 157 Personen an, Produkt X zu kennen. Wir suchen ein 95%-Konfidenzintervalle für den Bekanntheitsgrad p. Clopper-Pearson: G1 (k) = B0.025,157,244 = 0.3443 G2 (k) = B0.975,158,243 = 0.4423 Approximation durch Normalverteilung: Es gilt p̂ = 0.3925 und z0.975 = 1.96. Mit dem Bootstrap-Verfahren ergibt sich σ[p̂] = 0.0244. Die Grenzen des Konfidenzintervalls sind daher G1 =0.3925 − 1.96 · 0.0244 = 0.3446 G2 =0.3925 + 1.96 · 0.0244 = 0.4404 R. Frühwirth Statistik 355/388 Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Beispiel (Fortsetzung) Mit dem robusten Verfahren ergibt sich σ[p̂] = 0.025 und die Grenzen G1 =0.3925 − 1.96 · 0.025 = 0.3435 G2 =0.3925 + 1.96 · 0.025 = 0.4415 Das robuste Intervall ist nur unwesentlich länger als das Bootstrap-Intervall. Mit der Korrektur von Agresti-Coull ergibt sich p̂ = 0.3936. Die Grenzen des Konfidenzintervalls sind dann Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung G1 =0.3936 − 1.96 · 0.0244 = 0.3457 G2 =0.3936 + 1.96 · 0.0244 = 0.4414 Matlab: make KI binomial R. Frühwirth Statistik 356/388 Binomialverteilung Unterabschnitt: Poissonverteilung Statistik Statistik R. Frühwirth R. Frühwirth Sicherheit der Konfidenzintervalle 1 Stichprobenfunktionen Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian 0.95 13 Stichprobenfunktionen 14 Punktschätzer 15 Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung 0.9 Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer 0.85 1−α Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Punktschätzer 0.8 0.75 Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung 0.7 Clopper−Pearson Bootstrap Robust Agresti−Coull 0.65 0.6 0 0.1 0.2 R. Frühwirth 0.3 0.4 0.5 p 0.6 0.7 0.8 Statistik 0.9 1 R. Frühwirth 357/388 Poissonverteilung Statistik Es sei k eine Beobachtung aus der Poissonverteilung Po(λ). Wir suchen ein Konfidenzintervall für λ. Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung 358/388 Poissonverteilung Statistik R. Frühwirth Statistik R. Frühwirth Für die praktische Berechnung des Konfidenzintervalls können die Quantile der Gammaverteilung benützt werden: Stichprobenfunktionen Je nach Konstruktion des Prognoseintervalls [y1 (λ), y2 (λ)] ergeben sich verschiedene Konfidenzintervalle. G1 (k) = Γα/2,k,1 G2 (k) = Γ1−α/2,k+1,1 Punktschätzer Symmetrisches Intervall y1 (λ), y2 (λ) sind die Quantile der Poissonverteilung Po(λ): y1 (p) = max k y2 (p) = min k R. Frühwirth Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Statistik k X i=0 ∞ X W (k; λ) ≤ α/2 Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung W (k; λ) ≤ α/2 i=k 359/388 Dieses Intervall ist konservativ in dem Sinn, dass die Sicherheit praktisch immer größer als 1 − α ist. P Liegen n Beobachtungen k1 , . . . , kn vor, so ist k = ki Poissonverteilt mit Mittel nλ. Das symmetrische Konfidenzintervall für λ ist daher: G1 (k) = Γα/2,k,1/n G2 (k) = Γ1−α/2,k+1,1/n R. Frühwirth Statistik 360/388 Poissonverteilung Poissonverteilung Statistik Statistik R. Frühwirth R. Frühwirth Sicherheit des symmetrischen Konfidenzintervalls Linksseitiges Intervall 1 Stichprobenfunktionen Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian 0.98 Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer 0.96 0.95 0.94 Intervallschätzer k ∞ X W (k; λ) ≤ α i=k Praktische Berechnung: G1 (k) = 0, Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung 0.92 n=1 n=5 n=25 0.91 0.9 0 10 20 30 R. Frühwirth 40 50 λ 60 70 80 90 100 Statistik G2 (k) = Γ1−α,k+1,1 Statistik R. Frühwirth Sicherheit des linksseitigen Konfidenzintervalls 1 Stichprobenfunktionen Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian 0.99 0.98 Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer 0.96 1−α Statistik 362/388 13 Stichprobenfunktionen 14 Punktschätzer 15 Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Punktschätzer 0.97 0.95 0.94 Intervallschätzer Intervallschätzer 0.93 Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung 0.92 n=1 n=5 n=25 0.91 0.9 0 G2 (k) = Γ1−α,k+1,1/n Unterabschnitt: Exponentialverteilung Statistik Punktschätzer G1 (k) = 0, R. Frühwirth R. Frühwirth Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian n Beobachtungen k1 , . . . , kn : 361/388 Poissonverteilung Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung y2 (λ) = min Intervallschätzer 0.93 Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer y1 (λ) = 0, Punktschätzer 0.97 1−α Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Eine Beobachtung k: Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian 0.99 10 20 R. Frühwirth 30 40 Statistik 50 λ 60 70 80 90 100 363/388 R. Frühwirth Statistik 364/388 Exponentialverteilung Exponentialverteilung Statistik R. Frühwirth Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Statistik Symmetrisches Intervall für den Mittelwert Stichprobenfunktionen Es sei X1 , . . . , Xn eine Stichprobe aus der Exponentialverteilung Ex(τ ). Pn Das Stichprobenmittel X = n1 i=1 Xi hat die folgende Dichte: xn−1 x f (x) = exp − (τ /n)n Γ(n) τ /n Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Statistik Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung X γ1−α/2,n,1/n ≤τ ≤ X γα/2,n,1/n =1−α Damit gilt: Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung G1 (X) = G2 (X) = 365/388 R. Frühwirth X γ1−α/2,n,1/n X γα/2,n,1/n Statistik 366/388 Unterabschnitt: Normalverteilung Statistik Stichprobenfunktionen W Intervallschätzer Exponentialverteilung R. Frühwirth und Punktschätzer X ist also Gamma-verteilt gemäß Ga(n, τ /n). Für jedes τ gilt: W γα/2,n,τ /n ≤ X ≤ γ1−α/2,n,τ /n = 1 − α R. Frühwirth Daraus folgt X ≤ γ1−α/2,n,1/n = 1 − α W γα/2,n,1/n ≤ τ R. Frühwirth Statistik Linksseitiges Intervall für den Mittelwert R. Frühwirth Stichprobenfunktionen Für jedes τ gilt: Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian W γα,n,τ /n ≤ X = 1 − α 13 Stichprobenfunktionen 14 Punktschätzer 15 Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Punktschätzer Daraus folgt W γα,n,1/n X ≤ τ Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer =1−α und W 0≤τ ≤ X γα,n,1/n Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung =1−α Rechtsseitiges Intervall für den Mittelwert X W ≤τ =1−α γ1−α,n,1/n R. Frühwirth Statistik 367/388 R. Frühwirth Statistik 368/388 Normalverteilung Normalverteilung Statistik R. Frühwirth Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Statistik Konfidenzintervall für den Mittelwert R. Frühwirth Es sei X1 , . . . , Xn eine Stichprobe aus der Normalverteilung No(µ, σ 2 ). X ist normalverteilt gemäß No(µ, σ 2 /n). Ist σ 2 bekannt, ist das Standardscore Z= X −µ √ σ/ n standardnormalverteilt. Aus W (−z1−α/2 ≤ Z ≤ z1−α/2 ) = 1 − α √ √ W (X − z1−α/2 σ/ n ≤ µ ≤ X + z1−α/2 σ/ n) = 1 − α R. Frühwirth Statistik Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Aus n−1 W (−tn−1 1−α/2 ≤ T ≤ t1−α/2 ) = 1 − α folgt √ √ n−1 W (X − tn−1 1−α/2 S/ n ≤ µ ≤ X + t1−α/2 S/ n) = 1 − α R. Frühwirth Statistik 370/388 Normalverteilung Statistik Stichprobenfunktionen X −µ √ S/ n ist t-verteilt mit n − 1 Freiheitsgraden. 369/388 Normalverteilung R. Frühwirth T = Punktschätzer Intervallschätzer folgt Ist σ 2 unbekannt, wird σ 2 durch die Stichprobenvarianz geschätzt, und das Standardscore Statistik Beispiel R. Frühwirth Eine Stichprobe vom Umfang n = 50 aus der Standardnormalverteilung hat das Stichprobenmittel X = 0.0540 und die Stichprobenvarianz S 2 = 1.0987. Wird die Varianz als bekannt vorausgesetzt, lautet das symmetrische 95%-Konfidenzintervall für µ: √ G1 =0.0540 − 1.96/ 50 = −0.2232 √ G2 =0.0540 + 1.96/ 50 = 0.3312 Wird die Varianz als unbekannt angenommen, lautet das symmetrische 95%-Konfidenzintervall für µ: √ G1 =0.0540 − 2.01 · 1.0482/ 50 = −0.2439 √ G2 =0.0540 + 2.01 · 1.0482/ 50 = 0.3519 Matlab: make KI normal R. Frühwirth Statistik 371/388 Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Konfidenzintervall für die Varianz Es sei X1 , . . . , Xn eine Stichprobe aus der Normalverteilung No(µ, σ 2 ). (n − 1)S 2 /σ 2 ist χ2 -verteilt mit n − 1 Freiheitsgraden. Aus W (n − 1)S 2 2 χ2α/2,n−1 ≤ ≤ χ =1−α 1−α/2,n−1 σ2 folgt W (n − 1)S 2 (n − 1)S 2 ≤ σ2 ≤ 2 2 χ1−α/2,n−1 χα/2,n−1 R. Frühwirth Statistik ! =1−α 372/388 Normalverteilung Normalverteilung Statistik R. Frühwirth Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Statistik Beispiel Eine Stichprobe vom Umfang n = 50 aus der Normalverteilung No(0, 4) hat die Stichprobenvarianz S 2 = 4.3949. Das symmetrische 95%-Konfidenzintervall für σ 2 lautet: Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung R. Frühwirth Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer G1 =49 · 4.3949/70.2224 = 3.0667 G2 =49 · 4.3949/31.5549 = 6.8246 Werden die Quantile der χ2 -Verteilung χ2 (n − 1) durch die Quantile der Normalverteilung No(n − 1, 2(n − 1)) ersetzt, laute das Konfidenzintervall: Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung G1 =49 · 4.3949/68.4027 = 3.1483 G2 =49 · 4.3949/29.5973 = 7.2760 Matlab: make KI normal varianz.m Konfidenzintervall für die Differenz von zwei Mittelwerten Es seien X1 , . . . , Xn und Y1 , . . . , Ym zwei unabhängige Stichproben aus den Normalverteilungen No(µx , σx2 ) bzw. No(µy , σy2 ). Wir suchen ein Konfidenzintervall für µx − µy . Die Differenz D = X − Y ist normalverteilt gemäß No(µx − µy , σ 2 ), mit 2 σD = σx2 /n + σy2 /m. Sind die Varianzen bekannt, ist das Standardscore von D standardnormalverteilt. Aus W D − (µx − µy ) −z1−α/2 ≤ ≤ z1−α/2 = 1 − α σD folgt R. Frühwirth Statistik 373/388 R. Frühwirth Normalverteilung Statistik Statistik R. Frühwirth Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung 374/388 Normalverteilung R. Frühwirth Stichprobenfunktionen Statistik W D − z1−α/2 σD ≤ µx − µy ≤ D + z1−α/2 σD = 1 − α Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer (n − 1)Sx2 + (m − 1)Sy2 n+m−2 2 χ -verteilt mit m + n − 2 Freiheitsgraden. Das Standardscore T = Intervallschätzer D − (µx − µy ) SD p mit SD = S 1/n + 1/m ist daher t-verteilt mit n + m − 2 Freiheitsgraden. R. Frühwirth Statistik W −t1−α/2,n+m−2 ≤ T ≤ t1−α/2,n+m−2 = 1 − α Stichprobenfunktionen Sind die Varianzen unbekannt und gleich, ist S2 = Aus 375/388 Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung folgt W D − t1−α/2,n+m−2 SD ≤ µx − µy ≤ D + t1−α/2,n+m−2 SD = 1−α Beispiel Eine Stichprobe aus No(2, 4) vom Umfang n = 50 hat Stichprobenmittel X = 2.1080 und Stichprobenvarianz Sx2 = 4.3949; eine zweite Stichprobe aus No(1, 4) vom Umfang m = 25 hat Stichprobenmittel X = 1.6692 und Stichprobenvarianz Sx2 = 5.2220. Werden die Varianzen als bekannt vorausgesetzt, lautet das 95%=Konfidenzintervall für µx − µy : G1 =0.4388 − 1.96 · 0.4899 = −0.5213 G2 =0.4388 + 1.96 · 0.4899 = 1.3990 R. Frühwirth Statistik 376/388 Normalverteilung Unterabschnitt: Mittelwert einer beliebigen Verteilung Statistik R. Frühwirth Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Statistik Beispiel (Fortsetzung) R. Frühwirth Werden die Varianzen als unbekannt angenommen, ist S 2 = 4.6668 und SD = 0.5292. Das 95%=Konfidenzintervall für µx − µy lautet dann: Punktschätzer Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Stichprobenfunktionen Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian G1 =0.4388 − 1.993 · 0.5292 = −0.6158 Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer G2 =0.4388 + 1.993 · 0.5292 = 1.4935 Matlab: make KI normal difference.m Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung R. Frühwirth Statistik Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung R. Frühwirth R. Frühwirth Stichprobenfunktionen Aufgrund des zentralen Grenzwertsatzes ist das Standardscore Z des Stichprobenmittels: Punktschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung 15 Statistik 378/388 Statistik Es sei X1 , . . . , Xn eine Stichprobe aus der Verteilung F mit Mittel µ und Varianz σ 2 . Stichprobenfunktionen Intervallschätzer Punktschätzer Mittelwert einer beliebigen Verteilung Statistik Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer 14 377/388 Mittelwert einer beliebigen Verteilung Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Stichprobenfunktionen Punktschätzer Intervallschätzer R. Frühwirth 13 Z= Grundbegriffe Stichprobenmittel Stichprobenvarianz Stichprobenmedian Punktschätzer X −µ √ σ/ n für große Stichproben annähernd normalverteilt. Es gilt also näherungsweise: √ √ W (X − z1−α/2 S/ n ≤ µ ≤ X + z1−α/2 S/ n) ≈ 1 − α R. Frühwirth Statistik 379/388 Eigenschaften von Punktschätzern Schätzung des Mittelwerts Schätzung der Varianz Schätzung des Medians Maximum-LikelihoodSchätzer Beispiel Für exponentialverteilte Stichproben vom Umfang n gibt die folgende Tabelle die Sicherheit des 95%-Konfidenzintervalls in Näherung durch Normalverteilung, geschätzt aus N = 20000 Stichproben: n 1−α 25 50 100 200 400 0.9112 0.9289 0.9408 0.9473 0.9476 Matlab: make KI exponential Intervallschätzer Grundbegriffe Allgemeine Konstruktion nach Neyman Binomialverteilung Poissonverteilung Exponentialverteilung Normalverteilung Mittelwert einer beliebigen Verteilung R. Frühwirth Statistik 380/388
