Theorie und Methodik der Statistik 10. Auflage, 2009 Stefan Huschens ii Vorbemerkung Das vorliegende Skript ist aus dem Lehrveranstaltungszyklus Theorie und Methodik der Statistik hervorgegangen, der seit mehreren Jahren an der Fakultät Wirtschaftswissenschaften der TU Dresden gehalten wird. Der Lehrveranstaltungszyklus besteht aus fünf Lehrveranstaltungen zu jeweils 2 Semesterwochenstunden (SWS). Im Teil A (Grundlagen der statistischen Methodenlehre) werden die Kapitel 1 bis 6, soweit sie nicht bereits aus dem Grund- bzw. Bachelorstudium bekannt sind, behandelt. Im Teil B (Schätzen und Testen) werden die Kapitel 7 bis 12, im Teil C (Korrelation und Regression) die Kapitel 13 bis 17, im Teil D (Stochastische Prozesse) die Kapitel 18 bis 22 und im Teil E (Multivariate Verfahren) die Kapitel 23 bis 28 behandelt. In den Diplomstudiengängen bilden vier der Teile A bis E den Fachkern Statistik (8 SWS = 12 Leistungspunkte). Der jeweils fünfte Teil kann als ergänzende Lehrveranstaltung gewählt werden. In den Masterstudiengängen bilden die Teile A bis C das Modul Univariate Statistik und die Teile D und E das Modul Multivariate Statistik. Die Module Univariate Statistik und Multivariate Statistik bilden gemeinsam den Minor Statistik. Außerdem gibt es weitere Wahlmöglichkeiten für die Mastermodule Ergänzende Qualifikationsziele und Methodische Grundlagen Wirtschaftswissenschaften. Die Teile A, B und C werden jeweils im Wintersemester, die Teile D und E jeweils im Sommersemester angeboten. Jeder der Teile A bis E enthält wöchentlich alternierende Vorlesungs- und Übungsteile und wird mit einer Klausur abgeschlossen. Viele Kapitel haben einen abschließenden Abschnitt Weiterführendes“ mit zusätz” lichem und ergänzendem Material, das in der Vorlesung nicht behandelt wird, sowie zusätzliche Erläuterungen, Beispiele und Anmerkungen. Diese weiterführenden Inhalte sind nicht Gegenstand der Klausuren, in denen der in der Vorlesung und in den Übungen behandelte Stoff geprüft wird. Zur verwendeten Notation und zu mathematischen Grundlagen siehe Anhang A. Der Anhang B enthält Hinweise zu weiterführender Literatur. Die vorliegende 10. Auflage ist für die Lehrveranstaltungen im WS 2009/10 und SS 2010 gedacht. Sie wurde, insbesondere bei der Schreibung von ss“ anstatt ß“, der neuen ” ” deutschen Rechtschreibung angepasst, die seit dem 1. August 2007 für Schulen verbindlich ist.1 Hinweise auf Fehler bitte an [email protected] 1 Dieser Änderung fielen die folgenden Wörter zum Opfer: angepaßt, aufgefaßt, beeinflußt, daß, erfaßt, Exzeß, faßt, häßlich, läßt, meßbar, Meßfehler, Meßraum, Mißerfolg, mißverständlich, mißt, müßte, muß, Prozeß, umfaßt, zusammenfaßt, zusammengefaßt. iii iv Inhaltsverzeichnis 1 Daten, Zufallsexperiment und Wahrscheinlichkeit 1.1 Daten und Merkmale . . . . . . . . . . . . . . . . . 1.2 Zufallsexperiment . . . . . . . . . . . . . . . . . . . 1.3 Wahrscheinlichkeitsraum . . . . . . . . . . . . . . . 1.4 Weiterführendes . . . . . . . . . . . . . . . . . . . . 2 Zufallsvariable und Wahrscheinlichkeitsmodell 2.1 Zufallsvariable und Verteilung . . . . . . . . . . 2.2 Dichtefunktion . . . . . . . . . . . . . . . . . . 2.3 Wahrscheinlichkeitsfunktion . . . . . . . . . . . 2.4 Wahrscheinlichkeitsmodell . . . . . . . . . . . . 2.5 Weiterführendes . . . . . . . . . . . . . . . . . . 3 Erwartungswert, Varianz und Momente 3.1 Erwartungswert . . . . . . . . . . . . . . 3.2 Varianz und Standardabweichung . . . . 3.3 Momente . . . . . . . . . . . . . . . . . . 3.4 Symmetrie, Schiefe und Wölbung . . . . 3.5 Lage- und Skalenparameter . . . . . . . 3.6 Ungleichungen . . . . . . . . . . . . . . . 3.7 Momenterzeugende Funktion . . . . . . . 3.8 Charakteristische Funktion . . . . . . . . 3.9 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Stichprobe und Grundgesamtheit 4.1 Empirische Verteilung . . . . . . . . . . . . . . 4.2 Stichprobenfunktion und Stichprobenverteilung 4.3 Summen unabhängiger Zufallsvariablen . . . . . 4.4 Transformierte Zufallsvariablen . . . . . . . . . 4.5 Weiterführendes . . . . . . . . . . . . . . . . . . 5 Konvergenz und Grenzwertsätze 5.1 Konvergenz in Wahrscheinlichkeit . . . . 5.2 Gesetz der großen Zahlen . . . . . . . . . 5.3 Hauptsatz der Mathematischen Statistik 5.4 Zentraler Grenzwertsatz . . . . . . . . . 5.5 Weiterführendes . . . . . . . . . . . . . . v . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 2 4 5 . . . . . 9 9 11 12 13 16 . . . . . . . . . 17 17 20 21 21 22 24 25 26 28 . . . . . 31 31 34 36 37 39 . . . . . 45 45 47 48 48 50 INHALTSVERZEICHNIS vi 6 Univariate Verteilungen und Verteilungsfamilien 53 6.1 Univariate Verteilungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 6.2 Lage- und Skalen-Familien . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 6.3 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 7 Endliche Eigenschaften von Schätzern 7.1 Schätzer . . . . . . . . . . . . . . . . . 7.2 Unverzerrtheit (Erwartungstreue) . . . 7.3 Effizienz . . . . . . . . . . . . . . . . . 7.4 Fisher-Information . . . . . . . . . . . 7.5 Suffizienz und Exponentialfamilien . . 7.6 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 59 60 61 62 64 66 8 Asymptotische Eigenschaften von Schätzern 8.1 Konsistenz . . . . . . . . . . . . . . . . . . . . 8.2 Asymptotische Verteilung . . . . . . . . . . . 8.3 Asymptotische Unverzerrtheit . . . . . . . . . 8.4 Asymptotische Effizienz . . . . . . . . . . . . 8.5 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 67 68 70 70 71 . . . . . . . . . . . . . . . . . . 9 Schätzmethoden 9.1 Momentenmethode . . . . . . . 9.2 Methode der kleinsten Quadrate 9.3 Maximum-Likelihood-Methode . 9.4 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 73 74 77 81 10 Statistische Intervalle 10.1 Konfidenzintervalle 10.2 Prognoseintervalle . 10.3 Toleranzintervalle . 10.4 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 84 86 87 88 11 Grundlagen statistischer Tests 11.1 Hypothesen und Testfunktion . . . . . . . . . . 11.2 Fehlerwahrscheinlichkeit, Signifikanz und Macht 11.3 Optimaler Test und Neyman-Pearson-Lemma . 11.4 Likelihoodverhältnis-Test . . . . . . . . . . . . . 11.5 Asymptotisch begründete Testverfahren . . . . . 11.6 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 89 90 93 93 95 96 . . . . . . . 101 . 101 . 103 . 104 . 106 . 108 . 109 . 110 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 Testverfahren 12.1 Gauß-Test, t-Test und Varianztest . 12.2 Kolmogoroff-Smirnoff-Test . . . . . 12.3 Test über eine Wahrscheinlichkeit . 12.4 Tests auf Fehlspezifikation . . . . . 12.5 Lilliefors-Test auf Normalverteilung 12.6 Run-Test auf Zufälligkeit . . . . . . 12.7 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . INHALTSVERZEICHNIS 13 Unabhängigkeit und Korrelation 13.1 Gemeinsame Verteilung . . . . . 13.2 Momente und Korrelation . . . 13.3 Unabhängigkeit . . . . . . . . . 13.4 Zufallsvektoren . . . . . . . . . 13.5 Weiterführendes . . . . . . . . . vii . . . . . 14 Bedingtheit 14.1 Bedingte Verteilungen . . . . . . 14.2 Bedingter Erwartungswert . . . . 14.3 Bedingtheit im multivariaten Fall 14.4 Bedingte Unabhängigkeit . . . . . 14.5 Bedingte Korrelation . . . . . . . 14.6 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 . 115 . 116 . 118 . 119 . 121 . . . . . . 123 . 123 . 125 . 127 . 128 . 129 . 130 15 Einfachregression 137 15.1 Lineare Einfachregression . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 15.2 Einfachregression mit stochastischem Regressor . . . . . . . . . . . . . . . 139 15.3 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 16 Lineare Mehrfachregression 16.1 Nichtstochastische Regressoren . 16.2 Stochastische Regressoren . . . 16.3 Partielle Korrelation . . . . . . 16.4 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 . 145 . 147 . 149 . 150 17 Kategoriale Variablen 153 17.1 Varianzanalyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153 17.2 Kategoriale erklärte Variablen . . . . . . . . . . . . . . . . . . . . . . . . . 154 18 Grundbegriffe stochastischer Prozesse 18.1 Konzept des stochastischen Prozesses . 18.2 Stationarität . . . . . . . . . . . . . . . 18.3 Gaußscher Prozess . . . . . . . . . . . 18.4 Weißes Rauschen . . . . . . . . . . . . 18.5 Weiterführendes . . . . . . . . . . . . . 19 Zeitdiskrete stochastische Prozesse 19.1 Random-walk-Prozess . . . . . . . . 19.2 Martingal-Prozesse . . . . . . . . . 19.3 Markoff-Prozesse . . . . . . . . . . 19.4 Ergodische Prozesse . . . . . . . . . 19.5 Lineare Prozesse . . . . . . . . . . 19.6 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 . 157 . 159 . 161 . 162 . 163 . . . . . . 165 . 165 . 167 . 168 . 169 . 170 . 173 INHALTSVERZEICHNIS viii 20 ARMA-Prozesse 20.1 MA-Prozesse . . 20.2 AR-Prozesse . . . 20.3 ARMA-Prozesse . 20.4 ARIMA-Prozesse 20.5 Weiterführendes . . . . . . . . . . . 21 ARCH-Prozesse 21.1 ARCH(1)-Prozess . . 21.2 GARCH(1,1)-Prozess 21.3 ARCH(q)-Prozess . . 21.4 GARCH(p,q)-Prozess 21.5 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 Zeitstetige stochastische Prozesse 22.1 Poisson-Prozess . . . . . . . . . . . 22.2 Brownsche Bewegung . . . . . . . . 22.3 Geometrische Brownsche Bewegung 22.4 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 Algebraische Grundlagen der multivariaten Statistik 23.1 Orthogonale Matrizen . . . . . . . . . . . . . . . . . . . 23.2 Positiv semidefinite Matrizen . . . . . . . . . . . . . . . 23.3 Eigenwerte und -vektoren symmetrischer Matrizen . . . . 23.4 Eigenwerte und -vektoren positiv semidefiniter Matrizen 23.5 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . 24 Statistische und stochastische Grundlagen 24.1 Deskriptiv-statistische Grundlagen . . . . 24.2 Zufallsvektoren . . . . . . . . . . . . . . . 24.3 Mehrdimensionale Normalverteilung . . . . 24.4 Inferenzstatistische Grundlagen . . . . . . 24.5 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 . 179 . 181 . 186 . 186 . 188 . . . . . 191 . 191 . 194 . 195 . 195 . 196 . . . . 199 . 199 . 200 . 201 . 201 . . . . . 205 . 205 . 206 . 207 . 210 . 213 der multivariaten Statistik 215 . . . . . . . . . . . . . . . . . . 215 . . . . . . . . . . . . . . . . . . 218 . . . . . . . . . . . . . . . . . . 221 . . . . . . . . . . . . . . . . . . 223 . . . . . . . . . . . . . . . . . . 225 25 Multivariate Verfahren und Modelle 25.1 Variablentypen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25.2 Einteilungen der multivariaten Verfahren . . . . . . . . . . . . . . . . . . 25.3 Multivariate Modelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229 . 229 . 230 . 233 26 Multivariate lineare Modelle 26.1 Multivariate lineare Regression . . . 26.2 Modelle mit simultanen Gleichungen 26.3 Multivariate Varianzanalyse . . . . . 26.4 Weiterführendes . . . . . . . . . . . . 237 . 237 . 240 . 241 . 242 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . INHALTSVERZEICHNIS ix 27 Hauptkomponentenanalyse 27.1 Hauptkomponentenanalyse für die Grundgesamtheit . . . . . . . . . . . . 27.2 Hauptkomponentenanalyse für die Stichprobenwerte . . . . . . . . . . . . 27.3 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243 . 243 . 246 . 248 28 Faktorenanalyse 28.1 Modell der Faktorenanalyse 28.2 Faktorextraktion . . . . . . 28.3 Faktorrotation . . . . . . . . 28.4 Weiterführendes . . . . . . . . . . . 251 . 251 . 253 . 257 . 258 . . . . 259 . 259 . 263 . 267 . 269 A Mathematische Konzepte A.1 Logik und Mengen . . . A.2 Reellwertige Matrizen . . A.3 Funktionen . . . . . . . A.4 Integral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . B Weiterführende Literatur 271 Literaturverzeichnis 277 Index 286