Theorie und Methodik der Statistik 9. Auflage, 2008 Stefan Huschens ii Vorbemerkung Das vorliegende Skript ist aus dem Lehrveranstaltungszyklus Theorie und Methodik der Statistik hervorgegangen, der seit mehreren Jahren an der Fakultät Wirtschaftswissenschaften der TU Dresden gehalten wird. Der Lehrveranstaltungszyklus besteht aus fünf Lehrveranstaltungen zu jeweils 2 Semesterwochenstunden (SWS). Im Teil A (Grundlagen der statistischen Methodenlehre) werden die Kapitel 1 bis 5, soweit sie nicht bereits aus dem Grundstudium bekannt sind, behandelt. Im Teil B (Schätzen und Testen) werden die Kapitel 6 bis 11, im Teil C (Korrelation und Regression) die Kapitel 12 bis 15, im Teil D (Stochastische Prozesse) die Kapitel 16 bis 20 und im Teil E (Multivariate Verfahren) die Kapitel 21 bis 27 behandelt. In den Diplomstudiengängen bilden die Teile A bis D gemeinsam den Fachkern Statistik (8 SWS = 12 Leistungspunkte) und der Teil E kann als ergänzende Lehrveranstaltung gewählt werden. In den Masterstudiengängen bilden die Teile A bis C das Modul Univariate Statistik und die Teile D und E das Modul Multivariate Statistik. Die Module Univariate Statistik und Multivariate Statistik bilden gemeinsam den Minor Statistik. Außerdem können die Teile A bis E in dem Mastermodul Ergänzende Qualifikationsziele gewählt werden. Die Teile A, B und C werden jeweils im Wintersemester, die Teile D und E jeweils im Sommersemester angeboten. Jeder der Teile A bis E enthält einen Vorlesungs- und einen Übungsteil, die in der Regel von Woche zu Woche alternierend stattfinden, und wird mit einer Klausur abgeschlossen. Viele Kapitel haben einen abschließenden Abschnitt mit der Bezeichnung Weiterfüh” rendes“, der jeweils zusätzliches und ergänzendes Material enthält, das in der Vorlesung nicht behandelt wird, sowie zusätzliche Erläuterungen, Beispiele und Anmerkungen. Die weiterführenden Inhalte sind nicht Gegenstand der Klausuren, in denen der in der Vorlesung und in den Übungen behandelte Stoff geprüft wird. Zur verwendeten Notation und zu mathematischen Grundlagen siehe Anhang A. Der Anhang B enthält Hinweise zu weiterführender Literatur. Die 9. Auflage ist für die Lehrveranstaltungen im WS 2008/09 und SS 2009 gedacht. Hinweise auf Fehler bitte an [email protected] iii iv Inhaltsverzeichnis 1 Daten, Zufallsexperiment und Wahrscheinlichkeit 1.1 Daten- und Skalentypen . . . . . . . . . . . . . . . 1.2 Zufallsexperiment . . . . . . . . . . . . . . . . . . . 1.3 Wahrscheinlichkeitsraum . . . . . . . . . . . . . . . 1.4 Weiterführendes . . . . . . . . . . . . . . . . . . . . 2 Zufallsvariable und Wahrscheinlichkeitsmodell 2.1 Zufallsvariable und Verteilung . . . . . . . . . . 2.2 Dichtefunktion . . . . . . . . . . . . . . . . . . 2.3 Wahrscheinlichkeitsfunktion . . . . . . . . . . . 2.4 Wahrscheinlichkeitsmodell . . . . . . . . . . . . 2.5 Weiterführendes . . . . . . . . . . . . . . . . . . 3 Erwartungswert, Varianz und Momente 3.1 Erwartungswert . . . . . . . . . . . . . . 3.2 Varianz und Standardabweichung . . . . 3.3 Momente . . . . . . . . . . . . . . . . . . 3.4 Symmetrie, Schiefe und Wölbung . . . . 3.5 Lage- und Skalenparameter . . . . . . . 3.6 Ungleichungen . . . . . . . . . . . . . . . 3.7 Momenterzeugende Funktion . . . . . . . 3.8 Charakteristische Funktion . . . . . . . . 3.9 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Stichprobe und Grundgesamtheit 4.1 Empirische Verteilung . . . . . . . . . . . . . . 4.1.1 Empirische Verteilungsfunktion . . . . . 4.1.2 Histogramm und Dichtefunktion . . . . . 4.2 Stichprobenfunktion und Stichprobenverteilung 4.3 Summen unabhängiger Zufallsvariablen . . . . . 4.4 Transformierte Zufallsvariablen . . . . . . . . . 4.5 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 3 5 6 . . . . . 9 9 11 12 13 16 . . . . . . . . . 19 19 22 23 23 24 26 27 28 30 . . . . . . . 33 33 34 35 36 38 39 41 5 Univariate Verteilungen und Verteilungsfamilien 47 5.1 Univariate Verteilungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 5.2 Lage- und Skalen-Familien . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 5.3 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 v vi INHALTSVERZEICHNIS 6 Endliche Eigenschaften von Schätzern 6.1 Schätzer . . . . . . . . . . . . . . . . . 6.2 Unverzerrtheit (Erwartungstreue) . . . 6.3 Effizienz . . . . . . . . . . . . . . . . . 6.4 Fisher-Information . . . . . . . . . . . 6.5 Suffizienz und Exponentialfamilien . . 6.6 Weiterführendes . . . . . . . . . . . . . . . . . . . 7 Konvergenz und Grenzwertsätze 7.1 Gesetz der großen Zahlen . . . . . . . . . 7.2 Hauptsatz der Mathematischen Statistik 7.3 Zentraler Grenzwertsatz . . . . . . . . . 7.4 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 Asymptotische Eigenschaften von Schätzern 8.1 Konsistenz . . . . . . . . . . . . . . . . . . . . 8.2 Asymptotische Verteilung . . . . . . . . . . . 8.3 Asymptotische Unverzerrtheit . . . . . . . . . 8.4 Asymptotische Effizienz . . . . . . . . . . . . 8.5 Weiterführendes . . . . . . . . . . . . . . . . . 9 Schätzmethoden 9.1 Momentenmethode . . . . . . . 9.2 Methode der kleinsten Quadrate 9.3 Maximum-Likelihood-Methode . 9.4 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 Grundlagen statistischer Tests 10.1 Testtheorie von Neyman-Pearson . . . . . . . . . . . 10.1.1 Hypothesen und Testfunktion . . . . . . . . . 10.1.2 Eigenschaften von Tests . . . . . . . . . . . . 10.1.3 Optimaler Test und Neyman-Pearson-Lemma 10.2 Likelihoodverhältnis-Test . . . . . . . . . . . . . . . . 10.3 Asymptotisch begründete Testverfahren . . . . . . . . 10.4 Weiterführendes . . . . . . . . . . . . . . . . . . . . . 11 Testverfahren 11.1 Gauß-Test, t-Test und Varianztest . 11.2 Kolmogoroff-Smirnoff-Test . . . . . 11.3 Test über eine Wahrscheinlichkeit . 11.4 Tests auf Fehlspezifikation . . . . . 11.5 Lilliefors-Test auf Normalverteilung 11.6 Run-Test auf Zufälligkeit . . . . . . 11.7 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 53 54 55 56 58 60 . . . . 61 62 64 65 66 . . . . . 69 69 70 72 72 73 . . . . 75 75 76 79 83 . . . . . . . 85 85 85 86 89 89 91 92 . . . . . . . 97 97 99 100 102 104 105 106 INHALTSVERZEICHNIS vii 12 Unabhängigkeit und Korrelation 12.1 Gemeinsame Verteilung . . . . . 12.2 Momente und Korrelation . . . 12.3 Unabhängigkeit . . . . . . . . . 12.4 Zufallsvektoren . . . . . . . . . 12.5 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 111 113 114 116 117 13 Bedingtheit 13.1 Bedingte Verteilungen . . . . . . 13.2 Bedingter Erwartungswert . . . . 13.3 Bedingtheit im multivariaten Fall 13.4 Bedingte Unabhängigkeit . . . . . 13.5 Bedingte Korrelation . . . . . . . 13.6 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 119 121 123 124 125 126 14 Regression 14.1 Gewöhnliche Regression . . . . . . . . . 14.2 Statistische Regression erster und zweiter 14.3 Stochastischer Regressor . . . . . . . . . 14.4 Partielle Korrelation . . . . . . . . . . . 14.5 Weiterführendes . . . . . . . . . . . . . . . . . Art . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133 . 133 . 134 . 137 . 139 . 140 15 Statistische Intervalle 15.1 Konfidenzintervalle 15.2 Prognoseintervalle . 15.3 Toleranzintervalle . 15.4 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 144 145 146 148 16 Grundbegriffe stochastischer Prozesse 16.1 Konzept des stochastischen Prozesses . 16.2 Stationarität . . . . . . . . . . . . . . . 16.3 Gaußscher Prozeß . . . . . . . . . . . . 16.4 Weißes Rauschen . . . . . . . . . . . . 16.5 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149 . 149 . 152 . 154 . 154 . 156 17 Zeitdiskrete stochastische Prozesse 17.1 Random-walk-Prozeß . . . . . . . . 17.2 Martingal-Prozesse . . . . . . . . . 17.3 Markoff-Prozesse . . . . . . . . . . 17.4 Ergodische Prozesse . . . . . . . . . 17.5 Lineare Prozesse . . . . . . . . . . 17.6 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173 . 173 . 175 . 180 . 181 18 ARMA-Prozesse 18.1 MA-Prozesse . . 18.2 AR-Prozesse . . . 18.3 ARMA-Prozesse . 18.4 ARIMA-Prozesse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159 159 161 162 163 165 167 viii INHALTSVERZEICHNIS 18.5 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182 19 ARCH-Prozesse 19.1 ARCH(1)-Prozeß . . 19.2 GARCH(1,1)-Prozeß 19.3 ARCH(q)-Prozeß . . 19.4 GARCH(p,q)-Prozeß 19.5 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 Zeitstetige stochastische Prozesse 20.1 Poisson-Prozeß . . . . . . . . . . . 20.2 Brownsche Bewegung . . . . . . . . 20.3 Geometrische Brownsche Bewegung 20.4 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185 . 185 . 188 . 189 . 189 . 190 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193 . 193 . 194 . 195 . 195 21 Algebraische Grundlagen der multivariaten Statistik 21.1 Orthogonale Matrizen . . . . . . . . . . . . . . . . . . 21.2 Positiv semidefinite Matrizen . . . . . . . . . . . . . . 21.3 Eigenwerte und -vektoren symmetrischer Matrizen . . . 21.4 Idempotente Matrizen . . . . . . . . . . . . . . . . . . 21.5 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199 199 200 201 205 206 22 Statistische und stochastische Grundlagen der multivariaten Statistik 207 22.1 Deskriptiv-statistische Grundlagen . . . . . . . . . . . . . . . . . . . . . . 207 22.2 Stochastische Grundlagen . . . . . . . . . . . . . . . . . . . . . . . . . . . 209 22.2.1 Theoretische Kovarianz- und Korrelationsmatrix . . . . . . . . . . . 209 22.2.2 Mehrdimensionale Normalverteilung . . . . . . . . . . . . . . . . . . 212 22.3 Inferenzstatistische Grundlagen . . . . . . . . . . . . . . . . . . . . . . . . 213 22.4 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214 23 Multivariate Verfahren und Modelle 23.1 Variablentypen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23.2 Einteilungen der multivariaten Verfahren . . . . . . . . . . . . . . . . . . 23.3 Multivariate Modelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219 . 219 . 220 . 223 24 Lineare Modelle 227 24.1 Multiple lineare Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . 227 24.2 Multivariate lineare Regression . . . . . . . . . . . . . . . . . . . . . . . . 230 24.3 Systeme simultaner Gleichungen . . . . . . . . . . . . . . . . . . . . . . . . 233 25 Hauptkomponentenanalyse 25.1 Hauptkomponenten einer theoretischen Kovarianzmatrix . . . . . . . . . 25.2 Hauptkomponenten einer empirischen Kovarianzmatrix . . . . . . . . . . 25.3 Weiterführendes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235 . 235 . 238 . 239 26 Faktorenanalyse 243 26.1 Faktorenanalyse für die Grundgesamtheit . . . . . . . . . . . . . . . . . . . 243 26.2 Faktorenanalyse im Sinn der deskriptiven Statistik . . . . . . . . . . . . . . 246 INHALTSVERZEICHNIS ix 27 Kategoriale Variablen 249 27.1 Varianzanalyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249 27.2 Kategoriale erklärte Variablen . . . . . . . . . . . . . . . . . . . . . . . . . 250 A Mathematische Konzepte A.1 Mengen . . . . . . . . . . . . . . . . A.2 Reellwertige Matrizen . . . . . . . . . A.3 Funktionen . . . . . . . . . . . . . . A.3.1 Abbildungen und Funktionen A.3.2 Spezielle Funktionen . . . . . A.4 Struktur der reellen Zahlen . . . . . . A.5 Komplexe Zahlen . . . . . . . . . . . A.6 Logik . . . . . . . . . . . . . . . . . . A.7 Unendliche Mengen . . . . . . . . . . A.8 Integration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253 . 253 . 255 . 259 . 259 . 259 . 261 . 262 . 262 . 263 . 263 B Weiterführende Literatur 267 Literaturverzeichnis 273 Index 281