Eine Interpretationsfrage habe ich zu einem Beispiel das in der der letzten Vorlesung behandelt wurde: Auf Folie 12.27 zur Varianz. Dort wird ein Beispiel einer stetigen Zufallsvariablen genannt (Warten an einer S-Bahn-Haltestelle). Die Varianz entspricht 33,33333. Was sagt diese Größe in Bezug auf die Wartezeit aus? Antwort: Grundsätzlich sollen Varianz bzw. Standardabweichung Maße dafür sein, wie stark eine Verteilung um ihren Erwartungswert streut. Die Varianz ist definiert als die erwartete quadratische Abweichung vom Erwartungswert: Var(X) = E(X − µ)2 (Siehe auch Folie 12.25). Aufgrund des Quadrierens hat sie nicht die gleiche Maßeinheit, wie die Werte selbst. Die betrachtete Zufallsvariable ist die Wartezeit in Minuten, so dass die Varianz 33,3333 min2 (Quadratminuten) beträgt. Diese Größe läßt sich kaum sinnvoll interpretieren. Deswegen wird die Standardabweichung, d.h. die Wurzel aus der Varianz, als Streuungsmaß verwendet. Diese hat dieselbe Einheit wie das Merkmal selbst, nämlich Minuten. Im Beispiel beträgt die Standardabweichung 5,78 Minuten. Trotzdem ist auch die Standardabweichung nicht direkt interpretierbar, man benötigt nämlich noch Informationen über die entsprechende Verteilung der Zufallsvariable. Ist die Zufallsvariable beispielsweise normalverteilt, so lässt sich sagen dass – im Intervall µ ± σ ungefähr 68% aller Realisierungen – im Intervall µ ± 2 · σ ungefähr 95% aller Realisierungen – im Intervall µ ± 3 · σ ungefähr 99% aller Realisierungen der Zufallsgröße liegen. Wie wir später sehen werden, lassen sich viele Verteilungen durch die Normalverteilung approximieren, sodass diese Regeln oft auch für andere Verteilungen in etwa stimmen. X: Wartezeit in Minuten µ = E(X) = 10 min σ2 = Var(X) = 33,33 min2 √ √ σ = Var(X) = 33,33 ≈ 5,78 min 1 Ich habe da noch eine Frage zum Beispiel mit der HIV-Erkrankung aus der 2. Vorlesung vom 15.04.2014 (über Wahrscheinlichkeiten/zum Satz von Bayes). Ich habe mir das Beispiel nun nochmal angeschaut und kann die Antwort auf die Frage, ob man beim Testen von Blutkonserven auf eine Infizierung eher nach der Sensitivität oder der Spezifität gehen sollte, nicht ganz nachvollziehen. Grundsätzlich gehe ich doch davon aus, dass eine Blutkonserve eher nicht infiziert ist. Daher würde ich eher danach gehen, ob eine gesunde Person (also HIV-) auch als solche angezeigt wird. Die Wahrscheinlichkeit nach der Spezifität beträgt dafür 99% (wenn ich das richtig verstanden habe). Also wird doch zu 99% ein gesunder auch als gesund getestet. Sollte er fälschlicherweise als infiziert getestet werden, würde man die Blutkonserve aussortieren. Das wäre zumindest mein Gedanke. Wenn ich nun, wie in der Vorlesung, mich nach der Wahrscheinlichkeit der Sensitivität richte, würde ein infizierter zu 99% als HIV+ getestet werden, zu 1% aber als HIV- , d.h. wenn ich also ein negatives Testergebnis habe, weiß ich nicht, ob die Person nicht doch infiziert ist und dann besteht hier das Risiko, dass ich die infizierte Blutkonserve jemandem verabreiche. Ich habe mir damals nach der Vorlesung und nun auch heute wieder das Beispiel angeschaut und komme einfach nicht auf dem Punkt, wo mein „Denkfehler“ liegt, bzw. an welcher Stelle ich mich verirrt habe. Vielleicht kann das ja nochmal jemand aufklären, das wäre wirklich sehr hilfreich. Antwort: Das in der Vorlesung vorgestellte Bespiel zu HIV besteht aus zwei Teilen: - Im ersten Teil (Video: 41:38 - 51:00) geht es um einen HIV-Test mit dem man herausfinden möchte, ob eine Person infiziert ist oder nicht. Dort ist es in der Tat so, dass ein infizierter zu 99% als HIV+ getestet werden würde, zu 1% aber als HIV -, die Sensitivität beträgt also 0,99. Mit Hilfe vom Satz von Bayes wird P(HIV + |T est+) berechnet, also die Wahrscheinlichkeit, dass die Person tatsächlich krank ist, wenn der Test anschlägt. Das ist die Frage, die man sich normalerweise als Patient stellt. Im Beispiel ist diese Wahrscheinlichkeit recht niedrig: 0,98%. Um sie bei gleichbleibender Prävalenz zu erhöhen, müssten sowohl Sensitivität als auch Spezifität höher sein (Video: 50:03 - 50:35). - Im zweiten Teil (Video: 51:00 - 53:28) geht es um das Testen von Blutkonserven, um auszuschliessen, dass jemand bei einer Bluttransfusion ein infiziertes Blut bekommt. Der Zweck dieses Tests wäre dann erfüllt, wenn die Sensitivität maximal, am besten 100% wäre (Video: 51:44 - 52:22). 1 „Sich nach der Sensitivität richten“ bedeutet, den Test so anzulegen, dass gilt: P(T est + |HIV+) ≈ 1 P(T est − |HIV+) ≈ 0 Damit würde man ausschliessen, dass eine infizierte Blutkonserve jemandem verabreicht wird. Diesen Test würde man aber wiederum nicht im Feld einsetzen, also für den Fall, der im ersten Teil des Beispiels besprochen wurde. Er geht nämlich zu Lasten der Spezifität: die Wahrscheinlichkeit, eine gesunde Person als krank einzustufen, steigt an (Video: 53:07 - 53:28). Eine niedrigere Spezifität beim Testen von Blutkonserven bedeutet lediglich, dass eine Blutkonserve mit einer höheren Wahrscheinlichkeit fälschlicherweise aussortiert wird. Dieses Risiko ist geringer als das Risiko, eine Person zu infizieren. Deshalb „richtet man sich nach der Sensitivität“. 2 Ich hätte eine Frage zu Kapitel 13 zum Thema Normalverteilung. Wir haben hierzu ein Beispiel in der Vorlesung gemacht, dass Sie anbei im Anhang finden. Leider verstehe ich nicht wie Herr Heumann hier auf das z mit 1,96 kommt. Die drauffolgenden Zeilen sind mir ebenfalls nicht bewusst. Antwort: Betrachtet wird die Standardnormalverteilung, also eine Normalverteilung mit Erwartungswert µ = 0 und Varianz σ2 = 1. Φ(z) ist die Verteilungsfunktion der Standardnormalverteilung. Das p-Quantil z p teilt die Fläche unter der Dichte φ(z) in eine Fläche mit Inhalt p links von z p und eine Fläche mit Inhalt (1 − p) rechts davon auf. Es gilt: Φ(1,96) = 0,975. Der Wert 1,96 ist also das 97,5%-Quantil der Standardnormalverteilung (Vergleiche Folie 13.55). Wie Abbildung 1 zeigt, teilt dieser Wert die Fläche unter der Dichte in eine Fläche mit Inhalt 0,975 links von 1,96 und eine Fläche mit Inhalt (1 − 0,975) = 0,025 rechts davon auf. Abbildung 2 zeigt die Aufteilung der Fläche für Φ(−1,96) = 0,025. 1 0.2 0.3 0.4 Standardnormalverteilung 0.1 0.975 0.0 0.025 −1.96 0 1.96 Abbildung 1: Φ(1,96) = 0.975 0.2 0.3 0.4 Standardormalverteilung 0.1 0.975 0.0 0.025 −1.96 0 1.96 Abbildung 2: Φ(−1,96) = 0.025 2 Mit den Quantilen lassen sich die Wahrscheinlichkeiten für symmetrische Intervalle der Form µ − c ≤ X ≤ µ + c angeben. Für die Werte µ = 0 und c = 1,96 ergibt sich: −1,96 ≤ X ≤ 1,96 Die Wahrscheinlichkeit für dieses Intervall wird folgendermaßen berechnet: P(−1,96 ≤ X ≤ 1,96) = F(1,96) − F(−1,96) = Φ(1,96) − Φ(−1,96) = 0,975 − 0,025 = 0,95 0.2 0.3 0.4 Standardnormalverteilung 0.1 0.95 0.025 0.0 0.025 −1.96 0 1.96 Abbildung 3: P(−1,96 ≤ X ≤ 1,96) Die Wahrscheinlichkeiten für die zwei anderen, im Tafelbild gezeigten Intervallen werden analog berechnet. Die Quantile z p lassen sich nicht in einfacher Weise durch analytische Formeln bestimmen. Deshalb werden die Quantile der Standardnormalverteilung entweder aus Tabellen entnommen oder mit nummerischen Verfahren am Computer berechnet. Tabelle 1 enthält einen Auszug aus der Tabelle der Verteilungsfunktion der Standardnormalverteilung (Formelsammlung S. 10). 3 z 0.0 0.1 0.2 0.3 0.4 0.5 0.05 0.519939 0.559618 0.598706 0.636831 0.673645 0.708840 0.06 0.523922 0.563559 0.602568 0.640576 0.677242 0.712260 0.07 0.527903 0.567495 0.606420 0.644309 0.680822 0.715661 0.08 0.531881 0.571424 0.610261 0.648027 0.684386 0.719043 0.09 0.535856 0.575345 0.614092 0.651732 0.687933 0.722405 0.6 0.7 0.8 0.9 1.0 0.742154 0.773373 0.802337 0.828944 0.853141 0.745373 0.776373 0.805105 0.831472 0.855428 0.748571 0.779350 0.807850 0.833977 0.857690 0.751748 0.782305 0.810570 0.836457 0.859929 0.754903 0.785236 0.813267 0.838913 0.862143 1.1 1.2 1.3 1.4 1.5 0.874928 0.894350 0.911492 0.926471 0.939429 0.876976 0.896165 0.913085 0.927855 0.940620 0.879000 0.897958 0.914657 0.929219 0.941792 0.881000 0.899727 0.916207 0.930563 0.942947 0.882977 0.901475 0.917736 0.931888 0.944083 1.6 1.7 1.8 1.9 2.0 0.950529 0.959941 0.967843 0.974412 0.979818 0.951543 0.960796 0.968557 0.975002 0.980301 0.952540 0.961636 0.969258 0.975581 0.980774 0.953521 0.962462 0.969946 0.976148 0.981237 0.954486 0.963273 0.970621 0.976705 0.981691 2.1 2.2 2.3 2.4 2.5 0.984222 0.987776 0.990613 0.992857 0.994614 0.984614 0.988089 0.990863 0.993053 0.994766 0.984997 0.988396 0.991106 0.993244 0.994915 0.985371 0.988696 0.991344 0.993431 0.995060 0.985738 0.988989 0.991576 0.993613 0.995201 2.6 2.7 2.8 2.9 3.0 0.995975 0.997020 0.997814 0.998411 0.998856 0.996093 0.997110 0.997882 0.998462 0.998893 0.996207 0.997197 0.997948 0.998511 0.998930 0.996319 0.997282 0.998012 0.998559 0.998965 0.996427 0.997365 0.998074 0.998605 0.998999 Tabelle 1: Verteilungsfunktion Φ(z) der Standardnormalverteilung N(0,1) 4 Meine Frage bezieht sich auf ein Beispiel aus den Vorlesungsunterlagen zu Kapitel 15. Zum Thema Konfidenzschätzung für die Normalverteilung war auf Seite 12 (Skript) ein Bsp. für den Fall, dass σ bekannt ist. Mir ist nur nicht ganz klar, wie man zum Niveau von 1 − α = 0,95 auf den Wert von z,1 − α2 kommt. Ich wäre wirklich dankbar über eine kurze Erklärung. Antwort: Wenn das Niveau 1 − α = 0,95 ist, dann gilt: α = 0,05 α 2 = 0,025 1− α 2 = 0,975 Somit ist z1−α/2 = z0,975 = 1,96. Der Wert 1,96 ist das 97,5%-Quantil der Standardnormalverteilung (Vergleiche Folie 13.55 und Antwort auf Frage 6). 1 Bei der ML Schätzung bei der Normalverteilung heißt es für den 2. Fall, dass die ML-Schätzung für die Varianz bei bekanntem Erwartungswert erwartungstreu ist. Im 3. Fall dagegen, wenn beide Parameter unbekannt sind, ist die Schätzung für die Varianz nur asymptotisch erwartungstreu und erst die Stichprobienvarianz ist erwartungstreu. Warum ist a nicht auch wie im 2. Fall die Varianz erwartungstreu? Antwort: Eine Schätzung T(X) des Parameters θ heißt erwartungstreu für θ, wenn gilt: E(T (θ)) = θ (Vgl. Folie 15.13) Wir betrachten nun die ML-Schätzung für die Varianz der Normalverteilung. 2. Fall (Folie 15.29): σ2 unbekannt, µ = µ0 bekannt Wenn der Erwartungswert µ bekannt ist, ist der ML-Schätzer für die Varianz erwartungstreu. n 1X (Xi − µ0 )2 n i=1 σ̂2 = E(σ̂2 ) = σ2 n 1 X 2 E(σ̂ ) = E (Xi − µ) n n i=1 1 X 2 = E (Xi − µ) n 2 µ=µ0 i=1 = n 1X n i=1 E(Xi − µ)2 1 = (Var(X1 ) + · · · + Var(Xn )) n 1 2 = (σ + · · · + σ2 ) n 1 = (nσ2 ) n = σ2 1 3. Fall (Folien 15.31/32): µ unbekannt, σ2 unbekannt Der Schätzer für σ2 ist die empirische Varianz. n σ̂2 = E(σ̂2 ) = 1X (Xi − X̄)2 n i=1 n−1 2 σ n Dieser Schätzer ist zwar nicht erwartungstreu, aber asymptotisch erwartungstreu (Vgl. Folie 15.19). Es gilt nämlich: lim n→∞ n · σ2 = σ2 n−1 Ein weiterer Schätzer für σ2 (kein ML-Schätzer) ist die Stichprobenvarianz. Dieser Schätzer ist erwartungstreu: n 1 X (Xi − X̄)2 = n − 1 i=1 S 2X E(S 2X ) = σ2 n 1 X (Xi − X̄)2 n − 1 i=1 n 1X n · = (Xi − X̄)2 n − 1 n i=1 n · σ̂2 = n−1 S 2X = n · σ̂2 n−1 n = · E(σ̂2 ) n−1 n n−1 2 = · σ n−1 n = σ2 E(S 2X ) = E 2 Ich habe eine Frage zu der folgenden Folie. Warum ist die Varianz des arithmeti2 schen Mittels der iid-ZV σn und nicht einfach nur σ2 ? Antwort: Seien X1 , . . . ,Xn unabhängig und identisch verteilt mit Erwartungswert µ und Varianz σ2 . Dann gilt: n 1 X E(X̄) = E Xi n i=1 n 1 X = E Xi n i=1 1 = (E(X1 ) + · · · + E(Xn )) n 1 = (µ + · · · + µ) n 1 = (nµ) n =µ 1 Var(X̄) = = unab. = n 1 X Xi Var n i=1 n !2 X 1 Var Xi n i=1 n 1 X Var(Xi ) n2 i=1 = 1 (Var(X1 ) + · · · + Var(Xn )) n2 = 1 2 (σ + · · · + σ2 ) n2 = = 1 (nσ2 ) n2 σ2 n Intuitive Erklärung: Man betrachtet Ausprägungen einer Normalverteilung (die somit alle den selben Erwartungswert haben). Der Mittelwert dieser Ausprägungen sollte auch nach Intuition eine kleinere Varianz haben als die Ausprägungen selber. Und je mehr Ausprägungen man hat (je größer n ist), umso kleiner sollte die Varianz des Mittelwertes sein. 2 Bei ich hätte eine Frage bezüglich der stetigen Verteilungen (Chi-Verteilung; TVerteilung, F-Verteilung). Und zwar ist mir nicht bewusst für welche Art von Aufgaben man diese benötigt, da kein Bsp. im Skript ist und das auch nur kurz am Ende in der Vorlesung besprochen wurde. Aber für die Bestimmung der Konfidenzintervalle scheint es wichtig zu sein. Vielleicht kann man das ja anhand einer kleinen Beispiels erklären. Und es wäre noch gut zu wissen was der Begriff Freiheitsgrad in diesem Zusammenhang bedeutet. Antwort: Die genannten stetigen Verteilungen werden bei der Konstruktion und Berechnung von Konfidenzintervallen und statistischen Tests eingesetzt. Es gibt aber wenige Praxisbeispiele, in denen die Verteilungen benutzt werden. - Die Quantile der χ2 -Verteilung werden beim Konfidenzintervall für σ2 benötigt (Vgl. FS S. 5 und Aufgabe 4 von Blatt 7). Beim χ2 -Anpassungstest (FS S. 6) und beim χ2 -Unabhängigkeitstest (FS S. 8) ist die Teststatistik approximativ χ2 -verteilt . - Beim Konfidenzintervall für µ, wenn σ2 unbekannt ist, werden die Quantile der t-Verteilung verwendet (FS S. 5, Aufgabe 2 von Blatt 7). Die Teststatistik vom einfachen (Blatt 8, Aufgabe 2a), doppelten (Blatt 8, Aufgabe 2b) und Paired (Blatt 8, Aufgabe 3) t-Test ist t-verteilt (FS S. 6 und 7). Je größer der Stichprobenumfang ist, also je mehr Freiheitsgrade die t-Verteilung besitzt, desto näher ist sie an der Standardnormalverteilung. - Bei der multiplen linearen Regression ist die Teststatistik des Overall-FTests F-verteilt (FS S. 9). 1 Beim Hypothesentest habe ich noch nicht ganz verstanden, wann es sich um einen ein- oder zweiseitigen handelt. Und wenn es einseitiger ist, welche Richtung beim Ablehungsbereich zu wählen ist. Antwort: In der Vorlesung vom 17.06. wurde an einem Beispiel zum einfachen Gauss-Test (Video: 1:20-19:50) sehr gut erklärt, wie man eine inhaltliche Fragestellung in statistische Hypothesen umsetzt. Dem Hersteller wird unterstellt, dass er Torten produziert, deren mittleres Gewicht niedriger als das angegebene Verkaufsgewicht ist. Es handelt sich also um einen einseitigen Test mit Alternativhypothese (H1 ): µ < µ0 = 2 kg. (Video: 4:30-6:04). In der Formelsammlung findet man die Hypothesen und die dazugehörigen Ablehnbereiche für den einfachen Gauss-Test. In unserem Beispiel liegt ein linksseitiger Test vor, also Fall b). • Hypothesen: a) H0 : µ = µ0 vs. H1 : µ , µ0 b) H0 : µ ≥ µ0 vs. H1 : µ < µ0 vs. H1 : µ > µ0 c) H0 : µ ≤ µ0 • Testgröße: T (X) = X̄ − µ0 √ H0 n ∼ N(0,1) σ • Ablehnbereiche: a) |t| > z1− α2 b) t < −z1−α c) t > z1−α Würden wir nachweisen wollen, dass die Torten im Mittel schwerer als 2 kg. sind, dann würden wir einen rechtsseitigen Test mit H1 : µ > µ0 = 2 kg. durchführen. Wenn wir überprüfen wollen, ob das mittlere Tortengewicht vom Normgewicht abweicht, ohne die Richtung der Abweichung vorzugeben, dann benötigen wir einen zweiseitigen Test mit Alternativhypothese: µ , µ0 = 2 kg. 1 Ich hätte eine Frage zur Annahme bzw. Ablehnung von Nullhypothesen. Normalerweise wird ja eine Hypothese abgelehnt, wenn sich die Testgröße im Ablehnungsbereich befindet (wenn ich es richtig verstanden habe). Nun ist mir jedoch in zwei Aufgaben (7.4 und 7.3c in dem Buch induktive Statistik von Prof. Heumann) aufgefallen, dass hier die Nullhypothese nicht abgelehnt wird, obwohl sich die Testgröße im Ablehnungsbereich befand. Hängt das evtl. damit zusammen, dass es sich jeweils im Hypothesen mit einem „=“ handelt? Antwort: Bei Aufgabe 7.3c handelt es sich um den einfachen t-Test. Man betrachtet zwei Fälle (Vgl. FS S. 6): • Hypothesen: a) H0 : µ = µ0 vs. H1 : µ , µ0 b) H0 : µ ≥ µ0 vs. H1 : µ < µ0 • Testgröße: T (X) = X̄ − µ0 √ H0 n ∼ tn−1 S • Ablehnbereiche: a) |t| > tn−1;1− α2 b) t < −tn−1;1−α Für die Aufgabe gilt: t = −2,296 a) |t| = | − 2,296| < 2,86 = tn−1;1− α2 = t19;1− 0,01 = t19;0,995 2 b) t = −2,296 > −2,54 = −t19;1−0,01 = −t19;0,99 Die Testgröße liegt in beiden Fällen also nicht im Ablehnbereich und H0 wird daher beibehalten. 1 Bei Aufgabe 7.4. handelt es sich um den F-Test auf Gleichheit der Varianzen. Sowohl im Buch (S. 141) als auch in der Formelsammlung (S. 7) sind die Ablehnbereiche dafür angegeben. • Hypothesen: a) H0 : σ2X = σ2Y • Testgröße: vs. H1 : σ2X , σ2Y S 2X T (X,Y) = 2 SY H0 ∼ FnX −1, nY −1 • Ablehnbereiche: a) t < fnX −1, nY −1; α2 oder t > fnX −1, nY −1; 1− α2 In der Aufgabe sind: t = 1,0467 fnX −1, nY −1; α2 = f40,40,0.025 = 0,53 fnX −1, nY −1; 1− α2 = f40,40,0.975 = 1,88 Es gilt also: 0,53 < 1,0467 < 1,88. Die Testgröße liegt nicht im Ablehnbereich, H0 kann nicht abgelehnt werden. 2 Wir haben ja in den Aufgaben 3 und 4 auf Blatt 6 bewiesen, dass es auch möglich ist, die Parameter λ und p über den Mittelwert zu bestimmen. Gilt dies denn für ALLE Aufgaben? Also kann man sich das ML-Prinzip sparen und gleich den Mittelwert berechnen oder ist das eine Kann, muss nicht “ Situation? Dann lieber doch am ML” Prinzip orientieren und den Parameter so bestimmen oder? Antwort: In den genannten Aufgaben leitet man die Maximum Likelihood Schätzfunktionen für die Parameter λ (der Poissonverteilung) und p (der Bernoulliverteilung) her. λ und p sind unbekannte Werte, weshalb diese nur geschätzt und nicht bestimmt“ werden können. Mit der Maximum ” Likelihood Methode lassen sich Schätzfunktionen für diese unbekannten Parameter herleiten. Basierend auf konkreten Stichproben würden sich dann konkrete stichprobenabhängige Realisierungen dieser Schätzfunktionen ergeben, also konkrete Schätzwerte für die unbekannten Parameter. Sowohl bei der Poissonverteilung, als auch bei der Bernoulliverteilung ist es so, dass die Verteilungsparameter (λ bzw. p) gerade die Erwartungswerte der Verteilungen sind (siehe Formelsammlung). Wendet man die Maximum Likelihood Methode an, ergibt sich als Schätzfunktion für den Erwartungswert das arithmetische Mittel. Dass sich sowohl für das λ der Poissonverteilung, als auch für das p der Bernoulliverteilung als Schätzfunktion das arithmetische Mittel ergibt, liegt also nur daran, dass in beiden Fällen der Erwartungswert der Verteilung geschätzt wird. Will man dagegen in anderen Situation Schätzfunktionen für unbekannte Parameter herleiten, z.B. im Fall einer Regressionsgerade (a und b sind zu schätzen), so ergibt sich nicht das arithmetische Mittel als Schätzfunktion (siehe Statistik I). Generell hängt es natürlich auch von der Aufgabenstellung mit ab, ob du die Maximum Likelihood Methode durchführen musst, oder nur die resultierende Schätzfunktion anzugeben hast.