Induktive Statistik • • • • • Einleitung Stichproben Stichprobenverteilungen Bestimmung von Vertrauensbereichen Statistische Prüfverfahren Ausgleichungsrechnung I Gerhard Navratil Einleitung Beispiel für induktive Statistik Neues Medikament • Warum sollen die Konsumenten es kaufen? Weil es hübscher verpackt ist? • Wie beweist man, dass es besser ist als die schon vorhandenen Medikamente? • Wie ist ein solcher Test manipulierbar? Ausgleichungsrechnung I Gerhard Navratil Stichproben Grundgesamtheit: Alle möglichen Ergebnisse des Versuchs Stichprobe: Die n Ergebnisse eines tatsächlich durchgeführten Versuchs z.B. Ziehen aus einer Urne Grundgesamtheit: alle Kugeln Stichprobe die Kugel, die ich ziehe Unendlich viele Versuche: Stichprobe = Grundgesamtheit Ausgleichungsrechnung I Gerhard Navratil Begriff ‚Stichprobe‘ Kommt aus der Metall gewinnenden Industrie und dem Warenhandel Kleiner Teil der Schmelzmasse wurde dem Schmelzofen entnommen um die Qualität der Schmelzmasse zu prüfen Rückschluss von der Probe auf die gesamte Schmelzmasse (die Grundgesamtheit) Auch im Warenhandel (Käse, Getreide, etc.) Ausgleichungsrechnung I Gerhard Navratil Beispiel (1) Bestimmung der Größe der Studenten Vermessungswesen eines bestimmten Jahres N=20 Personen Einfachste Möglichkeit: Alle 20 abmessen Erwartungswert und Varianz der Grundgesamtheit Ausgleichungsrechnung I Gerhard Navratil i xi i xi 1 188 11 170 2 183 12 187 3 183 13 177 4 185 14 178 5 178 15 180 6 198 16 182 7 163 17 189 8 164 18 173 9 174 19 176 10 185 20 177 Beispiel (2) Aber: Es ist uns zu aufwändig, also wählen wir n=5 Studenten und messen deren Größe Stichprobe Wir wollen nun von der Stichprobe auf die Grundgesamtheit schließen Anzahl der möglichen Stichproben: N N! , n n!N n ! 20 15.504 5 Ausgleichungsrechnung I Gerhard Navratil Beispiel (3) Ausgangspunkt: Die 5 Studenten wurden zufällig ausgewählt Mittelwert ist eine Zufallsgröße Mittelwert hat also eine Wahrscheinlichkeitsverteilung (Stichprobenverteilung) Zentraler Grenzwertsatz Stichprobenverteilung ist die Normalverteilung Ausgleichungsrechnung I Gerhard Navratil Stichprobenverteilung des arithmetischen Mittels Ab etwa n=30 normalverteilt • Erwartungswert: X • Standardabweichung: X n Ausgleichungsrechnung I Gerhard Navratil Stichprobenverteilung der Standardabweichung Voraussetzung: Normalverteilung der Grundgesamtheit Es folgt: Normalverteilung für die Stichprobenverteilung der Standardabweichung S für n • Erwartungswert: S • Standardabweichung: S 2n Ausgleichungsrechnung I Gerhard Navratil Stichprobenverteilung der Differenz zweier Standardabweichungen Voraussetzung: Normalverteilung der Grundgesamtheiten, große Stichproben (n > 100) Es folgt: Normalverteilung für die Stichprobenverteilung der Differenz der Standardabweichungen DS=S1-S2 • Erwartungswert: DS 1 2 12 22 D S • Standardabweichung: 2n 2n Ausgleichungsrechnung I Gerhard Navratil Vertrauensbereiche Mittelwert s und Standardabweichung s sind Punktschätzwerte für und Keine Information über Zuverlässigkeit oder Genauigkeit (keine Angaben über Abweichung vom wahren Wert) Abhilfe: Vertrauensbereiche (Vertrauens-, Konfidenzintervall) Mit Stichprobendaten berechnetes Intervall Überdeckt den wahren Wert mit vorgegebener Wahrscheinlichkeit S Ausgleichungsrechnung I Gerhard Navratil Vertrauensbereich für Mittelwert bei bekanntem (1) Normalverteilte Grundgesamtheit Stichprobe liefert x1, … xn Standardabweichung aus Erfahrung Vertrauensbereich mit P(mu<m<mo) = S Mit u untere und o obere Vertrauensgrenze Normierte Normalverteilung: P(-us<l<+us) = S Ausgleichungsrechnung I Gerhard Navratil Vertrauensbereich für Mittelwert bei bekanntem (2) Mittelwert der Stichprobe us: 1 2 -Quantil l: Stichprobenfunktion l X n X Also: P u n u S s s Einfache Umformungen: P X u s X us S n n Grenzen: u X us n , o X us Ausgleichungsrechnung I Gerhard Navratil n Beispiel Streckenmessung x=130,100m =4,0cm n=4 S=0,95 Tabelle im Skriptum: us=1,96 P(130,061m<<130,139m)=0,95 oder: x us n 130,100 m 3,9cm, S 0,95 Ausgleichungsrechnung I Gerhard Navratil Vertrauensbereich für Mittelwert bei unbekanntem (1) Normalverteilte Grundgesamtheit Stichprobe liefert x1, … xn Standardabweichung nur Schätzwert Vertrauensbereich für die normierte Normalverteilung: P(-tS<t<+tS) = S mit der Stichprobenfunktion X t n s Ausgleichungsrechnung I Gerhard Navratil Vertrauensbereich für Mittelwert bei unbekanntem (2) Also: X P t S n t S S s Einfache Umformungen: s s P X t S X tS S n n Grenzen: s s u X tS , o X tS n n s Vertrauensbereich: X tS n Ausgleichungsrechnung I Gerhard Navratil Beispiel Streckenmessung x=130,100m s=4,0cm n=4 S=0,95 Tabelle im Skriptum: tS=3,18 (k=4-1=3) P(130,036m<<130,164m)=0,95 oder: x tS s 130,100 m 6,4cm, S 0,95 n Ausgleichungsrechnung I Gerhard Navratil Vertrauensbereich für die Standardabweichung (1) Normalverteilte Grundgesamtheit Stichprobe liefert x1, … xn n 1 2 s x x i Standardabweichung n 1 i 1 Vertrauensbereich mit P(u<<o) = S‘‘ Mit u untere und o obere Vertrauensgrenze Ausgleichungsrechnung I Gerhard Navratil Vertrauensbereich für die Standardabweichung (2) k S '' P qu q u 2 c Ausgangspunkt: Dichtefunktion der Standardabweichung ist die c2-Verteilung, kann geschrieben werden als c 2 1 2 2 2 n 2 T k S 2 2 S2: Zufallsgröße „Varianz der Stichprobe“ k: Anzahl der Freiheitsgrade Ausgleichungsrechnung I Gerhard Navratil 2 Vertrauensbereich für die Standardabweichung (3) Wenn nicht wahre Fehler sondern Verbesserungen v: 2 2 2 vT v k S 2 v1 v2 vn c 2 2 2 k=n, wenn der wahre Wert bekannt, sonst k=n-1 P q q u o S '' Es folgt S Pqu S qo S S ' ' und u qu S , o qo S Also: Ausgleichungsrechnung I Gerhard Navratil Beispiel Streckenmessung s=4,0cm n=4 S=0,95 Tabelle im Skriptum: qu=0,57, qo=3,73 (k=4-1=3) quS=0,574,0cm=2,3cm qoS=3,734,0cm=14,9cm oder: P(2,3cm<<14,9cm)=0,95 Ausgleichungsrechnung I Gerhard Navratil Vertrauensbereich für beliebige Ausgleichungsaufgaben (1) Formeln für Mittelwert bei unbekannter Standardabweichung auch auf Ausgleichungsaufgaben anwendbar Mittel gleich ausgeglichenen Unbekannten oder Messwerten Standardabweichung des Mittels gleich Standardabweichung der Unbekannten oder Messwerten Freiheitsgrade k gleich Anzahl der überschüssigen Messungen Ausgleichungsrechnung I Gerhard Navratil Vertrauensbereich für beliebige Ausgleichungsaufgaben (2) Beliebiges Ergebnis (Unbekannte oder Messwert) G mit Standardabweichung mG G tS mG bzw. qu mG ; qo mG mit tS aus der Tabelle für 2-seitige Sicherheit qu, qo als abgeleitete Sicherheitsgrenzen Ausgleichungsrechnung I Gerhard Navratil Vertrauensbereich für beliebige Ausgleichungsaufgaben (3) Vertrauensbereich im Allgemeinen aussagekräftiger als Standardabweichung Standardabweichung selbst nur Schätzwert für wahren Wert Standardabweichung nicht mit Wahrscheinlichkeit verbunden Bei geringer Redundanz oft nur unzureichende Beschreibung Vertrauensbereich immer mit Wahrscheinlichkeitsaussage verbunden deutlicher und zutreffender Ausgleichungsrechnung I Gerhard Navratil Statistische Prüfverfahren (1) Statistischer Test stellt fest, ob die Daten einer Stichprobe mit einer Hypothese übereinstimmen Zu testende Behauptung: Nullhypothese z.B. Gleiche Mittelwerte – H0: 1=2 Stichprobenfunktion wird gewählt – liefert Sicherheitsgrenzen Berechnung einer Prüfgröße Vergleich Prüfgröße – Sicherheitsgrenze Ausgleichungsrechnung I Gerhard Navratil Statistische Prüfverfahren (2) Prüfgröße innerhalb der Sicherheitsgrenzen (Annahmebereich): Hypothese wird angenommen Prüfgröße außerhalb der Sicherheitsgrenzen (Ablehnungsbereich): Hypothese wird abgelehnt Sicherheitswahrscheinlichkeit (Signifikanzniveau) üblicherweise 95% (selten 99% - hochsignifikant) Ausgleichungsrechnung I Gerhard Navratil Vorsicht! • Annahme einer Hypothese bedeutet, dass die Stichprobe nicht gegen die Hypothese spricht • Annahme bedeutet NICHT, dass die Hypothese zu 95% richtig ist • Ablehnung bedeutet, dass die Prüfgröße in einem Bereich liegt, in dem sie bei richtiger Hypothese nur zu 5% liegen würde • Ablehnung bedeutet NICHT, dass die Hypothese zu 95% falsch ist Ausgleichungsrechnung I Gerhard Navratil Fehler bei Tests • Fehler erster Art: Ablehnung einer richtigen Hypothese (Wahrscheinlichkeit dafür 5% bzw. 1%) • Fehler zweiter Art: Annahme einer falschen Hypothese (Angabe einer Wahrscheinlichkeit nicht möglich) Ausgleichungsrechnung I Gerhard Navratil Praktische Durchführung 1. Formulierung der Fragestellung 2. Aufstellen der Hypothese 3. Wählen der Stichprobenfunktion und Berechnen der Prüfgröße 4. Entnahme der Sicherheitsgrenzen aus der entsprechenden Tabelle 5. Entscheidung über Annahme oder Ablehnung und Beantwortung der Fragestellung Ausgleichungsrechnung I Gerhard Navratil Test von bei bekanntem Hat die Grundgesamtheit einen bestimmten (vorgegebenen) Mittelwert? Hypothese: Grundgesamtheit hat Mittelwert H 0 : 0 0, also X 0 n Stichprobenfunktion l x 0 n Prüfgröße u Sicherheitsgrenze aus Tabelle Vergleich Ausgleichungsrechnung I Gerhard Navratil Beispiel Refraktionskoeffizient x=0,15 s=0,03 n=10 Hypothese: Grundgesamtheit hat Mittelwert 0=0,13 also H 0 : 0 0,13 x 0 0,15 0,13 n 10 2,11 Prüfgröße u 0,03 Sicherheitsgrenze aus Tabelle uS=1,96 2,11>1,96 Hypothese abgelehnt, es muss 0,15 verwendet werden Ausgleichungsrechnung I Gerhard Navratil Test von bei unbekanntem Hat die Grundgesamtheit einen bestimmten (vorgegebenen) Mittelwert? Hypothese: Grundgesamtheit hat Mittelwert H 0 : 0 0, also X 0 t n Stichprobenfunktion S x 0 n Prüfgröße tˆ s Sicherheitsgrenze aus Tabelle Vergleich Ausgleichungsrechnung I Gerhard Navratil Beispiel Polarplanimeter x=9,97mm2 s=0,015 n=4 k=3 0=10mm2 Hypothese: Grundgesamtheit hat Mittelwert 2 H : 10 , 00 mm 0=10 also 0 0 x 0 9,97 10,00 ˆ n 4 4,00 Prüfgröße t s 0,015 Sicherheitsgrenze aus Tabelle bei k=3 tS=3,18 4,00>3,18 Hypothese abgelehnt, es muss 9,97 verwendet werden Ausgleichungsrechnung I Gerhard Navratil Test von 1 und 2 bei bekanntem 1 und 2 Haben die beiden Grundgesamtheiten denselben Mittelwert? Hypothese: Grundgesamtheit haben denselben Mittelwert, also H 0 : 1 2 X ' X ' ' 1 2 Stichprobenfunktion l d n n mit n n nn x ' x ' ' u nn Prüfgröße n n Sicherheitsgrenze und Vergleich d 2 1 2 2 1 2 2 2 1 2 1 1 1 2 2 2 1 1 2 2 1 2 Ausgleichungsrechnung I Gerhard Navratil Beispiel Senkungserscheinungen x‘ = 32,120m s1=8mm n1=6 x‘‘= 32,113m s2=5mm n2=4 Hypothese: Grundgesamtheiten haben H 0 : 1 2 gleichen Mittelwert, also 32120 32113 u 6 4 1,71 2 2 4 8 6 5 Prüfgröße Sicherheitsgrenze aus Tabelle uS=1,96 1,71<1,96 Hypothese angenommen, keine signifikanten Senkungen Ausgleichungsrechnung I Gerhard Navratil Test von 1 und 2 bei unbekanntem 1 und 2 (1) Haben die beiden Grundgesamtheiten denselben Mittelwert? Hypothese: Grundgesamtheit haben denselben Mittelwert, also H 0 : 1 2 X ' X ' ' 1 2 Stichprobenfunktion t S S n n (n 1) S (n 1) S n n S d S S mit n n nn (n 1) (n 1) nn mit dem gewogenen Mittel der Varianzen als Varianz Grundgesamtheit S (n (n1)S1) ((nn 11))S 2 2 1 d 1 2 2 1 2 2 1 1 1 2 2 2 2 1 2 1 2 2 2 1 1 1 Ausgleichungsrechnung I Gerhard Navratil 2 2 2 2 Test von 1 und 2 bei unbekanntem 1 und 2 (2) Prüfgröße tˆ x ' x ' ' n2 1S12 n1 1S22 n1 n2 n1 1n2 1 n1n2 Sicherheitsgrenze mit k=n1+n2-2 Freiheitsgraden Vergleich Ausgleichungsrechnung I Gerhard Navratil Beispiel Bauwerksbewegungen x‘ =50,630m n1=26 u1=18 s02=0,26mgon Qxx=3,00 x‘‘=50,636m n2=34 u1=21 s02=0,22mgon Qxx=2,53 Hypothese: Grundgesamtheiten haben H 0 : 1 2 gleichen Mittelwert, also 5063,0 5063,6 tˆ 1,08 8(0,26) 13(0,22) Prüfgröße 3,00 2,53 8 13 Sicherheitsgrenze aus Tabelle tS=2,08 1,08<2,08 Hypothese angenommen, keine signifikanten Bewegungen 2 2 2 Ausgleichungsrechnung I Gerhard Navratil 2 Test einer Standardabweichung (1) Hat die Grundgesamtheit eine bestimmte (vorgegebene) Standardabweichung? Hypothese: Grundgesamtheit hat Standardabweichung 0, also H 0 : 0 2 kS Stichprobenfunktion 2 c 2 2 0 ks 2 cˆ 2 Prüfgröße 0 Ausgleichungsrechnung I Gerhard Navratil Test einer Standardabweichung (2) Sicherheitsgrenze aus Tabelle, dabei Entscheidung, ob – Test gegen Alternativhypothese >0 (einseitige Fragestellung): cS2 oder – Test gegen Alternativhypothese 0 (zweiseitige Fragestellung): qu und qo abgeleitete Prüfgröße: k 0 pˆ 2 s cˆ Vergleich Ausgleichungsrechnung I Gerhard Navratil Beispiel Nivellement (einseitig) s=3,8mm k=8 0=2,5mm Hypothese: Grundgesamtheit hat 0=2,5mm, also H 0 : 2,5 ks 2 8 3,8 2 Prüfgröße cˆ 2 2,5 18,5 0 Sicherheitsgrenze aus Tabelle cS2=15,5 18,5>15,5 Hypothese abgelehnt, erreichte Genauigkeit ist geringer Ausgleichungsrechnung I Gerhard Navratil Beispiel Stationsausgleich (zweiseitig) s=0,1mgon k=44 0=0,14mgon Hypothese: Grundgesamtheit hat 0=0,14mgon, also H 0 : 0,14 0 0,14 ˆ p 1,4 Prüfgröße s 0,10 Sicherheitsgrenze aus Tabelle qu=0,85, qo=1,22 1,4>1,22 Hypothese abgelehnt, erreichte Genauigkeit ist zu hoch Ausgleichungsrechnung I Gerhard Navratil Test zweier Standardabweichungen Haben die beiden Grundgesamtheiten dieselbe Standardabweichung? Hypothese: Grundgesamtheit haben gleiche Standardabw., also 2 H 0 : 1 2 S1 Stichprobenfunktion F S 2 2 2 s 1 Prüfgröße Fˆ s 2 (s12>s22) 2 Sicherheitsgrenze mit k1/k2 aus Tabelle Vergleich (Alternativ: 1>2) Ausgleichungsrechnung I Gerhard Navratil Beispiel Messgenauigkeit s1=0,39mgon s2=0,27mgon k1=20 k2=15 Hypothese: Messungen gleich genau, also H 0 : 1 2 2 2 s 0 , 39 Fˆ 12 2,09 2 s2 0,27 Prüfgröße Sicherheitsgrenze aus Tabelle FS=2,33 2,09<2,33 Hypothese angenommen, beide Geräte gleich genau Ausgleichungsrechnung I Gerhard Navratil Test mehrerer Standardabweichungen (Cochran-Test) Haben alle Grundgesamtheiten dieselbe Standardabweichung? Hypothese: Grundgesamtheiten haben die gleiche Standardabw., also H 0 : 12 2 m Smax Stichprobenfunktion 2 Gmax S 2 S 2 S 2 1 2 m smax ˆ Prüfgröße Gmax s12 s22 sm2 Sicherheitsgrenze aus Tabelle Vergleich Ausgleichungsrechnung I Gerhard Navratil Beispiel Messgenauigkeit 8 Messungen mit je 10 übersch. Beob. 0,42, 0,41, 0,36, 0,39, 0,42, 0,52, 0,40, 0,38 Hypothese: Messungen gleich genau, also H 0 : 1 2 8 Gˆ max 0,52 2 0,196 2 2 2 0,42 0,41 0,38 Prüfgröße Sicherheitsgrenze GmaxS=0,283 0,283>0,196 Hypothese angenommen, keine Änderung der Genauigkeit Ausgleichungsrechnung I Gerhard Navratil Cochran-Test Besonders gut geeignet, wenn eine Standardabweichung wesentlich größer als die anderen Auch verwendbar, wenn Anzahl der Freiheitsgrade nur nahezu gleich Größere Unterschiede bei den Freiheitsgraden: Bartlett-Test Ausgleichungsrechnung I Gerhard Navratil Test eines Korrelationskoeffizienten Ist der Korrelationskoeffizient gleich Null? Hypothese: Korrelationskoeffizient gleich Null, also H 0 : XY 0 RXY n 2 t Stichprobenfunktion 2 1 RXY rxy n 2 tˆ Prüfgröße 1 rxy2 Sicherheitsgrenze aus Tabelle Vergleich Ausgleichungsrechnung I Gerhard Navratil Beispiel trig. Höhenmessungen 15 Messungen nach 2 Punkten vxvy 0,581 r Verbesserungen xy v v v v x x y y Hypothese: Keine Korrelation, also H 0 : XY 0 tˆ rxy n 2 0,581 13 2,57 Prüfgröße 1 r 1 0,581 Sicherheitsgrenze tS=2,17 2,57>2,17 Hypothese abgelehnt 2 xy 2 Ausgleichungsrechnung I Gerhard Navratil Test eines extremen Merkmals (Ausreißertest) Ist ein Wert ein Ausreißer? Hypothese: Wert gehört zur Grundgesamtheit, also H 0 : xmax N ( , ) bzw. xmin N ( , ) X max X X X min bzw . Stichprobenfunktion S' S' xmax x x xmin ˆ bzw . Prüfgröße s' s' Sicherheitsgrenze aus Tabelle Vergleich Ausgleichungsrechnung I Gerhard Navratil Beispiel Winkelmessung 6 Winkelmessungen, ein extremer Wert Hypothese: Extremer Wert gehört zu selben Grundgesamtheit, also H 0 : xmax N , ˆ xmax x 2,7 2,1 2,04 s' 0,294 Prüfgröße Sicherheitsgrenze S=2,00 2,04>2,00 Hypothese abgelehnt, Wert ist ein Ausreißer und somit zu streichen Ausgleichungsrechnung I Gerhard Navratil Test auf Normalverteilung Ist die Stichprobe normalverteilt? Hypothese: Stichprobe gehört zu einer normalverteilten Grundgesamtheit, also Anzahl Klassen H 0 : F ( x) ( x, 0 , 02 ) r H m npm 2 c Stichprobenfunktion npm r 2 m 1 hm npm 2 ĉ Prüfgröße npm theoret. abs. Häufigkeit m 1 Sicherheitsgrenzeempirische aus Tabelle absolute Häufigkeit Vergleich 2 Ausgleichungsrechnung I Gerhard Navratil Beispiel Winkelmessung 270 Verbesserungen für ein Netz Hypothese: Verbesserungen sind normal2 H : F ( x ) x , 0 , 006 mgon , ( 0 , 194 mgon ) verteilt, also 0 2 ˆ c 10,49 Prüfgröße Sicherheitsgrenze cS2=14,1 10,5<14,1 Hypothese angenommen, Verteilung der Werte widerspricht nicht der Annahme der Normalverteilung Ausgleichungsrechnung I Gerhard Navratil Zusammenfassung • Statistische Tests prüfen Hypothesen mittels Stichproben • Bei statistischen Tests können 2 Arten von Fehlern passieren: – Ablehnung einer richtigen Hypothese (1. Art) – Annahme einer falschen Hypothese (2. Art) • Für typische Testsituationen gibt es Standardverfahren Ausgleichungsrechnung I Gerhard Navratil ENDE • A1 ist hier zu Ende • Was fehlt noch? (Stoff von A2) – Umgang mit groben Fehlern – Festlegung des geodätischen Datums – Qualitätsangaben über Unbekannte hinaus – Komplexere Anwendungen (Deformationsanalyse, Geostatistik etc.) Ausgleichungsrechnung I Gerhard Navratil