Vorlesung 12
Werbung
Statistik und Wahrscheinlichkeitsrechnung Statistik und Wahrscheinlichkeitsrechnung Dr. Jochen Köhler 09.05.2008 1 Statistik und Wahrscheinlichkeitsrechnung Inhalt der heutigen Vorlesung Zusammenfassung der vorherigen Vorlesung Übersicht über Schätzung und Modellbildung Modellevaluation durch Statistische Tests ‐ Der χ2 –Test für die Güte der Anpassung ‐ Der Kolmogorov‐Smirnov Test für die Güte der Anpassung ‐ Modellvergleiche 09.05.2008 2 Statistik und Wahrscheinlichkeitsrechnung Zusammenfassung der vorherigen Vorlesung Wir betrachteten die Möglichkeit, die Parameter einer Verteilung basierend auf Beobachtungen/Daten abschätzen zu können. Was haben wir gelernt? Dass die Parameter einer Verteilung geschätzt werden können mit Hilfe von z.B. der: – Methode der Momente MoM – Methode der maximalen Likelihood MLM 09.05.2008 3 Statistik und Wahrscheinlichkeitsrechnung Zusammenfassung der vorangehenden Vorlesung Methode der Momente (MoM) – Punktschätzung Das Prinzip der MoM ist: Wir schätzen die Parameter, indem wir die analytisch berechneten Momente mit den Stichprobenmomenten gleichsetzen. 1 n m1 = ∑ xˆi n i=1 1 n 2 m2 = ∑ xˆi n i=1 ∞ λ1 = ∫ x ⋅ f X (x μ,σ )dx −∞ ∞ λ2 = ∫ x2 ⋅ f X (x μ,σ )dx −∞ Dies führt zu k Gleichungen, welche gelöst werden müssen um k Parameter abzuschätzen. 09.05.2008 4 Statistik und Wahrscheinlichkeitsrechnung Zusammenfassung der vorangehenden Vorlesung Methode der maximalen Likelihood (MLM) – Schätzung der Parameter und ihrer Verteilung Das Prinzip der MLM ist: Die Parameter werden geschätzt, indem die Likelihood das die Parameter die Beobachtungen/Daten repräsentieren maximiert wird. n L(θ xˆ ) = ∏ f X ( xˆi θ) i =1 n l (θ x) = ∑ log( f X ( xˆi θ)) i =1 m in ( − l ( θ xˆ )) θ 09.05.2008 μΘ = (θ1∗ ,θ 2∗ ,..,θ n∗ )T CΘΘ = H−1 Hij = ∂ 2 − l(θ xˆ ) ∂θi ∂θ j θ=θ∗ 5 Statistik und Wahrscheinlichkeitsrechnung Schätzung und Modellentwicklung ‐ Übersicht Unterschiedliche Typen an Information werden genutzt, wenn Ingenieurmodelle entwickelt werden. – – Subjektive Information Frequentistische Information subjektiv ‐ physikalisches Verständnis ‐ Erfahrung ‐ Beurteilungsvermögen frequentistisch ‐ Daten Stichprobenstatistiken ‐ Konfidenzintervalle ‐ Statistische Signifikanz 09.05.2008 Wahrscheinlichkeitspapier Verteilungsfamilie probabilistisches Modell Verteilungsparameter Methode der Momente Methode der maximalen Wahrscheinlichkeit 6 Statistik und Wahrscheinlichkeitsrechnung Modellevaluation durch Statistische Tests Nehmen wir an, dass wir eine bestimmte Verteilungsfunktion gewählt haben, um die Unsicherheit eines unsicheren Ereignisses zu modellieren. Verteilungsfamilie fx(x) Daten physikalische Gesetze Druckfestigkeit Beton Daten Verteilungsparameter μ, σ x Nun wollen wir die Wahl unserer Verteilung prüfen – Durch statistische Tests. 09.05.2008 7 Statistik und Wahrscheinlichkeitsrechnung Modellevaluation durch Statistische Tests Zwei unterschiedliche Fälle werden betrachtet: Verifizierung von 1: Diskreten Verteilungsfunktionen px(x) CHI‐Quadrat (χ2) Test x 2: Kontinuierlichen Verteilungsfunktionen fx(x) Kolmogorov Smirnov Test x 09.05.2008 8 Statistik und Wahrscheinlichkeitsrechnung Modellevaluation durch Statistische Tests Der CHI‐Quadrat Test der Güte der Anpassung Die Idee dahinter ist, dass die Differenzen εj zwischen der erwarteten und der beobachteten Datenverteilung klein sein sollte, wenn die gewählte Verteilungsfamilie die Stichprobe gut beschreiben kann. 10 9 εj Beobachtungen 8 εi 7 6 Histogramm aus Beobachtungen 5 Histogramm gemäss den erwarteten Beobachtungen entsprechend der gewählten Verteilung und deren Parameter 4 3 2 1 0 0‐25 25‐30 30‐35 35‐ ∞ Druckfestigkeit Beton (MPa) 09.05.2008 9 Statistik und Wahrscheinlichkeitsrechnung Modellevaluation durch Statistische Tests Der CHI‐Quadrat Test der Güte der Anpassung Wie wir bereits wissen, ist eine diskrete kumulative Wahrscheinlichkeitsverteilungsfunktion wie folgt gegeben: i −1 P(xi ) = ∑ p(x j ) j =1 Wahrscheinlichkeitsdichtefunktion 09.05.2008 Kumulative Wahrscheinlichkeitsverteilungsfunktion 10 Statistik und Wahrscheinlichkeitsrechnung Modellevaluation durch Statistische Tests Der CHI‐Quadrat Test der Güte der Anpassung Sei n die Anzahl Beobachtungen einer diskreten Zufallsvariable X. Die X = xi Anzahl an Beobachtungen von d.h. N i ist eine binomial verteilte Zufallsvariable mit folgendem Erwartungswert und Varianz: E[ Ni ] = np(xi ) = N p,i Erwartete Anzahl Beobachtungen eines gewissen Wertes Var [ Ni ] = np(xi )(1− p(xi )) = N p,i (1− p(xi )) 09.05.2008 11 Statistik und Wahrscheinlichkeitsrechnung Modellevaluation durch Statistische Tests Der CHI‐Quadrat Test der Güte der Anpassung Sei n die Anzahl Beobachtungen einer diskreten Zufallsvariable X. Die X = xi Anzahl an Beobachtungen von d.h. N i ist eine binomial verteilte Zufallsvariable mit folgendem Erwartungswert und Varianz: E[ Ni ] = np(xi ) = N p,i Erwartete Anzahl Beobachtungen eines gewissen Wertes Var [ Ni ] = np(xi )(1− p(xi )) = N p,i (1− p(xi )) Wenn das postulierte Modell korrekt und n gross genug ist, dann ist gemäss dem zentralen Grenzwertsatz die Differenz εi standard normalverteilt. No,i − N p,i Beobachtete Anzahl Beobachtungen eines gewissen Wertes εi = N p,i (1 − p(xi )) 09.05.2008 12 Statistik und Wahrscheinlichkeitsrechnung Modellevaluation durch Statistische Tests Der CHI‐Quadrat Test der Güte der Anpassung Werden die quadrierten Differenzen von beobachteten und erwarteten Anzahl Beobachtungen summiert, dann erhalten wir: k (No,i − N p,i )2 i =1 i =1 N p,i (1 − p( xi )) ε 2 = ∑εi2 = ∑ ε2 ε1 CHI‐Quadrat verteilt mit k‐1 Freiheitsgraden ε3 10 Anzahl an Beobachtungen k 9 8 k ( N o ,i − N p ,i ) 2 i =1 N p ,i εm = ∑ 2 ε4 7 6 Histogramm aus Beobachtungen 5 4 3 Histogramm der erwarteten Beobachtungen 2 1 0 0 1 2 3 Anzahl Unfälle pro Monat 09.05.2008 13 Statistik und Wahrscheinlichkeitsrechnung Modellevaluation durch Statistische Tests Der CHI‐Quadrat Test der Güte der Anpassung Es wird nun auf einem Signifikanzniveau α getestet, ob die Summe aller beobachteten quadrierten Differenzen plausibel ist, d.h. Es wird die Nullhypothese H0 aufgestellt, dass die gewählte Verteilungsfunktion die beobachtete Stichprobe repräsentiert. Die Vorgehensregel lautet dann P(ε m2 ≥ Δ) = α Die Alternativhypothese H1 ist weit weniger informativ, weil mit ihr ausser der gewählten Verteilung alle anderen Verteilungen akzeptiert werden. 2 χ v = k −1 − j der Verteilung mit Freiheitsgraden. α Δ ist der Fraktilwert 09.05.2008 14 Statistik und Wahrscheinlichkeitsrechnung Modellevaluation durch Statistische Tests Der CHI‐Quadrat Test der Güte der Anpassung Wir betrachten folgendes Beispiel: Als Verteilungsfunktion für 20 Beobachtungen der Betondruckfestigkeit nehmen wir die Normalverteilung an. Der Mittelwert beträgt 33 Mpa Und die Standardabweichung 5 Mpa Wobei die Parameter nicht aus den vorhandenen Beobachtungen geschätzt werden. Die Normalverteilung ist eine kontinuierliche Verteilung. Aber sie kann ganz einfach diskretisiert werden! 09.05.2008 15 Statistik und Wahrscheinlichkeitsrechnung Modellevaluation durch Statistische Tests Der CHI‐Quadrat Test der Güte der Anpassung Die Dichtefunktion der gewählten Verteilungsfunktion wird diskretisiert: Wahrscheinlichkeitsdichte Gewählte Verteilungsfunktion 0.09 0.08 0.07 0.06 0.05 0.04 0.03 0.02 0.01 0 0 10 20 30 40 50 60 Druckfestigkeit Beton (MPa) 09.05.2008 16 Statistik und Wahrscheinlichkeitsrechnung Modellevaluation durch Statistische Tests Der CHI‐Quadrat Test der Güte der Anpassung Die Dichtefunktion der gewählten Verteilungsfunktion wird diskretisiert: Wahrscheinlichkeitsdichte Gewählte Verteilungsfunktion 0.09 0.08 0.07 0.06 0.05 0.04 0.03 0.02 0.01 0 0 10 20 30 40 50 60 Druckfestigkeit Beton (MPa) Intervall 0‐25: − ∞ − 33 ⎤ ⎡ 25− 33 20 ⎢Φ( ) − Φ( )⎥ = 20⋅ 0.055= 1.10 5 5 ⎣ ⎦ Totale Anzahl an Versuchen 09.05.2008 17 Statistik und Wahrscheinlichkeitsrechnung Modellevaluation durch Statistische Tests Der CHI‐Quadrat Test der Güte der Anpassung Die Dichtefunktion der gewählten Verteilungsfunktion wird diskretisiert: Erwartetes Histogramm 0.09 0.08 0.07 Anzahl Beobachtungen Wahrscheinlichkeitsdichte Gewählte Verteilungsfunktion 0.06 0.05 0.04 0.03 0.02 0.01 0 0 10 20 30 40 Druckfestigkeit Beton (MPa) Intervall 0‐25: 50 60 9 8 7 6 5 4 3 2 1 0 0‐25 25‐30 30‐35 35‐∞ Druckfestigkeit Beton (MPa) − ∞ − 33 ⎤ ⎡ 25− 33 20 ⎢Φ( ) − Φ( )⎥ = 20⋅ 0.055= 1.10 5 5 ⎣ ⎦ Totale Anzahl an Versuchen 09.05.2008 18 Statistik und Wahrscheinlichkeitsrechnung Modellevaluation durch Statistische Tests Der CHI‐Quadrat Test der Güte der Anpassung Die beobachteten und erwarteten Histogramme können nun verglichen werden. Anzahl an Beobachtungen 10 9 8 7 6 Histogramm aus Beobachtungen 5 4 3 Histogramm der erwarteten Beobachtungen 2 1 0 0‐25 25‐30 30‐35 35‐ ∞ Druckfestigkeit Beton (MPa) 09.05.2008 19 Statistik und Wahrscheinlichkeitsrechnung Modellevaluation durch Statistische Tests Der CHI‐Quadrat Test der Güte der Anpassung Die beobachteten und erwarteten Histogramme können nun verglichen werden. 10 10 9 9 8 7 6 Histogramm aus Beobachtungen 5 4 3 Histogramm der erwarteten Beobachtungen 2 1 0 0‐25 25‐30 30‐35 35‐ ∞ Druckfestigkeit Beton (MPa) 09.05.2008 Anzahl an Beobachtungen Anzahl an Beobachtungen ‐ Aufgrund der kleinen Anzahl an Stichproben im unteren Bereich werden die zwei unteren Intervalle zusammengeführt. 8 7 6 5 4 3 2 1 0 0‐30 30‐35 35‐ ∞ Druckfestigkeit Beton (MPa) 20 Statistik und Wahrscheinlichkeitsrechnung Modellevaluation durch Statistische Tests Der CHI‐Quadrat Test der Güte der Anpassung – Berechnungen zum genannten Beispiel Intervall xj (MPa) 0‐ 30 30 ‐35 35‐ ∞ Anzahl Beobach‐ tungen No,j 5 9 6 Erwartete Wahrschein‐ lichkeiten 0.296671 0.381169 0.344578 Erwartete Anzahl Beo‐ bachtungen Np,j, 5.933415 7.65443 6.412155 Summe Stich‐ proben‐ statistik 0.14684 0.236537 0.026492 0.40987 k ( N o, j − N p , j ) 2 j =1 N p, j ε m2 = ∑ Auf einem Signifikanzniveau von 5% erhalten wir für die CHI‐Quadrat‐Verteilung Mit N=3‐1=2 Freiheitsgraden aus der Tabelle: = 5.99. Δ Da 0.40987 kleiner ist als 5.99, kann die Nullhypothese H0 nicht verworfen werden. 09.05.2008 21 Statistik und Wahrscheinlichkeitsrechnung Modellevaluation durch Statistische Tests Der CHI‐Quadrat Test der Güte der Anpassung Wird eines, oder mehrere (m) Parameter der gewählten Verteilung aus den gleichen Daten bestimmt wurde, welche auch für den Test verwendet wurden, dann muss die Anzahl der Freiheitsgrade entsprechend reduziert werden: v = k −1− j – 09.05.2008 Unter der Annahme, dass die Varianz aus den Daten bestimmt wurde, aber nicht der Mittelwert, erhalten wir n= 3-1-1=1 Freiheitsgrad. 22 Statistik und Wahrscheinlichkeitsrechnung Modellevaluation durch Statistische Tests Der CHI‐Quadrat Test der Güte der Anpassung Wenn wir eine Normalverteilung annehmen mit folgenden Parametern: μ= 33.00 σ= 4.05 erhalten wir folgendes Ergebnis: Intervall xj (MPa) 0 ‐ 30 30 ‐ 35 35 ‐ ∞ Anzahl Beobach‐ Tungen No,j 5 9 6 Erwartete Erwartete Wahrschein‐ Anzahl Beo‐ lichkeiten p(xj) bachtungen Np,j= , 20p(xj) 0.274253 5.485061 0.381169 7.623373 0.344578 6.891566 Summe Stich‐ proben‐ statistik 0.042896 0.248591 0.115342 0.406829 Auf einem Signifikanzniveau von 5% erhalten wir für die CHI‐Quadrat‐Verteilung Δ mit N=3‐1‐1=1 Freiheitsgraden aus der Tabelle: = 3.84. Da 0.406829 kleiner ist als 3.84, kann die Nullhypothese H0 nicht verworfen werden. 09.05.2008 23 Statistik und Wahrscheinlichkeitsrechnung Modellevaluation durch Statistische Tests Der Kolmogorov‐Smirnov Test der Güte der Anpassung Die Idee hinter dem Kolmogorov‐Smirnov Test ist folgende: Wenn die kumulative Wahrscheinlichkeitsverteilungsfunktion der gewählten Verteilung für die Beobachtungen in Betracht kommt, dann sollte die maximale Differenz zwischen der beobachteten und der erwarteten kumulativen ε max Wahrscheinlichkeitsverteilungsfunktion klein sein. ε max < Δ n ,α 09.05.2008 24 Statistik und Wahrscheinlichkeitsrechnung Modellevaluation durch Statistische Tests Der Kolmogorov‐Smirnov Test der Güte der Anpassung Die kumulative Wahrscheinlichkeitsverteilungsfunktion der Beobachtungen kann berechnet werden als: i Fo ( xi ) = n Folgende Stichprobenstatistik wird benutzt: ε max 09.05.2008 ⎡i ⎤ ⎡ ⎤ = max ⎣ Fo ( xi ) − Fp ( xi ) ⎦ = max ⎢ − Fp ( xi ) ⎥ ⎣n ⎦ 25 Statistik und Wahrscheinlichkeitsrechnung Modellevaluation durch Statistische Tests Der Kolmogorov‐Smirnov Test der Güte der Anpassung Die Kolmogorov‐Smirnov Stichprobenstatistik wird folgendermassen ermittelt: Φ-1(Fx(x)) Fx(x) 2 0.98 1.5 0.84 1 0.5 0.50 0 -0.5 0.15 -1 -1.5 0.02 -2 20 25 30 35 40 45 x 09.05.2008 26 Statistik und Wahrscheinlichkeitsrechnung Modellevaluation durch Statistische Tests Der Kolmogorov‐Smirnov Test der Güte der Anpassung Die Kolmogorov‐Smirnov Statistik ist tabelliert: Für n = 20 und α = 5% erhalten wir 0.2941, im Vergleich zur beobachteten Statistik von 0.1061 – die Nullhypothese H0 kann nicht verworfen werden auf einem Signifikanzniveau von 5%. 09.05.2008 27 Statistik und Wahrscheinlichkeitsrechnung Modellevaluation durch Statistische Tests Modellvergleich Modellverifizierung durch statistische Tests kann genutzt werden, um die Plausibilität eines bestimmten Modells in Bezug auf ein bestimmtes Datenset zu quantifizieren. Zwei Fälle müssen in Betracht gezogen werden: 1. 2. Es kann gezeigt werden, dass die Hypothese akzeptiert werden kann. Es kann gezeigt werden, dass die Hypothese verworfen werden muss. Welche Information ist in diesen beiden Fällen enthalten? 09.05.2008 28 Statistik und Wahrscheinlichkeitsrechnung Modellevaluation durch Statistische Tests Modellvergleich Wenn ein Signifikanztest zeigt, dass eine Hypothese akzeptiert werden kann: Wir müssen uns daran erinnern, dass auch andere Modelle (Verteilungen) in Frage kommen… tatsächlich ist es oft der Fall, dass mehrere Modelle den Signifikanztest „bestehen“! Wenn ein Signifikanztest zeigt, dass eine Hypothese verworfen werden muss: Dies heisst nicht unbedingt, dass das gewählte Modell schlecht ist – es könnte bedeuten, dass der Beweis einfach nicht stark genug ist, um die entsprechende Signifikanz zu zeigen – zu wenig Daten! 09.05.2008 29 Statistik und Wahrscheinlichkeitsrechnung Modellevaluation durch Statistische Tests Modellvergleich Wenn zwei Modellhypothesen akzeptiert werden können, d.h. beide Modelle plausibel sind, dann können wir die Güte der Anpassung der zwei Modelle testen entweder durch: Die Stichprobenstatistik direkt vergleichen – kann nicht beweiskräftig sein, u.a. aufgrund unterschiedlicher Freiheitsgrade Die Likelihood vergleichen !!! 09.05.2008 30 Statistik und Wahrscheinlichkeitsrechnung Modellevaluation durch Statistische Tests Modellvergleich Betrachten wir ein Beispiel mit zwei unterschiedlichen Modellen: Modell 1: N(33;5) Parameter nicht aus den gleichen Daten geschätzt n=3‐1=2 CHI‐Quadrat Stichprobenstatistik = 0.40987 Stichprobenwahrscheinlichkeit = 0.8151 Modell 2: N(33;4.05) Parameter aus den gleichen Daten geschätzt n=3‐1‐1=2 CHI‐Quadrat Stichprobenstatistik = 0.40683 Stichprobenwahrscheinlichkeit = 0.5236 09.05.2008 31 Statistik und Wahrscheinlichkeitsrechnung Modellevaluation durch Statistische Tests Zusammenfassung Die Wahl eines geeigneten probabilistischen Modells kann durch Signifikanztests an der Modellhypothese unterstützt werden. Der CHI‐Quadrat Test wurde für diskrete Verteilungen entwickelt. Der Kolmogorov‐Smirnov Test wurde für kontinuierliche Verteilungen entwickelt. Die Güte der Anpassung verschiedener Modellalternativen kann durch den Vergleich verschiedenen Likelihoods geprüft werden. 09.05.2008 32
