Residuenanalyse

TECHNISCHE UNIVERSITÄT MÜNCHEN-WEIHENSTEPHAN
MATHEMATIK UND STATISTIK
INFORMATIONS- UND DOKUMENTATIONSZENTRUM
Residuenanalyse
R. KRAFT
Grafische Residuenanalyse
Biometrische und Ökonometrische Methoden I
WS 99/00
Histogramm
Wahrscheinlichkeitsplot
Residuenplot
Test auf Normalverteilung der Residuen
Shapiro-Wilk-Test
Anderson-Darling-Test
Test auf Autokorrelation der Residuen
Durbin-Watson-Test
Residuenanalyse
Test auf Zufälligkeit der Residuen
Runs-Test
Residuenanalyse
KRAFT
Residuenanalyse
KRAFT
Preis - Motorleistung
Regression
Preis - Motorleistung
Residuen
MTB > Regress 'DM' 1 'kW';
SUBC>
Fits 'Fits';
SUBC>
Residuals 'Res.';
SUBC>
SResiduals 'St.Res.';
SUBC> GHistogram;
SUBC> GNormalplot;
SUBC> GFits;
SUBC> GOrder.
MTB > Print 'kW' 'DM' 'Fits' 'Res.' 'St.Res.'.
Data Display
Row
kW
DM
Fits
Res.
St.Res.
1
2
3
4
5
6
7
8
9
74
92
110
142
75
85
110
125
142
38000
41600
48100
53600
38600
42100
48600
52200
57200
38410.3
43038.4
47666.6
55894.4
38667.4
41238.6
47666.6
51523.3
55894.4
-410.31
-1438.44
433.43
-2294.35
-67.43
861.38
933.43
676.66
1305.65
-0.38177
-1.21645
0.35969
-2.20767
-0.06225
0.74797
0.77462
0.58190
1.25631
Regression Analysis
The regression equation is
DM = 19384 + 257 kW
Predictor
Coef
Constant
19384
kW
257.12
StDev
1863
17.09
T
10.40
15.04
P
0.000
0.000
60000
S = 1280
R-Sq = 97.0%
R-Sq(adj) = 96.6%
55000
Analysis of Variance
Preis [DM]
Source
DF
SS
MS
F
P
Regression 1 370670207 370670207 226 0.000
Error
7 11469793
1638542
Total
8 382140000
Unusual Observations
Obs kW
DM
Fit StDev Fit Residual St Resid
4 142 53600 55894
747
-2294
-2.21R
50000
45000
40000
35000
70
80
90
100
110
120
130
140
150
Leistung [kW]
Residuenanalyse
KRAFT
Residuenanalyse
KRAFT
Preis - Motorleistung
Grafische Residuenanalyse
Preis - Motorleistung
Grafische Residuenanalyse
Histogramm
Residuenplot (Residuen gegen Schätzwerte)
Histogram of the Residuals
Residuals Versus the Fitted Values
(response is DM)
(response is DM)
2
0
Residual
Frequency
1000
1
-1000
-2000
0
-2500
-2000
-1500
-1000
-500
-0
500
1000
1500
40000
45000
Residual
50000
55000
Fitted Value
Wahrscheinlichkeitsplot
Residuenplot (Residuen gegen Reihenfolge)
Normal Probability Plot of the Residuals
Residuals Versus the Order of the Data
(response is DM)
(response is DM)
1.5
1000
0.5
Residual
Normal Score
1.0
0.0
-0.5
0
-1000
-1.0
-2000
-1.5
-2000
-1000
0
1
1000
Residual
Residuenanalyse
2
3
4
5
6
7
8
9
Observation Order
KRAFT
Residuenanalyse
KRAFT
Modellvoraussetzungen
Shapiro-Wilk-Test auf Normalverteilung
Regressionsmodell: y i ' b0 % b1xi % ê i ' ŷi % ê i
ei normalverteilt
E(ei) = 0
Var(ei) = F2
Cov(ei,ej) = 0
H0: Residuen normalverteilt
H1: Residuen nicht normalverteilt
Residuen sind normalverteilt
mit Erwartungswert 0
und Varianz F2
keine Autokorrelation
Zufälligkeit der Residuen
Residuen
Shapiro-Wilk-Test auf Normalverteilung
Durbin-Watson-Test auf Autokorrelation
Runs-Test auf Zufälligkeit
6
normal scores (Normalwerte)
Quantilen der Standardnormalverteilung
i&3/8
N &1
n%1/4
Bestimmung der Korrelation r Residuen - normal scores
H0 ablehnen, wenn r < rkrit.
rkrit. aus Tabelle oder
Standardisierte Residuen
êi & E(ei)
si
'
Residuenanalyse
êi & 0
si
'
êi
rkrit..1.0071&
0.1371 0.3682 0.7780
&
%
n
n2
n
für " = 0.10
rkrit..1.0063&
0.1288 0.6118 1.3505
&
%
n
n2
n
für " = 0.05
rkrit..0.9963&
0.0211 1.4106 3.1791
&
%
n
n2
n
für " = 0.01
(0,1)-normalverteilt
si
KRAFT
Residuenanalyse
KRAFT
Preis - Motorleistung
Shapiro-Wilk-Test
Preis - Motorleistung
Test auf Normalverteilung der Residuen
MTB > Let 'NScores' = NSCOR('Res.')
MTB > Print 'Res.' 'NScores'.
Shapiro-Wilk-Test auf Normalverteilung der Residuen
Data Display
.999
.99
1
2
3
4
5
6
7
8
9
Res.
-410.31
-1438.44
433.43
-2294.35
-67.43
861.38
933.43
676.66
1305.65
.95
NScores
Probability
Row
-0.56961
-0.93004
0.00000
-1.49513
-0.27322
0.56961
0.93004
0.27322
1.49513
.80
.50
.20
.05
.01
.001
-2000
-1000
0
1000
Res.
Average: -0.0000000
StDev: 1197.38
N: 9
MTB > Correlation 'Res.' 'NScores'.
W-test for Normality
R:
0.9505
P-Value (approx): > 0.1000
Anderson-Darling-Test auf Normalverteilung der Residuen
Correlations (Pearson)
.999
Correlation of Res. and NScores = 0.950
.99
n
" = 10%
" = 5%
" = 1%
5
10
15
20
25
30
0.9033
0.9347
0.9506
0.9600
0.9662
0.9707
0.8804
0.9180
0.9383
0.9503
0.9582
0.9639
0.8320
0.8804
0.9110
0.9290
0.9408
0.9490
Probability
.95
.50
.20
.05
.01
.001
-2000
-1000
0
1000
Res.
H0 auf 5% Signifikanzniveau nicht ablehnen, da r = 0.950 nicht
kleiner ist als rkrit. = 0.918 (bei n = 10).
Residuenanalyse
.80
KRAFT
Average: -0.0000000
StDev: 1197.38
N: 9
Residuenanalyse
Anderson-Darling Normality Test
A-Squared: 0.425
P-Value: 0.244
KRAFT
Durbin-Watson-Test auf Autokorrelation
Preis - Motorleistung
Test auf Autokorrelation der Residuen
Autokorrelationskoeffizient
n
r ' Corr(ei,ei&1) '
j e i e i &1
1000
i '2
n
2
0
e_i
j e i &1
i '2
-1000
Durbin-Watson-Testgröße
-2000
n
dw '
2
j (e i & ei&1)
-2000
-1000
i '2
n
0
1000
e_(i-1)
2
j ei
MTB > Regress 'DM' 1 'kW';
SUBC>
DW.
i '2
dw . 2 @ (1 & r)
Regression Analysis
[ ... ]
Unschärfebereich
positive
Autokorr.
0
dwu
dw < dwu
dw > 4 ! dwu
dwo < dw < 4 !dwo
sonst
Unschärfebereich
keine
Autokorr.
dwo
2
Durbin-Watson statistic = 1.59
negative
Autokorr.
4-dwo
4-dwu
4
positive Autokorrelation
negative Autokorrelation
keine Autokorrelation
keine Aussage möglich
n = 9:
n
dwu
dwo
06
07
08
09
10
0.61
0.70
0.76
0.82
0.88
1.40
1.36
1.33
1.32
1.32
dwu = 0.82, dwo = 1.32
dwo = 1.32 < 1.59 < 2.68 = 4 ! dwo, also keine Autokorrelation
Residuenanalyse
KRAFT
Residuenanalyse
KRAFT
Runs-Test auf Zufälligkeit
Preis - Motorleistung
Test auf Zufälligkeit der Residuen
Runs-Test prüft die Zufälligkeit der Anordnung einer beliebigen
Stichprobe
Residuals Versus the Order of the Data
(response is DM)
Run:
Folge von Stichprobenwerten größer oder kleiner als
eine Konstante k (meist k = 0)
1000
Residual
0
Anzahl der Runs sollte bei zufälliger Verteilung der Residuen
eines Regressionsmodells um den Wert k = 0 hoch sein, da die
Werte möglichst abwechselnd um den Erwartunswert 0 schwanken sollten
-1000
-2000
1
Vergleich der beobachteten Anzahl von Runs mit der erwarteten
Anzahl von Runs
p-Wert ist die Wahrscheinlichkeit, die beobachtete Anzahl von
Runs oder eine kleinere zu erhalten (Approximation über Normalverteilung)
2
3
4
5
6
7
8
9
Observation Order
MTB > Runs 0 'Res.'.
Runs Test
Res.
K =
0.0000
The observed number of runs =
4
The expected number of runs =
5.4444
5 Observations above K
4 below
* N Small -- The following approximation may
be invalid
The test is significant at 0.2964
Cannot reject at alpha = 0.05
Residuenanalyse
KRAFT
Residuenanalyse
KRAFT
Herbizidabbau im Boden
Herbizidabbau - Lineares Modell
MTB > Print 't_days' 'c_ppm'.
c ' c0 % m @ t ' 65.6 ppm & 2.72
Data Display
Row
t_days
c_ppm
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
99
94
76
66
55
53
46
38
32
28
23
22
19
17
14
14
10
10
8
7
6
5
5
4
4
3
3
2
2
1
1
Residuenanalyse
ppm
@t
day
MTB > Regress 'c_ppm' 1 't_days';
SUBC>
Fits 'Fits';
SUBC>
SResiduals 'St.Res.';
SUBC>
DW.
Regression Analysis
The regression equation is
c_ppm = 65.6 - 2.72 t_days
Predictor
Constant
t_days
S = 13.33
Coef
65.550
-2.7206
StDev
4.674
0.2677
R-Sq = 78.1%
T
14.02
-10.16
P
0.000
0.000
R-Sq(adj) = 77.3%
Analysis of Variance
Source
Regression
Error
Total
DF
1
29
30
SS
18356
5152
23508
MS
18356
178
F
103.32
P
0.000
Durbin-Watson statistic = 0.10
KRAFT
Residuenanalyse
KRAFT
Herbizidabbau - Lineares Modell
Grafische Residuenanalyse
Herbizidabbau - Residuenplot für lineares Modell
I Chart of Residuals
3
2
2
Residual
Residual
Normal Plot of Residuals
3
1
0
1
1
1
1
3
0
-2
-1
0
1
2
11
0
Normal Score
3
3
1
1
11
1
3.0SL=0.6164
X=0.01463
1
-1
-1
1
12
1 1
1111 1
10
2
2
2
20
-3.0SL=-0.5872
30
Observation Number
Histogram of Residuals
Residuals vs. Fits
3
9
8
7
6
5
4
3
2
1
0
2
Residual
Frequency
1
1
0
-1
-1.0 -0.5 0.0 0.5 1.0 1.5 2.0 2.5
-20 -10 0
10 20 30 40 50 60 70
Residual
Fit
Residuenanalyse
KRAFT
Herbizidabbau - Lineares Modell
Shapiro-Wilk-Test auf Normalverteilung der Residuen
Herbizidabbau - Shapiro-Wilk-Test für lineares Modell
.999
.99
Probability
.95
.80
.50
.20
.05
.01
.001
-1
0
1
2
St.Res.
Average: 0.0146254
StDev: 1.02917
N: 31
Residuenanalyse
W-test for Normality
R:
0.9504
P-Value (approx): 0.0101
KRAFT
Herbizidabbau - Lineares Modell
Durbin-Watson-Test auf Autokorrelation
Herbizidabbau - Exponentielles Modell
c ' c0 @ 10k @ t Y lg c ' lg c0 % k @ t ' 2.00 ! 0.0604 @ t Y
k = 1, n = 31: dwu = 1.36, dwo = 1.50
&1
c ' 100 ppm @ 10!0.06days @ t
Anfangskonzentration: c0 ' 100 ppm
dw = 0.10 < 1.36 = dwu, also positive Autokorrelation
Halbwertszeit:
c0
2
' c0 @ 10
!0.06 days&1 @ tH
Y tH '
MTB > Let 'lg c' = LOGT('c_ppm')
MTB > Regress 'lg c' 1 't_days';
SUBC>
Fits 'Fits';
SUBC>
SResiduals 'St.Res.';
SUBC>
DW.
Herbizidabbau - Lineares Modell
Runs-Test auf Zufälligkeit
MTB > Runs 'St.Res.'.
Regression Analysis
Runs Test
The regression equation is
lg c = 2.00 - 0.0604 t_days
St.Res.
K =
lg 2
days ' 5 days
0.06
Predictor
Coef
Constant
2.00405
t_days
-0.0604261
0.0146
The observed number of runs =
3
The expected number of runs = 16.3548
14 Observations above K
17 below
The test is significant at 0.0000
S = 0.0203
StDev
0.00712
0.0004075
R-Sq = 99.9%
T
281.57
-148.27
P
0.000
0.000
R-Sq(adj) = 99.9%
Analysis of Variance
Source
Regression
Error
Total
DF
1
29
30
SS
9.0553
0.0119
9.0672
MS
9.0553
0.0004
F
21984.33
P
0.000
Durbin-Watson statistic = 2.58
Residuenanalyse
KRAFT
Residuenanalyse
KRAFT
Herbizidabbau - Exponentielles Modell
Grafische Residuenanalyse
Herbizidabbau - Residuenplot für exponentielles Modell
Normal Plot of Residuals
I Chart of Residuals
3
Residual
Residual
2
1
0
-1
-2
-2
-1
0
1
4
3
2
1
0
-1
-2
-3
-4
2
3.0SL=3.285
X=0.002163
-3.0SL=-3.280
0
10
Normal Score
Histogram of Residuals
30
Residuals vs. Fits
3
7
6
5
4
3
2
1
0
2
Residual
Frequency
20
Observation Number
1
0
-1
-2
-2.0-1.5-1.0-0.5 0.0 0.5 1.0 1.5 2.0 2.5
0
1
Residual
2
Fit
Residuenanalyse
KRAFT
Herbizidabbau - Exponentielles Modell
Anderson-Darling-Test auf Normalverteilung der Residuen
Herbizidabbau - Anderson-Darling-Test für exponentielles Modell
.999
.99
Probability
.95
.80
.50
.20
.05
.01
.001
-2
-1
0
1
2
St.Res.
Average: 0.0021635
StDev: 1.01241
N: 31
Residuenanalyse
Anderson-Darling Normality Test
A-Squared: 0.174
P-Value: 0.919
KRAFT
Herbizidabbau - Exponentielles Modell
Durbin-Watson-Test auf Autokorrelation
Lineares - Exponentielles Modell
Herbizidabbau - Lineares Modell
k = 1, n = 31: dwu = 1.36, dwo = 1.50
Y = 65.5700 - 2.71615X
R-Sq = 77.8 %
4 ! dwo = 2.50 < 2.58 < 2.64 = 4 ! dwu,
also keine Aussage über Autokorrelation möglich
c_ppm
100
Herbizidabbau - Exponentielles Modell
Runs-Test auf Zufälligkeit
50
0
0
10
20
30
t_days
MTB > Runs 'St.Res.'.
Runs Test
Herbizidabbau - Exponentielles Modell
St.Res.
K =
W = Logten(Y)
W = 2.00405 - 6.04E-02X
R-Sq = 99.9 %
0.0022
100
80
60
The observed number of runs = 17
The expected number of runs = 16.3548
14 Observations above K
17 below
The test is significant at 0.8119
Cannot reject at alpha = 0.05
40
c_ppm
30
20
15
10
8.0
6.0
4.0
3.0
2.0
1.5
0
10
20
30
t_days
Residuenanalyse
KRAFT
Residuenanalyse
KRAFT