Lineare Regression - Department Chemie und Biologie

-70-
Anhang:
-Lineare RegressionFür eine Messgröße y = f(x) gelte folgender mathematische Zusammenhang:
y = a + b⋅ x
(1)
In der Regel läßt sich durch einen Satz von Messwerten (xi, yi) aber keine Gerade zeichnen,
da die einzelnen Messwerte mit experimentellen Unsicherheiten σi behaftet sind. Wir
nehmen an, dass ein Wert yi bei wiederholter Messung gaußverteilt um den Mittelwert y i ,
mit einer Standardabweichung σi liegen würde.
Wir wollen nun die Parameter a und b so bestimmen, dass sie unsere Messung am besten
annähern. Für ein beliebiges Paar von Werten a und b können wir die Abweichungen ∆yi
zwischen unseren Messwerten yi und den dazugehörenden berechneten Werten berechnen:
∆yi = yi - a - b x i
(2)
Wenn die Koeffizienten gut gewählt sind werden diese Abweichungen klein sein. Die
Summe der ∆yi ist aber noch kein gutes Maß für die Abweichungen, da große positive ∆yi
durch große negative aufgewogen werden können. Deshalb benutzen wir die Summe der
Quadrate der ∆yi. Es gibt eine Methode zur Optimierung der Koeffizienten, die Methode der
kleinsten Quadrate.
Nehmen wir an ao und bo seien die korrekten Werte unseres Experimentes ( also die
Mittelwerte die wahren Werte der Verteilung ). Es gilt also:
y ( x ) = a o + bo ⋅ x
(3)
Für einen gegebenen Wert x = xi können wir nun die Wahrscheinlichkeit Pi berechnen, den
Wert yi zu messen
(unter der Annahme einer Gaußverteilung):
Pi =
2


 1  yi − y(xi ) 
 
exp − 
2
σ
2π
 

i

1
σi
(4)
Die Wahrscheinlichkeit den Satz der N Messungen der yi zu machen ist dann das Produkt
der Einzelwahrscheinlichkeiten.
 1 N  y − y(x ) 2 


i
i
⋅ exp − ∑ 
 
σi
2π
 
 2 i =1 
N
P(a o , bo ) = ∏ Pi = ∏
i =1
1
σi
(5)
Ebenso können wir jetzt für ein beliebiges Paar (a,b) die Wahrscheinlichkeit den Satz der N
Messungen (xi, yi) zu machen berechnen
N
P(a , b) = ∏
i =1
 1 N  ∆y  2 
⋅ exp − ∑  i  
2π
 2 i =1  σ i  
1
σi
(6)
-71Die Methode der größten Wahrscheinlichkeit (maximum likelihood) besteht nun darin,
anzunehmen, dass die Wahrscheinlichkeit, dass der gemessene Satz von Werten zur
Grundgesamtheit aus Gleichung 3 gehört, größer ist, als die, daß er zu irgend einer anderen
Grundgesamtheit mit anderen Koeffizienten (a, b) gehört. Folglich ist die Wahrscheinlichkeit
in Gleichung 5 die größte, die wir mit Gleichung 6 berechnen können. Die besten
Abschätzungen für a und b sind also die, welche die Wahrscheinlichkeit von Gleichung 6
maximieren.
Der erste Term der Gleichung ist eine Konstante, die nicht von a und b abhängt. Folglich ist
das Maximieren der Wahrscheinlichkeit von (6) dasselbe wie das Minimieren der Summe im
Exponenten von (6). Wir definieren nun die Größe χ2 als die Summe
2
N
 1
 ∆yi 
2
2
χ ≡∑
 = ∑  2 ( yi − a − bxi ) 
i =1  σ i
i =1  σ i 

N
(7)
Zur Bestimmung des am besten angepaßten Paares (a, b) muß also nur noch χ2 minimiert
werden. Wir nehmen zuerst einmal an, dass die Standardabweichungen (bedingt durch
instrumentelle Unsicherheiten, statistische Fluktuationen oder Ableseungenauigkeiten) der
Messwerte yi alle gleich σ seien. Im Minimum müssen die partiellen Ableitungen von χ2
nach a und b beide Null sein
2
∂ 2 ∂ N  1
χ = ∑  2 (yi − a − bxi ) 
∂a
∂a i =1  σ

−2
= 2 ∑ ( y i − a − bx i ) = 0
σ
(8)
2
∂ 2 ∂ N  1
χ = ∑  2 ( yi − a − bxi ) 
∂b
∂ b i =1  σ

−2
= 2 ∑ x i ( y i − a − bx i ) = 0
σ
Diese beiden Gleichungen lassen sich um ordnen in ein Gleichungssystem mit zwei
Gleichungen, welches einfach gelöst werden kann (mit der Determinantenmethode). Die
Lösungen lauten
1
Σx i2 Σy i − Σ x i Σx i y i )
(
∆
1
b = ( NΣ x i y i − Σ x i Σ y i )
∆
a=
∆ = NΣx i2 − (Σ x i )
2
(9)
-72Ist die Annahme, dass die σi alle gleich sind nicht zulässig, so müssen sie in der Rechnung
mit berücksichtigt werden. Nach analoger Rechnung erhalten wir folgende Lösung:
x i2
1
a = ∑ 2
∆  σi
1
1
b= ∑ 2
∆  σi
yi
∑σ
∑
1
∆= ∑ 2
σi
2
i
−∑
xi
σ i2
xi yi 
2 
i 
∑σ
xi yi
xi
2 −∑
σi
σ i2
yi 
∑ σ 2 
i
xi2 
x 
∑ σ 2 −  ∑ σ i2 
i
i
(10)
2
Falls nicht nur die yi mit Fehlern behaftet sind, sondern auch die Messwerte xi , so müssen
diese folgendermaßen berücksichtigt werden:
[
]
σ i2 = b ⋅ σ i (x i ) + σ i2 (y i )
2
(11)
Dabei erhält man b approximativ aus einem ersten Fit nach Gleichung (9), oder aber man
iteriert (10) und (11) bis b sich nicht mehr ändert.
Fehlerabschätzung
Da die Messwerte yi mit Fehlern behaftet sind, so werden auch die berechneten
Koeffizienten a und b fehlerbehaftet sein. Die Standardabweichung σz einer Größe z = f(yi)
berechnet sich nach dem gaußschen Fehlerfortpflanzungs-Gesetz folgendermaßen:
  ∂z 2
σ = ∑ σ i2 
 
y
∂


i  

2
z
(12)
Wir betrachten wieder zuerst den Fall, in dem alle Standardabweichungen gleich sind, σi =
σ (und keine systematischen Fehler vorliegen, das heißt, dass die σi unabhängig voneinander
sind). In diesem Fall können wir σ2 aus den Daten bestimmen: Die Varianz s2, die sich σ2
annähert, berechnen wir aus der Summe der Quadrate der Abweichungen der Datenpunkte
vom berechneten Mittelwert dividiert durch die Anzahl der Freiheitsgrade (hier N-2:
#Datenpunkte - Steigung - Achsenabschnitt):
σ 2 ≅ s2 =
1
2
yi − a − b xi )
(
∑
N −2 i
(13)
Es ist übrigens dieser Wert, den wir in unserem Kleinsten-Quatdrate-Fit minimiert haben.
Die Ableitungen aus Gleichung (12) lassen sich leicht aus Gleichung (9) bestimmen:
∂a 1
=
∂yj ∆
(∑ x
2
i
− x j ∑ xi
)
-73-
∂b 1
N x j − ∑ xi
=
∂yj ∆
(
)
(14)
wobei die Summen über den Index i laufen. Setzen wir nun Gleichung (14) in Gleichung
(12) ein so erhalten wir:
[
σ2
2
2
σ ≅ ∑ 2 (Σ xi2 ) − 2 x j Σxi2 Σx i + x 2j (Σx i )
J =1 ∆
σ2
2
2
2
= 2 N (Σ x i2 ) − 2 Σx i2 (Σ x i ) + Σ x i2 (Σ x i )
∆
σ2
σ2 2
2
2
2
= 2 (Σx i ) NΣx i − (Σx i ) =
Σxi
∆
∆
N
2
a
[
]
[
[N
(15)
]
]
]
σ2
2
2 2
σ ≅∑ 2
x j − 2 Nx j Σx i + (Σx i )
J =1 ∆
σ2
2
2
= 2 N 2 Σx i2 − 2 N (Σx i ) + N (Σx i )
∆
Nσ 2
σ2
2
2
= 2 NΣx i − (Σ x i ) = N
∆
∆
N
2
b
]
[
[
(16)
]
( )
2
Wobei ∆ wie folgt definiert ist: ∆ = NΣx i2 − Σ x i, und σ aus Gleichung (13) benutzt wird.
Analog lassen sich aus den Gleichungen (10) und (12) die Formeln für den Fall berechnen,
in dem die σi verschieden sind. Als Resultat erhalten wir hier
xi2
1
σ ≅ ∑ 2
σi
∆
2
a
(17)
1
1
σ ≅ ∑ 2
σi
∆
2
b
1
∆=∑ 2
σi
x i2 
x 
∑ σ 2 − ∑ σ i2 
i
i
2
Nach Philip R. Bevington, Data Reduction and Error Analysis for the Physical Sciences,
McGraw-Hill, New York (1969)
-74-
-Beispiele zur linearen RegressionIm folgenden soll anhand von drei Beispielen gezeigt werden, wie die oben abgeleiteten
Formeln in der Praxis angewendet werden:
Wir betrachten eine Reaktion
Das dazugehörende Geschwindigkeits-Zeit-Gesetz sei
∂ [Α]
= − k [Η + ][Α]
∂t
Wir nehmen an, dass wir in gepufferter Lösung arbeiten, dass also [H+] konstant bleibt und
mit k´= k [H +] erhalten wir nach Integration:
(18)
ln A = ln A + k ′ ⋅ t
o
(wobei to = 0 gesetzt wurde). Nach Umformung ergibt sich die Exponentialgleichung:
Α = Α o ⋅ exp (− k ′⋅ t )
Gleichung (18) zeigt, dass k´ als Geradensteigung durch lineare Regression berechnet
werden kann. Dabei wird ln A o als Achsenabschnitt bestimmt.
Zu dieser Reaktion seien drei Versuche mit unterschiedlichen Messwerten gemacht worden:
a) Messreihe 1:
Zeit t [s]
0,00
1,00
2,00
3,00
[A(t)] [mol/l]
0,89
0,80
0,73
0,62
∆[A(t)] [mol/l]
0,01
0,01
0,01
0,01
ln A(t)
-0,117
-0,223
-0,315
-0,478
Da die Meßwerte A(t) alle etwa gleich groß sind, und die Fehler ebenfalls alle gleich sind,
so sind auch die Unsicherheiten ∆ ln A(t) alle etwa gleich groß und die lineare Regression
kann nach Gleichung (9) berechnet werden. Für die Berechnung der Fehler werden die
Gleichungen (13), (15) und (16) benutzt. Wir erhalten:
∑ xi = 6
∑ xi2 = 14
∑ yi = -1,132
a = -0,107
σ = 0,00059
∆a = 0,020
Und damit als Schlußresultat:
k ′ = 0,12 ± 0,01 s −1
und
∑ xiyi = -2,287
b = -0,118
N=4
∆b = 0,011
A o = 0,90 ± 0,02 mol / l
wobei Ao aus a = ln Ao = -0,107 und ∆Ao aus ∆a mit Fehlerfortpflanzung berechnet wurde.
-75b) Messreihe 2:
Zeit t [s]
0,00
10,00
20,00
30,00
[A(t)] [mol/l]
0,91
0,26
0,08
0,02
∆[A(t)] [mol/l]
0,01
0,01
0,01
0,01
ln A(t) ∆ ln A(t)
-0,094
0,011
-1,35
0,04
-2,53
0,13
-3,91
0,5
Hier sind die Messwerte A(t) sehr unterschiedlich groß, insbesondere unterscheiden sich die
Unsicherheiten ∆ ln A(t) stark. Deshalb sollten für die lineare Regression nicht alle
Datenpunkte gleich gewichtet werden. Man gewichtet deshalb jeden Messwert mit seinem
Fehler und rechnet mit Gleichung (10). Für die Berechnung der Fehler wird die Gleichung
(17) benutzt. Wir erhalten:
∑xi/σi2=8160 ∑xi2/σi2 =96800 ∑ yi/σi2 = -1868,9 ∑xiyi/σi2 = -12808,6 ∑1/σi2 = 9025
N=4
a = -0,095
b = -0,124
∆a = 0,011
∆b = 0,003
Und damit als Schlußresultat:
k ′ = 0,124 ± 0,003 s −1
und
A o = 0,91 ± 0,01 mol / l
wobei Ao aus a = ln Ao = -0,095 und ∆Ao aus ∆a mit Fehlerfortpflanzung berechnet wurde.
c) Messreihe 3:
Zeit t [s]
0
10
20
30
∆ t [s]
1,0
1,0
1,0
1,0
[A(t)] [mol/l] ∆[A(t)] [mol/l]
0,91
0,01
0,26
0,01
0,08
0,01
0,02
0,01
ln A(t)
-0,094
-1,35
-2,53
-3,91
∆ ln A(t)
0,011
0,04
0,13
0,5
Hier sind die Messwerte A(t) wieder sehr unterschiedlich groß und die Unsicherheiten ∆ ln
A(t) unterscheiden sich stark. Zudem sind die Fehler in der Zeitmessung nicht mehr
vernachlässigbar. Deshalb sollten für die lineare Regression nicht alle Datenpunkte gleich
gewichtet werden. Man gewichtet auch hier jeden Messwert mit seinem Fehler, der
allerdings zur Berücksichtigung der Zeitfehler nach Gleichung (11) zuerst umgerechnet
werden muß. Das Problem hierbei ist, dass die Steigung b der Regressionsgeraden für die
Berechnung der Gewichte 1/σi2 notwendig ist. Im Normalfall kann man sich zuerst nach
Gleichung (9) b berechnen, das dann sicher die richtige Größenordnung hat. Dieses b benutzt
man zur Berechnung der Gewichte 1/σi2. Die eigentliche Berechnung erfolgt dann wieder
mit Gleichung (10) und (17).
-76Hier erhalten wir also nach (9) für b = -0,126 daraus ergeben sich folgende Werte:
Zeit t [s]
0
10
20
30
σ i(x i)=∆ t [s]
1,0
1,0
1,0
1,0
σ i(y i)=∆ ln A(t)
0,011
0,04
0,13
0,5
σi
0,126
0,132
0,181
0,516
und damit mit (10) und (17):
∑ xi/σi2= 1319 ∑ xi2/σi2 = 21785 ∑ yi/σi2 = -177,8 ∑ xiyi/σi2 = -2813
N=4
a = -0,098
b = -0,123
∆a = 0,115
Und damit als Schlußresultat:
k ′ = 0,12 ± 0,01 s −1
und
∑1/σi2 = 155,0
∆b = 0,010
A o = 0,9 ± 0,1 mol / l
wobei Ao aus a = ln Ao = -0,098 und ∆Ao aus ∆a mit Fehlerfortpflanzung berechnet wurde.
!Anmerkung: Es wurde immer mit den exakten Werten weiter gerechnet, nicht mit den gerundeten!