Universität Basel Wirtschaftswissenschaftliches Zentrum Regressionsrechnung: Die Methode der kleinsten Quadrate Dr. Thomas Zehrt Inhalt: 1. Einstimmung 2. Problemstellung 3. Die Methode der kleinsten Quadrate 4. Lineare Regression 5. Quadratische Regression Teil 1 Einstimmung Aufgabe: Untersuchung des Zusammenhangs zwischen Werbungskosten und Absatz Daten einer Stichprobe: xi 1 2 3 yi 2 3 4.5 • xi - Werbungskosten je Kunde (in 1′000.−) • yi - Absatz je Kunde (in 100′000.−) Frage: Welcher Absatz ist bei Werbungskosten von 8′000.− zu erwarten??? Darstellung in einem Streuungsdiagramm (Punktwolke) y x Mathematische Modellbildung: Es scheint zwischen beiden Merkmalen einen linearen Zusammenhang zu geben, der durch verschiedene Einflüsse leicht verfälscht ist. Linearer Modellansatz: y = f (x) = a + b x Problem: Wie sollen die Zahlen a und b gewählt werden, d.h. welche Gerade kommt unserer Punktwolke am nächsten? Welche Gerade ist die Beste? y x Methode der kleinsten Quadrate • Für jede Gerade y = f (x; a, b) = a + b x führen wir in zwei Schritten ein Strafmass für deren Abweichung von der Punktwolke ein. • Dieses Strafmass wird eine Funktion F (a, b) sein, die von den beiden Parametern a und b abhängt. • Wir minimieren diese Funktion F , d.h. wir suchen die Werte â und b̂ die die Funktion (global) minimieren. 1. Schritt Abweichung der Geraden im Punkt xi: ei = yi − |(a +{zb xi}) ∈ R f (xi;a,b) y a + bx1 e1 e3 e2 y1 y = a + bx x1 x2 x3 e1 = 2 − (a + b) = 2 − a − b e2 = 3 − (a + b2) = 3 − a − 2b e3 = 4.5 − (a + b3) = 4.5 − a − 3b x 2. Schritt Gesamtstrafe für die Gerade y = a + b x F {z b)} = | (a, ≥0 n X i=1 e2i |{z} ≥0 Für unser Beispiel: F (a, b) = (2 − a − b)2 + (3 − a − 2b)2 + (4.5 − a − 3b)2 = 3a2 + 14b2 + 12ab − 19a − 43b + 33.25 3. Schritt Bestimmung der Extremalstellen der Funktion F (a, b) Notwendige Bedingungen: ∂ ∂ 0 = F (a, b) und 0 = F (a, b) ∂a ∂b Für unser Beispiel: 0 = 6a + 12b − 19 und 0 = 12a + 28b − 43 oder 6 12 a 19 = 12 28 b 43 Lösung: â = 23 und b̂ = 54 Das sind die Koordinaten des einzigen lokalen (und globalen) Minimums der Funktion F (a, b)! Optimale Gerade: y = 23 + 45 x Antwort: Bei Werbungskosten von 8′000.− ist ein Absatz von 32 + 45 8 ≈ 10.7 also 1′070′000.− zu erwarten! Teil 2 Problemstellung Seien X und Y (bzw. X1, . . . , Xn und Y ) zwei (bzw. n + 1) quantitative Merkmale. Die Regressionsrechnung untersucht die Form des Zusammenhangs dieser Merkmale. Wir benötigen eine Modellgleichung zwischen den Merkmalen: y = f (x; a, b, c, . . .) y = f (x1, . . . , xn; a, b, c, . . .) mit einer (an das Problem angepassten) Funktion f , mit noch zu bestimmenden Parametern a, b, c, . . .. X bzw. X1, . . . , Xn heissen Ursache und Y Wirkung. Modell 1: • Merkmal Y : Absatz(menge) eines Produktes • Merkmal X: Werbungskosten • Zusammenhangsmodell: y = a + bx • gesucht: a, b Modell 2: • Merkmal Y : Nachfrage nach einem Gut (y = qd) • Merkmal X: Preis (x = p) • Zusammenhangsmodell: qd = a − b |{z} p |{z} y • gesucht: a, b > 0 x Modell 3: • Merkmal Y : Angebot eines Gutes (y = qs) • Merkmal X: Preis (x = p) • Zusammenhangsmodell: qs = −c + d |{z} p |{z} y • gesucht: a, b > 0 x Modell 4: • Merkmal Y : Nachfrage nach einem Gut (y = q) • Merkmal X: persönliches Einkommen (x = E) • Zusammenhangsmodell(Engel-Funktion für ein normales Gut): q = q(E) = s 1 − EE0 • gesucht: s, E Modell 5: • Merkmal Y : Nachfrage nach einem Gut (y = q) • Merkmal X: persönliches Einkommen (x = E) • Zusammenhangsmodell(Engel-Funktion für ein inferiores Gut): q = q(E) = Ea • gesucht: a Modell 6: • Merkmal Y : Nachfrage nach einem Gut (y = q) • Merkmal X: persönliches Einkommen (x = E) • Zusammenhangsmodell: q = q(E) = A eb/E • gesucht: A, b Modell 7: • Merkmal Y : Produktionskosten (y = K) • Merkmal X: Output (x) • Zusammenhangsmodell: K = K(x) = k0 + k1x + k2x2 + k3x3 • gesucht: k0, k1, k2, k3 Modell 8: • Merkmal Y : Konsum (y = C) • Merkmal X: Volkseinkommen (x = Y ) • Zusammenhangsmodelle: C = C(Y ) = C0 + cY C = C(Y ) = C0 + b(1 − e−aY ) • gesucht: C0, c bzw. C0, b, a Modell 9: • Merkmal Y : Nachfrage nach Gut G1 (y = q1) • Merkmal X1: Preis von Gut G1 (x1 = p1) • Merkmal X2: Preis von Gut G2 (x2 = p2) • Zusammenhangsmodelle: Konkurrierende Güter q1 = q1(p1, p2) = a − bp1 + cp2 β p2 q1 = q1(p1, p2) = k pα 1 • gesucht: a, b, c bzw. k, α, β Modell 10: • Merkmal Y : Nachfrage nach Gut G1 (y = q1) • Merkmal X1: Preis von Gut G1 (x1 = p1) • Merkmal X2: Preis von Gut G2 (x2 = p2) • Zusammenhangsmodelle: Komplementäre Güter q1 = q1(p1, p2) = a − bp1 − cp2 q1 = q1(p1, p2) = k α1 β p1 p2 • gesucht: a, b, c bzw. k, α, β Modell 11: • Merkmal Y : Kosten für die Produktion von 2 Gütern G1 und G2 (y = C) • Merkmal X1: Menge von G1 (x1 = q1) • Merkmal X2: Menge von G2 (x2 = q2) • Zusammenhangsmodelle: C = C(q1, q2) = aq12 +bq1q2 +cq22 +dq1 +eq2 +f • gesucht: a, b, c, d, e, f Modell 12: • Merkmal Y : Produktionsergebnis (y = Q) • Merkmal X1: 1. Produktionsfaktor (x1 = K) • Merkmal X2: 2. Produktionsfaktor (x2 = A) • Zusammenhangsmodelle: Q = Q(K, A) = c K αAβ • gesucht: c, α, β Modell 13: • Merkmal Y : Produktionsergebnis (y = Q) • Merkmal X1: 1. Produktionsfaktor (x1 = K) • Merkmal X2: 2. Produktionsfaktor (x2 = A) • Zusammenhangsmodelle: Q = Q(K, A) = (a K ρ + b Aρ)1/ρ • gesucht: a, b, ρ Nun werden n Messungen beider Merkmale durchgeführt. Ergebnis: n Messwertepaare (-tripel, ...) (x1, y1), (x2, y2), . . . , (xn, yn) die (z.B. auf Grund von Messfehlern) nicht genau auf einer dem Modell entsprechenden Kurve (Fläche) liegen werden. Ziel der Regressionsrechnung: Aus der Vielzahl aller möglichen Modellkurven (Modellflächen) soll die ,,Beste” ausgewählt werden. Weg: Die Methode der kleinsten Quadrate Teil 3 Die Methode der kleinsten Quadrate gegeben • Modellgleichung zwischen den Merkmalen X und Y y = f (x; a, b, c, . . .) • n Messwertpaare (x1, y1), (x2, y2), . . . , (xn, yn) Problem: Für jede (erlaubte) Wahl der Parameter a, b, c, . . . entsteht eine Funktion, die in das Modell passt. Welche approximiert meine Messwerte am Besten? Lösung: Jeder möglichen Modellkurve (d.h. jeder Wahl der Parameter) wird das Strafmass F (a, b, c, . . .) = n X i=1 (y|i − f (xi{z ; a, b, c, . . .)})2 ei zugeordnet, dessen Grösse die Abweichung dieser Kurve von den Messwerten ausdrückt. Dann suchen wir die Parameter â, b̂, ĉ, . . . die diese Straffunktion minimieren. Notwendige Bedingungen: ∂ F (a, b, c, . . .) 0 = ∂a ∂ 0 = F (a, b, c, . . .) ∂b ∂ 0 = F (a, b, c, . . .) ∂c .. .. .. .. Vektorschreibweise 1 y1 x1 1 y2 x2 x= . y= . u= .. . . 1 yn xn e1 y1 − f (x1, a, b, c, · · ·) e2 y2 − f (x2, a, b, c, · · ·) = e= . . . . en yn − f (xn, a, b, c, · · ·) Teil 4 Lineare Regression gegeben • lineare Modellgleichung zwischen den Merkmalen X und Y y = f (x; a, b) = a + bx • n Messwertpaare (x1, y1), (x2, y2), . . . , (xn, yn) oder 1 y1 x1 1 y2 x2 y= u= x= . .. .. . 1 yn xn e1 y1 − a − bx1 e2 y2 − a − bx2 = e= . . . . en yn − a − bxn = y − au − bx Straffunktion F (a, b) = n X e2i = e • e i=1 = (y − au − bx) • (y − au − bx) = y • y − 2a u • y − 2b x • y +a2 u • u + 2ab u • x + b2 x • x Notwendige Bedingungen für ein Extrema ∂ 0 = F (a, b) = 2a u • u + 2b u • x − 2u • y ∂a ∂ 0 = F (a, b) = 2a u • x + 2b x • x − 2x • y ∂b Als lineares Gleichungssystem u•u u•x u•x a u•y = x•x b x•y Nach Berechnung der Skalarprodukte n n P i=1 xi n P xi yi a i=1 i=1 = n n P P 2 b xi xi y i n P i=1 i=1 Lösung mittels Cramerscher Regel: n P â = i=1 n P yi · n i=1 n P i=1 n· b̂ = n P i=1 n x2i − n P i=1 i=1 x2i − xi · n P x2i − xi y i − n P xi i=1 n P i=1 xi · n P i=1 i=1 !2 n P i=1 !2 xi n P yi xi y i Aufgabe: Finden Sie eine einfache Bedingung dafür, dass das lineare Regressionsproblem u•u u•x a u•y = u•x x•x b x•y für jede rechte Seite eindeutig lösbar ist. Hinweis: Erinnern Sie sich zunächst unter welchen Bedingungen ein lineares Gleichungssystem eindeutig lösbar ist. Berechnen Sie dann det u•u u•x u•x x•x Aufgabe 1: Die Werte xi 1 2 3 4 yi 6 7 9 10 liegen ungefähr auf einer Geraden. Bestimmen Sie die Gerade, die diese Daten bestmöglich approximiert. 10 9 8 7 6 1,0 1,5 2,0 2,5 3,0 3,5 4,0 Aufgabe 2: Gegeben sind die Daten 4 xi 0 1 2 3 yi 3 1 0.5 0.2 0.05 Bestimmen Sie mit den Techniken der linearen Regression eine Funktion der Form f (x) = aebx, die diese Daten gut approximiert. 3,0 2,5 2,0 1,5 1,0 0,5 0,0 0 1 2 3 4 Teil 5 Quadratische Regression gegeben • quadratische Modellgleichung zwischen den Merkmalen X und Y y = f (x; a, b, c) = a + bx + cx2 • n Messwertpaare (x1, y1), (x2, y2), . . . , (xn, yn) oder 1 y1 x1 1 y2 x2 y= u= x= . .. .. . 1 yn xn 2 y1 − a − bx1 − cx1 e1 e2 y2 − a − bx2 − cx2 = 2 e= . . . . en yn − a − bxn − cx2n Straffunktion F (a, b, c) = n X (yi − a − bxi − cx2i )2 i=1 Notwendige Bedingungen für ein Extrema n X ∂ 0 = F (a, b, c) = −2 (yi − a − bxi − cx2i ) ∂a ∂ 0 = F (a, b, c) = −2 ∂b ∂ 0 = F (a, b, c) = −2 ∂c i=1 n X i=1 n X i=1 xi(yi − a − bxi − cx2i ) x2i (yi − a − bxi − cx2i ) Als lineares Gleichungssystem n P n x i i=1 P n 2 xi i=1 n P i=1 n P i=1 n P i=1 xi x2i x3i n P i=1 n P i=1 n P i=1 n P yi x2i i=1 a P n xi y i x3i b = i=1 c P n x4i x2i yi i=1 Aufgabe 3: Gegeben sind die Daten xi −1 0 1 2 3 yi 3 2 9 21 49 Bestimmen Sie eine quadratische Funktion, die diese Daten gut approximiert. 50 40 30 20 10 0 −1 0 1 2 3 Lösung: Daten xi −1 0 1 2 3 yi 3 2 9 21 49 Arbeitstabelle: xi −1 0 1 2 P 3 5 yi 3 2 9 21 49 84 x2i 1 0 1 4 9 15 x3i −1 0 1 8 27 35 x4i 1 0 1 16 81 99 xiyi x2i yi −3 3 0 0 9 9 42 84 147 441 195 537 Lösung: Daten xi −1 0 1 2 3 yi 3 2 9 21 49 Arbeitstabelle: xi −1 0 1 2 P 3 5 yi 3 2 9 21 49 84 x2i 1 0 1 4 9 15 x3i −1 0 1 8 27 35 x4i 1 0 1 16 81 99 xiyi x2i yi −3 3 0 0 9 9 42 84 147 441 195 537 Als lineares Gleichungssystem 84 5 5 15 a 5 15 35 b = 195 537 15 35 99 c Lösungen des linearen Gleichungssystems â = 1.2 b̂ = 2.1 ĉ = 4.5 Die quadratische Funktion f (x) = 1.2 + 2.1x + 4.5x2 approximiert die Datenmenge bestmöglich! 50 40 30 20 10 0 −1 0 1 2 x 3