PROSEM: Erzeugende Funktionen Christopher-Holm Brumme Stand? : 9. Juli 2015 Für die gesamten Ausführungen sei (Ω, A, P) ein Wahrscheinlichkeitsraum und (E, B) ein Zustandsraum und B = B (E ), und sei {Xk }k∈N von Folge von Zufallsgrößen Xk : Ω → E auf (Ω, A, P). Sofern nicht anders bezeichnet, beschreibt A (s) eine erzeugende Funktion von der {an }n≥0 , also X A (s) := an s n . n≥0 Ist {pn }n≥0 eine stochastische Folge, dann heißt A (s) wahrscheinlichkeitserzeugende Funktion. 1 Irrfahrten In vielen Fällen erscheint die Berechnung einer Wahrscheinlichkeit eines komplexen Ereignis auf direktem Weg nicht praktikabel. In vielen Fällen kann jedoch ausgehend von wahrscheinlichkeitserzeugenden Funktion P (s) einer stochastischen Folge {pn }n≥0 die exakte Wahrscheinlichkeit eines komplexen Ereignisses geschlossen werden. Eine Veranschaulichung soll folgender Abschnitt zum sog. Ruinproblem liefern, das auf den Ausführungen von Feller (1968, XI.3, XI) basiert. Betrachtet wird eine Folge von Realisationen X = {Xk (ω )}k∈N eines Bernoulli-Versuchs. Die Wahrscheinlichkeit eines Erfolgs im k-ten Versuch sei ϑ und es sei ( +1, wenn Versuch erfolgreich, Xk (ω ) = −1, sonst. (1) Beispiel 1.1 (Ruinproblem) Zwei Spieler besitzen P1 , P2 besitzen ein Gesamtvermögen am Anfang eines Spieles in Höhe von c; die Anfangsausstattung von Spieler P1 sei z. Nach jeder Runde zahlt der Verlierer dem Gewinner den Betrag |Xk | = 1, wobei die Einzelwahrscheinlichkeiten P [P1 gewinnt] = ϑ und P [P2 gewinnt] = 1 − ϑ betragen. Bezeichnet nun Sn das akkumulierte Vermögen Sn = S0 + X Xk (ω ) , S0 = z k≤n von Spieler P1 zum Zeitpunkt n. Das Spiel ist beendet, wenn immer einer der Spieler ruiniert ist, d.h. wenn er kein Vermögen mehr besitzt: – Spieler P1 ist ruiniert, wenn immer Sn < 0 gilt. – Spieler P2 is ruiniert, wenn immer Sn > c Von Interesse ist nun die Zeit, das das Spiel beendet wird, die sogenannte Wartezeit. Dafür ist folgende Definition hilfreich ? Die folgende Version ist eine durchgesehene und erweiterte Fassung des Vortrags zu Feller (1968, XI.5, XI.6). Die Abschnitte 1 und 2 wurden eingefügt, um die Ausführungen in Feller (1968, XI) abzuschließen und bauen auf den Ausführungen in den Abschnitten XI.1 und XI.2 in Feller (1968) auf. 2 Christopher-Holm Brumme Definition 1.2 (Irrfahrt) Sei {ξk }k∈N eine unabhängige und identisch verteilte Folge von Zufallsvariablen. Die Folge {Sn }n∈N mit Sn = S0 + X ξk , n ∈ N (2) k≤n heißt Irrfahrt1 . Beispiel 1.3 (Wartezeit) Das Spiel aus Beispiel 1.1 wird nun wieder aufgegriffen. Gesucht sei die erzeugende Funktion X Φ (s) = φn sn n≥0 der stochastischen Folge {φn }n≥0 dafür, dass im n-ten Versuch des akkumulierte Vermögen von Spieler P1 zum ersten mal die die Anfangsausstattung übertrifft, S1 ≤ z, . . . , Sn−1 ≤ z , Sn = z + 1 (3) Elementar hat man n = 1 :φ1 = P [S1 = z + 1] = ϑ n = 3 :φ3 = P [S3 = z + 1] = ϑ2 (1 − ϑ) n = 5 :φ5 = P [S5 = z + 1] = 2ϑ3 (1 − ϑ) 2 und so weiter, denn nach einem Misserfolg sind mindestens zwei weitere Runden nötig, damit Spieler P1 gewinnt. Dies lässt sich verallgemeinern: Sei ν < n. Dann lässt sich die Wahrscheinlichkeit für das Ereignis 3 aufteilen in die Wahrscheinlichkeit (1) 1 − ϑ, dass Spieler P1 die erste Runde verliert. (2) φν−1 , dass Spieler P1 genau ν − 1 Runden braucht seine Verluste auszugleichen. (3) φn−ν , dass Spieler P1 genau n − ν Runden braucht, um einen Nettogewinn zu erzielen. Offensichtlich sind die Ereignisse (1),(2) und (3) unabhängig von einander, so dass φn = (1 − ϑ) φν−1 φn−ν . genau dann gilt, wenn die drei Einzelereignisse für ein ν < n eintreten. Addieren über alle ν liefert dann φn = (1 − ϑ) (φ1 φn−2 + φ2 φn−3 + · · · + φn−2 φ1 ) , φ0 = 0, φ1 = ϑ. (4) Nach Definition der Faltung ist φ1 φn−2 + φ2 φn−3 + · · · + φn−2 φ1 = n− X1 ! φk φn−k k=0 der (n − 1)-te Term der Faltung {φn }2∗ . Wegen {φn }2∗ = Φ2 (s) erhält auf der linken Seite von (4) nach Multiplikation msn und Addition über n ≥ 2 die Bedingung X φn sn = Φ (s) − ϑs = (1 − ϑ) sΦ2 (s) . n≥2 Lösen der quadratischen Gleichung Φ (s) = (1 − ϑ) sΦ2 (s) + ϑs (5) liefert dann Φ (s) = 1− p 1 − 4ϑ (1 − ϑ) s2 . 2 (1 − ϑ) s Zur Lösung von (6) lässt sich auf λ = 4ϑ (1 − ϑ) s2 die Taylor-Entwicklung von f (λ) := anwenden. Dann gilt X f (0) (0) n X Qn−1 (2k − 1) n k=0 f (λ) = λ =1+ λ n! 2n n! n≥0 1 engl.: random walk n≥1 (6) √ 1 − x bei λ0 = 0 (7) PROSEM: Erzeugende Funktionen 3 Setzt man dies in (6) ein und löst für λ auf, dann gilt Φ (s) = Qn−1 (2k − 1) n 2 n! 2n−1 X (−1) n≥1 = n−1 X (−1) 1 2 22n−1 ϑn (1 − ϑ)n−1 s2n−1 , ! n n≥0 ! k=0 2 2n−1 n ϑ (1 − ϑ) (8) n−1 2n−1 s d.h. es gilt φ2n−1 = (−1) 1 2 n−1 n ! 22n−1 ϑn (1 − ϑ)n−1 und φ2n = 0. 2 Wegen 1 = ϑ + (1 − ϑ) ist 1 − 4ϑ (1 − ϑ) = (ϑ − (1 − ϑ)) in (6), und damit ist Φ (1) = 1 − |ϑ − (1 − ϑ)| = 2 (1 − ϑ) ( ϑ 1−ϑ , wenn ϑ < 1, wenn ϑ ≥ P n≥0 φn gegeben durch 1 2 1 2 (9) Die Bedingung (9) besagt nun, dass für ϑ < 12 , Spieler P1 fast sicher keinen Nettogewinn machen wird, und für ϑ ≥ 21 wird er für n → ∞ einen Nettogewinn machen. Interpretiert man E [n] = Φ0 (1) als mittlere Wartezeit, bis Spieler P1 seinen ersten Nettogewinn macht, dann gilt ( 0 E [n] = Φ (1) = X nφn = n≥0 1 2ϑ−1 , wenn ϑ > ∞, wenn ϑ = 1 2 1 2 (10) Um das das Ruinproblem 1.1 zu lösen sind zwei weitere Definition hilfreich: Definition 1.4 (Stoppzeit des ersten Eintritts; Eintrittswahrscheinlichkeit) Sei c ∈ N>0 . Dann heißt für z ∈ (0, c) die nichtnegative Zufallsgröße Txz := inf {n ≥ 0|S0 = z, Sn = x} , inf ∅ := ∞ (11) Stoppzeit für den ersten Eintritt in die Menge {x}. Die Wahrscheinlichkeit des ersten Eintritts sei h i φi = P T0i ≤ Tci , i = 0, . . . , c. (12) Mit dieser Definition lässt sich nun die Spieldauer bestimmen. Beispiel 1.5 (Spieldauer) Wie im einführenden Beispiel 1.1 ist Spieler P1 mit der Anfangsausstattung z genau dann ruiniert, wenn seine Ressourcenausstattung in der n-ten Runde unter Null fällt. Die Wahrscheinlichkeit hierfür sei φa1 ,n . Nach der ersten Runde ist seine Ressourcenausstattung entweder z + 1 oder z − 1, so dass für z ∈ (0, c) und n ≥ 1 gilt φz,n+1 = ϑφz +1,n + (1 − ϑ) φz−1 , n. (13) Dies ist eine Differenzengleichung mit den Randbedingungen φ0,n , φc,n und φz,0 , so dass (13) auch z = 1, z = c − 1 und n = 0 gilt. Damit gilt φ0,n = φc,n = 0, n ≥ 1, φ0,0 = 1, φz,0 = 1,z > 0. (14) Bezeichnet nun Φz (s) die erzeugende Funktion der Folge {φz.n }n≥0 , dann hat man nach Multiplikation von (13) mit sn+1 die erzeugende Funktion Φz (s) = ϑsΦz +1 (s) + (1 − ϑ) sΦz−1 (s) , Φ0 (s) = 1, Φc (s) = 0, (15) d.h. die erzeugende Funktion (15) ist eine Differenzengleichung mit den Randbedingungen analog zu (13). Lösen dieser Differenzengleichung liefert in Analogie zu Beispiel 1.3 zwei Lösungen der Form Φz (s) = λz (s). Eingesetzt in (15) liefert dann λ (s) = ϑsλ2 (s) + (1 − ϑ) s (16) deren Lösung iar dann λ1 (s) = 1+ p p 1 − (1 − 4ϑ (1 − ϑ) s2 ) (1 − 4ϑ (1 − ϑ) s2 ) , λ2 (s) = 2ϑs 2ϑs (17) 4 Christopher-Holm Brumme Einsetzen dieser Lösung (17) in (15) liefert Φz (s) = A (s) λz1 (s) + B (s) λz2 (s) (18) für beliebige Funktionen A(s) , B (s). Wegen A (s) + B (s) = 1 und A (s) λc1 (s) + B (s) λc2 (s) = 0 gilt Φz (s) = λc1 (s) λz2 (s) − λz1 (s) λc2 (s) , λc1 (s) − λc2 (s) dies vereinfacht sich mit λ1 (s) λ2 (s) = (1 − ϑ) /ϑ zu Φz (s) = 1−ϑ ϑ λc−c (s) − λc−z (s) 1 2 . λc1 (s) − λc2 (s) (19) Dies ist die wahrscheinlichkeitserzeugende Funktion dafür, dass Spieler P1 mit dem n-ten Versuch ruiniert ist. 2 Partialbruchzerlegung Für eine erzeugende Funktion P (s) = k k≥0 pk s P erhält man mit der Taylor-Entwicklung pk = P (k) (0) . k! (20) Ist {pk }k∈N eine stochastische Folge mit Wahrscheinlichkeitsmaß P, so dass P [{k}] = pk ist, so kann die Angabe einer expliziten Darstellung mitunter schwierig sein. In jenen Fällen wird man versucht sein eine Approximation für pk zu finden; eine solche Approximation ist die Partialbruchzerlegung von rationalen Funktionen. Definition 2.1 (Partialbruchzerlegung) Sei P (s) eine erzeugende Funktion eine echt gebrochenrationale erzeugende Funktion U (s) P (s) = , (21) V (s) für Polynome U (s) und V (s) mit einfachen Nullstellen. Zerfällt V (s) in m verschiedene Faktoren V (s) = (s − s1 ) (s − s2 ) · · · (s − sm ) , (22) dann heißt ρ1 ρ2 ρm + + ··· + s1 − s s2 − s sm − s Partialbruchzerlegung für Konstanten ρ1 , ρ2 , . . . , ρm . P (s) = (23) Die Koeffizienten lassen sich gewöhnlicherweise mittels Koeffizientenvergleich ermitteln. Ein anderer Ansatz um ρk ergibt sich aus ρk = lim (s − sk ) P (s) = lim (s − sk ) s→sk X ρi . (24) −U (s) −U (s ) = 0 k . s − s V (sk ) ( ) k j6=k (25) s→sk i≤m (s − si ) Andererseits folgt aus (21) und (22) , dass ρk = lim (s − sk ) P (s) = lim Q s→sk s→sk Sind die Koeffizienten ρ1 , ρ2 , . . . , ρm bestimmt, dann lassen sich auch die Koeffizienten pn von sn in P (s) bestimmen. Offensichtlich gilt 1 1 1 = · . sk − s sk 1 − s/sk Für |s| < |sk | ist die rechte Seite in (26) gerade die erzeugende Funktion der geometrischen Reihe mit 1 sk · und eingesetzt in (23) liefert dies pn = 1 1 − s/sk = n 1 X s sk n≥0 sk , ρ1 ρ2 ρm + n+1 + · · · + n+1 . +1 sn s s m 1 2 (26) (27) (28) Das Verfahren der Partialbruchzerlegung zur Bestimmung der Folgenglieder von {pn }n≥0 liefert zwar exakte Lösungen, abhängig vom Polynom V (s) kann jedoch allein die Berechnung der m Polynomfaktoren recht aufwendig sein. Das folgende Lemma liefert eine allerdings eine Approximation. Dabei bezeichnet die Äquivalenzrelation f ∼ g, dass f (n) lim = 1. n→∞ g (n) PROSEM: Erzeugende Funktionen 5 Lemma 2.2 Sei P (s) = U (s) /V (s) eine echt gebrochenrationale erzeugende Funktion. Zerfällt V (s) in m Polynomfaktoren mit Nullstellen |s1 | < · · · < |sm |, dann gilt pn ∼ ρ1 . +1 sn 1 (29) u t Beweis Der Nachweis erfolgt in Satz 2.3 in allgemeiner Form. Das bisherige Ergebnis lässt sich verallgemeinern. Angenommen das Polynom U (s) ist vom Grad m + r mit r ≥ 0. Dann gibt es ein Polynom Q (s) vom Grad r und ein (nicht weiter reduzierbares) Polynom R (s), so dass P (s) = U (s) R (s) = Q (s) + , V (s) V (s) mit Grad von R (s) kleiner m. Da Q (s) ein Polynom vom Grad r ist, wirkt die Faktorisierung nur auf die ersten r + 1 Koeffizienten von {pn }n≥0 aus. Im übrigen lässt sich der Restterm R (s) /V (s) wieder mittels Partialbruchzerlegung behandeln, so dass das asymptotische Verhalten von (29) erhalten bleibt. Auch kann die Beschränkung einfacher Nullstellen aufgelöst werden. Ist sk eine `-fache Nullstelle, dann lässt sich der Summand ` ρk / (s − sk ) weiter zerlegen in ρk (s − sk ) ` ρk,1 = + (s − sk ) ρk,1 (s − sk ) 2 + ··· + ρk,` , (s − sk )` ändert aber nichts an der qualitativen Aussage von (29). Damit gilt folgender Satz: Theorem 2.3 Seien U (s) und V (s) Polynome mit Graden deg U = m + r und deg V (s) = m, so dass P (s) eine rationale Funktion der Form U (s) P (s) = (30) V (s) ist. Zerfällt V (s) in k Polynomialfaktoren mit den Vielfachheiten `1 , . . . , `k , so dass `1 + · · · + `k = m, dann gilt für geordnete Nullstellen |s1 | < |s2 | < · · · < |sk | für den Koeffizienten pn von sn asymptotisch n + `j − 1 n ρ1 pn ∼ n+`1 s1 ! −`1 U (s1 ) . V (`1 ) (s1 ) , ρ1 = (31) Beweis Sei P (s) = U (s) /V (s) eine rationale Funktion. Sei ohne Einschränkung deg U (s) < deg V (s) = m. Sei ` ` ` V (s) = (s − s1 ) 1 (s − s2 ) 2 · · · (s − sk ) k mit `1 + · · · + `k = m. Mittels Partialbruchzerlegung gilt P (s) = ρ1 `1 (s1 − s) + ρ2 (s2 − s) `n + ··· + ρk (sk − s)`k für Konstanten ρ1 , ρ2 , . . . , ρk . Multiplikation von (30) und (21) mit (s1 − s) `1 −U (s) `2 (s − s2 ) · · · (s − sk ) `k = ρ1 + ρ2 (s1 − s) (s2 − s) + ··· + `n `1 . (32) liefert ρk (s1 − s) `1 `k (sk − s) . (33) Für s → s1 ist der Nenner auf der linken Seite von (33) V (`1 ) (s1 ) / (`1 !), der Zähler −U (s1 ), so dass für alle 1 ≤ j ≤ k dann −`j !U (sj ) ρj = (34) V (`j ) (sj ) gilt. Für |s| < sj ist gilt ρj (sj − s)`j = ρj `j Y i=1 1 sj − s = ρj `j Y 1 i=1 sj · 1 1 − s/sj = ρj · ` sj Der zweite Faktor auf der rechten Seite ist eine erzeugende Funktion, d.h. es gilt ρj (sj − s)`j ρj X = ` sj n≥0 ! n + `j − 1 −n n sj s n ! = ρj X n≥0 n + `j − 1 −(`j +n) n sj s , n j 1 (1 − s/sj )`j . 6 Christopher-Holm Brumme eingefügt in (32) gilt dann pn = ρ1 s`11 +n ! n + `1 − 1 n + ρ2 s`22 +n n + `2 − 1 n ! + ··· + ρk s`kk +n ! n + `k − 1 . n (35) Damit bleibt das asymptotische Verhalten zu zeigen. Ohne Einschränkung können die Nullstellen so permutiert werden, dass |s1 | < |s2 | < . . . |sk | gilt. Dann ist derEinfluss des ersten Term auf der rechten Seite in (35) qualitativ größer, als alle nachfolgenden Terme, so dass für mit steigenden n gilt pn = also dann (31). ρ1 s`11 +n n + `1 − 1 n ! + O s−n u t Beispiel 2.4 Sei an die Wahrscheinlichkeit dass nach n Bernoulli-Versuchen die Zahl der erfolgreichen Versuche gerade ist. Dies ist das Ereignis dafür, dass nach einem Misserfolg im ersten Versuch es eine gerade Anzahl von Erfolgen gibt, oder dass bei einem Erfolg im ersten Versuch es eine ungerade Anzahl von Erfolgen gibt. Es gilt also an = (1 − ϑ) an−1 + ϑ (1 − an−1 ) , a0 = 1. Dann gilt ist A (s) die erzeugende Funktion von {an }n≥0 , dann gilt A (s) − 1 = (1 − ϑ) sA (s) + ϑs (1 − s) − ϑsA (s) , d.h. 1 1 + (36) 1 − s 1 − (1 − 2ϑ) s n−k n k , dann ist (36) ist die erzeugende Funktion von {2an }n≥0 = 1 + (1 − 2ϑ) n≥0 . Ist pk = (n k )ϑ (1 − ϑ) offensichtlich einfacher zu handhaben, als p0 + p2 + . . . . 2A (s) = 3 Bivariate Erzeugende Funktionen Sind X und Y Wahrscheinlichkeiten mit Verteilungen PX und PY , dann ist man häufig an der gemeinsamen Verteilung PX,Y interessiert. In vielen Fällen ist die Bestimmung auf direktem Weg jedoch nur umständlich bestimmbar. In solchen Fällen bieten sich häufig bivariate erzeugende Funktionen an: Definition 3.1 (Bivariate, erzeugende Funktion ) Seien X und Y Zufallsgrößen mit gemeinsamer Verteilung der Form P [X = j, Y = k] = pjk , j, k ∈ N0 . (37) Dann heißt P (s1 , ss ) := X pjk sk1 sj2 , (38) j,k bivariate erzeugende oder gemeinsame erzeugende Funktion. Für diese erzeugende Funktion lassen sich ohne weiteres die bisherigen Aussagen verallgemeinern und es gilt ohne Beweis: Lemma 3.2 Besitzen zwei Zufallsvariablen X und Y eine gemeinsame Verteilung und eine gemeinsame erzeugende Funktion für j, k ∈ N0 , dann gilt: (1) Die erzeugende Funktion der Grenzverteilungen P [X = j ] und P [Y = k] sind A (s) = P (s, 1) und B (s) = P (1, s) . (2) Die erzeugende Funktion von X + Y ist P (s, s). (3) Die Zufallsvariablen X und Y sind genau dann unabhängig, wenn P (s1 , s2 ) = A (s1 ) B (ss ) für alle s1 , s2 gilt. PROSEM: Erzeugende Funktionen 7 Beispiel 3.3 (Bivariate Poisson-Verteilung) Für α ∈ R2>0 ist die Funktion f : R2 → R+ mit x i −αi αi i=1 e xi ! (Q m f (x) := x ∈ N0 , 0, sonst die Zähldichte der bivariaten Poisson-Verteilung. Dies liefert die gemeinsame erzeugende Funktion P (s1 , s2 ) = X e−α1 −α2 αj α2k j k 1 s1 s2 j !k! j,k≥0 = X X e−α1 −α2 αj α2k j k 1 s1 s2 j !k! j≥0 j≥0 = X αk e−α1 −α2 +α1 s k 2 s2 = eα1 (s1 −1)+α2 (s2 −1) , k! j≥0 was wieder eine erzeugende Funktion der Poisson-Verteilung ist. Allerdings ist die Summe von X + Y keine Poisson-Verteilung, sondern eine sogenannte Zusammengesetze Poisson-Verteilung. 4 Stetigkeitssatz Sei {Xn }n∈N eine Folge Binomial-verteilter Zufallsvariablen mit diskreter Verteilung PXn und Zähldichte fn , d.h es gilt PXn ( (n)ϑxn (1 − ϑn )n−x , x ∈ {0, 1, . . . , n} = B (n, ϑn ) , fn (x) := x , 0, sonst. Des Weiteren sei Y eine Poisson-verteilte Zufallsvariable mit diskreter Verteilung PY und Zähldichte f , d.h es gilt ( y e−α αy! , y ∈ N0 , PY = P (α) , f (y ) := 0, sonst. für n ∈ N und ϑn ∈ (0, 1). Es lässt sich nun zeigen, dass sich die Binomial-Verteilung für genügend große n und genügend kleine Wahrscheinlichkeiten ϑn durch die Poisson-Verteilung approximiert werden kann. Zu diesem Zweck sind jedoch zwei Konvergenzbegriffe von Verteilungen notwendig. Definition 4.1 (Schwache Konvergenz) Eine Folge {Qn }n∈N von Wahrscheinlichkeitsmaßen heißt schwach konvergent, wenn es ein Wahrscheinlichkeitsmaß Q derart gibt, so dass für alle f ∈ Cb (S ) ˆ lim n→∞ S ˆ f dQn = f dQ (39) S gilt. In diesem Fall schreibt man lim Qn = Q. n→∞ Mit dem Begriff der schwachen Konvergenz verwandt ist der Begriff der Konvergenz in Verteilung verwandt. Definition 4.2 (Konvergenz in Verteilung) Eine Folge {Xn }n∈N reeller Zufallsvariablen heißt konvergent in Verteilung oder verteilungskonvergent, wenn es eine reelle Zufallsvariable X derart gibt, so dass die Folge der Verteilungen {PXn }n∈N schwach gegen die Verteilung von PX konvergiert. Lemma 4.3 (Poisson-Approximation) Sei X eine Poisson-verteilte Zufallsvariable mit PX = P (α) und {Xn }n∈N eine Folge Binomial-verteilter Zufallsvariablen mit PXn = B (n, ϑn ). Konvergiert für n → ∞ der Erwartungswert von Xn gegen α, lim E [Xn ] = nϑn = α, n→∞ dann konvergiert die Folge {Xn }n∈N in Verteilung gegen X. (40) 8 Christopher-Holm Brumme Beweis In der Tat gilt für alle k ∈ N0 mit ϑn = α/n ! lim P [{Xn = k}] = lim n→∞ n→∞ n k n−k ϑn (1 − ϑn ) k k− Y1 n−j k n −k ϑn (1 − ϑn ) (1 − ϑn ) k−j = lim n→∞ j =0 k− Y1 k n−j α k−j n = lim n→∞ j =0 = lim n→∞ = lim n→∞ = α 1− n n α −k 1− n n n−1 n−2 n−k−1 · · ··· k k−1 k−2 n k− Y1 j =0 n − j αk n k! α k α n α −k 1− 1− n n n α n α −k 1− 1− n n αk −α e = P [{X = k}] , k! und damit gilt lim P [{Xn ≤ x}] = P [{X ≤ x}] n→∞ nach Addition über x. u t Konvergiert also die Folge der Zufallsvariablen {Xn }n∈N mit PXn = B (n, α/n) in Verteilung gegen die Zufallsvariable X mit PX = P (α), dann sollten auch die erzeugende Funkionen PXn (s) zu PXn = B (n, ϑn ) für genügend große n und genügend kleine ϑn gegen die erzeugende Funktion PX (s) zu PX = P (α) konvergieren. In der Tat gilt lim PXn (s) = lim (1 − ϑn − ϑn s)n n→∞ α α n = lim 1 − − s n→∞ n n n α (1 − s) = lim 1 − n→∞ n n→∞ =e −α(1−s) = PX (s) für limn→∞ n · ϑn = α. Der folgende Satz stellt einen Zusammenhang zwischen der schwachen Konvergenz Theorem 4.4 (Stetigkeit) Sei {Qn }n∈N eine Folge von diskreten Verteilungen B (R) → [0, 1] mit zugehöriger Folge {Pn (s)}n∈N von erzeugenden Funktionen und sei Q eine Verteilung B (R) → [0, 1] mit erzeugender Funktion P (s). Dann sind folgende Aussagen äquivalent: (a) Die Folge {Qn }n∈N konvergiert schwach gegen Q. (b) Für alle s ∈ (0, 1) gilt limn→∞ Pn (s) = P (s) . Beweis Zunächst sei angenommen, dass (a) gilt. Für die Verteilung PXn = Qn einer Zufallsvariable Xn ist ϑk,n := Qn [{k}] = P [{Xn = k}] ≥ 0 eine Zähldichte, und wegen der schwachen Konvergenz gibt es ein ϑk mit ϑk := lim ϑk,n . n→∞ Damit sei mit der nach Definition der erzeugenden Funktion Pn (s) = X ϑk,n sk und P (s) = k≥0 X ϑk sk k≥0 für s ∈ (0, 1) und wegen ϑk,n − ϑk ≤ 1 gilt X X X |Pn (s) − P (s)| = ϑk,n sk − ϑk sk = ϑk,n − ϑk sk k≥0 k≥0 k≥0 ≤ r r +1 X ϑk,n − ϑk + s . 1−s k=0 PROSEM: Erzeugende Funktionen 9 Für jedes ε ∈ (0, 1) existiert nun ein r derart, so dass sr+1 / (1 − s) < ε gilt und damit |Pn (s) − P (s)| < 2ε für genügend große n. Also folgt (b) aus (a). Nun sei umgekehrt angenommen, dass (b) gilt. Für s → 0 gilt nach Voraussetzung offensichtlich P (0) = lims→0 Pn (s) und da die Koeffizienten ϑn,k der erzeugenden Funktion gleichmäßig beschränkt sind, gilt X ϑ0,n ≤ ϑ0,n + s ϑk,n sk = Pn (s) ≤ ϑ0,n + 1−s k≥1 sowie ϑ0 ≤ ϑ0 + X ϑk sk = P (s) ≤ ϑ0 + k≥1 s 1−s für s → 0 und damit gilt lim P [{Xn = 0}] = P [{X = 0}] n→∞ und Xn konvergiert für k = 0 in Verteilung gegen. Betrachtet man nun den Differenzenquotient an der Stelle k = 0, dann gilt lim n→∞ Pn (s) − ϑ0,n P (s) − P (0) = s s für s ∈ (0, 1) und damit existiert auch die Ableitung P 0 (0). Nun gilt für k = 1 mit dem gleichen Argument lim s→0 lim n→∞ Pn (s) − ϑ1,n s Pn (s) − P0 (s) − ϑ0,n + = lim lim ≤= lim lim n→∞ s→0 = lim s→0 Pn (s) − P0 (s) s P (s) − P (0) s k≥2 ϑk,n s n→∞ s→0 P = P 0 (0) also existiert für k = 1 der Grenzwert und es gilt lim P [{Xn = 1}] = P 0 (0) = P [{X = 1}] . n→∞ Setzt man dieses Argument für alle k fort, folgt hieraus die Konvergenz in Verteilung für die Folge {Xn }n∈N und damit folgt (a) aus (b). Beispiel 4.5 Betrachtet wird eine Folge von Zufallsvariablen {Xn }n∈N mit Negativbinomial-Verteilung. Für α ∈ (0, ∞) und ϑ ∈ (0, 1) ist ( (α+xx−1) (1 − ϑ)α ϑx , x ∈ N0 f (x) := 0, sonst. (41) eine Zähldichte mit zugehöriger erzeugende Funktion P (s) = ϑ 1 − (1 − ϑ) s α . (42) Nun sei angenommen, der Stoppparaneter α konvergiert gegen unendlich und die Wahrscheinlichkeit eines Erfolges ϑ konvergiert derart gegen eins, so dass der Erwartungswert λ konstant ist mit ϑ=1− λ α (43) so dass sich die erzeugende Funktion schreiben lässt als P (s) = 1 − λ/α 1 − λs/α α . (44) Logarithmieren liefert dann log P (s) = log 1− λ α α − log 1− λs α α , 10 Christopher-Holm Brumme und dessen Grenzwert α α λs λ − log 1− 1− α α λ −λs λ(s−1) = log e − log e = log e lim log P (s) = log α→∞ (45) ist. Für α → ∞ konvergiert also die erzeugende Funktion der Negativbinomial-Veretilung gegen die der PoissonVerteilung und nach dem Stetigkeitssatz konvergiert die Verteilung einer Negativbinomial-verteilten Zufallsgröße für konstante Erwartungswerte gegen die Poisson-Verteilung. Beispiel 4.6 (Poisson-Approximation) Sei X eine Poisson-verteilte Zufallsvariable mit PX = P (α) und {Xn }n∈N eine Folge unabhängiger, Bernoulli-verteilter Zufallsvariablen mit PXn = B (ϑn ), wobei n die Anzahl der Versuche ist und ϑk = P [{Xk = 1}] die Wahrscheinlichkeit eines Erfolgs im k-ten Versuch. Bezeichne X Sn := Xk (46) k≤n die Anzahl der Erfolge der unabhängigen Zufallsvariablen. Die erzeugende Funktion von Xk ist Pk (s) = 1 − ϑk + ϑk s und folglich ist die erzeugende Funktion von S P (s) = Y (1 − ϑk + ϑk s) . (47) k≤n P Sei nun angenommen, ϑk beschreibt die Schadenwahrscheinlichkeit. Dann ist E [Sn ] = k≤n ϑk die erwartete Schadenzahl. Sind die Schadenwahrscheinlichkeiten ϑk für große n verschwindend klein, so dass α= X ϑk k≤n gilt, dann gilt lim (log P (s)) = lim n→∞ n→∞ X X Pk (s) = k≤n log (1 − ϑk + ϑk s) k≤n = lim − (1 − s) n→∞ X ϑk + ϑk s (48) k≤n = −λ (1 − s) wobei in (48) ausgenutzt wurde, dass log (1 − z ) = −z − θz für ein θ → 0 und ein z → 0 gilt. Also konvergiert die erzeugende Funktion für verschwindende Eintrittswahrscheinlichkeiten ϑk und große n gegen die erzeugende Funktion der Poisson-Verteilung. Dies ist der Grund, warum für unwahrscheinliche Einzelschäden in der Praxis für die Gesamtschadenzahl Sn die Poisson-Verteilung angenommen wird. 5 Ausblick Sei {Xk }k∈N eine Folge von unabhängigen, identisch-verteilten Zufallsvariablen mit P [Xk = j ] = fj und zugehöriger erzeugende Funktion X i F (s) = fi s . (49) i≥0 Ferner sei N eine von der Folge {Xn }n∈N unabhängige Zufallsvariable mit P [N = n] = gn und zugehöriger erzeugender Funktion X n G (s) = s . n≥0 Dann gilt für die Summe SN = X1 + · · · + XN hj = P [SN = j ] = X n≥0 P [N = n] P X i≤n Xi = j . PROSEM: Erzeugende Funktionen 11 Nun sei n fix, dann ist die Verteilung von mittels Faltungsformel P i≤n Xi H (s) = X die n-fache Faltung {fi } von sich selbst, und damit gilt hj sj = j≥0 X gn f n (s) (50) n≥0 = G (F (s)) . Beispiel 5.1 (Gesamtschaden) Sei N die Poisson-verteilte Schadenzahl mit Erwartungswert λ und {Xn }n∈N eine Folge unabhängiger Schadenhöhen mit identischen Verteilungen, so dass P [Xk = j ] = ϑj und für den Gesamtschaden gilt dann die erzeugende Funktion H (s) = eα(f (s)−1) = eα((1−(1−s)ϑ) n −1) . A Ausgewählte Probleme in Feller (1968) Übung A.1 Zeigen Sie, dass für positive Parameter ϑ0 , ϑ1 , ϑ2 und α die Funktion −a G (s) = ϑa , α, ϑi > 0 0 (1 − ϑ1 s1 − ϑ2 s2 ) (51) die erzeugende Funktion des Paars (X, Y ) ist, wenn die Grenzverteilungen von X, Y und X + Y Negativbinomial-verteilt sind. Übung A.2 (Momentenerzeugende Funktion) Sei X eine Zufallsvariable mit erzeugender Funktion P (s) und sei P angenommen, dass pn sn für ein s0 > 1 konvergiert. Dann existieren die Momente mr = E [X r ] und die erzeugende Funktion (52) X mr sr = P (es ) r! r≥0 F (s) = der Folge mr /r! konvergiert zumindest für |s| < log s0 . Übung A.3 Sei Sn = X1 + · · · + Xn die Summe der unabhängigen Zufallsgrößen mit Werten in E = {1, 2, . . . , a} und Wahrscheinlichkeit 1/a. Dann ist die erzeugende Funktion von Sn gegeben durch s (1 − sa ) n P (s) = a (1 − s) wobei für j ≥ n P [Sn = j] = a−n X n (−1)ν+j−n−aν nj − aν − 1 . ν n−1 ν≥0 = a−n X ν≥0 −n j − n − aν (−1)ν+j−n−aν ν Übung A.4 Die Wahrscheinlichkeit P [Sn ≤ j] besitzt die erzeugende Funktion P (s) / (1 − s) und damit P [Sn ≤ j] = nj − aν 1 X (−1)υ . n a ν≥0 ν n Übung A.5 Die Wahrscheinlichkeit P [Sn ≤ j] besitzt für a → ∞ und j → ∞ mit j/a → x den Grenzwert n 1 X (−1)υ (x − ν)n . n! ν≥0 ν B Lösungen zu ausgewählten Problemen aus Lando (2003) Übung B.1 Using the generating function for the Fibonacci numbers, prove the following identities: (a) (b) (c) (d) f0 + f1 + · · · + fn = fn+2 − 1; f0 + f2 + · · · + f2n = f2n+1 ; f1 + f3 + · · · + f2n−1 = f2n − 1; f02 + f12 + · · · + fn2 = fn fn+1 Lösung B.2 Sei Fib (s) = 1/ 1 − s − s2 die allgemeine, erzeugende Funktion der Fibonacci-Folge und und G (s) = 1/ (1 − s) die erzeugende Folge der geometrischen Reihe. Dann 12 Christopher-Holm Brumme (a) Aus (60) folgt FibP (s) = Fib (s) G (s) 1 1 − 2s + s3 −s − 2 1 = 2 − s +s−1 1−s Fib (s) − 1 − s 1 = − = Fibn+2 (s) − G (s) , s2 1−s o nP d.h. die erzeugende Funktion FibP (s) der Summe der ersten Fibonacci-Folge j≤n fj = (53) n≥0 ist gerade die erzeugende Funktion von fn+2 − 1. (b) Aus (58) und (59) folgt Fib2n (s) = Fib2n+1 (s) = = Fib s1/2 + Fib −s1/2 2 1 X s1/2 = 1−s , s2 − 3s + 1 f2n+1 s(2n+1)/2 (54) n≥0 Fib s1/2 + Fib −s1/2 2s1/2 = 1 , s2 − 3s + 1 so dass aus (60) dann Fib2n,P (s) = Fib2n (s) G (s) = , 1−s = Fib2n+1 (s) (s2 − 3s + 1) (1 − s) (55) folgt, d.h. die erzeugende Funktion Fib2n,P (s) der Summe der ersten n Fibonacci-Zahlen mit geradem Index ist gerade die erzeugende Funktion Fib2n+1 von f2n+1 . (c) Dann folgt aus (a) und(b) mit f2i−1 = f2i+1 − f2i wegen f2i+1 = f2i + f2i−1 . Fib2n−1,P (s) = Fib2n−1 (s) G (s) = (Fib2n+1 (s) − Fib2n (s)) G (s) 1 1−s 1 = − s2 − 3s + 1 s2 − 3s + 1 1−s s 1−s 1 = = 2 − −s3 + 4s2 − 4s + 1 s − 3s + 1 1−s = Fib2n (s) − G (s) , (56) d.h. die erzeugende Funktion Fib2n−1,P (s) der Summe der ersten n Fibonacci-Zahlen mit ungeradem Index ist gerade die erzeugende Funktion von {f2n − 1}n≥0 . (d) Wegen fn = fn−1 + fn−2 und fn−3 = fn−1 − fn−2 gilt 2 2 2 fn2 = 2fn−1 + 2fn−2 − fn−3 . Nun bezeichne Fib2 (s) die erzeugende Funktion von fn2 n≥0 , d.h. es gilt Fib2 (s) = X fn2 sn n≥0 = 1 + s + 4s2 + X fn2 sn n≥3 = 1 + s + 4s2 + X n 2 2 2 2fn−1 + 2fn−2 − fn−3 s n≥3 = 1 + s + 4s2 + 2 X 2 fn−1 sn + 2 n≥3 = 1 + s + 4s2 + 2s X X n≥3 X k≥2 = 1 + s + 4s + 2s 2 fn−3 sn X 2 fn−2 sn−2 − s3 n≥3 fk2 sk + 2s2 2 X n≥3 2 fn−1 sn−1 + 2s2 n≥3 = 1 + s + 4s2 + 2s 2 fn−2 sn − k≥1 X k≥0 X fk2 sk X 2 fn−3 sn−3 n≥3 fk2 sk − s3 X fk2 sk k≥0 − 2s (1 + s) + 2s2 X fk2 sk − 2s2 (1) − s3 k≥0 = 1 + s + 4s2 + 2sFib2 (s) − 2s − 4s2 + 2s2 Fib2 (s) − s3 Fib2 (s) , d.h. Fib2 (s) 1 − 2s − 2s2 + s3 = 1 − s, X k≥0 fk2 sk PROSEM: Erzeugende Funktionen 13 womit Fib2 (s) = 1−s . 1 − 2s − 2s2 + s3 Wegen (60) ist Fib2P (s) = Fib2 (s) G (s) = die erzeugende Funktion von nP i≤n fi2 o n≥0 1 1 − 2s − 2s2 + s3 . Andererseits bezeichne Fibn,n+1 die erzeugende Funktion von {fn fn+1 }n≥0 . Dann gilt fn fn+1 = f0 f1 + = f0 f1 + = f0 f1 + n X i=0 n X i=0 n X (fi+1 fi+2 − fi fi+1 ) fi+1 (fi+2 − fi ) 2 fi+1 = i=0 n X fi2 , i=0 also Fibn,n+1 (s) = X (fn fn+1 ) sn n≥0 = X X n≥0 fi2 sn = Fib2P (s) , i≤n d.h. die erzeugende Funktion von {fn fn+1 }n≥0 ist gerade die erzeugende Funktion von nP i≤n fi2 o n≥0 . Übung B.3 Find the generating functions and explicit formulas for the sequences given by the following recurrence relations: (a) an+2 = 4an+1 − 4an , a0 = a1 = 1; (b) an+3 = −3an+2 − 3an+1 − an , a0 = 1, a1 = a2 = 0; (c) an+3 = 32 an+2 − 12 an , a0 = 0, a1 = 1, a2 = 2. Lösung B.4 (a) Umformulieren der Rekurrenzvorschrift in an = 4an−1 − 4an−2 , a0 = a1 = 1 liefert die Folge 1, 1, 0, −4, −16, −48, −128, −320, −768, −1792, −4096, . . . Die gesuchte erzeugende Funktion g (s) = g (s) = X P n≥0 an sn ist dann an sn n≥0 =1+s+ X an sn n≥2 =1+s+ X (4an−1 − 4an−2 ) sn n≥2 =1+s+4 X an−1 sn − 4 n≥2 = 1 + s + 4s X X an−1 sn−1 − 4s2 n≥2 = 1 + s + 4s X X an−2 sn−2 n≥2 ak sk − 4s2 k≥1 X X ak sk k≥0 = 1 + s + 4s an−2 sn n≥2 ak s k − 4s (1) − 4s 2 k≥0 X k≥0 = 1 + 4sg (s) − 3s − 4s2 g (s) d.h g (s) = 1 − 3s 1 − 3s = . 1 − 4s + 4s2 (1 − 2s)2 Die Partialbruchzerlegung g (s) = 1 − 3s (1 − 2s)2 = α1 α2 + , 1 − 2s (1 − 2s)2 k ak s 14 Christopher-Holm Brumme liefet die Koeffizienten α1 = 1 3 , α2 = . 2 2 Daher 3 1 − 2 (1 − 2s) 2(1 − 2s)2 1 X n + 1 n n 3 X n n = 2 s − 2 s 2 n≥0 2 n≥0 n g (s) = 1 X n 3 X n n 2 s − 2 (n + 1) sn 2 n≥0 2 n≥0 X = 2n−1 (2 − n) sn . = n≥0 Dies liefert die explizite Folgendarstellung {an }n≥0 = 2n−1 (2 − n) n≥0 (b) Umformulieren der Rekurrenzvorrschrift in an = 3 a 2 n−1 − 12 an−3 , a0 = 0, a1 = 1, a2 = 2 liefert die Folge 1, 0, 0, −1, 3, −6, 10, −15, 21, −28, 36, . . . Die gesuchte erzeugende Funktion g (s) = g (s) = X P n≥0 an sn ist dann an sn n≥0 =1+ X an sn n≥3 =1+ X (−3an−1 − 3an−2 − an−3 ) sn n≥3 =1−3 X an−1 sn − 3 n≥3 = 1 − 3s X X an−2 sn − n≥3 X X an−2 sn−2 − s3 n≥3 ak sk − 3s2 k≥2 = 1 − 3s an−3 sn n≥3 an−1 sn−1 − 3s2 n≥3 = 1 − 3s X X an−3 sn−3 n≥3 ak sk − s3 k≥1 X ak sk k≥0 X X ak sk + 3s (1) − 3s2 k≥0 X ak sk + 3s2 − s3 k≥0 X ak sk k≥0 = 1 − 3sg (s) + 3s (1) − 3s2 g (s) + 3s2 − s3 g (s) d.h g (s) = 1 + 3s + 3s2 (1 + s)3 . Die Partialbruchzerlegung g (s) = α1 α2 α3 + + , s+1 (s + 1)2 (s + 1)3 liefert die Koeffizienten α1 = 3, α2 = −3, α3 = 1. Daher 1 1 1 −3 +1 s+1 (s + 1)2 (s + 1)3 n + 2 n + 1 X X X sn + (−1)n sn = 3 (−1)n sn − 3 (−1)n n n n≥0 n≥0 n≥0 n + 1 n + 2 X = 3 (−1)n − 3 (−1)n + (−1)n sn n n n≥0 X 1 = (−1)n (n − 2) (n − 1) sn 2 n≥0 g (s) = 3 Dies liefert die explizite Folgendarstellung {an }n≥0 = 1 2 (−1)n (n − 2) (n − 1) n≥0 . PROSEM: Erzeugende Funktionen 15 3 a 2 n−1 (c) Umformulieren der Rekurrenzvorrschrift in an = − 12 an−3 , a0 = 0, a1 = 1, a2 = 2 liefert die Folge 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, . . . Die gesuchte erzeugende Funktion g (s) = g (s) = X P n≥0 an sn ist dann an sn n≥0 X = s + 2s2 + an sn n≥3 X 3 = s + 2s2 + n≥3 2 an−1 − 1 an−3 2 sn = s + 2s2 + 3 X 1 X an−1 sn − an−3 sn 2 n≥3 2 n≥3 = s + 2s2 + 3 X 1 X s an−1 sn−1 − s3 an−3 sn−3 2 n≥3 2 n≥3 3 X 1 X s ak sk − s3 ak sk 2 k≥2 2 k≥0 3 X 1 3X 3 2 k k = s + 2s + s ak s − s (s) − s ak s 2 k≥2 2 2 k≥0 X 1 2 3 X 1 k 3 k =s+ s + s ak s − s ak s 2 2 k≥0 2 k≥0 = s + 2s2 + =s+ 1 2 3 1 s + sg (s) − s3 g (s) , 2 2 2 d.h g (s) = Die Partialbruchzerlegung g (s) = s (1 − s)2 . α2 α1 , + 1−s (1 − s)2 liefert die Koeffizienten a1 = −1 , α2 = 1. Daher 1 −1 + 1−s (1 − s)2 X X n + 1 =− sn + sn n n≥0 n≥0 X = nsn g (s) = n≥0 Dies liefert die explizite Folgendarstellung {an }n≥0 = {n}n≥0 . C Einige hilfreiche Lemmata und Potenzfolgen. Lemma C.1 Sei A (s) die erzeugende Funktion der Folge {an }n≥0 . Dann ist An+k (s) := A (s) − Pk−1 i=0 ai si sk die erzeugende Funktion von {an+k }2≥0 . Beweis Für k = 1 gilt An+1 (s) = X an+1 sn = n≥0 für k = 2 An+2 (s) = dies lässt sich iterartiv fortsetzen. u t 1 X A (s) − a0 am sm = , s m≥1 s An+1 (s) − a1 A (s) − a0 − a1 s = , s s2 (57) 16 Christopher-Holm Brumme Lemma C.2 Sei A (s) die erzeugende Funktion der Folge {an }n≥0 . Dann ist A2n (s) := X a2n s2n = n≥0 A (s) + A (−s) 2 (58) die erzeugende Funktion von {a2n }2≥0 . Beweis Sei A (s) die erzeugende Funktion von {an }n≥0 . Dann ist A (−s) = X an (−1)n sn n≥0 n die erzeugende Funktion von {(−1) an }n≥0 , d.h A2n := X A (s) + A (−s) 2 a2n s2n = n≥0 ist die erzeugende Funktion der Folge {a2n }n≥0 . u t Lemma C.3 Sei A (s) die erzeugende Funktion der Folge {an }n≥0 . Dann ist A2n+1 (s) := X a2n+1 s2n+1 = n≥0 A (s) − A (−s) 2s (59) die erzeugende Funktion der Folge {a2n+1 }n≥0 . Beweis Mit (57) und (58) gilt A2n+1 (s) = A (s) + A (−s) − 0 . 2s u t Lemma C.4 Sei A (s) die erzeugende Funktion der Folge {an }n≥0 . Dann ist AP (s) := die erzeugende Funktion der Folge nP j≤n aj o n≥0 A (s) 1−s (60) . Beweis Sei A (s) die erzeugende Funktion der Folge {an }n≥0 und G (s) die erzeugende Funktion der geometrischen Reihen. Dann gilt A (s) = A (s) G (s) = a0 + a1 s + a2 s2 . . . 1 + s + s2 + . . . 1−s = a0 + (a0 + a1 ) s + (a0 + a1 + a2 ) s2 + . . . , X X = aj sn , n≥0 was zu zeigen war. j≤n u t Lemma C.5 Es gilt 1 1 − az k 1 1 + az k = X n + k − 1 n≥0 = X n≥0 an z n , (61) n + k − 1 an z n . n (62) n (−1)n Literatur Feller, W., 1968. An Introduction to Probability Theory and Its Applications, 2nd Edition. Vol. 1. Wiley. Lando, S. K., 2003. Lectures on Generating Functions. American Mathematical Society.