Wunsch · Schreiber Stochastische Systeme Stochastische Systeme Grundlagen Prof. Dr.-Ing. habil. Gerhard Wunsch Dr. sc. techn. Helmut Schreiber SPRINGER-VERLAG WIEN GMBH ISBN 978-3-7091-4193-9 ISBN 978-3-7091-4192-2 (eBook) DOI 10.1007/978-3-7091-4192-2 110 Bilder LAuflage © Springer-Verlag Wien 1984 Ursprünglich erschienen bei VEB Verlag Technik, Berlin, 1984 Softcoverreprint ofthe bardeover Istedition 1984 Lizenz 201 · 370/13/84 DK 519.217(075.8) · LSV 3534 · VT 3/5733-1 Lektor: Doris Netz Schutzumschlag: Kurt Beckert Gesamtherstellung: Offizin Andersen Nexö, Graphischer Großbetrieb, Leipzig III/18/38 Bestellnummer: 5533257 01300 Vorwort Das vorliegende Buch enthält die wichtigsten Begriffe und Grundlagen zur Analyse stochastischer Systeme. Es verfolgt das Ziel, eine dem gegenwärtigen internationalen Niveau entsprechende, für Ingenieure gedachte Darstellung der Wahrscheinlichkeitsrechnung, der Theorie zufälliger Prozesse und deren Anwendungen auf Systeme der Informationstechnik zu geben. Damit unterscheidet sich das Buch grundlegend einerseits von den hauptsächlich für Mathematiker gedachten Darstellungen, für deren Studium gute Kenntnisse der Wahrscheinlichkeitsrechnung vorausgesetzt werden (z.B. [5, 6, 7]), und andererseits von den zahlreichen Werken der technischen Literatur, in denen die angewandten Rechenmethoden meist recht knapp begründet sind oder nur sehr spezielle Anwendungen betrachtet werden. Das Buch ist aus Vorlesungen für Studierende der Fachrichtung Informationstechnik und aus der bereits in [17] verfolgten Konzeption hervorgegangen. Dabei wurde in verstärktem Maße auf eine international übliche Diktion Wert gelegt, um dem Leser so einen leichteren Übergang zu größeren und anerkannten Standardwerken mit weiterführendem Inhalt zu ermöglichen. Es wurde versucht, den allgemeinen theoretischen Rahmen, in dem sich heute jede moderne Darstellung der Stochastik bewegt, möglichst allgemeingültig und zugleich anschaulich darzustellen. Dabei wurden gleichzeitig alle Abschnitte stärker als üblich ausgebaut, die eine direkte Anwendung in der Systemanalyse (Schaltungsanalyse) zulassen (z.B. Abschn. 1.2.4., 1.3.1., 2.1.2., 2.1.4., 2.2.2. und 2.2.3.), Der gesamte Stoff ist in zwei Hauptabschnitte unterteilt. Der erste enthält die Grundlagen der Wahrscheinlichkeitsrechnung sowie deren Anwendung bei der Analyse statischer Systeme. Im zweiten Hauptabschnitt sind die Grundlagen der Theorie stochastischer Prozesse und ihre Anwendung bei der Beschreibung statischer und dynamischer Systeme dargestellt. Um dem Charakter dieses Buches als Lehrbuch zu entsprechen, wurden die Abschnitte mit zahlreichen Beispielen und Übungsaufgaben ausgestattet, deren Lösungen in einem Anhang zusammengefaßt sind. In diesem Buch wird aufwesentliche Begriffe und Definitionen aus [I] und [2] zurückgegriffen. Damit soll ein Beitrag zu einer in den Grundzügen einheitlichen Darstellung und Beschreibung von determinierten und stochastischen Systemen geschaffen werden. Herrn Prof. Dr. sc. techn. W. Schwarz danken wir für seine großzügige Unterstützung, seine Mitwirkung und sein förderndes Interesse bei der Abfassung des Manuskripts. Unser besonderer Dank gilt auch der Lektorin, Frau D. Netz, für die umsichtige und verständnisvolle Zusammenarbeit. Dresden, Oktober 1982 G. Wunsch H. Schreiber Inhaltsverzeichnis Formelzeichen . . . . . . . . . . . . . . . ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 0. Einführung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 1. Wahrscheinlichkeitsrechnung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 1.1. Ereignis und Wahrscheinlichkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.1.1. Ereignisraum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . l.l.l.l. Elementarereignis. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.1.1.2. Ereignis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.1.1.3. Ereignisraum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.1.2. Wahrscheinlichkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.1.2.1. Relative Häufigkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.1.2.2. Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.1.2.3. Rechenregeln . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.1.3. Bedingte Wahrscheinlichkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.1.3.1. Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.1.3.2. Formeln...................................................... 1.1.3.3. Unabhängige Ereignisse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.1.4. Aufgaben zum Abschn.l.l. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 14 14 15 17 20 20 22 24 25 25 27 28 29 1.2. Zufällige Veränderliche................................................ 1.2.1. Eindimensionale Veränderliche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2.1.1. Meßbare Abbildungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2.1.2. Verteilungsfunktion............................................ 1.2.1.3. Verteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2.1.4. Dichtefunktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2.2. Mehrdimensionale Veränderliche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2.2.1. Verteilungsfunktion und Verteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2.2.2. Dichtefunktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2.3. Bedingte Verteilungen.............................. . . . . . . . . . . . . 1.2.3.1. Randverteilungsfunktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2.3.2. Bedingte Verteilungsfunktion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2.3.3. Unabhängigkeit von zufälligen Veränderlichen . . . . . . . . . . . . . . . . . . . . 1.2.4. Statische Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2.4.1. Determinierte Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2.4.2. Verteilungs- und Dichtefunktion am Systemausgang. . . . . . . . . . . . . . . . 1.2.4.3. Stochastische Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2.5. Aufgaben zum Abschn. 1.2. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 30 30 33 35 39 41 41 45 48 48 49 52 53 53 54 60 63 1.3. Momente. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 1.3.1. Varianz und Kovarianz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 1.3.1.1. Erwartungswert ....... : . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 8 Inhaltsverzeichnis 1.3.1.2. Varianz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.3.1.3. Kovarianz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.3.1.4. Stochastisches System.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.3.2. Charakteristische Funktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.3.2.1. Eindimensionale zufällige Veränderliche . . . . . . . . . . . . . . . . . . . . . . . . . . 1.3.2.2. Zufällige Vektoren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.3.3. Aufgaben zum Abschn.1.3. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 71 75 76 76 79 80 Zufällige Prozesse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1. Grundbegriffe ............ : . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 83 2.1.1. Einfache Prozesse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1.1.1. Prozeß und Realisierung. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1.1.2. Verteilungsfunktion.................................. .......... 2.1.1.3. Ergänzungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1.2. Vektorprozesse und statische Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1.2.1. Vektorprozeß und Verteilungsfunktion . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1.2.2. Determinierte Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1.2.3. Stochastische Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1.3. Momente zufälliger Prozesse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1.3.1. Einfache Prozesse ............................................. 2.1.3.2. Vektorprozesse ................................................ 2.1.3.3. Charakteristische Funktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1.4. Spezielle Prozesse. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1.4.1. Stationäre Prozesse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1.4.2. Markow-Prozesse .............................................. 2.1.4.3. Gaußsehe Prozesse (normale Prozesse) ........................... 2.1.5. Aufgaben zum Abschn.2.1. ..................................... 83 83 87 90 92 92 93 98 100 100 101 103 103 103 107 113 115 2.2. Dynamische Systeme ....... , . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2.1. Analysis zufälliger Prozesse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2.1.1. Konvergenz im quadratischen Mittel . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2.1.2. Stetigkeit im quadratischen Mittel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2.1.3. Differentiation im quadratischen Mittel. .......................... 2.2.1.4. Integration im quadratischen Mittel ............................. 2.2.2. Lineare Systeme... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2.2.1. Systemgleichungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2.2.2. Lösung ...................................................... . 2.2.2.3. Stationäre Prozesse ............................................ 2.2.2.4. Stationäre Gauß-Prozesse ....................................... 2.2.3. Anwendungen stationärer Prozesse. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2.3.1. Ergodizität ................................................... 2.2.3.2. Messung des Leistungsspektrums . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2.3.3. Wärmerauschen ............................................... 2.2.4. Aufgaben zum Abschn.2.2 ...................................... 117 11 7 117 121 123 127 130 130 132 134 138 14Q 140 142 144 148 2. 3. Lösungen zu den Übungsaufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 Literaturverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173 Sachwörterverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174 Formelzeichen A Ä A 8. A,B, ... A,B,C,D !1 c Cov (X, Y) Cov(K,X) detA D,,,, EX=mx f /('I') fx fK Fx FK g h h* hA(n) H*(jw) H*(jw) H*'(jw) H*(p) H(t) i.q.M. I,= (- oo, kA(n) l.i.m. 11...2 M IMI M,N, ... mx !1 1\1 NM p ~) Ereignisraum (a-Algebra über Q) zu A komplementäres Ereignis Menge aller zufälligen Veränderlichen auf (.Q, A, P) Menge aller zufälligen Prozesse auf (.Q, A. P) (zufällige) Ereignisse Zustandsmatrizen (lineares dynamisches System) Borel-Mengen-System (a-Algebra über IR) Menge der komplexen Zahlen Kovarianz von X und Y Kovarianzmatrix des Vektorprozesses X Determinante der Matrix A Differenzoperator Erwartungswert von X, Mittelwert Überführungsfunktion (statisches System) bedingte Dichtefunktion Dichtefunktion von X Dichtefunktion von K Verteilungsfunktion von X Verteilungsfunktion von K Ergebnisfunktion (statisches System) Gewichtsfunktion, Impulsantwort Übertragungsfunktion relative Häufigkeit von A bei n Versuchen Übertragungsmatrix (im Bildbereich der Fourier-Transformation) zu H* (jw) konjugierte Matrix zu H* (jw) transponierte Matrix Übertragungsmatrix (im Bildbereich der Laplace-Transformation) Gewichtsmatrix, Übertragungsmatrix im Originalbereich im quadratischen Mittel reelles Intervall Häufigkeit von A beinVersuchen Grenzwert im (quadratischen) Mittel Menge aller zufälligen Veränderlichen mit EX2 < oo Mengensystem Kardinalzahl (Mächtigkeit) von M Mengen Erwartungswert von X, Mittelwert Menge der Zahlen 1, 2, ... , n Menge der natürlichen Zahlen Menge aller Abbildungen von M in N Wahrscheinlichkeitsmaß auf 4 10 Formelzeichen Wahrscheinlichkeit des Ereignisses A Wahrscheinlichkeit von A unter der Bedingung B Potenzmenge der Menge M Wahrscheinlichkeitsmaß auf JJ, Verteilung von X Verteilung von X IR Menge der reellen Zahlen (IR, JJ, Px) spezieller Wahrscheinlichkeitsraum s Sprungfunktion, Sprungsignal sK Korrelationsfunktion von X Sg Kreuzkorrelationsfunktion von X und r S!I Leistungs[dichte]spektrum von X Sn Kreuzleistungs[dichte]spektrum von X und y Var(X) Varianz von X x = X( w) Wert der zufälligen Veränderlichen X X= (X1 , ••• , Xn) zufälliger Vektor, n-dimensionale zufällige Veränderliche X(m) = x = (x 1 , ••• , xn) Wert des zufälligen Vektors, n-Tupel X Menge der zufälligen Vektoren X = (X1 , ••• , X 1) X zufälliger Prozeß ;; = X(w) Realisierung des Prozesses X X= (}!1, ... ,X") Vektorprozeß X Menge der Vektorprozesse X= (X1 , ... ,}! 1) (Eingabe) IIXII Norm von X i Ableitung i. q. M. des Prozesses X [X!] Klasse, der das Element x angehört X, Y,. .. zufällige Veränderliche, meßbare Abbildung V Menge der zufälligen Vektoren Y = (Y1 , ••• , Ym) Y Menge der Vektorprozesse y = (Yt> ... , Ym) (Ausgabe) 7L Menge der ganzen Zahlen ~ Menge der Vektorprozesse Z = (Z1 , ••• , Z") (Zustand) (J Dirac-Funktion, Impulssignal aCPt· ... , r:p") Funktionaldeterminante P(A) P (AlB) l!(M) Px PK Ic(x1, .. ., x") I TJ.(M) e (X, Y) q. r[J p f}J r:p:M--tN 'Px 'P!! f/J(t) f/J*(p) (JJ Q (Q, A) (Q, A, P) 0 E Klasseneinteilung der Menge M Korrelationskoeffizient von X und Y einfache Alphabetabbildung (statisches System) Alphabetabbildung (statisches System), Systemabbildung einfache Realisierungsabbildung, Prozeßabbildung Realisierungsabbildung, Prozeßabbildung Abbildung r:p von M in N charakteristische Funktion von X charakteristische Funktion von X Fundamentalmatrix (im Originalbereich) Fundamentalmatrix (im Bildbereich der Laplace-Transformation) Elementarereignis, Kreisfrequenz (je nach Zusammenhang) sicheres Ereignis, Stichprobenraum Ereignisraum Wahrscheinlichkeitsraum unmögliches Ereignis Elementrelation ("ist Element von") Formelzeichen => <=> c u n ~ \ X 0 * folgt (bei Aussagen) ist äquivalent (bei Aussagen) ist Teilmenge von, ist enthalten in Vereinigung (bei Mengen), Summe (bei Ereignissen) Durchschnitt (bei Mengen), Produkt (bei Ereignissen) mehrfache Vereinigung mehrfacher Durchschnitt Differenz (bei Mengen und Ereignissen) kartesisches Produkt (bei Mengen) Verkettung, Komposition von Abbildungen Faltung (bei reellen Funktionen) Äquivalenz (bei zufälligen Veränderlichen) 11 0. Einführung Das heutige Forschungs- und Anwendungsgebiet der Systemanalyse (im weiteren Sinne) ist dadurch gekennzeichnet, daß die betrachteten Gegenstände und Probleme einen hohen Grad an Kompliziertheit und Komplexität aufweisen (z. B. Energiesysteme, Verkehrssysteme, biologische und ökologische Systeme usw.). Demgegenüber untersucht man bei der Analyse vieler techQischer Systeme folgende (relativ einfache) Aufgabe: Gegeben ist ein System (z. B. elektrische Schaltung, mechanische Apparatur o.ä.), die durch eine Eingangsgröße (z. B. Strom, Spannung, Kraft o.ä.) erregt wird. Gesucht ist die Reaktion des Systems auf diese Erregung. Je nach der Art der Zeitabhängigkeit und dem Charakter der Eingangs-, Ausgangs- und inneren Systemgrößen unterscheidet man drei Teilgebiete der Systemanalyse, die mit drei wichtigen Systemklassen eng verknüpft sind und sich zunächst relativ selbständig entwickelt haben. Ein besonders einfacher Sonderfallliegt vor, wenn die zur Beschreibung des Systemverhaltens verwendeten Größen nur endlich viele diskrete Werte (z. B. aus der Menge {0, 1}, aus der Menge {x 1 , • •• , xn} usw.) annehmen können und die Zeit t ebenfalls eine diskrete Variable (z. B. t = 0, 1, 2, ... ) ist. Die Untersuchung von Systemen unter diesen und einigen weiteren Voraussetzungen mit mathematischen Methoden, die hauptsächlich der Algebra zuzuordnen sind, führte zum Begriff des digitalen Systems bzw. Automaten [I]. Eine weitere Klasse bilden die Systeme, bei denen die Eingangs-, Ausgangs- und inneren Systemgrößen sowie die Zeit t Werte aus der Menge der reellen Zahlen annehmen können. Aus der Mechanik, Elektrotechnik, Regelungstechnik und Akustik sind viele Beispiele für solche Systeme bekannt, bei denen z. B. die Eingangsgrößen durch stetige Zeitfunktionen (häufig mit sinusförmiger Zeitabhängigkeit) beschrieben werden. Die Entwicklung der Systemtheorie in dieser Richtung vollzog sich hauptsächlich auf der mathematischen Grundlage der (Funktional-) Analysis und Funktionentheorie und führte zum Begriff des analogen Systems [2]. Bei den bisher genannten Systemklassen wurde angenommen, daß die das Systemverhalten beschreibenden Funktionen (z. B. Ein- und Ausgangsgrößen, gewisse Systemcharakteristiken usw.) determiniert sind. Es gibt aber auch Fälle, bei denen diese Funktionswerte nicht gel}au bekaimt sind. Häufig kann man in solchen Fällen aber gewisse Wahrscheinlichkeitsaussagen über die Funktionswerte als gegeben voraussetzen, wobei diese Funktionen selbst endlich viele diskrete Werte (die mit gewissen Wahrscheinlichkeiten auftreten) oder Werte aus der Menge der reellen Zahlen annehmen können und die Zeit t eine diskrete oder stetige Variable sein kann. Die Grundlage für die mathematische Beschreibung solcher Systeme ist die Wahrscheinlichkeitsrechnung, insbesondere die Theorie der zufälligen Prozesse. Ihre Verbindung mit der Automatentheorie und der Theorie der analogen Systeme führte zum Begriff des stochastischen Systems. Hauptanliegen dieses Buches ist es, dem Studierenden die fundamentalen Begriffe der Theorie der stochastischen Systeme verständlich zu machen. 1. Wahrscheinlichkeitsrechnung 1.1. Ereignis und Wahrscheinlichkeit 1.1.1. Ereignisraum 1.1.1.1. Elementarereignis In den Naturwissenschaften und in der Technik werden sehr häufig Experimente (Vorgänge, Prozesse) beschrieben, bei denen in vielen Fällen der Ausgang'(Ergebnis, Ablauf) eines solchen Experiments ungewiß ist. Ebenso sind z. B. die gewürfelte Augenzahl beim Werfen eines Spielwürfels und die erzielte Ringanzahl beim Schießen auf eine Scheibe vorher unbestimmt. Man nennt ein Experiment mit ungewissem Ausgang w einen zufälligen Versuch V. Der Ausgang w liegt bei einem solchen Versuch in einer Gesamtheit Q sich ausschließender Möglichkeiten. Daraus ergibt sich das im Bild 1.1 dargestellte allgemeine Schema. Jeder Punkt der umrandeten Fläche bezeichnet einen Versuchsausgang w aus der Gesamtheit fJ aller möglichen Versuchsausgänge. Wird ein Versuch V durchgeführt, so erhält man das Ergebnis w (oder o/ oder w" usw.). v--- --- Bild 1.1 Zufälliger Versuch und Stichprobenraum So ist z.B. beim Werfen eines Spielwürfels die Gesamtheit der möglichen Versuchsausgänge durch die endliche Menge gegeben, wenn wir mit w 1 den Versuchsausgang "Augenzahl i liegt oben" bezeichnen. Eine ähnliche Situation haben wir auch beim Werfen einer Münze oder beim Schießen auf eine Scheibe. Beim Münzenwurf ist (w 1 =="Zahl"; w2 a: "Wappen") und beim Scheibenschießen z. B. (w1 a: "Ringzahl i"). Bei den angegebenen Beispielen hat die Menge fJ stets endlich viele Elemente. Das muß jedoch nicht immer so sein. Betrachtet man im letzten Beispiel jeden Treffer (zum Punkt idealisiert) auf der Schießscheibe als einen möglichen Versuchsausgang, so enthält die Menge fJ (überabzählbar) unendlich viele Elemente (s.auch Bild 1.1). 1.1. Ereignis und Wahrscheinlichkeit 15 Allgemein kann also D eine beliebige Menge sein, so z. B. eine endliche Menge, eine abzählbare Menge oder D = IR (Menge der reellen Zahlen), Q = !Rn (Menge aller Punkte des n-dimensionalen Raumes), Q = IR 1R (Menge aller reellen Funktionen), D = D 1 XD 2 (Produktmenge) usw. Man bezeichnet die Menge D aller Versuchsausgänge in der Wahrscheinlichkeitsrechnung als Stichprobenraum und ihre ElementewE Q als Elementarereignisse. So sind z.B. beim Würfeln das Ergebnis w 3 "Augenzahl3 liegt oben" und beim Scheibenschießen das Ergebnis w 8 "8 Ringe" Elementarereignisse. Man beachte, daß die Elementarereignisse stets einander ausschließende Versuchsergebnisse darstellen und daß alle möglichen Versuchsergebnisse in D berücksichtigt sind. Der Stichprobenraum D ist durch einen gegebenen Versuch V nicht eindeutig festgelegt; er muß vielmehr entsprechend der Zweckmäßigkeit von Fall zu Fall geeignet vereinbart werden. So könnte man z.B. eine in 10 Ringe unterteilte Schießscheibe auch in 20 Ringe oder in 4 Quadranten unterteilen und erhält so anstelle eines Stichprobenraums mit 10 Elementarereignissen einen solchen mit 20 bzw. 4 Elementarereignissen. Entsprechend lassen sich auch andere Stichprobenräume feiner oder gröber strukturieren. = = 1.1.1.2. Ereignis Aufbauend auf den Begriff des Stichprobenraums und den Begriff des Elementarereignisses läßt sich der für die weiteren Ausführungen grundlegende Begriff des zufälligen Ereignisses wie folgt definieren: I. Jede Teilmenge A c Q stellt ein (zufälliges) Ereignis dar. 2. Das (zufällige) Ereignis A ist genau dann eingetreten, wenn das auftretende Elementarereignis w ein Element von A ist, d. h., wenn w E A gilt. Bild 1.2 veranschaulicht diesen Sachverhalt. Gegeben sind ein Stichprobenraum D und eine Teilmenge A c D. Entsprechend dem ersten Teil der Definition repräsentiert diese Teilmenge ein Ereignis A. (Das Attribut "zufällig" wird meist fortgelassen.) Der zweite Teil der Definition stellt die Motivierung für den ersten Teil dar. Man sagt, das EreignisA sei eingetreten, wenn das Versuchsergebnis (das Elementarereignis) w in der Teilmenge A liegt. Bild 1.2 Zufälliges Ereignis Ein Beispiel soll das verdeutlichen. Betrachten wir den Stichprobenraum ( w; = "Augenzahl i") des Spielwürfels. Offensichtlich bezeichnet die Teilmenge A = {w 2 , w 4 , w 6 }c Q das Ereignis "Würfeln einer geraden Augenzahl". Erhält man nun als Versuchsergebnis w = w4 E A (d.h., die Augenzahl4 wurde gewürfelt), so ist das Ereignis A (gerade Augenzahl) eingetreten. A ist ebenfalls eingetreten, wenn die Versuchsergebnisse w = w 2 E A oder w = w 6 E A auftreten. Dagegen ist A nicht eingetreten, wenn z.B. das Versuchsergebnis w = w 5 rt A lautet. 16 1. Wahrscheinlichkeitsrechnung Zwei spezielle Ereignisse sollen noch besonders hervorgehoben werden: Da jede Menge zugleich Teilmenge von sich selbst ist, ist auch A = Q c Q ein Ereignis. Da dieses Ereignis alle Elementarereignisse als Elemente enthält, tritt es stets ein gleichgültig, welches Versuchsergebnis w auftritt. Man nennt A = Q deshalb das sichere Ereignis. Jede Menge enthält als Teilmenge auch die leere Menge; folglich ist auch A = 0 c Q ein Ereignis. Dieses Ereignis enthält keine Elementarereignisse als Elemente, kann also niemals eintreten. Darum heißt A = 0 das unmögliche Ereignis. Ähnlich wie bei Mengen können auch zwischen Ereignissen Relationen bestehen. Ist z. B. für zwei Ereignisse A und B AcB, (1.1) so ist jedes Elementarereignis w· E A auch in B enthalten, d. h., es ist auch w E B. Man sagt in diesem Fall: "A ist in B enthalten". Das bedeutet, daß das Eintreten von A immer das Eintreten von B zur Folge hat ( A zieht B nach sich). Gilt gleichzeitig Ac Bund B c A, so enthalten beide Ereignisse dieselben Elementarereignisse, und es sind A und B gleich: A =B. (1.2) · Ereignisse können auch miteinander verknüpft werden. Man verwendet meist die gleiche Symbolik wie in der Mengenlehre (vgl. [1, Abschn.l.l.]). In der nachfolgenden Übersicht sind die gebräuchlichen Ereignisoperationen zusammengestellt (A, B c Q): I Bezeichnung Operation Ä = Q\A zu A komplementäres Ereignis Summe von A und B Produkt von A und B Differenz von A und B AuB AnB A\B b) a) Operationsergebnis tritt ein, wenn c) I Bild A nicht eintritt 1.3a A oder B eintreten A undBeintreten A eintritt und B nicht eintritt 1.3b 1.3c 1.3d (1.3) d) Bild 1.3. Ereignisverknüpfungen a) komplementäres Ereignis; b) Summe; c) Produkt; d) Differenz Mit den angegebenen Operationen lassen sich auch Mehrfachverknüpfungen ausführen, so z.B. 00 B= U1 A; (A;c Q) (1.4) n A; (A;c Q). (1.5) i= oder C= ro i=l Das EreignisBin (1.4) tritt ein, wenn wenigstens ein A; c Q eintritt, und das Ereignis C in (1.5) tritt nur dann ein, wenn alle A; c Q eintreten. 1.1. Ereignis und Wahrscheinlichkeit 17 Weitere Verknüpfungsmöglichkeiten und zugehörige Regeln sollen hier nicht mehr angegeben werden. Wir verweisen auf die entsprechenden Regeln der Mengenlehre [1]. Abschließend sei noch auf den folgenden wichtigen Begriff hingewiesen: Enthalten zwei Ereignisse A und B keine Elementarereignisse gemeinsam, so können sie nicht gemeinsam eintreten, und es ist A nB = 0. (1.6) Die Ereignisse A und B heißen in diesem Fall unvereinbar. Da Elementarereignisse sich gegenseitig ausschließende Versuchsergebnisse darstellen, sind solche Ereignisse A 1 = {w 1} (w 1 E Q), die nur ein Elementarereignis enthalten, stets paarweise unvereinbar, d. h., es gilt (i =t= j). (1.7) Ebenso entstehen paarweise unvereinbare Ereignisse, wenn man eine Klasseneinteilung rr(Q) des Stichprobenraums Q bildet (Bild 1.4). Eine solche Klasseneinteilung rr(D) heißt vollständiges System unvereinbarer Ereignisse, da außer A 1 n A1 = 0 noch UA1 = 00 1=1 Q (A 1 , A1 E rr(Q)) gilt. Faßt man jede Klasse als neues Elementarereignis auf, so kann das. Mengensystem rr(D) auch als neuer Stichprobenraum angesehen werden. Der neue Stichprobenraum stellt damit eine Vergröberung des alten Stichprobenraums dar. Die Elementarereignisse sind jetzt Mengen und die (zufälligen) Ereignisse Mengensysteme. (Die "feinste" Klasseneinteilung rr(Q) = { { w }Iw E .Q} hat die gleiche Kardinalzahl wie Q und kann mit Q identifiziert werden.) Bild 1.4 Vollständiges System unvereinbarer Ereignisse Ist z. B. beim Scheibenschießen der Stichprobenraum (w 1 ="Ringzahli") gegeben, so kann die Klasseneinteilung 7t(Q) g~bildet = {{w 1 , w 2 , w3 , w4 }, {w 5 , w 6 , ru 7 }, {w 8 , w 9 , ru 10 }} werden. Dieses Mengensystem kann als neuer Stichprobenraum aufgefaßt werden, worin z. B. w~ = { w 1 , w 2 , w 3 , w 4 } das Erreichen einer Ringzahl i mit 1 ~ i ~ 4 bedeutet. Entsprechend gilt für 5 ~ i ~ 7 und für w~ 8 ~ i ~ 10. w; 1.1.1.3. Ereignisraum Ist ein zufälliger Versuch mit einem geeignet festgelegten Stichprobenraum Q gegeben, so erhebt sich die Frage nach der Menge aller Ereignisse, die unter den Bedingungen des Versuchs möglich sind. Da ein Ereignis A definitionsgemäß eine Teilmenge von Q ist, 2 Wunsch, Stochast. Syst. 18 1. Wahrscheinlichkeitsrechnung wird die Menge aller Ereignisse durch die Menge aller Teilmengen von Q, d.h. durch die Potenzmenge E(Q), gebildet. So erhalten wir z.B. beim Werfen eines Spielwürfels mit insgesamt 21a1 = 2 6 = 64 Ereignisse. Allgemein erhält man bei einem endlichen Stichprobenraum mit n Elementarereignissen 2n (zufällige) Ereignisse. Wie man sieht, wächst die Anzahl der Ereignisse mit wachsender Anzahl der Elementarereignisse sehr rasch an. Hat der Stichprobenraum Q die Mächtigkeit des Kontinuums (IDI' = 1~1), so hat die Potenzmenge E(Q) bereits eine Mächtigkeit, die größer als die des Kontinuums ist. Für die meisten Anwendungen werden Mengen solch hoher Mächtigkeit jedoch nicht benötigt. Man wählt deshalb aus der Menge aller Ereignisse E(Q) ein geeignetes System 4 c f(Q) von Teilmengen 4- c Q so aus, daß man einerseits hinsichtlich der Durchführung bestimmter Operationen genügend beweglich bleibt und andererseits aber im Hinblick auf die Anwendungen die Mächtigkeit dieser Mengen möglichst einschränkt. Hierbei ist nur als wesentlich zu berücksichtigen, daß in 4 - ebenso wie in E(Q) - alle Ereignisoperationen, also -, u, n und \, unbeschränkt ausführbar sind, d. h., daß die Ergebnisse dieser Operationen wieder in 4 liegen müssen. Die Mächtigkeit von 4 ist hierbei nur von untergeordneter Bedeutung. Es ist aber zweckmäßig, immer 0 und Q zu 4 zu zählen und außerdem - für Grenzwertbetrachtungen - noch zu fordern, daß die Addition und die Multiplikation von Ereignissen abzählbar oft ausführbar sind. Diese Überlegungen führen uns wie folgt zur Definition des Begriffs Ereignisraum: Eine Mengensystem 4 c E(Q) heißt Ereignisraum (Q, 4) (oder a-Algebra), wenn gilt (1.8a) 2. A E 4 (1.8b) => Ä E4 3. A; E 4 (i 00 = 1, 2, 3, ... ) => U A; E 4. (1.8c) i= 1 Der Ereignisraum enthält also stets das sichere Ereignis als Element und ferner, falls er ein Ereignis A enthält, auch das zugehörige komplementäre Ereignis Ä. Außerdem muß der Ereignisraum, falls er eine abzählbare Menge von Ereignissen Ai (i = 1, 2, 3, ... ) enthält, auch deren Summe als Ereignis enthalten. Es ist zu beachten, daß die unendliche Summe in (1.8c) natürlich auch eine endliche Summe bezeichnen kann (bei Ak = A; für alle k ~ i). Hat ein Mengensystem 4 die in (1.8) angegebenen Eigenschaften, so sagt man, A sei abgeschlossen bezüglich der Operationen Komplement und abzählbare Vereinigung (unendliche Summe). Wir wissen, daß die Potenzmenge E(Q) diese Eigenschaften besitzt, d.h., 4 = E(Q) ist sicher auch ein Ereignisraum im Sinne der oben angegebenen Definition. Es gibt aber auch noch "kleinere" Mengen, die diese Eigenschaften ebenfalls haben. Betrachten wir dazu einige Beispiele! I. Es sei 4 = 42 = {0, Q}. Die Eigenschaften (1.8a) und (1.8 b) sind erfüllt; denn es ist Q E 4 2 und Q = 0 E 4 2 • Ferner ist auch (1.8'c) erfüllt; denn die (unendliche) Summe von Summanden der Art 0 oder Q ergibt nur entweder 0 oder Q, also Elemente von 4 2 • 1.1. Ereignis und Wahrscheinlichkeit 19 li. Ebenso zeigt man, daß auch für A = A4 = {0, .Q, A, Ä} (Ac .Q) die Eigenschaften (1.8) erfüllt sind und folglich III. Einen Ereignisraum bildet auch A = As = falls {0, .Q, A, Ä, B, B, A g4 u B, Ä einen Ereignisraum bildet. n B}, AnB=0 und A,Bc.Q. IV. Als letztes Beispiel notieren wir noch den Ereignisraum A = f(Q) = {0, Q, ... }, der die größte Mächtigkeit aufweist. Aus den Eigenschaften (1.8) lassen sich noch einige Folgerungen herleiten: Zunächst folgt aus (1.8a) und(l.8b), daß A neben Q auch das Komplement {j = 0 enthalten muß, d. h., es ist stets (1.8a') Jeder Ereignisraum enthält also neben dem sicheren Ereignis auch das unmögliche Ereignis. Weiter läßt sich mit Hilfe von (1.8 b) und (1.8c) zeigen, daß das unendlicheProduktinA ebenfalls enthalten sein muß, d.h. 00 A;Ed(i= 1,2,3, ... )=> nA;Ed. (1.8c') i= 1 Der Ereignisraum ist also bezüglich der abzählbaren Durchschnittsbildung abgeschlossen und, da die Differenz auf Durchschnitt und Komplement zurückgeführt werden kann, auch bezüglich der Differenz. Es kann gezeigt werden, daß jeder Ereignisraum A = (A, U, n, 0 CO CO 1 1 Q) hinsichtlich seiner algebraischen Struktur eine Boolesche Algebra (A, u, n, -, 0, Q) mit dem Träger A, den Operationen u, n und - sowie den neutralen Elementen 0 und Q darstellt (vgl. [1, Abschn. 2.1.1.]). Ereignisräume sind also immer spezielle Boolesche Algebren. Die Auswahl eines geeigneten Ereignisraums A wird hauptsächlich durch Gesichtspunkte der Anwendungen bestimmt. Alle Ereignisse (d. h. alle Teilmengen von Q), für die man sich im Zusammenhang mit einem bestimmten Problem interessiert, müssen im gewählten Ereignisraum natürlich enthalten sein. Bezeichnen wir die Menge dieser Ereignisse mit Mc f(Q), muß also gewährleistet sein, daß der Ereignisraum A so gewählt wird, daß A=>M gilt, daß er also die interessierenden Ereignisse enthält. Sicherlich ist es im allgemeinen nicht möglich, A = M zu wählen; denn M muß nicht die Eigenschaften (1.8) des Ereignisraums haben. Es müssen daher in der RegelzuM noch weitere (nicht interessierende) Ereignisse hinzugenommen werden, damit ein Ereignisraum entsteht. Da man nicht un- 20 1. Wahrscheinlichkeitsrechnung nötig viele Ereignisse zusätzlich formal hinzunehmen möchte, ist die Frage nach der kleinsten Anzahl der hinzuzunehmenden Ereignisse von besonderer Wichtigkeit. Von Bedeutung ist in diesem Zusammenhang der folgende Satz: Unter allen Ereignisräumen A => M gibt es einen "kleinsten" A = A(M), d. h., für alle A => M gilt A => A(M). (1.9) Anders ausgedrückt bedeutet das, daß es unter allen Ereignisräumen, die die interessierenden Ereignisse aus M enthalten, einen gibt, der die geringste Anzahl von Ereignissen enthält. Ein solcher Ereignisraum ist in vielen Fällen nicht explizit angebbar. Die Kenntnis der Existenz ist jedoch für viele Anwendungen bereits hinreichend. Bild I. 5 zeigt zur Veranschaulichung des genannten Satzes noch die grafische Darstellung. E{fl} AfM) Bild 1.5 Zur Erläuterung des Begriffs "kleinster "Ereignisraum Abschließend seien noch die folgenden Beispiele "kleinster" Ereignisräume genannt: Ist lediglich ein Ereignis A c Q von Interesse, so ist M = {A} und A(M) = ,64 = {0, Q, A, Ä}. Interessiert man sich für zwei Ereignisse A und B mit A n B = M 1.1.2. = {A, B} und ,d.(M) = ,6 8 0, so ist = {0, Q, A, Ä, B, B, Au B, Ä n B}. Wahrscheinlichkeit 1.1.2.1. Relative Häufigkeit Wird ein zufälliger Versuch V durchgeführt, so ist das Ergebnis dieses Versuchs ungewiß. Ein Ereignis A kann eintreten oder auch nicht. Wird der gleiche Versuch jedoch mehrmals wiederholt, so ergeben sich, wie. die Erfahrung lehrt, bestimmte Gesetzmäßigkeiten, mit denen wir uns nun beschäftigen werden. Zunächst definieren wir: I. Tritt bei n-maliger Ausführung eines zufälligen Versuchs V das Ereignis A k-mal auf, so heißt die Zahl (1.10) Häufigkeit von A bei n Versuchen. Offensichtlich gilt 0 ~ kA(n) ~ n. (1.11) II. Das Verhältnis hA(n) = kA(n) n (1.12) 1.1. Ereignis und Wahrscheinlichkeit 21 heißt relative Häufigkeit von A bei n Versuchen. Mit (1.11) erhält man 0 ~ hA(n) ~ 1. (1.13) Die relative Häufigkeit hat eine bemerkenswerte Eigenschaft, die sich experimentell bestätigen läßt. Für eine hinreichend große Anzahl n von Versuchen stabilisiert sich hA(n) in der Nähe ein~r Konstanten, die wir mit P(A) bezeichnen. Man kann diese:q Sachverhalt auch so formulieren: Für große Versuchszahlen n.schwankt die relative Häufigkeit hA(n) des Ereignisses A um einen festen Wert P(A). Diese Schwankungen von hA(n) um P(A) werden (in der Regel) um so kleiner, je größer n ist (Bild 1.6). Betrachten wir als Beispiel einen Spielwürfel, der 600mal geworfen wird. Da keine der Augenzahlen 1, 2, ... , 6 irgendwie gegenüber der anderen ausgezeichnet ist, erwarten wir, daß jede der Zahlen etwa mit der gleichen Häufigkeit auftritt, also etwa 100mal. Bezeichnet A = {w 3 } das Ereignis "Augenzahl = 3", so müßte die relative Häufigkeit hA(600) = h{m 3 }(600) in der Nähe von 100/600 = ! liegen, was der Versuch auch bestätigt. Man kann also hier P(A) = P({w 3 }) = ! setzen. h,(o)~ P{A)~1 10 10 2 10 3 10* 10 5 Bild 1.6 Relative Häufigkeit und Wahrscheinlichkeit n--- Ebenso läßt sich z. B. für die Ereignisse B = { w 1 , w 2 } ("Augenzahl ist kleiner als 3") und C = {w 2 , w4 , w 6 } ("Augenzahl ist eine gerade Zahl") experimentell zeigen, daß hB(600) ~ t und hc(600) ~ t gilt. Zusammengefaßt ergeben sich für die relative Häufigkeit die folgenden Eigenschaften: I. Die relative Häufigkeit hA(n) stabilisiert sich mit wachsender Anzahl n der Versuche, d. h., es gilt (n ~ 1). (1.14a) II. Aus der Definition der relativen Häufigkeit folgt mit (1.13) (U4b) hA(n) ~ 0. III. Für .das sichere Ereignis A = Q gilt offensichtlich h0 (n) = 1. (1.14c) IV. Sind A1 und A 2 unvereinbare Ereignisse, so ist hA 1 uA2 (n) = hA 1(n) + hA2 (n) (A 1 n A 2 = 0). (1.14d) Die letzte Eigenschaft ergibt sich aus folgender Überlegung: Sind A1 und A 2 unvereinbare Ereignisse, so ist es unmöglich, daß man sowohl A1 als auch A 2 gleichzeitig als Versuchsresultat erhält. Tritt nun beinVersuchen das Ereignis A 1 k 1 -mal unddas Ereignis A 2 k 2 -mal auf, so muß wegen der Unvereinbarkeit von A 1 und A 2 das Ereignis A 1 u A 2 genau (k 1 + k 2 )-mal eintreten; es ist also mit k 1 = kA 1(n) und k 2 = kA 2 (n) kA 1 uA ..(n) = kA 1 (n) + kA/n). Nach Division durch n auf beiden Seiten der Gleichung folgt mit (1.12) unmittelbar die angegebene Eigenschaft IV. 22 1. Wahrscheinlichkeitsrechnung 1.1.2.2. Definition Durch die Eigenschaft der Stabilisierung der relativen Häufigkeit eines Ereignisses A ist jedem Ereignis A eine reelle Zahl P(A) zugeordnet, die für hinreichend große Versuchszahlen n mit der relativen Häufigkeit hA(n) näherungsweise übereinstimmt. Gehen wir von einem gegebenen Ereignisraum (Q, A) aus, so wird durch diese Zuordnung eine Abbildung P des Mengensystems A in die Menge der reellen Zahlen IR vermittelt. Aus der Eigenschaft I der relativen Häufigkeit folgt also: I. Jedem Ereignis A A ~--+ E A ist eine reelle Zahl P(A) E IR zugeordnet, in Zeichen: P(A). (1.15a) Für die hierdurch definierte Abbildung P: A ~IR wird in Übereinstimmung mit den übrigen Eigenschaften li bis IV der relativen Häufigkeit geforde~t: II. Wegen Eigenschaft II muß gelten P(A) ~ (1.15b) 0. III. Aus Eigenschaft III folgt P(Q) = 1. (1.15c) IV. Aus Eigenschaft IV der relativen Häufigkeit folgt die Eigenschaft P (A 1 u A 2 ) = P(A 1 ) + P(A 2 ) und somit auch für jedes n E N Es ist (für Grenzwertuntersuchungen) erforderlich, die letzte Beziehung auf eine Summe von abzählbar vielen paarweise unvereinbaren Ereignissen zu verallgemeinern: (1.15d) Wegen n oo i= 1 i=l U A; = U A und P (Q 1 A 1) = 1 t 1 mit P(A 1) A1 = 0 für i > n + P(0) + P(0) + ... gilt (1.15d) auch für endliche Ereignissummen, wenn man noch beachtet, daß in der letzten Beziehung nur P(0) = 0 sein kann, da andernfalls P (0 A 1 1) keinenendlichen Wert haben könnte. Es muß an dieser Stelle erwähnt werden, daß die Gleichungen (1.15) die Grundlage für den axiomatischen Aufbau der Wahrscheinlichkeitsrechnung bildeten (Kolmogorow, 1933).