Katalog denkbarer Prüfungsfragen zu Stochastische Prozesse bei

Katalog denkbarer Prüfungsfragen zu
Stochastische Prozesse
bei Prof. Dr. Walter Kellermann
Florian Franzmann∗
Kompiliert am 19. April 2006 um 10:32 Uhr
Inhaltsverzeichnis
1 Zufallsvariablen
1
2 Zufallsprozesse
6
3 Schätztheorie
9
4 Lineare Optimalfilterung
11
1 Zufallsvariablen
Frage 1.1
Was ist ein Zufallsexperiment?
Antwort 1.1
Reales oder hypothetisches Ereignis mit nicht vorhersagbarem Ergebnis.
Frage 1.2
Was ist eine Zufallsvariable?
Antwort 1.2
Abbildung einer Ergebnismenge eines Zufallsexperiments auf (reelle) Zahlen.
∗
[email protected]
1
Frage 1.3
Wie kann man sie darstellen?
Antwort 1.3
über Wahrscheinlichkeitsverteilung, Wahrscheinlichkeitsdichte, Momente.
Frage 1.4
Was ist ein Bernoulli-Experiment?
Antwort 1.4
N-malige Ausführung desselben Zufallsexperiments mit statistisch unabhängigem Ergebnis.
Frage 1.5
Was ist die Wahrscheinlichkeitsverteilung?
Antwort 1.5
Eine Funktion, die die Wahrscheinlichkeit angibt, daß eine Zufallsvariable einen Wert
≤ x annimmt:
FX (x) = P (X(η) ≤ x)
(1)
Frage 1.6
Welche Eigenschaften hat die Wahrscheinlichkeitsverteilung?
Antwort 1.6
0 ≤ FX (x) ≤ 1
(2)
FX (−∞) = 0 ∧ FX (∞) = 1
(3)
d
FX (x) ≥ 0 ⇒ monoton steigend.
dx
(4)
Frage 1.7
Was ist die Wahrscheinlichkeitsdichte?
Antwort 1.7
Die Ableitung der Wahrscheinlichkeitsverteilung.
fX (x) =
FX (x) =
Z
d
FX (x)
dx
x
fX (ξ)dξ
−∞
Frage 1.8
Welche Eigenschaften hat die Wahrscheinlichkeitsdichte?
2
(5)
(6)
Antwort 1.8
Z
fX (x) ≥ 0
(7)
∞
fX (ξ)dξ = 1
(8)
−∞
Frage 1.9
Was ist ein Perzentil?
Antwort 1.9
Der kleinste Wert einer Zufallsvariable X, für den gilt
Z
u = P (X ≤ xu ) = FX (xu ) =
xu
(ξ)dξ
(9)
−∞
Frage 1.10
Was ist der Median?
Antwort 1.10
Das 0, 5-Perzentil.
Frage 1.11
Welche Wahrscheinlichkeitsdichtefunktion hat die Normalverteilung?
Antwort 1.11
N (mX , σX ) hat die Wahrscheinlichkeitsdichte
fX (x) = √
1
2
2
· e−(x−mX ) /(2σx )
2π · σX
(10)
Frage 1.12
Was bedeutet bedingte Wahrscheinlichkeit?
Antwort 1.12
Die Wahrscheinlichkeit, daß A eintritt unter der Bedingung, daß B bereits eingetreten
ist wird ausgedrückt durch
P (A ∩ B)
P (A|B) =
(11)
P (B)
Frage 1.13
Was ist ein Erwartungswert?
Antwort 1.13
Ein Beschreibungsmittel für Zufallsvariablen – eine gewichtete Mittelung über alle möglichen Ergebnisse:
Z
∞
E{g(X)} =
g(x)fX (x)dx
−∞
3
(12)
Frage 1.14
Was ist ein (zentrales) Moment?
Antwort 1.14
Ein (mittelwertbefreiter) Erwartungswert einer einzelnen Zufallsvariable X für eine spezielle Funktion g(X). Moment n-ter Ordnung:
Z ∞
(n)
n
mX = E{X } =
fX (x)dx n ∈ N0
(13)
−∞
Zentrales Moment n-ter Ordnung:
(n)
µX
= E{(X −
(1)
mX )n }
=
Z
∞
−∞
(1)
(x − mX )n fX (x)dx n ∈ N0
(14)
Kann auch über die Momenten-erzeugende bzw. charakteristische Funktion berechnet
werden.
Frage 1.15
Was ist die Momenten-erzeugende bzw. charakteristische Funktion?
Antwort 1.15
Die Laplace- bzw. Fouriertransformierte der Wahrscheinlichkeitsdichtefunktion:
ΦX (s) = E{esX } = L{fX (−x)}
ΦX (jω) = F {fX (−x)}
(n)
(n)
ΦX (0) = mX
(15)
(16)
(17)
Frage 1.16
Was ist die Varianz?
Antwort 1.16
Das Zentrale Moment zweiter Ordnung.
(2)
2
σX
= mX − m2X
(18)
Frage 1.17
Was ist die Kumulanten-erzeugende Funktion?
Antwort 1.17
ΨX (s) = ln ΦX (s)
Sie beschreibt eine Zufallsvariable bezüglich der Gauß-Verteilung.
Frage 1.18
Was ist ein Verbundmoment?
4
(19)
Antwort 1.18
Ein spezieller Erwartungswert, der mehrere Zufallsvariablen verknüpft.
Z ∞
(m,n)
m n
mXY = E{X Y } =
xm y n fXY (x, y)dxdy
(20)
−∞
(m,n)
µXY
= E{(X − mX )m (Y − mY )n }
Z ∞Z ∞
=
(X − mX )m (Y − mY )n fXY (x, y)dxdy
−∞
(21)
(22)
−∞
Frage 1.19
Was ist die Kovarianz?
Antwort 1.19
Das Zentrale Verbundmoment erster Ordnung. Sie nimmt den Wert 0 an, falls die Zufallsvariablen unkorreliert sind.
Frage 1.20
Was ist der Korrelationskoeffizient?
Antwort 1.20
Die auf das Produkt der Standardabweichungen normiert Kovarianz:
cXY =
CXY
σX σY
(23)
Frage 1.21
Wann heißen Zufallsvariablen orthogonal“?
”
Antwort 1.21
Wenn E{XY } = 0 ist.
Frage 1.22
Was besagt der zentrale Grenzwertsatz?
Antwort 1.22
Die Summe von N Zufallsvariablen nähert sich für N → ∞ einer Gauß-Verteilung an.
Frage 1.23
Welche praktische Bedeutung hat die
1. Gleichverteilung?
2. Binomialverteilung?
3. Geometrische Verteilung?
4. Poisson-Verteilung?
5
5. Gauß-Verteilung?
6. Cauchy-Verteilung?
7. Rayleigh-Verteilung?
8. Lognormal-Verteilung?
9. Laplace-Verteilung?
Antwort 1.23
1. Gleichverteilung: Wird z. B. im Zufallszahlengenerator verwendet, da sie einfach
auf andere Verteilungen abgebildet werden kann.
2. Binomialverteilung: Beschreibt ein Bernoulli-Experiment.
3. Geometrische Verteilung: Beschreibt die Anzahl der Fehlversuche bis zum Auftreten des gewünschten Ereignisses beim Bernoulli-Experiment.
4. Poisson-Verteilung Beschreibt Ereignisse, die zu unregelmäßigen Zeiten auftreten
(wichtig z. B. für die Warteschlangentheorie).
5. Gauß-Verteilung: Modelliert viele physikalische Größen, insbesondere die Addition
mehrerer Größen.
6. Cauchy-Verteilung: Beschreibt das Verhältnis Z zweier statistisch unabhängiger
normalverteilter Zufallsvariablen X und Y :
Z=
7. Rayleigh-Verteilung: Beschreibt Z =
√
X
Y
(24)
X 2 + Y 2.
8. Lognormal-Verteilung: Beschreibt X = eU für normalverteiltes U.
9. Laplace-Verteilung: Ist von Bedeutung für die Modellierung von Sprachsignalen.
2 Zufallsprozesse
Frage 2.1
Was ist ein Zufallsprozeß?
Antwort 2.1
Eine Funktion X(η, t), die jedem Ergebnis eines Zufallsexperiments eine Funktion xi (t)
zuordnet.
Frage 2.2
Wie kann man einen Zufallsprozeß beschreiben?
6
Antwort 2.2
Verteilung, Dichte, Erwartungswerte. Diese sind ähnlich definiert wie bei Zufallsvariablen, allerdings als zeitabhängige Funktionen. Beziehungen zwischen mehreren Zufallsvariablen können über Korrelations- und Kovarianzfunktionen beschrieben werden.
Frage 2.3
Wie sind
1. Autokorrelation
2. Autokovarianz
3. Kreuzkorrelation
4. Kreuzkovarianz
definiert?
Antwort 2.3
1. Autokorrelation:
RXX (t1 , t2 ) = E{X(t1 )X ∗ (t2 )}
(25)
CXX (t1 , t2 ) = RXX (t1 , t2 ) − mX (t1 )m∗X (t2 )
(26)
RXY (t1 , t2 ) = E{X(t1 )Y ∗ (t2 )}
(27)
CXY (t1 , t2 ) = RXY (t1 , t2 ) − mX (t1 )m∗Y (t2 )
(28)
2. Autokovarianz:
3. Kreuzkorrelation:
4. Kreuzkovarianz:
Frage 2.4
Wann sind Zufallsprozesse unkorreliert?
Antwort 2.4
Wenn CXY (t1 , t2 ) = 0 gilt.
Frage 2.5
Wann sind Zufallsprozesse orthogonal?
Antwort 2.5
Wenn RXY (t1 , t2 ) = 0 gilt.
Frage 2.6
Wann sind Zufallsprozesse weiß?
Antwort 2.6
Wenn CXX (t1 , t2 ) = 0 ∀t1 6= t2 gilt.
7
Frage 2.7
Wann sind Zufallsprozesse streng weiß?
Antwort 2.7
Wenn X(t1 ) und X(t2 ) statistisch unabhängig sind ∀t1 6= t2 .
Frage 2.8
Was bedeutet (strenge) Stationarität?
Antwort 2.8
Die statistischen Eigenschaften eines Zufallsprozesses sind verschiebungsinvariant.
Frage 2.9
Was bedeutet schwach stationär“?
”
Antwort 2.9
(2)
2
Die statistischen Eigenschaften erster und zweiter Ordnung (mX , mX , σX
, RXX , CXX )
sind verschiebungsinvariant.
Frage 2.10
Wann ist ein Zufallsprozeß zyklistationär?
Antwort 2.10
Wenn seine statistischen Eigenschaften invariant gegenüber einer Verschiebung um ein
ganzzahliges Vielfach einer Periode T sind.
Frage 2.11
Wann ist ein Zufallsprozeß schwach zyklostationär?
Antwort 2.11
Wenn seine statistischen Eigenschaften erster und zweiter Ordnung invariant gegenüber
einer Verschiebung um ein ganzzahliges Vielfach einer Periode T sind.
Frage 2.12
Wann ist ein Zufallsprozeß ergodisch?
Antwort 2.12
Wenn jeder zeitliche Mittelwert einer Musterfunktion identisch zum entsprechenden Essemblemittelwert ist.
Frage 2.13
Was ist das Leistungsdichtespektrum?
Antwort 2.13
Die F -Transformierte der (Auto-)Korrelationsfunktion.
8
3 Schätztheorie
Frage 3.1
Was ist ein Schätzer?
Antwort 3.1
Ein Schätzer Θ erzeugt Schätzwerte als Funktion einer Beobachtung. Der Entwurf eines
Schätzers erfolgt heuristisch oder auf Basis eines statistischen Modells.
Frage 3.2
Was bedeutet Prädiktion?
Antwort 3.2
Auf Basis eines gegebenen Wahrscheinlichkeitsmodells sollen Aussagen über (noch) nicht
beobachete oder nicht beobachtbare zufällige Ereignisse hergeleitet werden.
Frage 3.3
Welche Arten der Schätzung gibt es?
Antwort 3.3
Klassische Schätzung: Die Parameter des zu schätzenden statistischen Modells werden
als Konstanten angesehen. Die Schätzung erfolgt allein auf der Basis von tatsächlichen
Beobachtungen.
Bayes-Schätzung: Die Parameter werden als echte Zufallsvariablen betrachtet (⇒ Parameterschätzung).
Frage 3.4
Was ist Punktschätzung?
Antwort 3.4
Man bestimmt genau einen Wert, der die zu schätzende Größe möglichst gut repräsentiert.
Frage 3.5
Was ist Intervallschätzung?
Antwort 3.5
Es werden zwei Konstanten c1 , c2 bestimmt, so daß
P (c1 < X ≤ c2 ) = γ = 1 − δ
(29)
γ heißt Konfidenzmaß, δ Konfidenzniveau.
Frage 3.6
Nennen Sie Gütekriterien für einen Schätzer!
Antwort 3.6
1. Erwartungstreue: Ein Schätzer heißt erwartungstreu, wenn der Bias φbias = E{Φ̂ −
φ} = 0 ist.
9
2. Asymptotische Erwartungstreue:
lim φbias = 0
N →∞
3. Effizienz: Ein erwartungstreuer Schätzer heißt effizient, wenn die Spektralnorm der
Kovarianzmatrix der Schätzwerte CΦ̂Φ̂ kleiner als die jedes anderen Schätzers ist.
4. Konsistenz: Ein Schätzer heißt konsistent, wenn er in Wahrscheinlichkeit konvergiert.
lim P (|Φ̂ − φ| ≥ ε) = 0
N →∞
limN →∞ CΦ̂Φ̂ ist dafür hinreichend.
5. Bester Schätzer: Ein Schätzer heißt bester Schätzer“, wenn E{||Θ(X) − φ||} mi”
nimal ist.
6. Hinreichende Statistik: Ein Schätzer Θ(X) gilt als hinreichende Statistik für die
Schätzung eines Parametervektors Φ̂ = Θ(X) alle Informationen über φ enthält,
die in X enthalten sind. Dies ist dann der Fall, wenn fX|Φ̂ (x, φ, φ̂) nicht mehr von
φ abhängt.
Frage 3.7
Was versteht man unter einem Likelihood-Schätzer?
Antwort 3.7
Gegeben X und fX|Φ (u|v). Finde Parameter für fX|Φ (u, v), so daß fX|Φ (u|v) maximal
wird. Dies kann auch über einen Logarithmus der Wahrscheinlichkeitsdichte geschehen.
Frage 3.8
Was versteht man unter dem a-priori -Ergebnisraum?
Antwort 3.8
Die Menge aller möglichen Werte.
Frage 3.9
Was versteht man unter einem a-posteriori -Ergebnisraum?
Antwort 3.9
Menge an wahrscheinlichen Werten, die konsistent zur Beobachtung und dem a-priori Raum sind.
Frage 3.10
Was versteht man unter Bayes’scher Schätzung?
Antwort 3.10
Minimiere das Risiko R(Φ̂) = E{C(Φ̂, v)}, C Kostenfunktion.
10
Frage 3.11
Was versteht man unter einem MAP-Schätzer?
Antwort 3.11
Eine Bayes-Schätzung mit
R(φ̂|x) =
Z
V
[1 − δ(||φ̂ − v||)] · fΦ|X (v|x)dv
(30)
Frage 3.12
Was ist die Cramér-Rao-Schranke?
Antwort 3.12
Die untere Grenze für die Varianz eines geschätzten Parametervektors Φ̂. Wenn ein
Schätzer die Cramér-Rao-Schranke erreicht ist er notwendigerweise effizient.
4 Lineare Optimalfilterung
Frage 4.1
Was versteht man unter linearer Optimalfilterung?
Antwort 4.1
Finde lineares Optimalfilter h, so daß ein Zufallsprozeß D(t) bei am Eingang anliegendem
X(t) angenähert wird.
Frage 4.2
Was versteht man unter dem Orthogonalitätsprinzip?
Antwort 4.2
!
E{Emin (t)X(t − τ )} = 0 ∀τ für die h∆ (τ ) 6= 0
(31)
Frage 4.3
Wie lautet die Wiener-Hopf-Gleichung?
Antwort 4.3
RDX (τ ) −
Z
∞
−∞
!
hopt (σ)RXX (τ − σ)dσ = 0 ∀τ für die hopt (τ ) 6= 0
Frage 4.4
Wofür wird Wiener Filterung verwendet?
Antwort 4.4
• Glättung
• Filterung
• Prädiktion
11
(32)