Statistisches Lernen Vektoren und Matrizen Rechenregeln Daten

Notation
Vektoren und Matrizen
Statistisches Lernen
Einheit 2: Deskription
Vektor a
Dr. rer. nat. Christine Pausch
Matrix A = (aij )
Institut für Medizinische Informatik, Statistik und Epidemiologie
Universität Leipzig
WS 2014/2015
2 / 25
1 / 25
Notation
Notation
Rechenregeln
Daten
n × p Datenmatrix X:

x11 x12 . . .
x21 x22 . . .

X= .
..
..
 ..
.
.
xn1 xn2 . . .
Addition/Subtraktion
Multiplikation

x1p
x2p 

.. 
. 
xnp
Outcome
y T = (y1 , y2 , . . . , yn )
Beobachtungsdaten: {(x1 , y1 ), (x2 , y2 ), . . . , (xn , yn )} mit xi Vektor der
Länge p
3 / 25
4 / 25
Notation
Deskription
Überwachtes Lernen
Nominale und ordinale Merkmale
Absolute und relative Häufigkeiten
y = f (X) + Tabellarische Darstellung: Häufigkeitstabellen
Grafische Darstellung: Balkendiagramme, Kreisdiagramme
5 / 25
6 / 25
Deskription
Deskription
Lagemaße
Streuungsmaße
(Empirische) Varianz und Standardabweichung
(Arithmetisches) Mittel
Interquartilsabstand
Median, Quantile
Spannweite
Modus/Modalwert
7 / 25
8 / 25
Deskription
Deskription
Darstellung metrischer Daten
Zusammenhang zweier nominaler Merkmale
Histogramm
Kontingenztafeln
Kontingenzkoeffizient, Odds Ratio
Boxplot
Balkendiagramm
Fehlerbalken
9 / 25
10 / 25
Deskription
Deskription
Zusammenhang zweier metrischer Merkmale
Korrelation
Korr= 1
Korr=0.8
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
Elytra + a.final
●
●
●
●●
●
●●
Korrelationskoeffizient
●
●
●●
●
●
●
●●
●
●
●
●
●
● ●
●
●●
●
●
●
●
●
●●
Korr=−0.6
Korr=0
Elytra
●
●
●
Elytra
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
d.final
●
●
11 / 25
●●
●
●
●
●
Streudiagramm
●
●
●
●●●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
12 / 25
Theoretische Verteilung
Theoretische Verteilung
Übersicht Empirie und Theorie
Empirische Daten
Merkmal X
Messwerte xi , i=1,. . . n
Relative Häufigkeit eines Ergebnisses
Empirische Verteilungsfunktion
Arithmetischer Mittelwert x̄
Empirische Varianz s 2
Empirische Standardabweichung s
Diskrete Zufallsvariable
Theoretische Größen
Zufallsvariable X
Realisierungen von X: xi , i=1,. . . n
Wahrscheinlichkeit eines Ergebnisses
(Wahrscheinlichkeitsfunkt./Dichte f(x))
Verteilungsfunktion F(x)
Erwartungswert E (X ) = µ
Varianz Var (X ) = σ 2p
Standardabweichung Var (X ) = σ
Wahrscheinlichkeitsverteilung:
P(X = xi ) = pi , i = 1, 2, . . .
f (x) =
0
sonst
P
mit 0 ≤ pi ≤ 1 und i≥1 pi = 1
Verteilungsfunktion:
F (x) = P(X ≤ x) =
X
f (xi )
i:xi <x
Erwartungswert E (X ) =
Varianz Var (X ) =
P
P
i≥1 (xi
i≥1 xi pi
− E (X ))2 pi
13 / 25
Theoretische Verteilung
14 / 25
Theoretische Verteilung
Beispiel fairer Würfel
Beispiele für spezielle diskrete Verteilungen
5/6
k = 1, 2, . . . n
sonst
mit E (X ) = np und Var (X ) = np(1 − p)
3/6
f(x)
F(x)
1/6
1
Binomialverteilung B(n, p)
n k
n−k
k p (1 − p)
f (k) =
0
1/6
Hypergeometrische Verteilung H(n, N, M)
0
Geometrische Verteilung G (p)
1
2
3
4
x
5
6
1
2
3
4
5
Poisson-Verteilung Po(λ)
6
x
15 / 25
16 / 25
Theoretische Verteilung
Theoretische Verteilung
Stetige Zufallsvariable
Beispiel Normalverteilung N(µ, σ)
Wahrscheinlichkeitsverteilung f (x):
b
Z
P(a ≤ X ≤ b) =
f (x)dx
Dichte:
a
R∞
mit f (x) ≥ 0 und
−∞ f (x)
1
1
f (x; µ, σ) = √ exp −
2
σ 2π
=1
x −µ
σ
2 !
Verteilungsfunktion:
Z
x
F (x) = P(X ≤ x) =
E (X ) = µ, Var (X ) = σ 2
f (y )dy
Standardisierung: Z =
−∞
X −µ
σ
P(a ≤ X ≤ b) = F (b) − F (a)
R∞
Erwartungswert E (X ) = −∞ xf (x)dx
Varianz Var (X ) =
R∞
−∞ (x
− E (X ))2 f (x)dx
17 / 25
18 / 25
Theoretische Verteilung
Theoretische Verteilung
Standardnormalverteilung (µ = 0, σ 2 = 1)
0
x
2
4
0.6
0.3
0.4
0.2
−4
−2
0
2
4
0.0
0.0
0.2
0.1
0.4
0.2
0.0
−2
0.8
0.4
1.0
0.8
0.6
0.3
0.2
0.1
0.0
−4
1.0
Verteilungsfunktion
0.4
Dichtefunktion
Standardnormalverteilung und empirische Verteilung
−4
x
−2
0
x
19 / 25
2
4
−4
−2
0
2
4
x
20 / 25
Theoretische Verteilung
Theoretische Verteilung
Q-Q-Plot
Weitere stetige Verteilungen
2
χ2 -Verteilung χ2 (n)
0
Exponentialverteilung Exp(λ)
1
Stetige Gleichverteilung U(a, b)
Student-t-Verteilung t(n)
−1
Sample Quantiles
Normal Q−Q Plot
Fisher-Verteilung F (m, n)
−2
−1
0
1
2
Theoretical Quantiles
21 / 25
Parameterschätzung
22 / 25
Parameterschätzung
Punktschätzung
Konfidenzintervall (KI)
Erwartungstreue
(1 − α)-Konfidenzintervall [a; b]: P(a ≤ θ ≤ b) = 1 − α, a ≤ b
Konsistenz
23 / 25
24 / 25
Parameterschätzung
Beispiele für Konfidenzintervalle
(1 − α)-KI für Erwartungswert einer Normalverteilung (σ unbekannt):
s
s
x̄ − t(1− α ;n−1) √ ; x̄ + t(1− α ;n−1) √
n
n
2
2
(1 − α)-KI für Erwartungswert einer Normalverteilung (σ bekannt):
σ
σ
x̄ − z(1− α ) √ ; x̄ + z(1− α ) √
n
n
2
2
(1 − α)-KI für Häufigkeit der Binomialverteilung:
"
#
r
r
p̂(1 − p̂)
p̂(1 − p̂)
p̂ − z(1− α )
; p̂ + z(1− α )
n
n
2
2
25 / 25