Woche 2 (201 kB, 25 Seiten) - Institut für Medizinische Informatik

Statistisches Lernen
Einheit 2: Deskription
Dr. rer. nat. Christine Pausch
Institut für Medizinische Informatik, Statistik und Epidemiologie
Universität Leipzig
WS 2014/2015
1 / 25
Notation
Vektoren und Matrizen
Vektor a
Matrix A = (aij )
2 / 25
Notation
Rechenregeln
Addition/Subtraktion
Multiplikation
3 / 25
Notation
Daten
n × p Datenmatrix X:

x11 x12 . . .
x21 x22 . . .

X= .
..
..
 ..
.
.
xn1 xn2 . . .

x1p
x2p 

.. 
. 
xnp
Outcome
y T = (y1 , y2 , . . . , yn )
Beobachtungsdaten: {(x1 , y1 ), (x2 , y2 ), . . . , (xn , yn )} mit xi Vektor der
Länge p
4 / 25
Notation
Überwachtes Lernen
y = f (X) + 5 / 25
Deskription
Nominale und ordinale Merkmale
Absolute und relative Häufigkeiten
Tabellarische Darstellung: Häufigkeitstabellen
Grafische Darstellung: Balkendiagramme, Kreisdiagramme
6 / 25
Deskription
Lagemaße
(Arithmetisches) Mittel
Median, Quantile
Modus/Modalwert
7 / 25
Deskription
Streuungsmaße
(Empirische) Varianz und Standardabweichung
Interquartilsabstand
Spannweite
8 / 25
Deskription
Darstellung metrischer Daten
Histogramm
Boxplot
Fehlerbalken
9 / 25
Deskription
Zusammenhang zweier nominaler Merkmale
Kontingenztafeln
Kontingenzkoeffizient, Odds Ratio
Balkendiagramm
10 / 25
Deskription
Zusammenhang zweier metrischer Merkmale
Korrelationskoeffizient
Streudiagramm
11 / 25
Deskription
Korrelation
Korr= 1
Korr=0.8
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
Elytra + a.final
●
●
●
●●
●
●●
●
●
●●
●
●
●
●
●
●
●
● ●
●
●
●●
●
●
●
●
●
●●
Korr=−0.6
Korr=0
Elytra
●
●
●
Elytra
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
d.final
●
●
●●
●
●
●
●
●
●
●
●
●●●
●
●
●
●●
● ●
●
●
●
●
●
●
12 / 25
Theoretische Verteilung
Übersicht Empirie und Theorie
Empirische Daten
Merkmal X
Messwerte xi , i=1,. . . n
Relative Häufigkeit eines Ergebnisses
Empirische Verteilungsfunktion
Arithmetischer Mittelwert x̄
Empirische Varianz s 2
Empirische Standardabweichung s
Theoretische Größen
Zufallsvariable X
Realisierungen von X: xi , i=1,. . . n
Wahrscheinlichkeit eines Ergebnisses
(Wahrscheinlichkeitsfunkt./Dichte f(x))
Verteilungsfunktion F(x)
Erwartungswert E (X ) = µ
Varianz Var (X ) = σ 2p
Standardabweichung Var (X ) = σ
13 / 25
Theoretische Verteilung
Diskrete Zufallsvariable
Wahrscheinlichkeitsverteilung:
P(X = xi ) = pi , i = 1, 2, . . .
f (x) =
0
sonst
P
mit 0 ≤ pi ≤ 1 und i≥1 pi = 1
Verteilungsfunktion:
F (x) = P(X ≤ x) =
X
f (xi )
i:xi <x
Erwartungswert E (X ) =
Varianz Var (X ) =
P
P
i≥1 (xi
i≥1 xi pi
− E (X ))2 pi
14 / 25
Theoretische Verteilung
5/6
3/6
0
1/6
f(x)
F(x)
1/6
1
Beispiel fairer Würfel
1
2
3
4
x
5
6
1
2
3
4
5
6
x
15 / 25
Theoretische Verteilung
Beispiele für spezielle diskrete Verteilungen
Binomialverteilung B(n, p)
n k
n−k
k p (1 − p)
f (k) =
0
k = 1, 2, . . . n
sonst
mit E (X ) = np und Var (X ) = np(1 − p)
Hypergeometrische Verteilung H(n, N, M)
Geometrische Verteilung G (p)
Poisson-Verteilung Po(λ)
16 / 25
Theoretische Verteilung
Stetige Zufallsvariable
Wahrscheinlichkeitsverteilung f (x):
Z
b
P(a ≤ X ≤ b) =
f (x)dx
a
mit f (x) ≥ 0 und
R∞
−∞ f (x)
=1
Verteilungsfunktion:
Z
x
F (x) = P(X ≤ x) =
f (y )dy
−∞
P(a ≤ X ≤ b) = F (b) − F (a)
R∞
Erwartungswert E (X ) = −∞ xf (x)dx
Varianz Var (X ) =
R∞
−∞ (x
− E (X ))2 f (x)dx
17 / 25
Theoretische Verteilung
Beispiel Normalverteilung N(µ, σ)
Dichte:
1
1
f (x; µ, σ) = √ exp −
2
σ 2π
x −µ
σ
2 !
E (X ) = µ, Var (X ) = σ 2
Standardisierung: Z =
X −µ
σ
18 / 25
Theoretische Verteilung
Standardnormalverteilung (µ = 0, σ 2 = 1)
Verteilungsfunktion
0.0
0.0
0.2
0.1
0.4
0.2
0.6
0.3
0.8
1.0
0.4
Dichtefunktion
−4
−2
0
x
2
4
−4
−2
0
2
4
x
19 / 25
Theoretische Verteilung
0.0
0.0
0.2
0.1
0.4
0.2
0.6
0.3
0.8
0.4
1.0
Standardnormalverteilung und empirische Verteilung
−4
−2
0
x
2
4
−4
−2
0
2
4
x
20 / 25
Theoretische Verteilung
Q-Q-Plot
1
0
−1
Sample Quantiles
2
Normal Q−Q Plot
−2
−1
0
1
2
Theoretical Quantiles
21 / 25
Theoretische Verteilung
Weitere stetige Verteilungen
Stetige Gleichverteilung U(a, b)
Exponentialverteilung Exp(λ)
χ2 -Verteilung χ2 (n)
Student-t-Verteilung t(n)
Fisher-Verteilung F (m, n)
22 / 25
Parameterschätzung
Punktschätzung
Erwartungstreue
Konsistenz
23 / 25
Parameterschätzung
Konfidenzintervall (KI)
(1 − α)-Konfidenzintervall [a; b]: P(a ≤ θ ≤ b) = 1 − α, a ≤ b
24 / 25
Parameterschätzung
Beispiele für Konfidenzintervalle
(1 − α)-KI für Erwartungswert einer Normalverteilung (σ unbekannt):
s
s
x̄ − t(1− α ;n−1) √ ; x̄ + t(1− α ;n−1) √
n
n
2
2
(1 − α)-KI für Erwartungswert einer Normalverteilung (σ bekannt):
σ
σ
x̄ − z(1− α ) √ ; x̄ + z(1− α ) √
n
n
2
2
(1 − α)-KI für Häufigkeit der Binomialverteilung:
"
#
r
r
p̂(1 − p̂)
p̂(1 − p̂)
p̂ − z(1− α )
; p̂ + z(1− α )
n
n
2
2
25 / 25