Biosignal- und Bildverarbeitung

Biosignal- und Bildverarbeitung
WS 2000/01
2 VL (3 LP)
Heiko Neumann, Günther Palm und
Friedrich Sommer
(Abt. Neuroinformatik)
 H. Neumann, G. Palm, F. Sommer, Abteilung Neuroinformatik, Fakultät für Informatik, Universität Ulm, 2000/01
Zeit
MO
DI
MI
08 - 10
10 - 12
12 - 14
14 - 16
16 - 18
18 - 20
VL
MO 12 – 14 (121)
DO
FR
Teil I: Einführung und Motivation
Organisation, Inhalte
1. Übersicht
2. Wissenschaftliche Disziplinen und Methoden
3. Anwendungen
4. Literatur
Übersicht
Fragestellungen und Anwendungen
§
Signalverarbeitung, Merkmalextraktion, Klassifikation (KNN)
Signal-/Bilddaten
Verarbeitung
§
§
Klassifikation,
Beschreibung
System
Merkmale
Klassifikator
Restauration und Datenfilterung
•
Datenanalyse und Visualisierung (s.u.)
•
Datenanalyse bei funktioneller Bildgebung
Signalverarbeitung, Segmentierung, Visualisierung
•
multimediale (kontextsensitive) Darstellung
•
3D Modellierung und Navigation
Wie kommen Daten in den Rechner ?
§
Reales Objekt à Erfassung mittels geeigneter Sensoren
§
Filterung / Transformation zur Datenaufbereitung
Reales Objekt
Eigenschaften :
Signal- / DatenAufnahme
Anatomie
Morphologie
Funktion
:
Datenaufbereitung
Repräsentation
des Objektes als
Datenstruktur
Ventrikuläre Tachykartien
1.
1-dimensionale Signale, z.B. kardiologische Daten (EKG)
2.
2-dimensionale Daten, z.B. Bilddaten CT, MR, PET, Ultraschall
Beispiel:
§
CT / MR-Bildgebung
Messung bestimmter Eigenschaften
des Gewebes
•
•
Absorption
gewebespezifische Protonendichte
§
Rekonstruktion von Schichten aus
„Projektionen“
§
Aufnahme mehrerer Schichten
geringer Dicke
Wissenschaftliche Disziplinen und Methoden
Bildverstehen, Signal- und Bildverarbeitung
Bildverstehen ist ...
„... the construction of explicit, meaningful
descriptions of physical objects from images.“
(D.H. Ballard, C.M. Brown. Computer Vision. Prentice-Hall, 1982)
Objekte
Bilder der
Szene
System
Beschreibung
der Szene
Bildverarbeitung und Bildverstehen
Bildverstehen
à
(engl. „image understanding“,
„computer/computational vision“)
Es geht um das „Verstehen“ (Interpretieren) von Signaldaten / Bildern und nicht nur
um das Verarbeiten (à Signal- / Bildverarbeitung) !
Elemente und Funktion
Szene
Ausschnitt der 3-dimensionalen Welt
•
•
Daten/Bild
stationär
bewegt, d.h. zeitliche Folge (Raum-Zeit Kontinuum)
Abbildung der Szene (... Signal- / Bildentstehung)
•
Durchstrahlung à medizinische Bildgebung (CT, MR, ...)
•
•
Emission
...
Rekonstruktion und Deutung
rechnerinterne, symbolische Beschreibung
(mit möglicherweise mehreren Abstraktionsebenen)
Signal-/Bildverarbeitung (engl. „image/picture processing“)
a)
... im weiteren Sinn
§
§
b)
alle Rechnerverfahren / Methoden zur Manipulation von Signal/Bilddaten und
Extraktion von Beschreibungen
... im engeren Sinn
§
nur Verfahren, die Signale (Bilder) in Signale (Bilder) überführen !
§
Signal-zu-Signal Transformationen:
•
•
•
•
•
•
•
Filtern
Glätten
Beseitigung von Störungen (Restauration)
Geometrieentzerrung (Registration)
Kontrastverbesserung
Kodierung
...
Hierarchie von Verarbeitungsschritten der digitalen Bildverarbeitung
Aufnahme
Bildverarbeitung, Kalibrierung, etc.
Extraktion von Merkmalen
Regionenfindung, Klassifikation,
Objekterkennung
(B. Jähne. Digitale Bildverarbeitung, 4. Auflage. Springer, 1997)
Künstliche Neuronale Netze und Mustererkennung
Neuronale Netze
(engl. „neural networks“)
Mustererkennung (engl. „pattern recognition)
Künstliche Neuronale Netze –
Berechnungsaufgaben
1.
Klassifikation von Mustern
2.
„Clustering“ (Kategorisierung)
3.
Funktionsapproximation
4.
Prädiktion
5.
Optimierung
(hier: „Traveling salesman“)
(A.K. Jain, J. Mao. Artificial neural networks: A tutorial. Computer 29(3):31-44, 1996)
Künstliche Neuronale Netze –
Berechnungsaufgaben (Forts.)
6.
inhaltsbezogenes Restaurieren
(Assoziativspeicher)
7.
neuronale Regelung
({Eingabe u(t), Systemausgabe y(t)};
adaptive Regelung der Sollgrösse)
(A.K. Jain, J. Mao. Artificial neural networks: A tutorial. Computer 29(3):31-44, 1996)
Struktur eines Klassifikationssystems
Signal-/Bilddaten
überwacht
Lernen
unüberwacht
Verarbeitung
MerkmalExtraktion
M
M
Merkmalvektoren
...
Klassifikation
Das Mustererkennungsparadigma – Schema
(B. Neumann. Bildverstehen – Ein Überblick.
In G. Görz (Hrsg.). Einführung in die Künstliche Intelligenz, Kap. 6. Addison-Wesley, 1993)
Computer Graphik
idealisiert ...
(A. Pinz. Bildverstehen. Springer, 1994)
Bildverstehen
2D
Objekte
Bild
Prozess
Beschreibung
3D
Attribute
(Art, Form, Grösse,
Lage, Farbe, Textur)
Computer Graphik – Prozesse der Bilderzeugung
§ Objektmodelle (Lage, Form, Eigenschaften, ...)
§ Betrachterstandort
§ Lichtquelle(n)
:
è Eingabe in Visualisierungskette („Rendering-Pipeline“)
geg. Szenenbeschreibung:
Visualisierungskette – Komponenten
3DRepräsentation
Transformation
„Backface
Removal“
Ausgabe /
Display
„Hidden surface
removal“
BeleuchtungsModell
Projektion u.
Rasterung
Transformationsmodul: Wahl der Betrachterposition relativ zum Objekt; ggf. Entfernung
von Objektanteilen ausserhalb des Sichtvolumens
„Backface removal“: Entfernung der aus der Betrachterposition aus hinten liegenden
(und daher keinesfalls sichtbaren) Objektteile
„Hidden surface removal“: Bestimmung der sichtbaren Anteile der Oberfläche(n)
Lokales Beleuchtungsmodell
Projektion und Rasterung: Abbildung der sichtbaren schattierten Oberflächen auf die
Raster-Punkte des Ausgabemediums
Beispiele
§
„Wire frame“ Darstellung
§
Polygon-Darstellung und „Hidden surface removal“
§
Beleuchtungsmodell
(K.D. Tönnies, H.U. Lemke. 3D-Computergrafische Darstellungen. Oldenbourg., 1994)
Visualisierung von 3D Volumendaten
3D Volumenrepräsentation („voxel“)
Attribute
Attribute
„Oct-tree“ Repräsentation
(K. Kornbluh. Math and science software. IEEE Spectrum 36(1):88-91, 1999)
Anwendungen
Überblick
1.
2.
Signalanalyse und Klassifikation
§
EKG-Daten
§
...
Biomedizin und Biologie
§
Zellanalyse und –zählung (z.B. „screening“)
§
diagnostische Evaluation von Röntgen-/CT-/MR-/PET-Bildern
(z.B. Herzvolumen-/Arteriendurchmesser-Bestimmung, halbautomatische Tumordetektion, etc.)
3.
§
präzise Organkonturbestimmung, 3D Volumenbestimmung
§
Funktionsanalyse
§
...
Funktionelle Bildgebung und Auswertung
§
Physiologische Untersuchungen am Menschen,
z.B. bei der sensorischen Verarabeitung (PET, fMRI)
§
Multimodale Registrierung
§
...
Ausgewählte Beispiele
Spline-Filterung für Variabilitätsmessung (gemittelte QRS-Signale;
(P)QRS(T) – Zeitpunkte des Fensters eines Herzschlags)
Daten und Analyse
Oben:
Spline-Fitting (blau),
Originaldaten (rot)
Unten-links:
vergrösserter Ausschnitt
Unten-rechts:
Differenz: rot – blau
è Merkmal-Vektor (141 Dim.)
Daten für 250 Schläge
(H.A. Kestler, M. Haschka, A. Müller, F. Schwenker, G. Palm, H. Höher. Evolutionalry optimization of a
wavelet classifier for the categorization of beat-to-beat variability signals. Proc. CIC 2000, Boston)
QRS Variabilitätssignal
•
•
250 Messungen pro Datenpunkt des Differenz-Vektors
Berechnung der Standardabweichung (oder Varianz)
à ergibt Merkmal-Vektor für Klassifikation
Normal (links), Patient (rechts)
(H.A. Kestler, M. Haschka, A. Müller, F. Schwenker, G. Palm, H. Höher. Evolutionalry optimization of a
wavelet classifier for the categorization of beat-to-beat variability signals. Proc. CIC 2000, Boston)
Projektion der Merkmalvektoren auf 2D Ebene (Visualisierung)
QRS variability data
120D
ST-T variability data
400D
(H.A. Kestler, M. Haschka, A. Müller, F. Schwenker, G. Palm, H. Höher. Evolutionalry optimization of a
wavelet classifier for the categorization of beat-to-beat variability signals. Proc. CIC 2000, Boston)
Restauration und nichtlineare Signalglättung
§
Problem: gestörte Sensordaten
§
Methoden: Rauschbeseitigung
•
Filterung / Glättung
•
Restauration
•
(nichtlineare) Diffusion
Beispiel:
∂
∂t
∑ ∂ x (g (∇ u
3
u=
mit
k =1
σ
k
2
)∂ u )
xk
r
r
u ( x ,0) = I ( x ),
∂ nu
∂Ω
=
0
(J. Weickert et al. Parallel implementations of AOS schemes:
A fast way of nonlinear diffusion filtering. Proc. ICIP-97, 396-399, 1997)
Segmentierung und Klassifikation
Intensitätsbasierte Segmentierung
Links:
MR Bilder (Eingabe)
Rechts:
Cluster-Analyse
4 Klassen: graue Substanz, weisse Substanz, CSF, Tumor
(J.S. Duncan, N. Ayache. Medical image analysis: Progress over two decades and the challenges ahead.
IEEE Trans.on PAMI 22(1):85-106 , 2000)
Zellbilder – Klassifikation
Daten
Zellabstrich der Zervix
Links:
Abstrich ohne Malignitätsverdacht
Rechts:
Abstrich mit atypischen Zellen (Zellkern-zu-Plasma-Relation verändert)
(H.A. Kestler, M. Schulé, F. Schwenker, H. Neumann, T. Mattfeld.
Klassifikation zytologischer Abstriche der Zervix mit neuronalen Verfahren.
Biomedizinische Technik 44(1-2):17-24, 1999)
Schematische Darstellung der
Bildverarbeitung zur Merkmalextraktion
(H.A. Kestler, M. Schulé, F. Schwenker, H. Neumann, T. Mattfeld.
Klassifikation zytologischer Abstriche der Zervix mit neuronalen Verfahren.
Biomedizinische Technik 44(1-2):17-24, 1999)
Vorverarbeitung und Klassifikation
Ergebnisse der Klassifikation
(H.A. Kestler, M. Schulé, F. Schwenker, H. Neumann, T. Mattfeld.
Klassifikation zytologischer Abstriche der Zervix mit neuronalen Verfahren.
Biomedizinische Technik 44(1-2):17-24, 1999)
Multimodale Registrierung
Oberflächen-basierte Registrierung von Datensätzen
Links:
MR (Konturlinien) und PET (Punkte)
Rechts:
Interaktion zur Initialisierung und manueller Justierung
(J.S. Duncan, N. Ayache. Medical image analysis: Progress over two decades and the challenges ahead.
IEEE Trans.on PAMI 22(1):85-106 , 2000)
Registrierung
Intensitäts-basierte Registrierung zwischen MRI und SPECT
(a) Visualisierung wichtiger Informationen nach der Registrierung
(b) Hirnoberfläche: MRI (weiss) und SPECT (transparent-blau)
(c) 3 orthogonale Schnitte durch registrierte Volumen
(J.S. Duncan, N. Ayache. Medical image analysis: Progress over two decades and the challenges ahead.
IEEE Trans.on PAMI 22(1):85-106 , 2000)
Bild-basierte Neurochirurgie
Geometrische Registrierung und Visualisierung für die Neurochirurgie
Links:
Streifenmuster („structured light“) zur Registrierung der Patientengeometrie zur präoperativen Planung
Rechts: Virtuelle Überlagerung von Ventrikel und Tumor
(J.S. Duncan, N. Ayache. Medical image analysis: Progress over two decades and the challenges ahead.
IEEE Trans.on PAMI 22(1):85-106 , 2000)
Literatur
Signal- und Systemtheorie
H. Marko. Systemtheorie, 3. Aufl.
Springer, Heidelberg, 1995.
Digitale Bildverarbeitung
R.C. Gonzalez, R.E. Woods. Digital Image Processing.
Addison-Wesley, Reading, MA, 1993.
B. Jähne. Digitale Bildverarbeitung, 1. und 4. Auflage.
Springer, Heidelberg, 1991/1997.
T. Lehmann, W. Oberschelp, E. Pelikan, R. Repges. Bildverarbeitung für die Medizin.
Springer, Berlin, 1997.
Neuronale Netze und Klassifikation
S.K. Nahar, T. Poggio (eds.). Early visual learning.
Oxford Univ. Press, Oxford, 1996.
R. Rojas. Theorie der neuronalen Netze.
Springer, Heidelberg, 1993.
Computer Graphik
K.D. Tönnies, H.U. Lemke. 3D-Computergrafische Darstellungen.
Oldenbourg, München, 1994.