Skript - Photogrammetrie und Fernerkundung

Technische Universität München
Ausgewählte Kapitel der Photogrammetrie (PAK)
2013 SS
Techniken der Endoskopie
Studentische Ausarbeitung
von
Alexander Hanel
Photogrammetrie & Fernerkundung
Prof. Dr.-Ing. U. Stilla
Inhalt

Techniken der Endoskopie
1 Warum noch eine zusätzliche Technik?
2 Grundlagen
G dl
d
der E
Endoskopie
d k i
3 Verarbeitung endoskopischer Aufnahmen
4 Anwendungsbeispiele
5 Zusammenfassung
HANEL (2013-10-05) PAK: Endoskopie
2
1 Warum noch eine zusätzliche Technik? (1)

Typische Erschwernisse beim Vermessen…
Innengerüst im Hochbau
…Sichtbehinderungen
HANEL (2013-10-05) PAK: Endoskopie
3
1 Warum noch eine zusätzliche Technik? (2)

Nicht ganz alltägliche Erschwernisse beim Vermessen…
… Enge, oft längliche Hohlräume (z.B. im Kfz-Zylinder)
… Keine natürliche Beleuchtung
… Hohe Anforderungen an Genauigkeit
 Visuelle Inspektion und Vermessung schwer zugänglicher Objekte

Gleichzeitig Vermeidung von Schäden und
Veränderungen am untersuchten Objekt
oder Körperteil
 Keine Röntgenstrahlung
 Keine Magnetresonanz
 Kein Freilegen des Objektes
Zylinderwand, [Wikipedia, 2013]
HANEL (2013-10-05) PAK: Endoskopie
4
1 Warum noch eine zusätzliche Technik? (3)
 Einsatz der Endoskopie (gr. für innen beobachten)
Endoskop während Prüfung
eines Kfz-Zylinders
[Wikipedia, 2013]

ABER: Besonderheiten bei Bildaufnahme und -auswertung zu beachten
Unkorrigierte Rohaufnahme
eines Endoskops
[Steiner, 2013]
HANEL (2013-10-05) PAK: Endoskopie
5
HANEL (2013-10-05) PAK: Endoskopie
6
Inhalt

2 Grundlagen der Endoskopie
2.1
2.2
23
2.3
2.4
2.5
Was sind Endoskope?
Lichtquelle und Lichtleiter
Bildleiter
Bildl i
Zusammensetzung der Hauptbestandteile
Abgrenzung der Endoskop-Varianten
2.1 Was sind Endoskope?


Def.: Optische Instrumente zur visuellen Inspektion eines Innenraums
Passende Form: rund, dünn, länglich

Zwei Arbeitswege:  Licht hinein
 Bild heraus

Variante: Spitze kann abgewinkelt werden  größerer Sichtbereich
Distales
Ende
Szene (Optik)
Kamera
TV- mit CCDAdapter Sensor
Proximales
Ende
(Okular)
Flexibler Bereich
Bildleiter
Lichtleiter
Lichtquelle
Kunststoffmantel
Schematischer Aufbau eines flexiblen Endoskops [Winter, 2008]
HANEL (2013-10-05) PAK: Endoskopie
7
2.2 Lichtquelle und Lichtleiter (1)

Lichtquelle
 Schwierigkeit: Schwache Beleuchtung, geringe Eindringtiefe des Lichts
 Platzierung leistungsstarker Lichtquelle außerhalb des Endoskops
 Anschluss an Lichtleiter
 Ausführung
 Xenon: sehr hell; aber starke Emission von IR-Strahlung
 Alternative für IR-arme Anforderungen: Blitzlichtgeneratoren
Distales
Ende
Szene (Optik)
Proximales
Ende
(Okular)
Flexibler Bereich
Bildleiter
Lichtleiter
Lichtquelle
Kunststoffmantel
Schematischer Aufbau eines flexiblen Endoskops [Winter, 2008]
HANEL (2013-10-05) PAK: Endoskopie
8
2.2 Lichtquelle und Lichtleiter (2)

Lichtleiter
 Übertragung des Lichts zum distalen Ende
 Kegelförmiger Austritt an Instrumentenspitze
 Häufig mehrere Lichtleiter für gleichmäßigere Ausleuchtung
 Ausführung
 Glasfaser
 Linsen
 Flüssigkeit
Distales
Ende
Szene (Optik)
Proximales
Ende
(Okular)
Flexibler Bereich
Bildleiter
Lichtleiter
Lichtquelle
Kunststoffmantel
Schematischer Aufbau eines flexiblen Endoskops [Winter, 2008]
9
HANEL (2013-10-05) PAK: Endoskopie
2.3 Bildleiter (1)

Bildleiter: Rückübertragung von Abbildungen der untersuchten Objekte
zum proximalen Ende

Linsensystem
 Anordnung
A d
mehrerer
h
Linsen
Li
hintereinander
hi
i
d im
i E
Endoskopkörper
d k kö
 Ausführung
 Stablinsen
 Dünne Linsen
Distales
Ende
Szene (Optik)
Proximales
Ende
(Okular)
Starres Linsensystem
Lichtleiter
Lichtquelle
Schematischer Aufbau eines starren Endoskops
Kunststoffmantel
[Winter, 2008]
HANEL (2013-10-05) PAK: Endoskopie
10
2.3 Bildleiter (2)

Glasfaser
 Kohärentes Faserbündel (im Gegensatz zum Lichtleiter!)
 Kamera bzw. CCD-Chip am proximalen Ende der Fasern auf Okular
aufgesetzt
 Isolation
I l i d
der einzelnen
i
l
F
Fasern gegeneinander
i
d zur V
Vermeidung
id
von
Lichtübertritt
 Auflösung abhängig von Faserzahl
 Ausführung
 Glas
 Quarz
Geordnetes Faserbündel
[Vettori, 1998]
HANEL (2013-10-05) PAK: Endoskopie
11
2.3 Bildleiter (3)

Elektronische Leitungen
 Elektronische Leitungen zur Signalübertragung an proximales Ende
 CCD-Chip an Instrumentenspitze (distales Ende)
 Auflösung abhängig von Pixelzahl
Videoendoskop [Wikipedia, 2013]
HANEL (2013-10-05) PAK: Endoskopie
12
2.4 Zusammensetzung der Hauptbestandteile (1)
Bildleiter
Szene
Distales
E d
Ende
(Optik)
Flexibler Bereich
Proximales
Ende
(Okular)
Kunststoffmantel
Lichtleiter
Lichtquelle
Schematischer Aufbau eines flexiblen Endoskops [Winter, 2008]
HANEL (2013-10-05) PAK: Endoskopie
13
2.4 Zusammensetzung der Hauptbestandteile (2)
Szene
Distales
E d
Ende
(Optik)
Proximales
Ende
Flexibler Bereich
(Okular)
Bildleiter
Lichtleiter
Lichtquelle
Kunststoffmantel
Schematischer Aufbau eines flexiblen Endoskops [Winter, 2008]
HANEL (2013-10-05) PAK: Endoskopie
14
2.5 Abgrenzung der EndoskopEndoskop-Varianten (1)

Linsenoptische Endoskope
 System aus mehreren hintereinander positionierten Linsen
 Nicht biegbar

Glasfaserendoskope
 Glasfaser zur Licht- und Bildübertragung
 Wechselbare Kamera am proximalen Ende
 Flexibel

Videoendoskope
 Elektronische Leitungen zur Bildübertragung
 Fest verbaute CCD-Kamera am distalen Ende
 Flexibel
HANEL (2013-10-05) PAK: Endoskopie
15
2.5 Abgrenzung der EndoskopEndoskop-Varianten (2)

Kapselendoskope
 Bildaufnahme und Datenübertragung durch Kapsel
 Gleiche Bestandteile wie Endoskop, zusätzliche Batterie
 Medizin: Kapsel wird geschluckt und durchwandert Körper

Virtuelle Endoskope
 Generierung von 3D-Daten durch moderne Scanner (z.B. CT, MRT)
 Rekonstruktion von Organsystemen
 Virtuelle Navigation durch künstlichen
Körper
Virtuell-endoskopischer Blick in
menschliches Gehirn
[Bartz, 2003]
HANEL (2013-10-05) PAK: Endoskopie
16
2.5 Abgrenzung der EndoskopEndoskop-Varianten – Vor
Vor--/Nachteile

Linsenoptische Endoskope
 Größere Bauform der Kamera möglich  sehr hohe Auflösung im
Vergleich zu anderen Endoskop-Varianten
 Hoher Fertigungsaufwand

Glasfaserendoskope
 Gute Farbwiedergabe durch großen CCD-Chip  Vermeidung von
Artefakten wie bei Videoendoskopen
 Geringerer Durchmesser als bei elektronischer Bildübertragung
 Relativ geringe Faserzahl  niedrige Auflösung

Videoendoskope
Vid
d k
 Hohe Bruchsicherheit
 Größerer Ausschnitt der abgebildeten Szene als bei
Glasfaserendoskopen
 Notwendigkeit der elektrischen Isolation der einzelnen Leiter
HANEL (2013-10-05) PAK: Endoskopie
17
HANEL (2013-10-05) PAK: Endoskopie
18
Inhalt

3 Verarbeitung endoskopischer Aufnahmen
3.1 Charakteristika faseroptischer Bilder
3.2 Kalibrierung
3 3 Bild
3.3
Bildrestaurierung
i
3.1 Charakteristika faseroptischer Bilder - Aufbau einer Faser

Längsschnitt durch eine Glasfaser
Lichtstrahl
Schematischer Aufbau
einer Einzelfaser
[Janßen, 2000]
Medium am untersuchten
Objekt z.B. Luft
Faserkern mit Brechungsindex n k
Mantel
mit



Eintrittswinkel in die Faser  (Austrittswinkel analog)
Winkel der Reflexion am Kern-Mantel-Übergang 
Kombination vieler Fasern  Licht- bzw. Bildleiter (vgl. Abschnitt 2)
HANEL (2013-10-05) PAK: Endoskopie
19
3.1 Charakteristika faseroptischer Bilder - Totalreflexion (1)

Prinzip der (inneren) Totalreflexion
 Reflexion am Kern-Mantel-Übergang  Licht bewegt sich im Faserkern
 Bedingung: Einhalten des Grenzwinkels der Reflexion am Kern-MantelÜbergang  G mit
 G  arcsin(n M n K )

Reflexion hängt ab vom Material von Kern und Mantel (über
Brechungsindizes)

Zusammenhang zwischen Eintrittswinkel und Reflexionswinkel:
 G  arcsin(n K n0 cos( G ))  arcsin( n K2  n M2 n0 )

Eintrittswinkel hängt zusätzlich ab vom Brechungsindex des
Mediums am untersuchten Objekt
HANEL (2013-10-05) PAK: Endoskopie
20
3.1 Charakteristika faseroptischer Bilder - Totalreflexion (2)

Schlussfolgerung
 Eintrittswinkel  muss kleiner als Grenzwert  G sein mit
 zu kleines  führt zu Lichtaustritt aus Faser  Faser nicht beliebig
stark biegbar (Knick!)
4
 etwa 10 Totalreflexionen
T l fl i
pro M
Meter F
Faser
 durch Reflexion vergrößerte Weglänge des Lichts gegenüber
geometrischer Länge der Faser
 nur etwa 30-50% der Transmissivität von Linsensystemen aufgrund
von Verlusten bei der Reflexion
HANEL (2013-10-05) PAK: Endoskopie
21
3.1 Charakteristika faseroptischer Bilder - Einflussgrößen

Spektrale Transmission
 Definition: transmittierte pro einfallende Strahlung T ( )   t 
 abhängig von Absorption im Kernglas und Totalreflexion, Verlust beim
Ein- und Auskoppeln des Lichts in die Faser

Durchmesser:
 Ummantelung und Kernradius abhängig von Wellenlänge des
übertragenen Lichts ( Totalreflexion)
 minimal 2 μm, für sichtbares Licht 6-15 μm

Numerische Apertur NA
 Kenngröße für die Menge des transportierten Licht
 abhängig von den Brechungsindizes n M und n K bzw. n0 und  mit
NA  n0  sin( )  n K2  n M2
HANEL (2013-10-05) PAK: Endoskopie
22
3.1 Charakteristika faseroptischer Bilder - Effekte (1)

Wabenmuster
 Ummantelung der Einzelfaser dunkler als Kernmaterial
 Engmaschigeres Raster des CCD-Chips
 Überabtastung im Vergleich zu Fasern
 Wabenmuster im Bild sichtbar
 Wabenform: hexagonal bei Glas-, unregelmäßig bei Quarzfasern
Wabeneffekt bei einer
Glasfaseraufnahme
[Winter, 2008]

Geometrische Abbildungseigenschaften:
Weitwinklige Optik mit Bildfeld 60-100°
 Verzeichnung und Bildfeldwölbung
HANEL (2013-10-05) PAK: Endoskopie
23
3.1 Charakteristika faseroptischer Bilder - Effekte (2)

Geometrische Abbildungseigenschaften (cont.)



Verzeichnung tonnenförmige Verzerrung
der abgebildeten Objekte
Abbild
Abbildung
rechts:
h d
deutlich
li h zu erkennen:
k
Geraden werden gekrümmt abgebildet
Behebung durch Algorithmus möglich
Verzeichnung
[Winter, 2008]




Bildfeldwölbung: Bild wird auf gewölbter
Fläche abgebildet  Unschärfe in Teilen
des Bildes (Bildmitte oder Bildrand)
Abb.: „2“ (Mitte) scharf, „4“ (Rand) unscharf
Tritt sowohl distal als auch proximal auf
Behebung durch spezielle Linsenanordnung oder gewölbten Sensor
Bildfeldwölbung
[Wikipedia-2, 2013]
HANEL (2013-10-05) PAK: Endoskopie
24
3.1 Charakteristika faseroptischer Bilder - Effekte (3)

Farbartefakte bei Ein-Chip-Kameras
 Grundproblem bei Bayer-Sensor: ungleiche Abbildung eines
Bildbereiches auf die drei Grundfarben Rot, Grün und Blau
 Farbartefakte

Besonders starke Ausprägung bei Faserbündel:
 Abbildung einer Faser auf etwa 5x5 Sensorelemente (weißer Kreis in Abb. rechts)
 Ungleichmäßige Ausleuchtung innerhalb
einer Faser (grün deutlich häufiger als rot, blau)
 ungleich stimulierte Sensorelemente
 verfälschte Farbinformation für die Faser
Farbartefakte einer
Glasfaseraufnahme
Farbfiltermosaik eines
Bayer-Sensor
nach [Winter, 2008]
[Winter, 2008]
HANEL (2013-10-05) PAK: Endoskopie
25
3.2 Kalibrierung

Notwendigkeit:
 Starke Erhöhung der Kalibrierfehler im Vergleich zu herkömmlicher
Bildaufnahme durch Überabtastung der Fasern
 Starke Verzerrung durch geringe Brennweite der verwendeten Optiken

Ziel:
 Schätzen von Kameraparametern zum Beschreiben der
Abbildungseigenschaften bei der Bildaufnahme
 Kameraparameter beschreiben Abweichung des physikalischen
Modells einer realen Kamera vom idealen Modell einer Lochkamera





Verzeichnungsparameter
Innere Orientierung
g
Im weiteren Sinne auch: äußere Orientierung
Parameter werden über Aufnahmedauer als konstant angesehen
Entzerrung der Bilder anhand der berechneten Parameter
HANEL (2013-10-05) PAK: Endoskopie
26
3.2 Kalibrierung - Vorverarbeitung: Merkmalsextraktion (1)





Ziel: Finden von Merkmalen zum Ableiten der Kameraparameter
Ansatz: Messen der Bildkoordinaten von Merkmalspunkten in mehreren
Bildern
Bilder weisen bekannte, vordefinierte Merkmale auf
A
Arten
von Merkmalen:
M k l
 Markante Einzelpunkte
 Kreuzungspunkte von Gittern
 Ecken von Schachbrettmustern
Beispielansatz: Modellbasiertes Kleinste-Quadrate-Matching
 Anpassen von 2D-Modellfunktion an Bilddaten
 Modell beschreibt die räumliche Grauwertverteilung eines Merkmals
 Mathematische Beschreibung durch Parameter
 Schätzen der Parameter
 Subpixelgenaue Position des Merkmals
HANEL (2013-10-05) PAK: Endoskopie
27
3.2 Kalibrierung - Vorverarbeitung: Merkmalsextraktion (2)
Intensitätsverteilung der Modellfunktion
eines Gitter-Kreuzpunktes
[Klar, 2005]
Endoskopisches Kalibrierbild
[Klar, 2005]

Kalibrierbild:
 Kästchen symbolisieren subpixelgenaue Position der Kreuzungspunkte
 Unterschiedliche Größe und Form der
Kästchen aufgrund starkerperspektivischer Verzerrungen
HANEL (2013-10-05) PAK: Endoskopie
28
3.2 Kalibrierung - praxisorientierter Ansatz

Elliptisches Verzeichnungsmodell (nach Andersson Technologies)
 Annahmen
 vereinfachte innere Orientierung: Bildmittelpunkt = Bildhauptpunkt
 nur radiale Fehler, tangentiale vernachlässigt

Modell
M
d ll zwischen
i h verzerrten
t ( u~, v~ ) und
d unverzerrten
t ( u, v ) K
Koordinaten
di t
~
u 
u 
 ~   1    ( 2 u 2  v 2 )  
v
 
v


mit



 Parameter zur Beschreibung des Verhältnisses der Sensorabmesssungen
 Verzeichnungsparameter
Iterative Berechnung durch Minimierung des mittleren quadratischen
Fehlers
2
 ui 
 u~ (u, v)   u~i 
   arg min  ~
   ~ 
 Schätzung für  , 
( u ,v )
 v (u, v)   vi 
 vi 
HANEL (2013-10-05) PAK: Endoskopie
29
3.2 Kalibrierung - wissenschaftlich orientierter Ansatz (1)

Lineares Lochkameramodell
Xw 
 xp 


 
 Yw 
 y p   K [ R | T] 
Z 
w 
 w
p


 
 1 
homogene Koordinaten
„Vertikaler
Vertikaler Strich“:
Strich : R und T werden
„nebeneinander gestellt“ und zu
einer Matrix kombiniert
mit





Kalibriermatrix K
Räumliche Rotationsmatrix R
T
Translationsvektor
l i
k
T
Homogene Bild- (links in Gleichung) und Weltkoordinaten (rechts)
Berechnung über Kleinste-Quadrate-Ausgleichung unter Minimierung der
Diskrepanz zwischen Kameramodell und den Beobachtungen
HANEL (2013-10-05) PAK: Endoskopie
30
3.2 Kalibrierung - wissenschaftlich orientierter Ansatz (2)

Geschätzte Parameter (im linearen Fall)


Kalibriermatrix K   0
0

mit




s

0
cx 

cy 
1 
pro Kamera
Brennweiten in x- und y-Richtung   f p x bzw.   f p y
Pixelgröße in x- und y-Richtung p x bzw. p y
Hauptpunktkoordinaten c x , c y
Verzerrung s (Abweichung der Achsen von der Orthogonalität)

Translationsvektor T  Tx
Ty
Tz 
T
Räumliche Rotationsmatrix R ( ,  ,  ) mit 3 Drehwinkeln
pro Bild
pro Kamera
HANEL (2013-10-05) PAK: Endoskopie
31
3.2 Kalibrierung - wissenschaftlich orientierter Ansatz (3)

Nichtlineare Verzeichnung beim Lochkameramodell
 Führen zu Veränderung der Bildkoordinaten gegenüber linearem
Modell
 Maßstabsänderung

Radiale Verzeichnung
 Bildmaßstab nimmt mit zunehmendem radialem Abstand von
Verzerrungszentrum zu
 charakteristische Eigenschaft aller Linsen mit begrenzter Blende
 bis zu 30 Pixel am Bildrand

Fehlzentrierende (‚decentering‘) Verzeichnung
 tangentiale und asymmetrische radiale Komponente
 Resultiert aus Dezentrierung der Linse: vertikaler Versatz oder
Verdrehung eines Linsenelements aus der idealen Ausrichtung (kollinear
zur optischen Achse)
 bis zu 3 Pixel am Bildrand
HANEL (2013-10-05) PAK: Endoskopie
32
3.2 Kalibrierung - wissenschaftlich orientierter Ansatz (4)

Nichtlineare Verzeichnung beim Lochkameramodell (cont.)
 Zusätzliche Korrekturparameter („undistortion model“) θ u zur
Berechnung unverzeichneter Bildkoordinaten aus den gemessenen,
verzeichneten Bildkoordinaten
 Radiale Verzeichnungsparameter k1  k 3
 Parameter zur Behebung der Fehlzentrierung t1  t 3
 θ u  k1  k 3 t1  t 3 

Zuschläge zu den verzeichneten Bildkoordinaten
 Berechnung durch Polynomfunktion aus Korrekturparametern
 unverzeichnete Bildkoordinaten

Schätzung der Korrekturparameter während Kalibrierprozess zugleich
mit Parametern des linearen Modells
HANEL (2013-10-05) PAK: Endoskopie
33
3.3 Bildrestaurierung (1)


Ziel:
 Reduktion der Wabenstruktur
 Erhalt der Bildinformation
 hochfrequenter Signalanteil
 niederfrequenter Signalanteil
Zwei Verfahren:
 spektrale Filterung:
Maskenerstellung und –anwendung im Frequenzraum unter
Berücksichtigung des Abtasttheorems
 Trennung von Bild- und Wabenstruktur

Interpolation:
Bestimmung der Position von Fasern in den Bildern durch Vergleich
mit Referenzbild mit homogenem weißen Hintergrund
 Verwenden ihrer Intensitäten als Stützstellen
 Rekonstruktion der Bildinformation durch baryzentrische
Interpolation im Ortsraum
HANEL (2013-10-05) PAK: Endoskopie
34
3.3 Bildrestaurierung (2)

Rahmenbedingungen
 Waben wirken sich primär auf Helligkeit aus Verwendung von
Grauwertbildern
 Wabenstruktur tritt periodisch auf  Verarbeitung im Frequenzraum

Vor- und Nachteile
Spektrale Filterung
Interpolation
glattere Restaurierung
bessere Korrektur von Farbstützstellen
keine Artefakte an Kanten
Steigerung der Auflösung durch lokale
Ergänzung von Bildinhalten
Frequenzraum
gut geeignet zur räumlichen
Rekonstruktion
Kernelement der Bildrestaurierung mit Grauwertbild
Ortsraum
gut geeignet zur Texturierung von
Rekonstruktionen
Ergänzende Möglichkeit mit Farbbildern
HANEL (2013-10-05) PAK: Endoskopie
35
3.3 Bildrestaurierung – Spektrale Filterung (1)

Anforderungen
 vollständige Reduktion der Waben  starke Filterung, niedrige
Grundfrequenz  hochfrequente Bildanteile werden eliminiert
 keine unnötige Abschwächung wichtiger Details  nur minimale
Glättung hohe Grundfrequenz
Glättung,
 Einhaltung des Abtasttheorems

Beispielaufnahme
Zugehöriges
Frequenzspektrum
[Winter, 2008]
Intensitätsbild einer Kalibriertafel,
fiberoptisch aufgenommen
[Winter, 2008]
HANEL (2013-10-05) PAK: Endoskopie
36
3.3 Bildrestaurierung – Spektrale Filterung (2)

Charakteristika einer faseroptischen Aufnahme im Frequenzraum
Achsen stellen Ortsfrequenzen dar
Waben = kleinste Informationseinheit eines
faseroptischen Bildes
Signalanteil mit der höchsten Frequenz
Eigenschaften:
 Einheitliche Größe im gesamten
Grauwertbild
 Periodisches Auftreten
Frequenzspektrum einer faseroptischen Aufnahme
Im Vergleich zur Wabenstruktur
niederfrequentere Bildinformation
[Winter, 2008]
Frequenzen höher als Grundfrequenz der
Waben sind spektrale Wiederholungen
 enthalten keine Informationen
HANEL (2013-10-05) PAK: Endoskopie
37
3.3 Bildrestaurierung – Spektrale Filterung (3)

Transformation und Anwendung des Abtasttheorems zur Maskierung

Zwei Abtastungen bei Glasfaseraufnahme
 Unterabtastung:
Ü
Übertragene
Bildinformation einer Szene
S
wird durch Bildleiter in der Anzahl
und dem Abstand der Fasern begrenzt
 Überabtastung:
Entstehung durch höhere Auflösung des CCD-Sensors gegenüber des
Bildleiters

Symmetrische Anordnung der Fasern mit Abstand d f zueinander
 Frequenzanteil um f s  1 d f im Fourier-Spektrum
HANEL (2013-10-05) PAK: Endoskopie
38
3.3 Bildrestaurierung – Spektrale Filterung (4)

Transformation und Anwendung des Abtasttheorems zur Maskierung (cont.)

Nyquist-Theorem:
Maximale Frequenz f 0 des Spektrums darf halbe Abtastfrequenz durch
d F
das
Faserraster f s nicht
i h üb
überschreiten
h i
!
 f0  fs 2
 Ideale Separierbarkeit der Spektralbereiche von Bild- und
Wabenfunktion
dazu nötig: Filtermaske: 1D: Rechteckfunktion mit Grenzfrequenz f 0
2D: Erweiterung zum Kreis
 andernfalls Verluste
Rechteckfunktion
HANEL (2013-10-05) PAK: Endoskopie
39
3.3 Bildrestaurierung – Spektrale Filterung (5)

Vorgehensweise
 Automatische Generierung der Filtermaske M aus spektraler
Darstellung Iˆref eines Referenzbildes
 Transformation: FFT in 2D = schnelle Fourier-Transformation
 Elementweise
El
i M
Multiplikation
l i lik i des
d wabenüberlagertes
b üb l
Eingangsbildes
Ei
bild Iˆ
mit M im Frequenzraum

Formale Darstellung:
Elementweise Multiplikation
I ( x, y )  FFT 1{  FFT {Iˆ( x, y )}  M (i, j )}
0  ( x, i )  W , 0  ( y , j )  H
1%-5%
1%
5% der Energie gehen
mit
it
durch Maskierung verloren
I = wabenfreies Bild
 = Parameter zur EnergieFFT {Iˆ}
2
erhaltung im Spektrum  
ˆ
FFT {I }  M (i, j )
2
HANEL (2013-10-05) PAK: Endoskopie
40
3.3 Bildrestaurierung – Spektrale Filterung (6)

Maskengenerierung
 Grundprinzip: Ableiten charakteristischer Parameter aus Spektrum

Ziel: Unterdrücken von unerwünschten Frequenzbereichen im
S k
Spektrum
von Endoskopiebildern
E d k i bild
mit
i W
Wabenstruktur
b
k

Formale Darstellung:
M (i, j )  M {FFT {Iˆref ( x, y )}}
0  i, x  W ,0  j , y  H
mit
Iˆref = Referenzbild mit Wabenstruktur (keine weiteren Anforderungen)

Größe der Maske = Größe des Referenzbildes
HANEL (2013-10-05) PAK: Endoskopie
41
3.3 Bildrestaurierung – Spektrale Filterung (7)

Maskengenerierung für Glasfaserbündel
 Charakteristika: 6 Frequenzschwerpunkte, resultierend aus homogener
hexagonaler Anordnung der Waben

Parameter:
 Größe der Maske ( H , W )
 Hauptfrequenz f s der Wabenstruktur
 Grenzfrequenz der Bildinformation f 0  f s 2
 Winkel  s zur Beschreibung der Rotationsvarianz der Waben
Grenzfrequenz über Wabenfrequenz bestimmt, da der niederfrequentere Bildanteil
keine klaren Grenzen hat

Frequenzspektrum mit
P
Parametern
t
[Winter, 2008]
Form: sternförmig
 Ausnutzen der 6 Frequenzschwerpunkte der Waben
 entsteht durch 2D-Erweiterung der Rechteckfunktion mit
variabler Grenzfrequenz f 0  l
HANEL (2013-10-05) PAK: Endoskopie
42
3.3 Bildrestaurierung – Spektrale Filterung (8)

Maskengenerierung für Glasfaserbündel (cont.)

Formale Darstellung:
M (i, j )  {
1,
r  f 0  l (i, j )
0,
sonst
mit
Frequenzspektrum mit
Parametern
0  i W,0  j  H
[Winter, 2008]
r  (i  W 2)  ( j  H 2)
2
2
Abstand vom
Maskenzentrum
l (i, j )  (1   )  cos 2 (3     s )  2 Sternform-Parameter
 Winkel eines Frequenzpunktes (i, j ) bezüglich der Spektrumsmitte
und der vertikalen Achse i  0
HANEL (2013-10-05) PAK: Endoskopie
43
3.3 Bildrestaurierung – Spektrale Filterung (9)

Maskengenerierung für Glasfaserbündel (cont.)

Formale Darstellung des Sternform-Parameters:
l (i, j )  (1   )  cos 2 (3     s )  2

Effekt von Parameter l :
 Erhöhen der Grenzfrequenz f 0 für Abschnitte
zwischen den 6 Frequenzschwerpunkten der
Wabenstruktur
 Verringern für Abschnitte in deren Nähe

Sternmaske zur
spektralen Filterung
[Winter, 2008]
Effekt von cos 2 () in l (i, j ) :
 periodische Frequenzerweiterung  Sternspitzen

Effekt des ersten und letzten Terms in l (i, j ) :
 Erster: Summand
 Letzter: Gewichtung (  Maß für die Größe der Sternspitzen)
HANEL (2013-10-05) PAK: Endoskopie
44
3.3 Bildrestaurierung – Spektrale Filterung (10)

Ergebnisse vor und nach Entfernen der Wabenstruktur
Bildausschnitt einer
Kalibriertafel,
faseroptisch aufgenommen
Bildausschnitt nach
spektraler Filterung
[Winter, 2008]
[Winter, 2008]
HANEL (2013-10-05) PAK: Endoskopie
45
HANEL (2013-10-05) PAK: Endoskopie
46
Inhalt

4 Anwendungsbeispiele
4.1 Bauwesen
4.2 Konfokale Endomikroskopie
4.1 Anwendungsbeispiel: Bauwesen (1)

Problematik:
 Viele Bauschäden im fertigen Zustand nicht sichtbar
 Freilegung sehr kostspielig
 Einsatz von Endoskopie zur Untersuchung von Bauwerken

Beispiel: Zweischaliges Mauerwerk

Einführen des Endoskops in
die Wand
 Einblick in den Zwischenraum zwischen den beiden
Wandschalen
 Untersuchung der Draht
Drahtanker zum Verbinden der
Wandschalen
Endoskopie einer Wand
[Frey, 2013]
HANEL (2013-10-05) PAK: Endoskopie
47
4.1 Anwendungsbeispiel: Bauwesen (2)

Problematik:
 Viele Bauschäden im fertigen Zustand nicht sichtbar
 Freilegung sehr kostspielig
 Einsatz von Endoskopie zur Untersuchung von Bauwerken

Beispiel: Zweischaliges Mauerwerk – Prüfung vor Sanierung


Vorschieben des Endoskops
zu den Ankern
Erkennen schadhafter
Drahtanker (Durchrostung
 zu geringer Durchmesser
zum Lastabtrag)
g)
 Feststellen von
Sanierungsbedarf
Schadhafter Drahtanker
[Frey, 2013]
HANEL (2013-10-05) PAK: Endoskopie
48
4.1 Anwendungsbeispiel: Bauwesen (3)

Beispiel: Zweischaliges Mauerwerk – Prüfung der Arbeiten nach Sanierung
Betonummantelung als
Korrosionsschutz fehlt
Drahtanker, nicht sachgerecht eingebracht
Drahtanker, sachgerecht
[Frey, 2013]
[Frey, 2013]

Vorteile gegenüber herkömmlichem Öffnen der Wand:
 Präzise Ortung der Anker möglich
 Kaum Lärmbelästigung
HANEL (2013-10-05) PAK: Endoskopie
49
4.2 Anwendungsbeispiel: Konfokale Endomikroskopie (1)

Grundprinzip:
 Integration eines konfokalen Fluoreszenz-Mikroskops in das distale
Ende eines (Video-)Endoskops  Integriertes Endomikroskop

K f k l h ik
Konfokaltechnik:
 Beleuchtung des Objektes nur punktweise und nicht gänzlich
 streifenweise Abtastung
 Eliminieren von Licht außerhalb der Fokusebene durch Detektor-Lochblende
 wenig Streulicht aus anderen Ebenen  gute Tiefenauflösung

Floureszenz:
 Farbstoffe absorbieren ((Laser-)Licht
)
bestimmter Wellenlänge
g
 Anregung der Farbstoffe
 Abstrahlen von Licht anderer Wellenlänge nach wenigen Nanosekunden
HANEL (2013-10-05) PAK: Endoskopie
50
4.2 Anwendungsbeispiel: Konfokale Endomikroskopie (2)

Grundprinzip (cont.):
 Konfokale Lasertechnik ermöglicht Aufnahmen von Gewebe auf und
unter der Oberfläche
 Benutzer erhält sowohl gewöhnliches endoskopisches Bild als auch
konfokales Mikroskop
Mikroskop-Bild
Bild

Vorteil gegenüber herkömmlicher Endoskopie:
 Deutliche Vergrößerung der realen Szene (Faktor 1000)
 Einsparen von Biopsien  Durchführung während herkömmlicher
Endoskopien
 Höherer Informationsgehalt in Tiefenrichtung
HANEL (2013-10-05) PAK: Endoskopie
51
4.2 Anwendungsbeispiel: Konfokale Endomikroskopie (3)

Spitze eines integrierten Endomikroskops
Endosmikroskopspitze
[Pentax, 2013]

Schwierigkeit: Mikroskop auf Größe eines Endoskops (~13 mm)
HANEL (2013-10-05) PAK: Endoskopie
52
4.2 Anwendungsbeispiel: Konfokale Endomikroskopie (4)

Grundprinzip des Konfokal-Fluoreszenz-Mikroskops (an Endoskopspitze)
Fluoreszenzlicht aus
der Fokusebene
Licht von außerhalb
der Fokusebene
 wird an DetektorLochblende gefiltert
Lichtübertragung
über Einzelfaser
Lichtquelle außerhalb
des Endoskops
an Spitze des Endoskops
(distales Ende)
Grundprinzip der Konfokal-Mikroskopie [Uni Wien, 2013]
HANEL (2013-10-05) PAK: Endoskopie
53
4.2 Anwendungsbeispiel: Konfokale Endomikroskopie (5)

Integriertes Endomikroskop – Funktionsweise
 Einspeisen von blauem Laserlicht (= Lichtquelle) in Einzelfaser
 Projektion des Lichtes über Linsensystem in der Endoskopspitze auf
bildgebende Ebene auf oder unterhalb der Objektoberfläche (z.B.
Gewebe)
 Fokussierung auf diese Ebene

Anregung von eingebrachten Floureszenzstoffen
(Kontrastmittel)
durch das Laserlicht
 Emission von Licht anderer Wellenlänge (aufgrund der Anregung) von
dieser Ebene
 Aufnahme durch Faser
 Passieren des an Oberfläche abgegebenen Lichtes durch
dichroitischen Spiegel in Richtung Detektor, Reflexion des Laserlichtes
 Übersetzen des passierten Lichtes punktgenau in Graustufenbild in
Detektionseinheit
 Zweidimensionale Abtastung durch Faser über rotierende Spiegel
 Schnittbild parallel zur Gewebeoberfläche
HANEL (2013-10-05) PAK: Endoskopie
54
4.2 Anwendungsbeispiel: Konfokale Endomikroskopie (6)

Ergebnis:
Schnittbilder: mehrere Graustufenbilder unterschiedlicher Eindringtiefe,
1000-fache Vergrößerung der Realität
0,7 μm
Oberfläche
Einzelpunktgröße
250 μm
Eindringtiefe in Gewebe,
max: 250 μm
Schnittbilder
[Pentax, 2013]
500 x 500 μm
Einzelbildgröße
HANEL (2013-10-05) PAK: Endoskopie
55
5 Zusammenfassung

Endoskopie
 = Visuelle Technik zur Untersuchung schwer zugänglicher Objekte
 Glasfaserendoskop, aber auch linsenoptisches oder Videoendoskope

Kernelement: Glasfaser
 Bestandteile: Kern + Mantel  Totalreflexion
 Kombination zu Faserbündel  Licht- und Bildübertragung

Kernprobleme:
 Wabenmuster
 Störeffekt
 Spektrale Filterung
 Weitwinklige Optik  Verzeichnungen  Kalibrierung

Anwendung: Bauwesen und konfokale Endomikroskopie
HANEL (2013-10-05) PAK: Endoskopie
56
Literaturempfehlung (1)

Grundlagen der Endoskopie


Verarbeitung endoskopischer Aufnahmen



Lewerenz (2009): Einführung in die Endoskopie sowie Unterscheidung
der einzelnen Varianten
Winter (2008): Überblick über Charakteristika einer Glasfaseraufnahme
sowie Möglichkeiten der Reduktion
Klar (2005): Kalibrierung mit Lochkameramodell
Anwendungsbeispiele

Kiesslich et al. (2013) Gute Einführung in die Technik der
Endomiksroskopie
HANEL (2013-10-05) PAK: Endoskopie
58
Literatur (1)





Bartz D (2003) Möglichkeiten und Grenzen der virtuellen Endoskopie. In:
Schulze T, Schlechtweg S, Hinz V (Hrsg) Simulation und Visualisierung
2003 (SimVis 2003). Magdeburg: SCS Publishing House e.V.: 249-258
Janßen C (2000) Ein miniaturisiertes Endoskop-Stereomesssystem zur
Strömungsvisualisierung in Kiesbetten.
Kiesbetten Diplomarbeit
Diplomarbeit. Heidelberg:
Ruprecht-Karls-Universität, Fakultät für Physik und Astronomie
Kiesslich R, Götz M, Rey J, Hoffman A (2013) Endomikroskopie. In:
Baretton G, Bechstein W O, Degen L, Denzer U, Koop H, Lohse A (Hrsg)
Gastroenterologie up2date 2013. Stuttgart: Thieme, 09(01): 41-54
Klar M (2005) Design of an endoscopic 3-D Particle-Tracking Velocimetry
system and its application in flow measurements within a gravel layer.
Dissertation. Heidelberg: Ruprecht-Karls-Universität,
Naturwissenschaftlich-mathematische Gesamtfakultät
Lewerenz B (2009) Bilddokumentation in der gastroenterologischen
Endoskopie. Dissertation. München: Ludwig-Maximilians-Universität,
Medizinische Fakultät
HANEL (2013-10-05) PAK: Endoskopie
59
Literatur (2)


Vettori T (1998) Möglichkeiten der Endoskopie zur Parameterbestimmung
für die Modellierung von Makroporenfluß. Diplomarbeit. Freiburg i. Br.:
Albert-Ludwigs-Universität, Fakultät für Umwelt und natürliche
Ressourcen
Winter C (2008) Automatische Bildrestaurierung für faseroptische Systeme
am Beispiel von Fiberskopen. Dissertation. Nürnberg-Erlangen: FriedrichAlexander-Universität, Technische Fakultät
HANEL (2013-10-05) PAK: Endoskopie
60
Literatur - Internet






Frey S (2013) Endoskopie im Bauwesen und die Kombination der optischen
Prüfung mit anderen ZfP-Verfahren. Folienpräsentation am 3. Fachseminar
Optische Prüf- und Messverfahren der DGZfP. http:// www.dgzfp. de/…
Portals/opm2013/BB/v1.pdf (05.07.13)
Pentax (2013) Konfokale Endomikroskopie.
Endomikroskopie http://www.ricoh
http://www ricoh-imaging
imaging.de/...
de/
de/ media/8ed15928970c8c93cef9c4e0018cdd19/3618 (13.09.13)
Steiner C (2013) Untersuchungen zum Einsatz von Glasfaserendoskopen in
Crashtests. Folienpräsentation zum gleichnamigen Beitrag an den
Oldenburger 3D-Tagen 2013. http://www.jade-hs.de/fileadmin/forschung/...
downloads/3D-Tage/Vortragsfolien_2013/Steiner_Glasfaserendoskope.pdf
(04.05.13)
Uni Wien (2013). Konfokal-Mikroskopie. http://www.univie.ac.at/...
mikroskopie/3 fluoreszenz/fluoreszenz mikroskop/5c konfokal htm
mikroskopie/3_fluoreszenz/fluoreszenz_mikroskop/5c_konfokal.htm
(13.09.13)
Wikipedia (2013) Endoskopie. http://de.wikipedia.org/wiki/Endoskopie
(04.05.13)
Wikipedia-2 (2013) Abbildungsfehler. http://de.wikipedia.org/wiki/...
Abbildungsfehler (14.09.13)
HANEL (2013-10-05) PAK: Endoskopie
61
Lernziele

Sie sollten…

sich an die Hauptbestandteile eines Endoskops erinnern

das Prinzip der Endoskopie verstehen

die Endoskopie in passenden Situationen anwenden können

ein Bild hinsichtlich charakteristischer Merkmale endoskopischer
Aufnahmen analysieren können

die Verfahren der „spektralen Filterung“ und der „Interpolation“ zur
Reduktion des Wabenmusters gegeneinander bewerten können
HANEL (2013-10-05) PAK: Endoskopie
62