3D Kameras – basierend auf Lichtlaufzeitmessung

Seminar "Autonome Fahrzeuge" / SS05
Nikolai Kutscher, Beate Mielke
3D Kameras – basierend auf Lichtlaufzeitmessung
Einleitung
Wir leben in einer dreidimensionalen Welt, in der auch Sensoren in der Lage sein
müssen, die Welt in drei Dimensionen zu erfassen. Die gängigen Sensoren bieten nur ein
unzureichendes Abbild der Welt, da sie nur eine zweidimensionale Projektion der Realität
liefern, in der jegliche Information über die Entfernung
einzelner Bildpunke verloren geht.
Klassische Stereoskopie (siehe Abb. 1) hilft in diesem Fall nicht
wirklich, da für die computergesteuerte Bildverarbeitung
digitale Tiefeninformation benötigt wird.
Der neueste technologische Fortschritt macht es möglich,
Sensoren zu bauen, die Abstände innerhalb einer Szene
"sehen" können. Sie nutzen die Ausbreitungseigenschaften des
Lichtes. Das Grundprinzip "Lichtlaufzeit" (TOF) wird im
Folgenden vorgestellt.
Abb. 1
Prinzip der Lichtlaufzeitmessung mittels einer Tiefenkamera
- Lichtgeschwindigkeit
Licht bewegt sich im Medium Luft mit der Geschwindigkeit
c = 2,99792458 * 108 m/s ≈ 300.000.000 m/s
- Lichtlaufzeitmessung – Time of Flight – TOF
Also legt es einen bestimmten Weg in einer bestimmten Zeit zurück. Man spricht von der
Lichtlaufzeit (engl. Time of Flight [TOF]). Sie berechnet sich mit der Formel:
Beispiel: Um den Weg von 1cm zurückzulegen braucht Licht 33,36 ps.
-
Wie geht nun eine Messung vonstatten?
Ein Laserlichtimpuls im Infrarotbereich wird von einer Lichtquelle ausgesandt. Sobald er
auf ein Objekt trifft, wird er reflektiert und von einem Lichtsensor verarbeitet.
Abb. 2
Die Zeit T0, die das Licht für diesen Weg braucht, muss unter Berücksichtigung von Hinund Rückweg halbiert werden. Daraus ergibt sich die Formel:
- Lichtlaufzeitmessung mittels Pulsverfahren
Möchte man nun ein ganzes Bild aufnehmen, braucht man für jeden Bildpunkt eine
Zeitmesseinheit. Um dies zu realisieren wurde 1998 von zwei Erfindern der Fa. Siemens
ein Verfahren patentiert, das im Folgenden vorgestellt werden soll:
Die Flugzeit des Lichts wird nicht direkt über eine Uhr, sondern über eine zeitliche
Integration der Lichtintensität innerhalb eines genau bestimmten Zeitfensters bestimmt.
Abb. 3
Abb. 4
Abb. 3:
Integrationsspannungen für zwei gleiche Objekte in unterschiedlichen Entfernungen. Vereinfachte Darstellung
ohne Hintergrundlicht.
Abb. 4:
Patentiertes verfahren zur Distanzmessung
Das Licht wird wird ausgesandt und was an Reflektion bis zu einem bestimmten
Zeitpunkt zurückgekommen ist, wird ausgelesen. Schaltungstechnisch wird dies über die
Integration von einem lichtempfindlichen Bauteil, z.B. durch den von einer Fotodiode
erzeugten Fotostrom auf einen Kondensator realisiert. Die Verbindung zwischen
Fotodiode und Kondensator wird zu einem festen Zeitpunkt für alle Pixel gleichzeitig
getrennt und die Spannung dann ausgelesen.
Q=C*U
Q: Ladung
C: Kapazität
U: Spannung
Aufgrund der verschiedenen Reflektionseigenschaften
unterschiedlicher Materialien, reicht eine Messung nicht aus,
sondern man macht zwei Messungen mit unterschiedliche langen
Zeitfenstern (siehe Abb. 3).
Eine wichtige Rolle spielt noch das Hintergrundlicht. Deshalb
macht man noch zwei weitere Messungen über die gleichen
Integrationsfenster, ohne Licht auszusenden und misst somit nur
das Hintergrundlicht alleine. Die ermittelten Werte werden von
den Objektmessungen subtrahiert.
Die Tiefenwerte können dann mathematisch folgerndermaßen rekonstruiert werden:
Hilfsgrößen U‘1 und U‘2 (s. ABB. 4)
Steigung
Punktsteigungsgleichung mit Punkt. (T2, U‘2)
Abb. 5
Durch die Verknüpfung zwischen Weg und benötigter Zeit und über die
Lichtgeschwindigkeit läßt sich die einfache Entfernung zum Objekt, an dem das Licht
reflektiert wurde, ermitteln.
Lichtlaufzeitmessung mit moduliertem Licht
Licht wird wird so moduliert, dass sich die Intensität sinusoidal ändert. Es gibt kein
limitiertes Zeitfenster, sondern das Licht wird kontinuierlich ausgesandt.
Abb. 6:
Zwei Objekte reflektieren moduliertes Licht. Objekt A
reflektiert mehr Intensität als Objekt B, weil die
Sinuskurve genau in diesem Moment ihr Maximum
bzw. ihr Minimum erreicht hat.
Abb. 7:
Demonstration der Phasenverschiebung
Abb. 8:
Sampling und diskrete Fouriertransformation
Das sinusoidale Modulationssignal enthält drei
Unbekannte:
Offset, Amplitude und Phase
Deshalb sind mindestens drei Abtastpunkte per
Modulationsperiode nötig, um die Unbekannten mit Hilfe
der diskreten Fourietransformation zu berechnen.
Hier ist es günstig vier um 90° verschobene Werte zu
nehmen.
Die Grauwerte der Pixel ergeben sich aus den gleichen Daten
über das quadratische Mittel.
Vom ausgesandten Lichtsignal zur Berechnung der Entfernung:
Maximale Distanz
Der von der Kamera maximal messbare Distanzbereich D ist auf weniger als eine Periode
abhängig von der Modulationsfrequenz fm und ergibt sich durch Einsetzen der vollen
Periode 2∏ zu:
Beispiel:
Modulationsfrequenz:
maximale Distanz:
Tiefenauflösung:
20 MHz
7,5 m
1 cm
Unterschiede der beiden Verfahren in der Anwendung
Pulsverfahren
- günstig, wenn Hintergrundlicht eine Rolle spielt
- preisgünstiger (man kann Standard-CMOS verwenden)
- schnelleres Verfahren
(kurze höhere Lichtimpulse liefern besseres Ergebnis)
- technisch aber teilweise aufwendiger in der Herstellun
(z.B. wegen Anforderung an Flankensteilheit)
moduliertes Licht
- man muss bestimmte Frequenz einhalten
- moduliertes Licht kann mit LED‘s gemessen werden
- CCD-CMOS nötig
- teurer
Aufbau der Kamera
Das Komplettsystem besteht aus drei Hauptbestandteilen, dem Emitter, der das
frequenzmodulierte optische Signal ausstrahlt, dem Detektor, der das reflektierende
Signal registriert und der Steuerelektronik (Abb. 9).
Abb. 9. Schematisches Diagramm des Sensorsboardes
Emitter:
Die Hauptaufgabe des Emitters ist, frequenzmoduliertes Licht auszusenden. Er muss die
folgenden
Anforderungen
erfüllen:
Hohe
Modulierungslinearität
bei
hoher
Modulierungsfreqenz, große Bandbreite von Wellenlängen, niedrige Betriebstemperatur
und kleine Abmessungen.
Für 3D – Kameras werden überwiegend LEDs (lichtemittierende Diode) oder Laserdioden
benutzt.
Detektor:
Abb. 10
Der Kern des Detektors ist der Sensor. Er wird als
Pixelarray aufgebaut, bei dem jedes Pixel eine
separate Messung durchführt.
Die Hauptaufgabe des Sensors ist, das von Objekten
in der Szene reflektierte Signal zu registrieren. Ein
Photon trifft die Oberfläche des Sensors und seine
Energie wird in ein Fotoelektron umgewandelt. Da
das
ankommende
Signal
(z.B.
20
MHz
frequenzmoduliertes Signal) demoduliert werden
muss, muss eine schnelle Aufladungstrennug und
Transport innerhalb jeden Pixels stattfinden.
Es kann aber vorkommen, dass sogar weniger als ein
Elektron pro Modulationsperiode erzeugt wird.
Dementsprechend ist es sinnvoll, die wiederholte
Hinzufügung der Elektronen zu realisieren.
Steuerelektronik:
Sie hat mehrere Aufgaben: Sie
steuert das gesamte Board. Anhand
der analogen Daten, die der Sensor
liefert, führt sie alle Berechnungen
für die Abstandsdiagramme durch
und steuert die Kommunikation mit
dem angeschlossenen Rechner.
Abb. 11
Ein wichtiger Parameter, der die Qualität
des 3D–Sensors bestimmt, ist die
minimale ankommende optische Energie
auf einem Pixel, die ermittelt werden
kann. Diese Energie ist direkt
proportional zur Anzahl der
Fotoelektronen, die während einer
Belichtungsperiode angesammelt
werden.
Die gemessene Standardabweichung als
Funktion der optischen Energie, die auf
ein Pixel fällt, ist in Abb. 12 dargestellt.
Wie man sieht, ist die Streckengenauigkeit im Wesentlichen nur durch das Lichtrauschen
begrenzt. Es wird gemessen und dadurch ist es möglich, die Streckenauflösung
zuverlässig vorauszusagen.
Hier werden zwei 3D–Kameras vorgestellt, die als Prototypen für Forschungszwecke
gebaut werden.
Die SwissRangerTM der Firma CSEM und die PMD[vision]19K der Firma PMD
Technologies.
Beide Kameras benutzen LEDs als Belichtungseinheit mit 20 MHz Modulation und einer
maximalen Abstandsmessung von 7,5 m.
Die technischen Daten werden in der Tabelle zusammengefasst.
Abb. 13, 14
Kameramodell
SwissRangerTM
PMD[vision]19k
124 × 160
120 × 160
20MHz
20MHz
bis 5 mm
bis 6 mm
Wellenlänge
870 nm
850 nm
Emitterleistung
800 mW
4W
bis 30 fps
bis 10 fps
USB – 2
IEEE 1394a, Ethernet (IEEE
802.3u), RS 232
135 × 45 × 32
208 × 53 × 209
Auflösung
Modulationsfrequenz
Abstandsauflösung
Bildrate
Interface
Abmessungen
Das Hauptproblem bei den Kameras sind die geringe Auflösung und das hohe
Grundrauschen. Für manche Anwendungen wäre eine größere Auflösung des Sensors auf
Kosten der Aufnahmegeschwindigkeit vorteilhaft. Das Grundrauschen wird durch
Einsetzen des Bandpassfilters minimiert. Keine homogene Beleuchtung der Emitter
(wegen Anordnung und ungleichmäßiger Kühlung) beeinträchtigt die Qualität. Durch
eine ringförmige Anordnung der Dioden oder einzelnen leistungsstärkeren Dioden könnte
man das Sichtfeld des Sensors homogener beleuchten.
Da das aufzunehmende Objekt währen der Messungen bewegungsfrei sein muss, ist es
auch problematisch, bewegliche Objekte aufzunehmen.
Durch die Einzigartigkeit der 3D–Kamera ist es vorstellbar, sie überall dort einzusetzen,
wo man bis jetzt 2D–Sensoren benutzt hat.
Abb. 15
REFERENZEN
1. Gerhard P. Herbig, “Stereofotografie heute”
2. C. Niclass, A. Rochas, P. Besse, E. Charbon “A CMOS 3D Camera with Millimetric
Depth Resolution”, Swiss Federal Institute of Technology, Switzerland
3. G. Friedland, K. Jantz, R. Rojas “Videobilder mit Tiefgang”, FU Berlin
4. www.csem.ch
5. T. Oggier, M. Lehmann, R. Kaufmann, M. Schweizer, M. Richter, P. Metzler, G.
Lang, F. Lustenberger and N. Blanc „An all – solid – state optical range camera for
3D real – time imaging with sub – centimeter depth resolution (SwissRanger)“,
CSEM SA, Badenerstrasse 569, CH – 8048 Zürich
6. „Vision sensors & systems“, Xavier arreguit CSEM SA CH – 2007 Neuchatel
7. R. Lange, P. Seitz, A. Biber und R. Schwarte, "Time-of-Flight range imagung with
a custom solid-state image sensor", Centre Suisse d'Electronique et de
Microtechnique SA (CSEM), Uni Giessen, Institut für Nachrichtenverarbeitung
8. André Henkies, "Entwurf und Optimierung fremdlichttoleranter
Tiefenkamerasysteme auf der Basis indirekter Lichtlaufzeitmessung", Dissertation,
Uni Duisburg, Fakutät der Ingenieurwissenschaften
9. w4.siemens.de/FuI/de/archiv/newworld/heft2_01/artikel03