IntER-T Intelligentes Enhanced Reality

IntER-T Intelligentes Enhanced Realitybasiertes Trainingssystem fur die
echokardiographische Diagnostik
Sabine Trochim
GMD Forschungszentrum Informationstechnik GmbH
Institut fur Angewandte Informationstechnik
[email protected]
Zusammenfassung
Das intelligente Trainingssystem, das in eine enhanced reality -basierte Simulationsumgebung eingebettet ist, soll den lernenden Arzt bei der selbstandigen
(simulierten) Untersuchung anstelle eines erfahrenen Arztes "beobachten\ ("watch
dog\).
Aus dem Untersuchungskontext heraus, der neben den erhobenen Patientendaten auch durch unmittelbare Verhaltensauswertung gewonnene Anhaltspunkte
u ber den Untersucher selbst enthalt, werden Problemsituationen abgeleitet, die die
Grundlage fur die Auswahl adaquater Hilfethemen und fur adaptive Hilfemodule
bilden.
1 Einleitung
Im Krankenhausalltag ist ein systematisches praktisches Training an High-End-Geraten
kaum realisierbar. Dies betrit auch die Echokardiographie (Ultraschalldiagnostik des
Herzens), in der eine richtige Diagnose in hohem Masse von der Erfahrung des Untersuchers abhangt. Eine unzureichende praktische Ausbildung kann deshalb zu Fehldiagnosen
fuhren.
Das intelligente Trainingssystem kann im Rahmen eines interaktiven Internet-Echokardiographiekurses die Rolle des Beobachter und Lehrers fur eine simulierte Ultraschalluntersuchung ubernehmen.
Ausgehend von einem semantischen Protokoll, das neben Messwerten und protokollierten
Aktionsdaten auch abgeleitete Informationen uber die eingestellten Ultraschallebenen
und das Verhalten des Benutzers enthalt, wird der momentane Unterstutzungsbedarf
ermittelt. Verwendete Techniken hierfur sind Fuzzy-Regeln und Planerkennung.
Das System setzt auf einer Enhanced-Reality-Umgebung fur die Echokardiographie auf
(siehe Abschnitt 3), die es erlaubt anhand eines integrierten 3D- bzw. 4D-Ultraschalldatensatzes des Patienten eine simulierte Ultraschalluntersuchung durchzufuhren. Wahrend der Untersuchung soll dem lernenden Arzt ohne "Frage-Antwort-Spiel\ Hilfestellung
46
gegeben werden. Darin unterscheidet es sich z.B. von fallbasierten, wissensbasierten medizinischen Tutorsystemen, die nicht auf die eigentliche Handlung, sondern hauptsachlich
auf die Wissensuberprufung ausgelegt sind. Der Unterstutzungsbedarf wird allein durch
direkte Ableitung aus protokollierten Daten uber sein Verhalten, wie z.B. Positionsangaben des Schallkopfes oder der eingestellte Schallmodus, und den von ihm erhobenen
medizinischen Parametern, ermittelt.
Analogien bestehen z.B. zu dem Expert Surgical Assistant ([Ba95]), der eine virtuelle
Umgebung fur die minimalinvasive Chirurgie mit Gestikerkennung und einem regelbasierten Expertensystem koppelt. Weiterhin sind interaktive Simulationssysteme fur andere
Aufgabenbereiche zu betrachten, z.B. die wissensbasierte virtuelle Konstruktionssimulation CODY ([JLW98], [HJK98]), die eine direkte Manipulation der virtuellen Bauteile
zulasst und den Konstrukteur durch wissensbasierte Interpretation der Bauteilpositionen
und -kombinationen unterstutzt.
2 Systemaufbau
Das Trainingssystems besteht aus den in Abb. 1 dargestellten Komponenten.
Fur das Erstellen eines semantischen Protokolles aus den Rohdaten, das u.a. abgeleitete Schallebenen, Mewerte, Aktionen und Verhaltensdaten (wie z.B. \Facheln", \Stillstand" des Schallkopfes) enthalt, sind der Parser und ein Modul fur die Positionserkennung zustandig. Zu den eingestellten Schallebenen soll ausserdem ein Kondenzgrad
abgeleitet werden, der die Gute der Schallebene fur Messungen angibt.
Die vorverarbeiteten Rohdaten werden dann interpretiert, indem mit
Hilfe von Fuzzy-Regeln Fehl- bzw.
Hilfskonzepte abgeleitet werden und
mittels Planerkennung die verfolgte
Diagnose bestimmt und auf Richtigkeit uberpruft wird. Hierfur ist die
Inferenzkomponente zustandig. Die
abgeleiteten Konzepte und Diagnosen bestimmen den Unterstutzungsbedarf, der die Auswahl der kontextsensitiven Hilfen steuert.
Das Hilfemodul soll ausgewahlte
Hilfethemen und Demonstrationen
der richtigen Vorgehensweisen anhand von adaptiven Simulationen
Abbildung 1: Aufbau des Trainingssystems
anbieten. Das Hilfemodul besteht
aus einer Kritik- und einer Hilfekomponente. Die Kritikkomponente ist zustandig fur
das Generieren von Alerts bei Fehldiagnosen oder ausgelassenen Untersuchungsschritten. Die Hilfekomponente bietet ausgewahlte Hilfethemen an, sowie Demonstrationen
fur richtiges Vorgehen bei Messungen oder der Einstellung von Schallebenen. Die Ausgangsbasis fur die Auswahl bilden die Ergebnisse der Inferenzkomponente.
47
Auerdem werden Datenspeicher fur das Regelwissen (Fuzzy-Regeln und Diagnoseschemata), die Statische Wissensbasis, sowie fur das semantische Protokoll und die Zwischenergebnisse, Dynamische Wissensbasis, und die Sammlung der Hilfethemen und Konzepte/Fehlkonzepte, Hypermedia-Hilfen, benotigt.
3 Enhanced-Reality-Umgebung
Das Trainingssystem setzt auf einer Simulationsumgebung fur die Echokardiographie auf,
fur die in den letzten Jahren bereits einige Programme an der GMD entwickelt wurden:
EchoExplorer ([Red98]), ein CD-Rom-basiertes Trainingssystem, EchoSim(ulator) und
EchoCom. Eine umfassende Beschreibung dieser Systeme ist in [Ber99] zu nden. Die
Untersuchungsumgebung wird auf EchoCom2 aufbauen, das zur Zeit in Java reimplementiert wird.
EchoCom ([Ber96], [Ber99]) ist eine Telekonsultationsanwendung, die auf einer EnhancedReality-Prasentation eines 4D-Ultraschalldatensatzes basiert. Ein simulierter Ultraschallkopf mit Positionssensor und eine Puppe liefern die Untersuchungsumgebung, in der
beliebige Ebenen aus einem Ultraschalldatensatz in Realzeit berechnet werden konnen
(EchoSim [Qua97]).
In Relation zur eingestellten Schallebene, die auf der linken Bildschirmseite zu sehen ist,
wird der Anschnitt eines animierten 3D-Herzmodells gezeigt, das in unterschiedlichen
Visualisierungsmodi verschiedene Eindrucke der ausseren und inneren Struktur des Herzens, der Dynamik und des Blutusses vermittelt. Zusatzlich konnen die Leitstrukturen
der Schallebene als Schnitt
des Herzmodells angezeigt
werden und die Modellkonturen dem \realen"
Ultraschallbild uberlagert
werden. Dieses \Anreichern" der Ultraschalldaten durch das virtuelle Herzmodell (augmented reality) ermoglicht ein
besseres raumliches Verstandnis des Herzens (mentales Modell), und steigert
damit die Qualitat der
echokardiographischen Untersuchung (enhanced reality, [Ber99]).
Abbildung 2: Enhanced Reality-Umgebung
48
4 Adaptive Hilfen
4.1 Ermitteln des Unterstutzungsbedarfes
Fur die Bestimmung des Unterstutzungsbedarfes werden drei Abstraktionsebenen unterschieden: Auf der untersten Stufe der Positionserkennung und der Datenvorverarbeitung
werden aus einer Folge von Positionsangaben des Schallkopfes kardiologische Standardpositionen und Schallebenen, sowie Verhaltensmuster abgeleitet, die z.B. die raumliche
Orientierung des Untersuchers beschreiben. Verwendet wird eine Fuzzy-Klassikation,
wobei die Toleranzbereiche, die die Kondenz der eingestellten Positionen festlegen, von
der Lage der Aufsetzpunkte und den Lagebeziehungen der Schallebenen untereinander
abhangen. Die Schallebenen mit ihren \Kondenzwerten", die abgeleiteten Verhaltensmuster, die Aktionsdaten und Messwerte iessen in das semantische Protokoll ein.
Die zweite Stufe dient der Planerkennung von Untersuchungssschritten und der verfolgten Diagnose mit Hilfe von kardiologischen Diagnoseschemata. Die Untersuchungsschritte konnen (soweit vorgegeben) auf Reihenfolge und Vollstandigkeit, sowie Kondenz der
erhobenen Befunde uberpruft werden. Abgeleitete Konzepte werden an die Hilfekomponente weitergegeben, um dort Alerts zu erzeugen oder passende Hilfethemen anzubieten.
Schliesslich werden Fehlkonzepte ermittelt, die Verstandnisprobleme des Arztes darstellen konnen, die z.B. zu Messfehlern fuhren. Dazu werden die protokollierten Verhaltensdaten aus dem semantischen Protokoll mit Hilfe von Fuzzy-Regeln bewertet und
interpretiert. Abhangig vom abgeleiteten Kondenzwert der einzelnen Konzepte werden
dann adaquate Hilfethemen und adaptive Simulationen angeboten.
4.2 Adaptive Simulationen
Die adaptiven Simulationen sollen bei raumlichen Orientierungsschwierigkeiten das korrekte Einstellen von Schallebenen bzw. Schallkopfpositionen demonstrieren oder die richtige Vorgehensweise zur Durchfuhrung bestimmter Messungen zeigen.
Im ersten Fall bedeutet dies z.B., dass ausgehend vom raumlichen Herzmodell der Bewegungsablauf des Schallkopfes demonstriert wird, wahrend gleichzeitig die relevanten
Strukturen der Schallebene so gehighlightet werden, bis die Leitstrukturen der gewunschten Ebene vollstandig zu sehen sind.
5 Ausblick
Bisher abgeschlossen sind die Problemanalyse, die Wissensakquisition und die Konzeption der Wissensreprasentation, sowie der konzeptuelle Aufbau des Trainingssystems.
Im Moment benden sich die Positionserkennung und die Inferenzkomponente in der
Entwicklungsphase. Die adaptive Hilfegenerierung wird demnachst folgen.
Geplant ist die spatere Einbindung des intelligenten Trainingssystems in einen interaktiven Internet-Echokardiographiekurs.
49
Literatur
[Ba95] M. Billinghurst and al. The expert surgical assistant: An intelligent virtual
environment with multimodal input. In Proceedings of Medicine Meets Virtual
Reality IV, pages 590{607, 1995.
[Ber96] T. Berlage. Design of a teleconsultation service for echocardiography. In Proceedings of Interface to Real & Virtual Worlds, pages 127{137, 1996.
[Ber99] T. Berlage. Enhanced Reality Systems. GMD, 1999.
[HJK98] M. Hohenke, B. Jung, and S. Kopp. Der CODY Virtuelle Konstrukteur - Manual Version 2.0. Technical Report 98/8, SFB 360 Projekt C1, Universita1998.
[JLW98] B. Jung, M. Latoschik, and I. Wachsmuth. Knowledge-based assembly simulation for virtual prototype modeling. In IECON'98. Proc. 24th Annual Conference
of the IEEE Industrial Electronics Society, volume 4, pages 2152{2157, 1998.
[Qua97] K. Quast. Computerbasiertes Lernen in 3D-graphischen Szenen. Entwurf, Realisierung und Evaluation einer Anwendung fuUltraschalldiagnostik. Oldenbourg, 1997.
[Red98] F. Redel, D.A. und Homann. EchoExplorer. Urban & Schwarzenberg, 1998.
50