Zurück zur Übersicht
Die moderne Bildgebung findet heutzutage einen breiten Einsatz in der Medizin. In der Regel stammen die Systeme aus anderen Bereichen (z. B. Unterhaltungs-elektronik, industrielle Anwendungen) und werden entsprechend von Medizin-produktherstellern adaptiert.

Unter erweiterter Realität (kurz AR) versteht man die computergestützte Erweiterung der menschlichen Realitätswahrnehmung durch die Vermischung der realen und der virtuellen Welt. Um den Effekt der AR praktisch umzusetzen, braucht man je nach Anwendung ein Laptop, ein Smartphone, ein Tablet oder eine Datenbrille. Diese prozessorgesteuerten Geräte verfügen über eine eingebaute Kamera und einen Bildschirm, welche in Verbindung mit der entsprechenden Software die Erkennung realer Objekte und die Verknüpfung der digitalen Informationen in Echtzeit ermöglichen. Dabei wird das menschliche Sichtfeld mit zusätzlichen digitalen Informationen (Text, Bild, Animationen) überlagert. Inzwischen sind sogar die Einbettungen von animierten 3D-Modellen oder haptischen Interaktionen möglich.

Die Herausforderung der AR besteht darin, dass diese zusätzlichen Informationen dem entsprechenden Kontext angepasst werden müssen. Ein echter Mehrwert kann dann entstehen, wenn nur die Informationen angezeigt werden, die gerade benötigt oder vom Anwender gewünscht werden. Wenn diese Balance gelingt, eröffnen sich nahezu grenzenlose Einsatzmöglichkeiten. Die Bandbreite der Anwendung dieser Technik wird heutzutage immer größer (Navigation, Architektur, Konstruktion, Logistik, Unterhaltung, Werbung, Simulation, Militär- und Katastrophenmanagement). Die Produktkataloge mit den AR-Inhalten bereichern nicht nur ein Markenerlebnis im Vergleich mit konventionellen digitalen Ausgaben, sondern erleichtern z. B. das Verständnis wie die Produkte funktionieren oder angewendet werden. Die zuvor unentdeckten Features werden direkt vor Augen geführt. 3D-Modelle und Innenansichten machen diese Produkte erlebbar. Die Einblendung der Warnhinweise mittels der AR kann die Gesundheit oder sogar das Leben beim Betreten von Gefahrenzonen in der Fabrik oder dem Labor retten. Die Wahrnehmung ist adäquat zu Ort und Zeit und kann nicht vergessen werden. Die Arbeitsschritte bei der Reparatur, das Anzeigen der Bauteile, die Identifikation der Defekte und die Kontrolle können durch die Visualisierung mittels der AR in Echtzeit direkt an der Maschine interaktiv problemlos ausgeführt werden.

Erprobung in der Chirurgie

Bei Verwendung der Datenbrille, hat man alle diese Informationen im Blickfeld und die Hände bleiben frei. Das ist ein sehr interessantes Konzept gerade für den Chirurgen. Wo findet die Erprobung dieser Technologie in der Chirurgie statt? Im Jahr 2004 wurde in Straßburg die erste AR-assistierte laparoskopische Nebennierenresektion durchgeführt (Marescaux et al.). Bis dato wurde die AR erfolgreich in der Navigation z. B. in der Neurochirurgie eingesetzt, wobei man die relativ fixe Umgebung als Referenz benutzen kann. Entscheidend für den erfolgreichen Einsatz der AR ist die exakte Positionierung der virtuellen Informationen in der realen Umgebung. Das s. g. Trackingsystem ist für die Erfassung der Positionen von realen Objekten sowie für die Standortermittlung des Betrachters bzw. der Lage von chirurgischen Instrumenten wichtig. Die technischen Voraussetzungen (sprich Tracking) sind durch Atembeweglichkeit und der Verformbarkeit der Weichteile deutlich komplizierter. Es ist mit großem technischen Aufwand gelungen, das computertomographische Rekonstruktionsbild in den OP-Situs bei der laparoskopischen Adrenalektomie mit Farbkodierungen zu projizieren. Die Lage der Nebenniere und die topographische Beziehung zur Umgebung insbesondere zu den Gefäßen waren damit sehr gut zu identifizieren.

Ausgerechnet die Navigation im OP-Feld mit Hilfe der AR unter der Berücksichtigung der modernen Schnittbildgebung mit 3D-Bildrekonstruktionen könnte ein Meilenstein in dieser Entwicklung sein. Die dreidimensionalen Bilder lassen viele Details besser erkennen und die Visualisierung trägt zum besseren Verständnis, einfacheren Planung und Durchführung der Eingriffe bei. Das beste Beispiel ist eine Tablet-App, die vom Fraunhofer-Institut für Bildgestützte Medizin (MEVIS) in Bremen und der Universitätsklinik Yokohama entwickelt wurde. Die MEVIS-Software wird zur Planung von Leberoperationen seit Jahren weltweit verwendet. Mit Hilfe dieser Software kann man dreidimensional darstellen, wo die wichtigen Blutgefäße im Organ verlaufen und den Tumor lokalisieren, welcher entfernt werden soll. Die präzise Planung führt zur effektiven und schonenden Entfernung des Tumors. Die integrierte Kamera des Tablets erfasst das intraoperative Bild der Leber. Über das reale Bild der Leber werden die farbigen Daten der Planungs-Software eingeblendet. Die AR ermöglicht quasi das Hineinschauen in die Leber während der Operation. Dadurch werden anatomische Strukturen sichtbar, die sonst dem menschlichen Auge verborgen bleiben.

Ein nächstes gutes Beispiel ist die einfache Erweiterung der bestehenden Technologie. Das Institut Computer Assisted Medical Procedures (CAMP) an der TU München hat ein Röntgen-C-Bogen entwickelt, der mit zwei zusätzlichen Videokameras ausgestattet wurde. Das System muss sichern, dass die Röntgenaufnahme und das erste Kamerabild exakt überlagert werden. Die zweite Kamera verfolgt aus dem rechten Winkel das Instrument (z. B. den Bohrer). Der Chirurg kann auf diese Weise die Position des Instrumentes und die Eindringtiefe auf dem Bildschirm verfolgen. Im Idealfall kann die Operation mit einer einzigen Röntgenaufnahme durchgeführt werden. Die Strahlungsbelastung wird drastisch reduziert. Die Google-Brille, welche aufgrund der Datenschutzbedenken und Gefährdung der Privatsphäre in der Öffentlichkeit, inzwischen oft als ungeliebtes Prestigeobjekt des genannten Konzerns bezeichnet wird, könnte als medizinisches Tool hervorragend eingesetzt werden.

Die OP-Planung wird in Sekunden überprüft

Die OP-Planung wird in Sekunden überprüft: Sind die Unterlagen komplett? Ist es die richtige Seite? Wurde richtig gelagert? Ist die Verfahrenswahl richtig? Ist das erforderliche Instrumentarium verfügbar? Welche OP-Indikation liegt vor?

Die größte Herausforderung bei der Gestaltung der AR-Software ist die Informationen so zu filtern, intuitiv und adäquat wiederzugeben, dass der Anwender tatsächlich einen echten Mehrwert erleben kann. Die Datenfülle im klinischen Alltag ist sehr groß und muss geschickt reduziert werden, um dem Chirurgen stets nur die aktuell benötigten Informationen anzuzeigen. Damit die Ärzte die gewünschten Daten schnell und gezielt anfordern können, benötigen die Entwickler neuartige interdisziplinäre Strategien. Die mit Algorithmen gefütterte Datenbrille bringt solche potentiellen Lösungen. Die automatische Gesichtserkennung kann die patientenbezogenen Parameter oder Befunde anzeigen.

Im OP kann der Chirurg via Datenbrille die Sauerstoffsättigung, Herzfrequenz, Röntgenbilder und andere Befunde laufend verfolgen ohne vom OP-Tisch sich zu entfernen. Der OP-Situs bleibt ständig im Blickfeld. Die Planungsdaten könnten direkt auf ein Organ oder die OP-Abdeckung projiziert werden und mit Hilfe von Stimmsteuerung oder Gesten on demand ohne Unterbrechung der Operation abgerufen werden. Dank solcher Visualisierung hat man nicht nur im OP, sondern auch bei der Visite mehr relevante Patienteninformationen zur Verfügung, spart Zeit und erhöht die Sicherheit der Patienten. Die sinnvolle Integration des bestehenden Sicherheitschecklistensystems in ein AR-System liegt damit auf der Hand. Die einzelnen Punkte der Checkliste könnten somit direkt objektbezogen angezeigt werden. Darüberhinaus bieten AR-Systeme neben weiterführenden Hinweisen im Idealfall auch Lösungen von Problemen.

Nicht zuletzt kann die AR die chirurgische Ausbildung bereichern. Es gibt viele Möglichkeiten die Anatomie zu lernen, wie klassische Lehrbücher, Charts, Flash-Karten, Videos oder E-Books. Ein „greifbares“ Skelettmodell oder Gefäßsystem mit der AR dargestellt, welche sich noch interaktiv manipulieren lassen, sind bestimmt nicht nur attraktiver, sondern deutlich effektiver im Lernprozess. Mit der AR kann man Schicht für Schicht den menschlichen Körper erforschen, oder je nachdem, welcher Blick in 3D gerade benötigt wird, von allen Seiten frei betrachten. Der Zugriff via AR zu den Operationstechniken rundet den Lernkomfort ab. Chirurgen können mit Google Glass Livebilder zu Lehrzwecken aus dem OP übertragen oder die Unterstützung durch einen Experten an einem entfernten Ort anfordern. Damit wird die Erweiterung der Kompetenz durch visuelle Hilfestellungen mittels direkten Anweisungen zur Durchführung der Operation erreicht (Teleconsulting). Für die Anfänger können die wichtigen OP Schritte als PC Simulation (nodal points) direkt im OP-Feld eingeblendet werden.

Diese Beispielanwendungen zeigen, was die AR in der Chirurgie alles schon leisten kann. Vor wenigen Tagen wurde ein neues Patent für eine innovative Datenbrille veröffentlicht. Das Patent beschreibt unter anderem eine neue Touch-Steuerung, genannt „Immersion Control“, um die Durchsichtigkeit der Brille zu kontrollieren. Die Brille soll offenbar zwischen verschiedenen Transparenzstufen wechseln können, so dass Bilder mit unterschiedlicher Intensität eingeblendet werden können. Was man sich von dieser Technologie erwartet, ist der fließende Übergang zwischen Realität und Virtualität. Das dürfte wohl den Begriff „Immersion Control“ erklären. Einzigartig ist die Möglichkeit, dass man die Brille im Alltag mit kompletter Durchsichtigkeit tragen könnte mit einem permanenten Zugriff auf die digitalen Informationen bis zur kompletten Abdunkelung bzw. Abschottung von der Umgebung.

Wie man sieht, ist die technische Entwicklung noch lange nicht am Ende. Je besser die Entwicklung von echtzeitfähigen Organmodellen wird, die während des operativen Eingriffs möglichst realitätsnah im virtuellen Raum abgebildet werden, umso besser wird auch die Akzeptanz der Chirurgen. Die hochauflösende und echtfarbige Holographie gehört zu den spannendsten Entwicklungen in der bildgebenden Diagnostik, da das Abbild sich ebenso gut analysieren lässt wie das Original. Die Verbindung der AR mit der Holographie beflügelt weitere Visionen.

Fazit

Ziele der Augmented Reality in der Chirurgie sind:

  • Erhöhung der Präzision und Ergonomie während des operativen Eingriffs,
  • intuitive Navigation und Integration der 3D-Darstellung,
  • Erhöhung der Sicherheit,
  • automatische Filterung relevanter Daten,
  • Verbesserung der Ausbildung.
OEBPS/images/photo-video-start-icon.png

  Erste 3D-Operationen im Uniklinikum Greifswald

Unter folgenden Links finden Sie AR Apps

Anatomy 4D

AR Liver Viewer

Patrzyk M. / Heidecke C.-D. Augmented Reality in der Chirurgie – Wie wird unsere Wahrnehmung erweitert? Passion Chirurgie. 2015 Dezember, 5(12): Artikel 02_04.

Autoren des Artikels

Profilbild von Maciej Patrzyk

PD Dr. med. Maciej Patrzyk

Ltd. OberarztKlinik und Poliklinik für ChirurgieUniversitätsmedizin GreifswaldFerdinand-Sauerbruch-Straße17475Greifswald kontaktieren
Profilbild von Claus-Dieter Heidecke

Univ.-Prof. Dr. med. Claus-Dieter Heidecke

DirektorKlinik und Poliklinik für Allgemeine Chirurgie, Viszeral-, Thorax- und GefäßchirurgieUniversitätsmedizin GreifswaldFerdinand-Sauerbruch-Straße17475Greifswald kontaktieren

Weitere Artikel zum Thema

Passion Chirurgie

Lesen Sie PASSION CHIRURGIE!

Die Monatsausgaben der Mitgliederzeitschrift können Sie als eMagazin online lesen.