Virtual Reality, Augmented Reality und Mixed-Reality und ihre Anwendungsbereiche, Herausforderungen und Möglichkeiten in der Chirurgie

Applikationen und Anwendungsbereiche für Extended-Reality-Anwendungen werden bereits in vielen Industrien genutzt. Ihr Potenzial zur Produkt-, Produktions- oder Effektivitätssteigerung wird hoch eingeschätzt. So betrug der Marktwert der Virtual Reality (VR) in der Automobilindustrie vor der Covid-19-Pandemie knappe 760 Millionen Dollar. Bis zum Jahr 2027 wird der Wert auf knappe 15 Milliarden geschätzt [2].

Mit dem Aufkommen neuer Technologien und digitaler Bildgebung wurden diese auch im Bereich der Chirurgie eingeführt. Denn auch in der Chirurgie bietet die Extended Reality viele Möglichkeiten zur Verbesserung der Lehre, präoperativen Planung, intraoperativen Durchführung und Navigation, Nachbehandlung bis hin zur Rehabilitation [1, 12, 15, 18]. Extended Reality erweitert die traditionelle Medizin weiter durch digitale Bildgebung und Daten sowie durch eine mögliche Unterstützung aus der Ferne [22].

Facetten der Extended Reality

Extended Reality (XR) fasst als Oberbegriff digitale Erweiterungen der Realitätswahrnehmung zusammen. Dabei werden drei große Felder unterschieden:

• Virtual Reality (VR): kreiert eine rein virtuelle Umgebung
• Augmented Reality (AR): virtuelle Bilder werden in die reale Umwelt projiziert
• Mixed Reality (MR): virtuelle Bilder werden präzise in die reale Welt projiziert, die physische und virtuelle Welt interagieren

Virtuelle Realität

Die virtuelle Realität (VR) simuliert eine völlig künstliche Umgebung um die Anwendenden und integriert diese in eine künstliche Umgebung. Die Nutzenden tragen sogenannte Head-mounted Devices (HMDs), meist in Form von VR-Brillen, die eine virtuelle Umgebung darstellen. Mithilfe unterschiedlicher Handsteuerungen können die Nutzenden mit der virtuellen Realität interagieren. Haptisches Feedback dieser Handsteuerungen ermöglicht ein realitätsnahes Feedback der virtuellen Aktivität [13].

In der VR interagiert die virtuelle nicht mit der Realität um den Nutzenden [21].

Bislang werden VR-Technologien vor allem für die präoperative Planung und das Training eingesetzt [21]. Ein Beispiel sind die Trainingstools, die das Üben von operativen Schritten ermöglichen oder die Darstellung einer virtuelle 3-D-Umgebung, beispielsweise eines Operationssaals, in dem eine reale chirurgische Szene nachgebildet ist. Ein solcher virtueller Operationssaal lässt Weiterzubildende chirurgische Arbeitsabläufe dreidimensional, aus jeder Perspektive und in wirklichem Maßstab erleben, um so die Verknüpfung von theoretischem Fachwissen und praktischer Anwendung herzustellen [16].

Eine Patient:innen-orientierte Anwendung ist die Durchführung von Übungsanleitungen oder spielerischer Bewegungstherapie durch VR-Applikationen [1].

Augmented Reality

Augmented Reality (AR) beschreibt die Integration von digitalen Bildern in die reale Welt. Sie ermöglicht die virtuelle Darstellung von Daten, beispielsweise präoperativen Planungen oder Röntgenbildern, in die wirkliche Umgebung [21].

Abb. 1: Nutzung von VR zur Rehabilitation eines unfallchirurgischen Patienten im eigens dafür konzipierten Therapieraum „ukb brain cloud 1.0“ am BG Klinikum Unfallkrankenhaus Berlin.

Im chirurgischen Kontext wird dies häufig dazu verwendet, die Anatomie zu überlagern oder sich den Patienten im OP digital vorzustellen [21]. Darüber hinaus werden häufig Kameras eingesetzt, um in der AR-Situation Markierungen zu verfolgen [9, 13, 21]. AR wurde unter anderem in orthopädischen und neurochirurgischen Fällen eingesetzt [3, 13, 14].

AR kann unter anderem dazu genutzt werden, Support über eine Distanz zu gewährleisten. So nutzten Greenfield et al. (2018) AR, um Chirurgen bei der Operation einer schwer verletzten Hand in Gaza zu unterstützen [5]. In einer prospektiven Studie setzten Vyas et al. AR erfolgreich ein, um Chirurgen bei Lippenspaltoperationen in Peru aus der Ferne zu schulen und anzuleiten [22].

Mixed Reality

Mixed Reality (MR) ist die jüngste Entwicklung in diesem Bereich [21]. Bei der gemischten Realität werden virtuelle Bilder auf reale Objekte eingeblendet, um eine Bildführung auf realen Objekten zu ermöglichen.

Abb. 2: Darstellung von HMDs zur Anwendung von Extended Reality. © Experimental Surgery, Charité – Universitätsmedizin Berlin

Im Gegensatz zu VR und AR kann die MR in der Chirurgie virtuelle holografische Elemente über die oberflächliche Anatomie legen, während der Patient operiert wird [18]. MR bildet virtuelle Bilder in Bezug zu und auf realen Objekten ab [21]. Beispielsweise wird die Gefäßstruktur im realen Verlauf auf ein Organ projiziert. Durch die Simulation von Bildern auf den Situs reduziert MR den Abstand zwischen dem Arbeitsbereich und der Visualisierung, es ist so nicht mehr notwendig, den Blick aus dem Operationsfeld zu wenden [18].

Des Weiteren kann durch HMDs MR für die bidirektionale Kommunikation zwischen Chirurgen und Chirurginnen und z. B. anderen Mitarbeitern oder Spezialistinnen eingesetzt werden, ohne dafür die Hände vom Operationsfeld entfernen zu müssen [17]. Durch MR können Eintrittspunkte, Eintrittswinkel von Instrumenten und Anweisungen im Operationsfeld dargestellt und so angeleitet werden, während der Blick des Operierenden jederzeit auf dem Operationsfeld liegt [10].

Abb. 3: Beilspiel einer intraoperativen AR Anwendung. © Experimental Surgery, Charité – Universitätsmedizin Berlin

Abb. 4: Darstellung einer Bohrintervention unterstützt durch MR; mittels VR Brille sieht die Chirurgin sowohl ihr Instrumentarium als auch den angestrebten Eintrittspunkt und Winkel in Projektion auf den Situs (Quelle: Ludwig; Queisner)

Tab. 1: Darstellung einer Bohrung über MR-Anleitung. Überblick über die Teilbereiche der Extended Reality

Literatur

[1]   BG Kliniken (2022) Digitale Therapie | BG Klinikum Unfallkrankenhaus Berlin. https://www.bg-kliniken.de/unfallkrankenhaus-berlin/digitale-therapie/. Zugegriffen: 28. Juli 2023
[2]   Carter R (2023) Top 5 Use Cases for Extended Reality in Automotive – XR Today. https://www.xrtoday.com/virtual-reality/top-5-use-cases-for-extended-reality-in-automotive/. Zugegriffen: 15. August 2023
[3]   Cofano F, Di Perna G, Bozzaro M et al. (2021) Augmented Reality in Medical Practice: From Spine Surgery to Remote Assistance. Front Surg 8:657901. https://doi.org/10.3389/fsurg.2021.657901
[4]   Condino S, Turini G, Parchi PD et al (2018) How to Build a Patient-Specific Hybrid Simulator for Orthopaedic Open Surgery: Benefits and Limits of Mixed-Reality Using the Microsoft HoloLens. Journal of Healthcare Engineering 2018:e5435097. https://doi.org/10.1155/2018/5435097
[5]   Greenfield MJ, Luck J, Billingsley ML et al. (2018) Demonstration of the Effectiveness of Augmented Reality Telesurgery in Complex Hand Reconstruction in Gaza. Plast Reconstr Surg Glob Open. https://doi.org/10.1097/GOX.0000000000001708
[6]   Gregory TM, Gregory J, Sledge J et al. (2018) Surgery guided by mixed reality: presentation of a proof of concept. Acta Orthop 89:480–483. https://doi.org/10.1080/17453674.2018.1506974
[7]   Iseki H, Masutani Y, Iwahara M et al. (1997) Volumegraph (overlaid three-dimensional image-guided navigation). Clinical application of augmented reality in neurosurgery. Stereotact Funct Neurosurg 68:18–24. https://doi.org/10.1159/000099897
[8]   Jud L, Fotouhi J, Andronic O et al. (2020) Applicability of augmented reality in orthopedic surgery – A systematic review. BMC Musculoskelet Disord. https://doi.org/10.1186/s12891-020-3110-2
[9]   Lave A, Meling T, Schaller K, Corniola M (2020) Augmented reality in intracranial meningioma surgery: a case report and systematic review. Journal of neurosurgical sciences 64:369–376. https://doi.org/10.23736/S0390-5616.20.04945-0
[10] Li Y, Huang J, Huang T et al. (2021) Wearable Mixed-Reality Holographic Navigation Guiding the Management of Penetrating Intracranial Injury Caused by a Nail. J Digit Imaging:1–5. https://doi.org/10.1007/s10278-021-00436-3
[11] van Lindert EJ, Grotenhuis JA, Beems T (2004) The use of a head-mounted display for visualization in neuroendoscopy. Comput Aided Surg 9:251–256. https://doi.org/10.3109/10929080500165476
[12] Logishetty K, Western L, Morgan R et al. (2019) Can an Augmented Reality Headset Improve Accuracy of Acetabular Cup Orientation in Simulated THA? A Randomized Trial. Clin Orthop Relat Res 477:1190–1199. https://doi.org/10.1097/CORR.0000000000000542
[13] Lungu AJ, Swinkels W, Claesen L et al. (2021) A review on the applications of virtual reality, augmented reality and mixed reality in surgical simulation: an extension to different kinds of surgery. Expert Review of Medical Devices 18:47–62. https://doi.org/10.1080/17434440.2021.1860750
[14] Meola A, Cutolo F, Carbone M et al. (2017) Augmented reality in neurosurgery: a systematic review. Neurosurg Rev 40:537–548. https://doi.org/10.1007/s10143-016-0732-9
[15] Ogawa H, Hasegawa S, Tsukada S, Matsubara M (2018) A Pilot Study of Augmented Reality Technology Applied to the Acetabular Cup Placement During Total Hip Arthroplasty. J Arthroplasty 33:1833–1837. https://doi.org/10.1016/j.arth.2018.01.067
[16] Queisner M, Pogorzhelskiy M, Remde C et al. (2022) VolumetricOR: A New Approach to Simulate Surgical Interventions in Virtual Reality for Training and Education. 29:406–415
[17] Sakai D, Joyce K, Sugimoto M et al. (2020) Augmented, virtual and mixed reality in spinal surgery: A real-world experience. J Orthop Surg (Hong Kong) 28:2309499020952698. https://doi.org/10.1177/2309499020952698
[18] Sauer IM, Queisner M, Tang P et al. (2017) Mixed Reality in Visceral Surgery: Development of a Suitable Workflow and Evaluation of Intraoperative Use-cases. Ann Surg 266:706–712. https://doi.org/10.1097/SLA.0000000000002448
[19] Shen F, Chen B, Guo Q et al. (2013) Augmented reality patient-specific reconstruction plate design for pelvic and acetabular fracture surgery. Int J CARS 8:169–179. https://doi.org/10.1007/s11548-012-0775-5
[20] Stefan P, Habert S, Winkler A et al. (2018) A radiation-free mixed-reality training environment and assessment concept for C-arm-based surgery. Int J CARS 13:1335–1344. https://doi.org/10.1007/s11548-018-1807-6
[21] Verhey JT, Haglin JM, Verhey EM, Hartigan DE (2020) Virtual, augmented, and mixed reality applications in orthopedic surgery. Int J Med Robotics Comput Assist Surg. https://doi.org/10.1002/rcs.2067
[22] Vyas RM, Sayadi LR, Bendit D, Hamdan US (2020) Using Virtual Augmented Reality to Remotely Proctor Overseas Surgical Outreach: Building Long-Term International Capacity and Sustainability. Plast Reconstr Surg 146:622e–629e. https://doi.org/10.1097/PRS.0000000000007293
[23] Yoon JW, Chen RE, Han PK et al. (2017) Technical feasibility and safety of an intraoperative head-up display device during spine instrumentation. Int J Med Robot. https://doi.org/10.1002/rcs.1770

Ludwig J: Extended Reality goes Surgery – „Neue Realitäten“ in der Chirurgie. Passion Chirurgie. 2023 Oktober; 13(10): Artikel 03_01.