Technische Universität München
Autonomer Ultraschall: Avatar schafft Vertrauen
TECHNISCHE UNIVERSITÄT MÜNCHEN
PRESSEMITTEILUNG
Autonomer Ultraschall
Avatar schafft Vertrauen
- Durch den Einsatz eines Avatars sinkt bei Patientinnen und Patienten der Stress während einer autonomen Ultraschalluntersuchung.
- Der Avatar beantwortet während einer Ultraschalluntersuchung Fragen in beliebigen Sprachen.
- Anwenderinnen und Anwender sehen den Avatar durch eine VR-Brille.
Patientinnen und Patienten fassen mehr Vertrauen in autonome robotische Ultraschallsysteme, wenn sie von einem Avatar angeleitet werden. Das hat Prof. Nassir Navab von der Technischen Universität München (TUM) herausgefunden. Der virtuelle Agent erläutert, was er tut, beantwortet Fragen und kann in beliebigen Sprachen sprechen. Zum Einsatz kommen sollen derartige Systeme besonders in Regionen, in denen es an Ärztinnen und Ärzten mangelt.
Ein großer Bildschirm, eine Virtual-Reality-Brille, ein Roboterarm mit Ultraschallkopf und ein leistungsfähiger Rechner: Das ist die Ausstattung, die TUM-Forscher Tianyu Song aus dem Lehrstuhl für Informatikanwendungen in der Medizin für die autonome Untersuchung der Aorta, der Halsschlagader oder der Arterie im Unterarm benötigt. Damit Patientinnen und Patienten Vertrauen in das autonome technische System fassen, haben Forschende nun eine virtuelle Umgebung geschaffen. Darin übernimmt ein Avatar die Aufgabe, durch die Untersuchung zu führen. Nachdem die Patientinnen und Patienten eine VR-Brille aufsetzen, erscheint er vor ihren Augen, übernimmt die Gesprächsführung und beantwortet Fragen. „Das macht den ganzen Prozess menschlicher und freundlicher“, sagt der Leiter des Lehrstuhls Prof. Nassir Navab, „und es reduziert nachweislich den Stress bei Nutzerinnen und Nutzern von autonomen Systemen.“
Virtuelle Umgebung senkt den Stresslevel der Behandelten
Um das herauszukriegen, verglichen die Forschenden den Stresspegel von 14 jungen wie älteren, weiblichen wie männlichen Personen miteinander. Drei der vier Szenarien sind mehr oder weniger virtuell unterstützt. Einmal kommt ein Avatar in realem Umfeld zum Einsatz, einmal in einem virtuellen Umfeld, in dem reale Elemente eingeblendet werden und einmal in einer durchweg virtuellen Umgebung. Verglichen wurden sie mit einer Avatar-freien, rein realen Variante. Die Forschenden verkabelten die Probandinnen und Probanden mit Sensoren für ein Elektrokardiogramm (EKG) und leiteten daraus die Herzfrequenzvariabilität ab. „Je mehr dieser Wert während der Behandlung absinkt, umso höher ist der Stresslevel des jeweiligen Behandelten“, erläutert Forscher Song. Das Ergebnis: Alle drei virtuell unterstützen Szenarien erwiesen sich als eindeutig stressärmer als die nicht-virtuelle Behandlung.
Auf die Frage, welchem der drei virtuell unterstützten Szenarien sie am meisten vertrauten und welches sich am besten anfühlte, setzte sich der Avatar in realem Umfeld durch. „Deshalb setzen wir ihn nun auch für Vorführungen ein“, sagt Professor Navab, dessen Forschungen die Bayerische Forschungsstiftung im Rahmen des Forschungsprojektes ForNeRo (kurz für Forschungsverbund – Nahtlose und ergonomische Integration der Robotik in den klinischen Arbeitsablauf) unterstützt.
Large Language Model spricht Akzente
Der Hauptgrund für den verringerten Stress der Behandelten ist der Avatar, der in den Demonstrationen des Lehrstuhls meist eine weibliche Stimme hat und durch die Untersuchung führt. Er hält den Ultraschallkopf in der Hand und führt ihn zum Arm. Zudem spricht er mit dem Patienten. Damit dies möglich wird, wandelt eine Software die Fragen des Behandelten in Text um, ehe ein Large Language Model auf Basis von vorformulierten Anweisungen geeignete Antworten findet, die dann wiederum in gesprochene Worte umgewandelt werden. „Ein wichtiger Vertrauensbeweis ist nicht zuletzt, dass der Avatar nicht nur verschiedene Sprachen spricht, sondern auch regionale Akzente“, sagt Forscher Song. So kann das Sprachmodell zum Beispiel mit österreichischem Akzent sprechen oder aber Deutsch mit amerikanischem Akzent. Der Avatar kann zusätzlich nonverbal kommunizieren. Er gestikuliert, legt kurzen Pausen in den Sätzen ein und wendet sich Patientinnen und Patienten zu, wenn sie sprechen.
Weitere Informationen
- Forschungsprojekt ForNeRo: https://fornero.ed.tum.de/
Zusatzinformationen für Redaktionen:
- Fotos zum Download: https://mediatum.ub.tum.de/1796709
Publikationen
Tianyu Song , Felix Pabst, Ulrich Eck, Nassir Navab; Enhancing Patient Acceptance of Robotic Ultrasound through Conversational Virtual Agent and Immersive Visualizations; IEEE Transactions on Visualization and Computer Graphics, 5-2025; https://ieeexplore.ieee.org/document/10916942
W issenschaftlicher Kontakt:
Prof. Nassir Navab
Lehrstuhl für Informatikanwendungen in der Medizin
Technische Universität München (TUM)
nassir.navab@tum.de
Kontakt im TUM Corporate Communications Center:
Andreas Schmitz
0162-27 46 193
Die Technische Universität München (TUM) ist mit rund 700 Professuren, 53.000 Studierenden und 12.000 Mitarbeitenden eine der weltweit stärksten Universitäten in Forschung, Lehre und Innovation. Ihr Fächerspektrum umfasst Informatik, Ingenieur-, Natur- und Lebenswissenschaften, Medizin, Mathematik sowie Wirtschafts- und Sozialwissenschaften. Sie handelt als unternehmerische Universität und sieht sich als Tauschplatz des Wissens, offen für die Gesellschaft. An der TUM werden jährlich mehr als 70 Start-ups gegründet, im Hightech-Ökosystem München ist sie eine zentrale Akteurin. Weltweit ist sie mit dem Campus TUM Asia in Singapur sowie Büros in Brüssel, Mumbai, Peking, San Francisco und São Paulo vertreten. An der TUM haben Nobelpreisträger und Erfinderinnen und Erfinder wie Rudolf Diesel, Carl von Linde und Rudolf Mößbauer geforscht. 2006, 2012 und 2019 wurde sie als Exzellenzuniversität ausgezeichnet. In internationalen Rankings wird sie regelmäßig als beste Universität in der Europäischen Union genannt.