All Stories
Follow
Subscribe to Technische Universität München

Technische Universität München

TUM-Professorin nutzt ChatGPT für Choreographien mit Flugrobotern

TECHNISCHE UNIVERSITÄT MÜNCHEN

PRESSEMITTEILUNG

Robotik und ChatGPT miteinander verbinden

TUM-Professorin nutzt ChatGPT für Choreographien mit Flugrobotern

  • Prof. Angela Schoellig hat gezeigt, dass Large Language Models in der Robotik sicher eingesetzt werden können.
  • ChatGPT entwickelt Choreographien für bis zu neun Flugroboter, individuell zur jeweiligen Musik.
  • Ein zusätzlicher Algorithmus garantiert, dass die Drohnen sicher fliegen.

Prof. Angela Schoellig von der Technischen Universität München (TUM) setzt ChatGPT ein, um Choreographien für Drohnenschwärme passend zur jeweiligen Musik zu entwickeln. Ein zusätzlicher Sicherheitsfilter verhindert, dass die Flugroboter in der Luft zusammenstoßen. Damit beweisen die Forschenden erstmalig, dass Large Language Models (LLMs) wie ChatGPT in der Robotik grundsätzlich zum Einsatz kommen können.

Das Webinterface ist einfach zu bedienen: Doktorand Martin Schuck sucht sich einen Musiktitel aus und trägt in einem Textfeld ein, dass ihm das System eine Choreographie vorschlagen soll. Über einen weiteren „Prompt“ im ChatGPT-Tool lassen sich zusätzliche Anweisungen an den Drohnenschwarm geben, ehe ein Algorithmus überprüft, ob diese Flugbahnen machbar sind. Auf dem Bildschirm im Learning Systems and Robotics Lab ist nun ein simuliertes Flugfeld zu erkennen, auf dem sechs Drohnen im Kreis fliegen, passend zur Musik. Gefällt dem Wissenschaftler aus dem Lehrstuhl für Sicherheit, Performanz und Zuverlässigkeit für lernende Systeme der TUM diese Choreographie, loggt er sie ein und wenig später heben sechs Handteller-große Drohnen vom Boden des Robotik-Labs ab.

Choreographie mit drei Flugrobotern ist nach fünf Minuten fertig

Im Labor von Prof. Angela Schoellig hat das Forschendenteam dafür in einem etwa 40 Quadratmeter großen und drei Meter hohen Raum sechs Kameras an der Decke angebracht. Auf dem Boden sind mit Isolierband Kreuze markiert – die Startpositionen der Drohnen. Hat der Rechner nun eine mögliche Choreographie verifiziert, kann der Flug beginnen. 200 Mal in der Sekunde detektieren die Kameras die Position der mit vier Propellern und Motoren ausgestatteten Quadrocopter. Das System gleicht sie mit der erwünschten Position ab. Zu 100 Prozent sicher sind die Flugshows im Learning Systems and Robotics Lab heute, die das Forschendenteam mit bis zu neun Drohnen realisiert. Ohne den speziellen Sicherheitsfilter geht nur jede vierte Flugshow unfallfrei über die Bühne.

SwarmGPT: Zusatzalgorithmus macht Flugroboter sicher

Für den „Tanz der Flugroboter“ hat Prof. Angela Schoellig ChatGPT mit dem Sicherheitsfilter kombiniert. „Das KI-Tool ChatGPT wurde primär dafür geschaffen, um Texte zu generieren, doch es kann auch Choreografien vorschlagen“, sagt die Professorin. „Allerdings weiß es zunächst nichts über die Eigenschaften von Drohnen und physikalischen Grenzen für die Flugbahnen. Klar ist also, dass ChatGPT Fehler macht.“

Der zusätzliche Sicherheitsalgorithmus schließt diese Lücke und plant die Flugbahnen für die vorgeschlagene Choreografie exakt so um, dass die Drohnen in der Luft nicht miteinander kollidieren. Selbst ein diagonaler Flug zweier sich entgegenkommender Drohnen wird so möglich. Das für den Einsatz von mehreren Flugrobotern konzipierte Gesamtkonzept aus ChatGPT und Sicherheitsfilter nennt Prof. Schoellig SwarmGPT. Das Tool generiert einerseits die Abläufe in der Luft und dient andererseits als Interface zwischen Roboter und Mensch, der keinerlei Expertenwissen benötigt.

ChatGPT hat einen Quantensprung bewirkt

Als Angela Schoellig vor knapp 15 Jahren mit ihrer Forschung an Drohnen begann, wurden Choreografien von Hand entwickelt. Bis die ersten sechs Choreographien für sechs Drohnen entwickelt waren und funktionierten, vergingen mehr als drei Jahre. „ChatGPT hat hier einen Quantensprung bewirkt“, so Prof. Schoellig. In den letzten drei Monaten experimentierten die Forschenden mit über 30 Choreographien für bis zu neun Drohnen. Um heute eine sichere Choreograhie für einzelne etwa 30 Sekunden lange Musikclips mit drei Drohnen zu entwickeln, benötigen die Forschenden gerade einmal etwa fünf Minuten. Je mehr Drohnen hinzukommen, umso länger muss ChatGPT rechnen, und desto länger dauert der Vorschlag für eine Choreographie. Doch ist Schoellig sich sicher: „Das Konzept ist skalierbar.“

Robotik: Wird ChatGPT zum Interface für Nicht-Expertinnen und Nicht-Experten

Können auch andere Roboter mit einem solchen Interface über ChatGPT eingesetzt werden? Für Roboter, die über Sprachsteuerung Dinge greifen, Kabel legen oder Türen öffnen, liegt die Erfolgsrate der Szenarien derzeit bei nur 63, 56 und 80 Prozent. Auf den Einsatz in anderen Robotikszenarien ist also bis jetzt eher wenig Verlass. Für Prof. Angela Schoellig ist das ein Ansporn: „Ich gehe davon aus, dass unser Ansatz auch mit anderen Szenarien immer besser funktionieren wird.“ Saug- und industrielle Roboter könnten sich demnächst womöglich einfach durch Sprachanweisung umprogrammieren lassen, ohne Experten- und Programmierwissen.

Weitere Informationen:

  • Prof. Angela Schoellig ist Leiterin des Lehrstuhls für Sicherheit, Performanz und Zuverlässigkeit für lernende Systeme der TUM und zudem Direktorin im Munich Institute of Robotics and Machine Intelligence (MIRMI). In dem Robotik- und KI-Institut der TUM sind über 70 Professor:innen darauf fokussiert, robotische und intelligente Lösungen in den Bereichen Gesundheit, Umwelt, Mobilität und Arbeit zu entwickeln.
  • Swarm-GPT: Combining Large Language Models with Safe Motion Planning for Robot Choreography Design, NeurIPS 2023 workshop paper

Publikationen

Vivek K. Adajania, Siqi Zhou, Arun Kumar Singh, Angela P. Schoellig

AMSwarm: An Alternating Minimization Approach for Safe Motion Planning of Quadrotor Swarms in Cluttered Environments; IEEE; ; https://ieeexplore.ieee.org/document/10161063

Zusatzinformationen für Redaktionen

Fotos zum Download: https://mediatum.ub.tum.de/image/1740784

Video: https://youtu.be/aKnhSnJHNpw

Wissenschaftlicher Kontakt

Prof. Angela Schoellig

Lehrstuhl für Sicherheit, Performanz und Zuverlässigkeit lernender Systeme

Technische Universität München (TUM)

Angela.schoellig@tum.de

Kontakt im TUM Corporate Communications Center

Andreas Schmitz

Presse Robotik und maschinelle Intelligenz

0162-27 46 193

presse@tum.de

www.tum.de

Die Technische Universität München (TUM) ist mit mehr als 600 Professorinnen und Professoren, 48.000 Studierenden sowie 11.000 Mitarbeiterinnen und Mitarbeitern eine der forschungsstärksten Technischen Universitäten Europas. Ihre Schwerpunkte sind die Ingenieurwissenschaften, Naturwissenschaften, Lebenswissenschaften und Medizin, verknüpft mit den Wirtschafts- und Sozialwissenschaften. Die TUM handelt als unternehmerische Universität, die Talente fördert und Mehrwert für die Gesellschaft schafft. Dabei profitiert sie von starken Partnern in Wissenschaft und Wirtschaft. Weltweit ist sie mit dem Campus TUM Asia in Singapur sowie Verbindungsbüros in Brüssel, Mumbai, Peking, San Francisco und São Paulo vertreten. An der TUM haben Nobelpreisträger und Erfinder wie Rudolf Diesel, Carl von Linde und Rudolf Mößbauer geforscht. 2006, 2012 und 2019 wurde sie als Exzellenzuniversität ausgezeichnet. In internationalen Rankings gehört sie regelmäßig zu den besten Universitäten Deutschlands.

More stories: Technische Universität München
More stories: Technische Universität München
  • 28.04.2024 – 11:24

    Sieg für KI-Racer der TUM auf Formel 1-Strecke in Abu Dhabi

    TECHNISCHE UNIVERSITÄT MÜNCHEN PRESSEMITTEILUNG TUM Autonomous Motorsports gewinnt spektakuläres Rennen in Abu Dhabi Sieg für KI-Racer der TUM auf Formel 1-Strecke - Rennfahrzeuge komplett von KI gesteuert - Erstmals auf Grand-Prix-Kurs mit zahlreichen Kurven - Spektakuläre Überholmanöver und Geschwindigkeiten bis 250 km/h Das von Künstlicher Intelligenz gesteuerte Fahrzeug der TUM hat in einem internationalen ...

  • 26.04.2024 – 09:34

    Studie: Rezeptur von Babynahrung wirkt sich auf Darmflora aus

    Studie mit Säuglingen zeigt überraschend „innere Uhr“ von Darmbakterien Rezeptur von Babynahrung wirkt sich auf Darmflora aus - Positiver Effekt von Galacto-Oligosacchariden - Anreicherung mit Bifidobakterien bringt geringeres Ergebnis - Neuer Forschungsansatz für 24-stündigen Tag-und-Nacht-Rhythmus bei Darmbakterien Die Rezeptur von Säuglingsnahrung hat Auswirkungen auf die Darmflora von Babys. Das hat ein Team ...

  • 25.04.2024 – 12:15

    Überraschende Erkenntnis: Kürbisse und Rosen sind eng verwandt

    Überraschendes Ergebnis einer aufwendigen Genom-Analyse der Pflanzenwelt Kürbisse und Rosen sind eng verwandt - Umfassendste Genom-Analyse der Pflanzenwelt - Ziel: Stammbaum aller 330.000 bekannten Blütenpflanzen - Buchen doch nicht nah mit Kürbissen verwandt Ein internationales Forscherteam unter Beteiligung der TUM hat die bisher umfassendste Genom-Analyse der ...