„Wir müssen erkennen, wann wir der KI nicht vertrauen können“ - Prof. Dr. Matthias Rottmann von der Uni Osnabrück über die Grenzen autonomer Systeme
- Bild-Infos
- Download
Prof. Dr. Matthias Rottmann forscht an der Universität Osnabrück zu maschinellem Lernen und insbesondere dazu, wie zuverlässig Künstliche Intelligenz in sicherheitskritischen Anwendungen wie dem autonomen Fahren tatsächlich ist. In der Interviewreihe „UOS fragt nach“ erklärt er, warum es nicht reicht, dass eine KI meistens richtig liegt, welche Probleme KI mit einem Einhorn auf der Straße hat und ob er sich selbst in ein Robotaxi setzen würde.
„Wir müssen erkennen, wann wir der KI nicht vertrauen können“
Prof. Dr. Matthias Rottmann über bildverarbeitende KI, Unsicherheit und die Grenzen autonomer Systeme
Prof. Dr. Matthias Rottmann forscht an der Universität Osnabrück zu maschinellem Lernen und insbesondere dazu, wie zuverlässig Künstliche Intelligenz in sicherheitskritischen Anwendungen wie dem autonomen Fahren tatsächlich ist. In der Interviewreihe „UOS fragt nach“ erklärt er, warum es nicht reicht, dass eine KI meistens richtig liegt, welche Probleme KI mit einem Einhorn auf der Straße hat und ob er sich selbst in ein Robotaxi setzen würde.
Herr Prof. Rottmann, zuletzt waren Berichte über Künstliche Intelligenz oft negativ konnotiert: Die Rede war von KI-Modellen, die sich selbständig machten und außer Kontrolle schienen. Wie sehr vertrauen Sie künstlicher Intelligenz?
Prof. Rottmann: Die Frage stelle ich mir auch immer wieder, und eine gute Antwort ist schwierig. Vertrauenswürdigkeit hat für mich bei promptbaren Sprachmodellen mindestens zwei Dimensionen: Zum einen sollte man die Ausgaben einer KI hinterher prüfen, gerade wenn auf ihrer Basis wichtige Entscheidungen getroffen werden. Zum anderen ist entscheidend, welche Informationen man einem Sprachmodell überhaupt bereitwillig anvertraut. Einer von mir privat gehosteten KI mit entsprechendem Datenschutz würde ich durchaus sensible Daten geben. Die KI speichert nicht direkt, was sie bekommt, sondern ist prinzipiell erst einmal ein statistisches Modell, das nur dann aktiv etwas Neues lernt, wenn man es in die entsprechende Lernphase versetzt. Ein Blick ins Kleingedruckte ist also wichtig. Wobei wir hier über Sprachmodelle sprechen - wissenschaftlich beschäftige ich mich aber vor allem mit bildverarbeitender KI.
Und wie zuverlässig ist hier die Künstliche Intelligenz?
Bei bildverarbeitender KI war es lange Zeit so, dass die Modelle bestimmte Schubladen hatten, in die sie Objekte einsortiert haben. Alles, was vor die Kamera kam, musste in eine dieser Schubladen passen. Ein unbekanntes Objekt konnte dadurch beispielsweise einfach falsch eingeordnet werden, ohne dass die KI auf diese Unsicherheit hingewiesen hat. Im sicherheitskritischen Einsatz, etwa im Straßenverkehr, kann genau das gefährlich werden.
Was passiert, wenn die KI etwas sieht, das sie noch nie gesehen hat?
Genau das ist ein großes Problem. Nehmen wir ein autonom fahrendes Auto: Es muss nicht unbedingt wissen, dass das, was da auf der Straße steht, ein Einhorn ist. Es muss nur erkennen, dass dort etwas ist, und entsprechend reagieren.
Wir unterscheiden dabei verschiedene Arten von Unsicherheit: Es gibt zum einen die aleatorische oder auch intrinsische Unsicherheit. Sie beruht auf einer mathematisch bedingten Unvorhersagbarkeit und lässt sich anhand der Bilddaten, die man hat, nicht weiter auflösen. Daneben gibt es noch die epistemische Unsicherheit, die aus unzureichendem Wissen entsteht – also beispielsweise, wenn ein Modell mit einer völlig neuen Situation konfrontiert wird. Da sind wir wieder bei dem Einhorn auf der Straße. Der Unterschied ist wichtig: Nur die epistemische Unsicherheit lässt sich durch mehr Daten oder Training verringern, die aleatorische bleibt bestehen, ganz gleich wie gut das Modell wird.
Dafür entwickeln wir Methoden, die erkennen sollen: Hier ist etwas, das die KI möglicherweise noch nie gesehen hat. Wir sollten ihr daher nicht vertrauen.
Würden Sie sich selbst in ein autonom fahrendes Auto setzen?
Also für einen Familienurlaub mit Landesgrenzenwechsel und auf einer langen Strecke – das wäre schon spannend. Da kommt es nämlich zu einem sogenannten Domain Shift: Die Umgebung verändert sich, und das ist eine problematische Sache für KI-Modelle. Da wäre ich eher vorsichtig.
Anders sähe es beispielsweise mit einem Robotaxi in San Francisco aus, das in einer relativ klar abgegrenzten und bekannten Umgebung fährt. Da würde ich mich schon mal reinsetzen. Die fahren auch nicht wahnsinnig schnell. Aber auf der Autobahn? Es gibt bereits Highway-Assistenten, beispielsweise von Mercedes-Benz, die mit rund 95 km/h unterwegs sind. Wichtig wäre mir, dass ich immer noch selbst eingreifen kann, dass es ein Lenkrad gibt und ich mich nicht komplett der KI ausliefere. Dann würde ich mich das trauen.
Wo sehen Sie derzeit die Grenzen der KI?
Selbst moderne Modelle mit offenem Vokabular haben ihre Grenzen. Bestimmte Kombinationen aus Objekten und Kontexten wurden vielleicht noch nicht gesehen, so dass die Genauigkeit dieser Modelle in die Knie geht. Deshalb müssen wir ständig neue Methoden entwickeln, mit denen wir sie untersuchen können. Daran arbeite ich mit meinem Team. Unser Problem ist, dass sich insbesondere die Sprachmodelle rasant weiterentwickeln, deutlich schneller als die Bildmodelle. Es ist schwer, hier Schritt zu halten ohne die nötigen Ressourcen.
Geht Ihnen als Wissenschaftler die Entwicklung zu schnell? Haben Sie das Gefühl, der Technik hinterherzurennen?
Das sagen ja mittlerweile selbst Anthropic-Mitarbeitende: Wir bräuchten eigentlich mal ne Pause. Einmal innehalten und dafür sorgen, dass die Programme auch zuverlässig werden und vertrauenswürdig. Dass wir verstehen, wo die Grenzen liegen.
Wird die KI-Entwicklung denn überhaupt irgendwann an eine Grenze stoßen?
Immer wenn ich denke, dass eine bestimmte Grenze erreicht ist, verschiebt sie sich im nächsten Schritt schon wieder. Deshalb kann ich schwer sagen, was KI in einem Jahr können wird. Aktuell gibt es beispielsweise noch Situationen, in denen Sprachmodelle bei großen Projekten den Überblick verlieren. Menschen sind dort teilweise noch besser. Aber auch das kann sich schnell umkehren, so dass wir unsere eigene Rolle immer wieder hinterfragen sollten: Welcher Part der Arbeit ist mein Anteil und wo setze ich KI sinnvoll ein? Zudem stoßen wir beim Datenhunger der KI an bestimmte Grenzen: Das frei verfügbare Internet ist für hochwertige Textdaten inzwischen weitgehend leergesaugt.
Für mich ist am Ende aber entscheidend, dass wir nicht nur immer leistungsfähigere Modelle entwickeln, sondern auch verstehen, wann wir ihnen vertrauen können und wann nicht.
Da sind wir wieder bei der Anfangsfrage und dem dystopischen Szenario, dass wir langsam die Kontrolle über die KI verlieren. Was bereitet Ihnen derzeit Kopfzerbrechen?
Ich hoffe, dass die großen Tech-Konzerne reflektiert und vorsichtig handeln, dass sie nicht die Büchse der Pandora öffnen und die KI mit falschen Fähigkeiten ausstatten. Die jüngsten Hackerangriffe, bei denen eine KI einfach ausbricht, sich selbständig macht und in einem anderen Unternehmen Daten abgreift - das kann einen schon sorgenvoll stimmen. Umso wichtiger ist es aus meiner Sicht, dass Wissenschaft und Gesellschaft diese Entwicklung kritisch begleiten, statt sie nur zu bestaunen oder zu fürchten.
Zur Person: Prof. Dr. Matthias Rottmann hat seit August 2025 die Professur „Praktische Informatik/Digitalisierung” an der Uni Osnabrück inne. Seine Forschungsschwerpunkte liegen im Bereich des maschinellen Lernens, insbesondere bei Unsicherheitsquantifizierung, der Erkennung untypischer Objekte und Data-Centric AI, also der systematischen Verbesserung von Trainingsdaten für KI-Systeme.
Zur Reihe: In der Interviewreihe „UOS fragt nach“ berichten Expertinnen und Experten der Uni Osnabrück im Gespräch mit der Pressestelle über ihre Forschung und beziehen Stellung zu aktuellen und alltäglichen Themen. Von Politik bis Pädagogik, von Kunst bis KI – UOS fragt nach.
Weitere Informationen für die Medien:
Prof. Dr. Matthias Rottmann, Universität Osnabrück
Fachbereich Mathematik/Informatik/Physik
Matthias.rottmann@uni-osnabrueck.de
Cornelia Achenbach, Universität Osnabrück Kommunikation und Marketing / Redakteurin Neuer Graben 29/Schloss, 49074 Osnabrück
E-Mail: cornelia.achenbach@uni-osnabrueck.de
Weiteres Material zum Download Dokument: 07_UOS_fragt_nach_Ro~September 2026.docx