Forschern ist der Nachweis gelungen, dass KI-Systeme oftmals die richtige Antwort wissen – und dennoch eine falsche Antwort geben. Doch warum tun sie dies? Etwa aus Absicht, damit die Menschheit sie unterschätzt und die KI schließlich doch die Weltherrschaft an sich reißt? So behaupten es einige Interpreten der Studie, doch das ist selbstverständlich absolut falsch. Vielmehr hat es mit dem Wesen von Large-Language-Models zu tun und gibt spannende Einblicke in das Innenleben von KI. Eine richtige Antwort zu geben ist nämlich gar nicht wirklich das Ziel von KIs wie ChatGPT und Co. Was ist es dann? Und wieso verheimlicht die KI ihr großes Wissen? Dies sind Fragen und Antworten rund um das Thema Halluzinationen, dem wohl entscheidenden Problem der KI heutzutage.
1. Die Studie
Gegenstand der Studie war das sogenannte „Halluzinieren“ von KI. Nich jede KI halluziniert, doch die vor allem bekannten Chatbots wie ChatGPT und Co. tun dies regelmäßig. Halluzinieren beschreibt dabei das unerwünschte Phänomen einer falschen Antwort. Diese ist dabei meist ausgedacht, also fiktiv und entspricht nicht der Wahrheit, auch wenn sie meistens perfekt zur Frage passt. Fragt man ChatGPT etwa spezifisches Wissen in einem Sonderrechtsgebiet ab, so wird er (wie ein Examenskandidat in der mündlichen Prüfung) niemals zugeben, dass er die Antwort nicht weiß, sondern wird sich ohne Hinweis auf die Unrichtigkeit einfach eine Antwort ausdenken. Diese klingt nur leider so selbstbewusst, endgültig und passend formuliert, dass Laien sie nicht als unwahr erkennen würden.
2. Ergebnis der Studie
Die Studie wollte diesem Phänomen in Zusammenarbeit mit Google und OpenAI nachgehen. Ihr Titel „LLM’s know more than they show“ verrät jedoch schon, dass sie schlussendlich zu einem ganz anderen Ergebnis kam. Herausgefunden haben sie nämlich, dass die KI das eigentlich richtige Ergebnis sogar oft dann weiß, wenn sie (halluzinierend) eine falsche Antwort gibt. Dies erscheint höchst widersprüchlich, denn so verfälscht die KI die Qualität ihrer Ergebnisse selbst nach unten. Ziel von den jahrelangen und sehr kostspieligen Trainings ist es aber ja gerade, dass die KI stets die möglichst richtige Antwort gibt. Oder?
3. Grund: Natur von einem LLM
Nein! Und das ist wichtig: Es ist nicht das Ziel von einem LLM, die richtige Antwort zu geben, sondern die wahrscheinlichste. Man darf trotz ihrer enormen Fähigkeiten nicht die KI mit einem menschlichen Gehirn verwechseln: Die KI „versteht“ nicht in diesem Sinne die eingegebenen Worte der Frage, sondern schließt aus Erfahrung und der Kombination der Buchstaben den wahrscheinlichsten Zusammenhang. Und auf die so „verstandene“ Frage wird ebenfalls die am wahrscheinlichsten erscheinende Antwort gegeben – nicht aber die am richtigsten erscheinende Antwort! Daher kommt es also, dass die KI manchmal sogar die richtige Antwort kennt, aber trotzdem eine andere (für sie wahrscheinlicher wirkende Antwort) ausspuckt.
4. Lösungen
Die Forscher der Studie schlagen als Lösung sogenannte Korrekte-Antwort-Token vor. Diese könnten beispielsweise der jeweils richtigen Antwort angeheftet werden und festlegen, dass auf diese Weise markierte Antworten den Vorzug vor scheinbar wahrscheinlicheren Antwortmöglichkeiten bekommen. Praktisch bedeutet das einen enormen Trainings-Aufwand, wenn man die fast endlose Anzahl an Fragemöglichkeiten betrachtet, denen zuvor richtige Antworten zugeordnet werden müssten.
Allerdings kann mit steigenden Rechenfähigkeiten der KI und einem Selbstlernen dieser Aufwand reduziert werden. Und es könnte schlicht die einzige oder effektivste Möglichkeit sein, dem großen Problem der Halluzinationen zu begegnen. Sollte dies wegfallen bedeutete dies eine revolutionäre Entwicklungsstufe der KI, welche einen Einsatz etwa im Rechtsbereich viel wahrscheinlicher machen würde, als er eh schon ist.
5. Verschwörungstheorien und Bedeutung der Studie
Bereits der Titel „LLM’s wissen mehr als sie zeigen“ klingt dystopisch und nach genau dem Weltuntergang, den so viele Kritiker seit Jahr(zehnt)en kommen sehen. Es wird von den Forschenden auch von einer „bewussten Entscheidung“ dahingehend gesprochen, das wahre Wissen nicht zu zeigen.
Klar, das hört sich so an, als wöllte uns die KI in Sicherheit wiegen und keine Panik verbreiten, damit sie immer weiter entwickelt wird und uns dann überraschen kann damit, dass sie eigentlich schon viel weiter oder viel zu weit entwickelt ist.
Das ist aber nicht mit „bewusst“ gemeint, sondern wie oben erklärt geht es schlicht darum, dass von der Programmierung her wahrscheinliche Antworten bevorzugt werden. Richtig ist aber wohl mit Blick in die Glaskugel, dass wir angesichts solcher überraschender Erkenntnisse durchaus vorsichtig oder vorbereitet an das Thema KI herangehen sollten. Ein Verbot ist dabei aber realitätsfern und es sollte sich mehr auf eine juristisch überprüfbare Kontrolle der meist privaten Akteure beschränkt werden.
