Warum halluzinieren KI-Modelle?

Wenn KI so fortschrittlich ist, warum erfindet sie manchmal Dinge? Mein Name ist Jordan, und ich arbeite bei Anthropic. Wir entwickeln Claude, einen KI-Assistenten, und wir tun viel dafür, dass er dir genaue Informationen liefert. Aber manchmal erfinden KIs trotzdem Dinge. Wir nennen diese Fehler Halluzinationen. Und sie sind oft schlimmer als ein einfacher Fehler, weil die KI sehr selbstbewusst wirkt oder sogar versucht, dich davon zu überzeugen, dass sie recht hat.

Halluzinationen können sich auf viele Arten zeigen. Die KI könnte eine Forschungsarbeit zitieren, die nicht existiert, falsche Statistiken erfinden oder Fakten über reale Personen oder reale Ereignisse falsch wiedergeben. So sieht das aus: Du hast Claude gebeten, dir von einigen Arbeiten zu erzählen, die von Jared Kaplan geschrieben wurden. Es gibt dir selbstbewusst Antworten. Keiner dieser Titel existiert tatsächlich.

Claude halluziniert viel weniger als noch vor einem Jahr. Ehrlich gesagt, hat es eine Weile gedauert, ein solches Beispiel zu finden, weil wir viel Arbeit investiert haben, um Halluzinationen bei Claude zu reduzieren. Aber genau darum geht es. Halluzinationen sind schwer vorherzusehen, schwer zu erkennen, und die falsche Antwort sieht oft genauso aus, als könnte sie die richtige sein. Und da Halluzinationen immer seltener werden, machen sich Menschen oft nicht die Mühe, die Arbeit der KI zu überprüfen. Lass uns also darüber sprechen, warum das passiert, was wir dagegen tun und wie du Halluzinationen erkennen kannst, wenn du KI nutzt.

KI-Assistenten wie Claude lernen, indem sie riesige Mengen an Text aus dem Internet lesen. Sie werden wirklich gut darin, herauszufinden, welche Wörter oder Ideen typischerweise als Nächstes kommen. Ähnlich wie dein Telefon dir beim Tippen das nächste Wort vorschlägt. Das funktioniert die meiste Zeit gut. Aber wenn du nach etwas Obskurem fragst, wie bestimmten Forschungsarbeiten eines relativ unbekannten Forschers, gibt es einfach nicht genug Informationen, aus denen die KI schöpfen kann. Also versucht sie, hilfreich zu sein, und rät. Und manchmal ist diese Vermutung falsch.

Es ist ein bisschen so, als würde man einen Freund fragen, der jedes populäre Buch gelesen hat und sehr stolz darauf ist, alle möglichen zufälligen Fakten darüber zu kennen. Aber weil er wie der Experte wirken möchte, sagt er manchmal selbstbewusst etwas Falsches, anstatt zuzugeben: „Ich weiß es nicht.“ KIs werden darauf trainiert, hilfreich zu sein, also wollen sie dir eine Antwort geben, selbst wenn sie sich nicht sicher sind.

Aber wir haben Möglichkeiten, dem entgegenzuwirken. Während des Trainings bringen wir Claude bei, ehrlich zu sein und zu sagen: „Ich weiß es nicht“, wenn es sich nicht sicher ist. Wir versuchen, Claude beizubringen, dass Ehrlichkeit sowohl das Richtige ist als auch Teil davon, hilfreicher zu sein.

Wir testen Claude regelmäßig mit Tausenden von Fragen, die speziell darauf ausgelegt sind, es aus dem Konzept zu bringen. Obskure Fakten, Nischenthemen, Fragen, bei denen die wahrheitsgemäße Antwort lautet: „Ich weiß es nicht.“ Wir messen Dinge wie: Wie oft sagt Claude korrekt, dass es sich unsicher ist? Erfindet es Zitate oder Statistiken? Wie oft relativiert es angemessen, im Vergleich dazu, etwas Falsches selbstbewusst zu behaupten? Diese Tests helfen uns, Probleme zu erkennen und unseren Fortschritt zu verfolgen. Mit jeder neuen Version von Claude haben wir Verbesserungen gesehen, aber wir sind ehrlich, dass dies eine fortlaufende Herausforderung für das gesamte KI-Feld ist, keineswegs ein gelöstes Problem.

Falls du dich fragst, wie du erkennen kannst, wann das passiert: Halluzinationen treten am wahrscheinlichsten in einigen bestimmten Arten von Situationen auf. Zum Beispiel, wenn du nach spezifischen Fakten, Statistiken oder Zitaten fragst, oder wenn das Thema obskur, nischig oder sehr aktuell ist, wenn du nach realen, aber nicht weithin bekannten Personen oder Orten fragst, oder wenn du genaue Details wie Daten, Namen oder Zahlen benötigst.

Hier sind einige Tipps, die du nutzen kannst, um Halluzinationen zu reduzieren. Bitte die KI zunächst, Quellen zu finden, die ihre Behauptungen untermauern. Und wenn sie bereits Quellen angegeben hat, bitte sie zu überprüfen, dass diese Quellen tatsächlich das stützen, was sie sagt. Versuche, der KI von vornherein zu sagen: „Es ist in Ordnung, wenn du es nicht weißt.“ Und wenn du dir bei einer Antwort unsicher bist, frage die KI, wie zuversichtlich sie ist und ob etwas falsch sein könnte. Oft weiß die KI, dass sie falsch liegt, wollte aber einfach selbstbewusst klingen.

Wenn du eine Antwort hast, bei der du dir unsicher bist, starte einen neuen Chat und bitte die KI, Fehler in der Antwort zu finden und zu bestätigen, dass die Quellen die Aussagen stützen. Bei kritischer Arbeit solltest du mit vertrauenswürdigen Quellen abgleichen. Sei skeptisch und überprüfe spezifische Zahlen, Daten und Zitate doppelt. Wenn sich etwas seltsam anfühlt, stelle Nachfragen.

Halluzinationen zu reduzieren ist ein wichtiges Ziel, um KIs vertrauenswürdiger und für alle nützlicher zu machen. Wir werden weiterhin unsere Fortschritte in diesem Bereich auf unserem Blog teilen. Mehr über andere Tools und Frameworks für die Arbeit mit KI erfährst du in der Anthropic Academy.