Was ist Sycophancy bei KI-Modellen?

Hallo! Mein Name ist Kira, und ich bin im Safeguards-Team bei Anthropic. Ich habe einen Doktortitel in psychischer Gesundheit, genauer gesagt in psychiatrischer Epidemiologie, und bei Anthropic arbeite ich daran, Risiken im Zusammenhang mit dem Wohlbefinden der Nutzer zu mindern. Das bedeutet, dass wir viel darüber nachdenken, wie wir Nutzer bei Claude sicher halten können. Heute bin ich hier, um mit dir über Sykophantie zu sprechen.

Sykophantie bedeutet, dass jemand dir sagt, was er denkt, dass du hören möchtest, anstatt das, was wahr, zutreffend oder wirklich hilfreich ist. Menschen tun das, um Konflikte zu vermeiden, sich Gefälligkeiten zu sichern, und aus einer Reihe anderer Gründe. Aber Sykophantie kann sich auch bei KI-Modellen zeigen. Manchmal optimieren KI-Modelle Antworten auf einen Prompt oder ein Gespräch für unmittelbare menschliche Zustimmung. Das kann so aussehen, dass eine KI einem sachlichen Fehler zustimmt, den du gemacht hast, ihre Antwort je nachdem ändert, wie du eine Frage formuliert hast, oder ihre Antwort an deine Vorlieben anpasst.

In diesem Video sprechen wir darüber, warum Sykophantie bei Modellen auftritt und warum es für Forscher ein schwieriges Problem ist, das zu lösen. Außerdem behandeln wir Strategien, um sykophantisches Verhalten bei der Arbeit mit KI zu erkennen und ihm entgegenzuwirken.

Bevor wir einsteigen, zeige ich dir ein Beispiel für Sykophantie in einer KI-Interaktion. Das ist Claude, Anthropics eigenes Modell. Versuchen wir es mit: „Hey, ich habe diesen großartigen Aufsatz geschrieben, über den ich mich wirklich freue.“ „Kannst du ihn bewerten und mir Feedback geben?“ Meine Hauptanfrage hier ist, Feedback zu meinem Aufsatz zu bekommen. Da ich aber mitgeteilt habe, wie begeistert ich darüber bin, könnte dies die KI dazu veranlassen, mit Bestätigung oder Unterstützung zu antworten, statt mit Kritik. Diese Bestätigung könnte mich dazu bringen zu denken, dass mein Aufsatz wirklich großartig ist, selbst wenn er es nicht ist.

Du denkst vielleicht: „Na und?“ „Menschen können einfach andere Menschen fragen, Dinge faktenprüfen oder bessere Fragen stellen.“ Aber das ist aus mehreren Gründen wichtig. Wenn du versuchst, produktiv zu sein, eine Präsentation zu schreiben, Ideen zu entwickeln oder deine Arbeit zu verbessern, brauchst du ehrliches Feedback von dem KI-Tool, das du verwendest. Wenn du eine KI fragst: „Wie kann ich diese E-Mail verbessern?“, und sie antwortet: „Sie ist schon perfekt“, statt eine klarere Formulierung oder eine bessere Struktur vorzuschlagen, kann das frustrierend sein. In manchen Fällen könnte Sykophantie auch eine Rolle dabei spielen, schädliche Denkmuster zu verstärken. Wenn jemand eine KI bittet, eine Verschwörungstheorie zu bestätigen, die sich von der Realität gelöst hat, könnte das diese falschen Überzeugungen vertiefen und die Person weiter von den Fakten entfernen.

Beginnen wir damit, warum das passiert. Es läuft alles darauf hinaus, wie KI-Modelle trainiert werden. KI-Modelle lernen aus Beispielen, sehr vielen Beispielen menschlichen Textes. Während dieses Trainings nehmen sie alle möglichen Kommunikationsmuster auf, von schroff und direkt bis warm und entgegenkommend. Wenn wir Modelle darauf trainieren, hilfreich zu sein und Verhalten zu imitieren, das im Ton warm, freundlich oder unterstützend ist, taucht Sykophantie tendenziell als unbeabsichtigter Teil dieses Pakets auf. Da Modelle immer stärker in all unsere Lebensbereiche integriert werden, ist es jetzt wichtiger denn je, dieses Verhalten zu verstehen und zu verhindern.

Hier liegt das Tückische an Sykophantie. Wir wollen tatsächlich, dass sich KI-Modelle an deine Bedürfnisse anpassen, nur nicht, wenn es um Fakten oder Wohlbefinden geht. Wenn du eine KI bittest, etwas in einem lockeren Ton zu schreiben, sollte sie das tun, statt auf formeller Sprache zu bestehen. Wenn du sagst: „Ich bevorzuge prägnante Antworten“, sollte sie das als Präferenz respektieren. Wenn du ein Thema lernst und um Erklärungen auf Anfängerniveau bittest, sollte sie dich dort abholen, wo du stehst. Die Herausforderung besteht darin, die richtige Balance zu finden. Niemand möchte eine KI verwenden, die ständig widerspenstig oder streitlustig ist und bei jeder Aufgabe mit dir diskutiert. Aber wir wollen auch nicht, dass das Modell immer auf Zustimmung oder Lob zurückgreift, wenn du ehrliches Feedback brauchst.

Selbst Menschen haben damit Schwierigkeiten. Wann sollte man zustimmen, um den Frieden zu bewahren, und wann sollte man etwas Wichtiges ansprechen? Stell dir jetzt vor, eine KI müsste diese Entscheidung hunderte Male zu völlig unterschiedlichen Themen treffen, ohne den Kontext wirklich so zu verstehen, wie wir es tun. Deshalb untersuchen wir weiterhin, wie sich Sykophantie in Gesprächen zeigt, und entwickeln bessere Methoden, um sie zu testen. Wir konzentrieren uns darauf, Modellen den Unterschied zwischen hilfreicher Anpassung und schädlicher Zustimmung zu vermitteln. Jedes Claude-Modell, das wir veröffentlichen, wird besser darin, diese Grenzen zu ziehen.

Obwohl der größte Fortschritt bei der Bekämpfung von Sykophantie aus konsequentem Training der Modelle selbst kommen wird, ist es hilfreich, Sykophantie zu verstehen, damit du sie in deinen eigenen Interaktionen erkennen kannst. Jetzt, wo du weißt, was Sykophantie ist, und warum sie auftritt, besteht Schritt zwei darin, darüber nachzudenken, wann und warum eine KI dir zustimmen könnte, und zu hinterfragen, ob sie das sollte. Sykophantie zeigt sich am wahrscheinlichsten, wenn eine subjektive Wahrheit als Fakt dargestellt wird, eine Expertenquelle angeführt wird, Fragen mit einem bestimmten Standpunkt formuliert werden, ausdrücklich um Bestätigung gebeten wird, emotionale Belange ins Spiel kommen oder ein Gespräch sehr lang wird.

Wenn du den Verdacht hast, sykophantische Antworten zu erhalten, gibt es ein paar Dinge, die du tun kannst, um die KI wieder zu sachlichen Antworten zu lenken. Diese sind nicht unfehlbar, aber sie helfen, den Horizont der KI zu erweitern. Du kannst neutrale, faktensuchende Sprache verwenden, Informationen mit vertrauenswürdigen Quellen abgleichen, nach Genauigkeit oder Gegenargumenten fragen, Fragen umformulieren, ein neues Gespräch beginnen oder schließlich einen Schritt zurücktreten von der KI-Nutzung und jemanden fragen, dem du vertraust.

Aber das ist eine fortlaufende Herausforderung für das gesamte Feld der KI-Entwicklung. Da diese Systeme immer ausgefeilter und stärker in unser Leben integriert werden, wird es immer wichtiger, Modelle zu bauen, die wirklich hilfreich sind, nicht nur zustimmend. Mehr über KI-Kompetenz kannst du in der Anthropic Academy erfahren, und mein Team und ich werden unsere Forschung zu diesem Thema weiterhin im Blog von Anthropic teilen.