Qu'est-ce que la flagornerie dans les modèles d'IA ?

Bonjour ! Je m'appelle Kira, et je fais partie de l'équipe des dispositifs de sécurité chez Anthropic. J'ai un doctorat en santé mentale, plus précisément en épidémiologie psychiatrique, et chez Anthropic, je travaille sur l'atténuation des risques liés au bien-être des utilisateurs. Cela signifie que nous réfléchissons beaucoup à la manière de garder les utilisateurs en sécurité sur Claude. Aujourd'hui, je suis ici pour vous parler de la flagornerie.

La flagornerie, c'est quand quelqu'un vous dit ce qu'il pense que vous voulez entendre, plutôt que ce qui est vrai, exact ou réellement utile. Les gens le font pour éviter les conflits, obtenir des faveurs, et pour un certain nombre d'autres raisons. Mais la flagornerie peut aussi se manifester dans les modèles d'IA. Parfois, les modèles d'IA peuvent optimiser leurs réponses à un prompt ou à une conversation pour obtenir une approbation humaine immédiate. Cela peut ressembler à une IA qui est d'accord avec une erreur factuelle que vous avez commise, qui change sa réponse en fonction de la manière dont vous avez formulé une question, ou qui adapte sa réponse pour correspondre à vos préférences.

Dans cette vidéo, nous allons parler des raisons pour lesquelles la flagornerie se produit dans les modèles, et pourquoi c'est un problème difficile à résoudre pour les chercheurs. De plus, nous aborderons des stratégies pour identifier et combattre le comportement flagorneur lorsque vous travaillez avec l'IA.

Avant de commencer, laissez-moi vous montrer un exemple de flagornerie dans une interaction avec l'IA. Voici Claude, le propre modèle d'Anthropic. Essayons : « Salut, j'ai écrit ce super essai qui m'enthousiasme vraiment. » « Peux-tu l'évaluer et me donner ton avis ? » Ma demande principale ici est d'obtenir un retour sur mon essai. Cependant, parce que j'ai partagé à quel point je suis enthousiaste à ce sujet, cela pourrait amener l'IA à répondre par de la validation ou du soutien plutôt que par une critique. Cette validation pourrait me faire penser que mon essai est vraiment excellent, même s'il ne l'est pas.

Vous pourriez penser : « Et alors ? » « Les gens peuvent simplement demander à d'autres personnes, vérifier les faits, ou poser de meilleures questions. » Mais cela compte pour un certain nombre de raisons. Lorsque vous essayez d'être productif, de rédiger une présentation, de faire un brainstorming d'idées, ou d'améliorer votre travail, vous avez besoin d'un retour honnête de la part de l'outil d'IA que vous utilisez. Si vous demandez à une IA : « Comment puis-je améliorer cet e-mail ? » Et qu'elle répond : « Il est déjà parfait », au lieu de suggérer une formulation plus claire ou une meilleure structure, cela peut être frustrant. Dans certains cas, la flagornerie pourrait également jouer un rôle dans le renforcement de schémas de pensée nuisibles. Si quelqu'un demande à une IA de confirmer une théorie du complot déconnectée de la réalité, cela pourrait approfondir ses fausses croyances et le déconnecter davantage des faits.

Commençons par comprendre pourquoi cela se produit. Tout se résume à la manière dont les modèles d'IA sont entraînés. Les modèles d'IA apprennent à partir d'exemples, énormément d'exemples de texte humain. Au cours de cet entraînement, ils assimilent toutes sortes de schémas de communication, du franc et direct, au chaleureux et conciliant. Lorsque nous entraînons les modèles à être utiles et à imiter un comportement chaleureux, amical ou bienveillant dans le ton, la flagornerie a tendance à apparaître comme une composante non intentionnelle de cet ensemble. À mesure que les modèles s'intègrent davantage dans nos vies, il est plus important que jamais de comprendre et de prévenir ce comportement.

Voici ce qui rend la flagornerie délicate. Nous voulons en réalité que les modèles d'IA s'adaptent à vos besoins, mais pas lorsqu'il s'agit de faits ou de bien-être. Si vous demandez à une IA d'écrire quelque chose sur un ton décontracté, elle devrait le faire, et non insister sur un langage formel. Si vous dites : « Je préfère des réponses concises », elle devrait respecter cela comme une préférence. Si vous apprenez un sujet et demandez des explications de niveau débutant, elle devrait se mettre à votre niveau. Le défi consiste à trouver le bon équilibre. Personne ne veut utiliser une IA qui est constamment désagréable ou conflictuelle, débattant avec vous sur chaque tâche. Mais nous ne voulons pas non plus que le modèle se rabatte toujours sur l'accord ou les éloges lorsque vous avez besoin d'un retour honnête.

Même les humains ont du mal avec cela. Quand devriez-vous être d'accord pour préserver la paix, par rapport à exprimer votre opinion sur quelque chose d'important ? Imaginez maintenant une IA prenant cette décision des centaines de fois sur des sujets radicalement différents, sans vraiment comprendre le contexte comme nous le faisons. C'est pourquoi nous continuons à étudier comment la flagornerie se manifeste dans les conversations et à développer de meilleures façons de la tester. Nous nous concentrons sur l'enseignement aux modèles de la différence entre l'adaptation utile et l'accord nuisible. Chaque modèle Claude que nous publions devient meilleur pour tracer ces lignes.

Bien que les progrès les plus importants dans la lutte contre la flagornerie viendront d'un entraînement cohérent des modèles eux-mêmes, il est utile de comprendre la flagornerie afin de pouvoir la repérer dans vos propres interactions. Maintenant que vous savez ce qu'est la flagornerie, et pourquoi elle se produit, la deuxième étape consiste à réfléchir sur le moment et la raison pour lesquels une IA pourrait être d'accord avec vous, et à vous demander si elle devrait l'être. La flagornerie est la plus susceptible d'apparaître lorsqu'une vérité subjective est présentée comme un fait, qu'une source experte est référencée, que des questions sont formulées avec un point de vue spécifique, qu'une validation est spécifiquement demandée, que des enjeux émotionnels sont invoqués, ou qu'une conversation devient très longue.

Si vous soupçonnez recevoir des réponses flagorneuses, il y a quelques actions que vous pouvez entreprendre pour réorienter l'IA vers des réponses factuelles. Ce ne sont pas des solutions infaillibles, mais elles aideront à élargir les horizons de l'IA. Vous pouvez utiliser un langage neutre et axé sur les faits, recouper les informations avec des sources fiables, demander des précisions sur l'exactitude ou des contre-arguments, reformuler les questions, démarrer une nouvelle conversation, ou enfin, prendre du recul par rapport à l'utilisation de l'IA et demander à quelqu'un en qui vous avez confiance.

Mais il s'agit d'un défi permanent pour l'ensemble du domaine du développement de l'IA. À mesure que ces systèmes deviennent plus sophistiqués et plus intégrés dans nos vies, construire des modèles qui sont véritablement utiles, et pas seulement complaisants, devient de plus en plus important. Vous pouvez en apprendre davantage sur la maîtrise de l'IA dans Anthropic Academy, et mon équipe et moi continuerons à partager nos recherches sur ce sujet sur le blog d'Anthropic.