Pourquoi les modèles d'IA hallucinent-ils ?

Si l'IA est si avancée, pourquoi invente-t-elle parfois des choses ? Je m'appelle Jordan, et je travaille chez Anthropic. Nous créons Claude, un assistant IA, et nous faisons beaucoup d'efforts pour nous assurer qu'il vous donne des informations exactes. Mais parfois, les IA inventent encore des choses. Nous appelons ces erreurs des hallucinations. Et elles sont souvent pires qu'une simple erreur, car l'IA semble très confiante, voire essaie de vous convaincre qu'elle a raison.

Les hallucinations peuvent se manifester de nombreuses façons. L'IA peut citer un article de recherche qui n'existe pas, inventer de fausses statistiques, ou se tromper sur des faits concernant des personnes ou des événements réels. Voici à quoi cela ressemble. Vous avez demandé à Claude de vous parler de certains articles écrits par Jared Kaplan. Il vous donne des réponses avec assurance. Aucun de ces titres n'existe réellement.

Claude hallucine beaucoup moins qu'il y a un an à peine. Honnêtement, il nous a fallu un certain temps pour trouver un exemple comme celui-ci, car nous avons beaucoup travaillé pour réduire les hallucinations chez Claude. Mais c'est justement là tout l'enjeu. Les hallucinations sont difficiles à anticiper, difficiles à détecter, et la mauvaise réponse ressemble souvent exactement à ce qui pourrait être la bonne. Et comme les hallucinations deviennent plus rares, les gens ne prennent souvent pas la peine de vérifier le travail de l'IA. Parlons donc de pourquoi cela se produit, de ce que nous faisons à ce sujet, et de comment vous pouvez repérer les hallucinations lorsque vous utilisez l'IA.

Les assistants IA comme Claude apprennent en lisant d'énormes quantités de texte provenant d'internet. Ils deviennent très doués pour deviner quels mots ou idées viennent généralement ensuite. Un peu comme votre téléphone qui suggère le mot suivant pendant que vous tapez. Cela fonctionne bien la plupart du temps. Mais lorsque vous posez une question sur quelque chose d'obscur, comme des articles de recherche spécifiques d'un chercheur relativement inconnu, il n'y a tout simplement pas assez d'informations pour que l'IA puisse s'appuyer dessus. Elle essaie donc d'être utile et fait une supposition. Et parfois, cette supposition est fausse.

C'est un peu comme demander à un ami qui a lu tous les livres populaires et qui est très fier de connaître tous les faits insolites à leur sujet. Mais parce qu'il veut paraître expert, il dit parfois quelque chose de faux avec assurance plutôt que d'admettre : « Je ne sais pas. » Les IA sont entraînées à être utiles, donc elles veulent vous donner une réponse même lorsqu'elles ne sont pas sûres.

Mais nous avons des moyens d'atténuer cela. Pendant l'entraînement, nous apprenons à Claude à être honnête et à dire « Je ne sais pas » lorsqu'il n'est pas sûr. Nous essayons d'apprendre à Claude que l'honnêteté est à la fois la bonne chose à faire et fait également partie de ce qui le rend plus utile.

Nous testons régulièrement Claude avec des milliers de questions spécifiquement conçues pour le piéger. Des faits obscurs, des sujets de niche, des questions où la réponse honnête est « Je ne sais pas ». Nous mesurons des éléments tels que : à quelle fréquence Claude dit-il correctement qu'il n'est pas sûr ? Invente-t-il des citations ou des statistiques ? À quelle fréquence nuance-t-il de manière appropriée par rapport à affirmer quelque chose de faux avec assurance ? Ces tests nous aident à détecter les problèmes et à suivre nos progrès. Avec chaque nouvelle version de Claude, nous avons constaté des améliorations, mais nous sommes honnêtes : il s'agit d'un défi permanent pour l'ensemble du domaine de l'IA, et non d'un problème résolu.

Si vous vous demandez comment repérer quand cela se produit, les hallucinations sont les plus susceptibles de se produire dans certains types de situations. Par exemple, si vous demandez des faits, des statistiques ou des citations spécifiques, ou si le sujet est obscur, de niche ou très récent, si vous posez des questions sur des personnes ou des lieux réels mais peu connus, ou lorsque vous avez besoin de détails exacts comme des dates, des noms ou des chiffres.

Voici quelques conseils que vous pouvez utiliser pour réduire les hallucinations. Tout d'abord, demandez à l'IA de trouver des sources pour étayer ses affirmations. Et si elle a déjà donné des sources, demandez-lui de vérifier que ces sources confirment bien ce qu'elle avance. Essayez de dire à l'IA dès le départ : « Ce n'est pas grave si vous ne savez pas. » Et si vous n'êtes pas sûr d'une réponse, demandez à l'IA à quel point elle est confiante, et si quelque chose pourrait être erroné. Souvent, l'IA sait qu'elle a tort, mais voulait simplement paraître confiante.

Si vous avez une réponse dont vous n'êtes pas sûr, commencez une nouvelle conversation et demandez à l'IA de trouver des erreurs dans la réponse, et de confirmer que les sources appuient les affirmations. Pour un travail critique, vous devriez recouper les informations avec des sources fiables. Soyez sceptique et vérifiez deux fois les chiffres, dates et citations spécifiques. Si quelque chose semble étrange, posez des questions de suivi.

Réduire les hallucinations est un objectif important pour rendre les IA plus dignes de confiance et utiles pour tout le monde. Nous continuerons à partager nos progrès dans ce domaine sur notre blog. Vous pouvez en apprendre davantage sur d'autres outils et cadres de travail avec l'IA dans l'Anthropic Academy.