De nombreuses personnes utilisent les chats IA comme alternative à la recherche. Pour le faire en toute sécurité, il est important de comprendre d'où les LLM tirent leurs informations. Lorsqu'un LLM produit des informations incorrectes, c'est généralement un effet secondaire d'un contexte manquant, incorrect ou de mauvaise qualité.
Si vous ne savez pas pourquoi cela se produit, il est facile de penser que le modèle essaie de vous tromper en inventant des informations. Mais une fois que vous comprenez d'où viennent les connaissances d'un modèle, vous pouvez anticiper plus clairement où il pourrait se tromper. Vous pouvez également voir où vont vos jetons, et décider quand il vaut la peine de payer pour plus de contexte.
D'où viennent les réponses
C'est un échauffement - essayez simplement de deviner.
Lorsqu'un modèle de chat IA répond à votre question, d'où vient la réponse ?
Les trois se produisent. La leçon les aborde dans cet ordre : les connaissances issues de l'entraînement, ce que vous mettez dans la conversation, et ce que le modèle recherche par lui-même.
Mémoire paramétrique
Les modèles savent parfois simplement... des choses. Cette connaissance intégrée s'appelle la mémoire paramétrique, car elle est intégrée dans les poids du modèle, ou paramètres.
Personne n'a cherché à construire une encyclopédie, mais les faits que les LLM peuvent réciter de mémoire ont émergé comme un effet secondaire de l'apprentissage de la prédiction du texte.
Les limites de la mémoire paramétrique
La mémoire paramétrique est meilleure pour certaines choses que pour d'autres. Voici ci-dessous des phrases qu'un modèle est en train d'écrire en prédisant le mot suivant le plus probable. Cliquez pour révéler les quelques mots suivants dans chaque phrase, puis décidez par vous-même si le modèle a produit ou non des informations correctes.
Ajouter du contexte
Examinons une question à laquelle Claude ne peut pas répondre à partir de l'entraînement seul.
Dans ce widget, si nous ajustons notre question en fournissant un contexte supplémentaire, la tâche devient nettement plus facile pour le modèle.
La fenêtre de contexte
Le contexte d'un modèle de langage a une taille maximale. Au moment de la rédaction, les modèles Claude phares actuels peuvent contenir jusqu'à un million de jetons(s’ouvre dans un nouvel onglet).
C'est environ trois exemplaires de Moby Dick. Alors comment peut-on manquer de place ?
Aux débuts du chat IA, atteindre la limite signifiait devoir recommencer. Vous avez peut-être vous-même atteint cette limite à un moment donné avec une interface de chat en 2024 ou 2025. Et pourtant, lorsque cela se produit, vous savez que vous avez écrit bien moins qu'un roman ou trois - la plupart d'entre nous ne sont tout simplement pas aussi bavards. Alors où sont passés vos millions de jetons ? Explorons cela.
Remplir la fenêtre
Menez une interaction de chat normale et observez votre fenêtre de contexte se remplir. Pour garder cet exemple digeste, nous imaginerons un modèle avec une fenêtre de contexte bien plus petite, de seulement 1 000 jetons.
Compaction
Lorsque la fenêtre de contexte approche de sa limite, l'application demande à Claude de résumer toute la conversation jusqu'à présent, puis ce résumé remplace le contexte qui existait auparavant.
La compaction vous permet de poursuivre votre conversation au lieu d'en commencer une nouvelle. Voici comment cela fonctionne :
- Tout d'abord, l'application s'en aperçoit. Au lieu d'envoyer une requête qui pourrait surcharger la fenêtre de contexte, l'application retient votre prochain tour et déclenche la compaction.
- Ensuite, Claude résume. La conversation jusqu'à présent est transmise à Claude avec une requête du type « voici en pièce jointe une conversation entre un humain et un modèle. Veuillez produire un résumé de tout ce qui s'est passé jusqu'à présent ».
- Enfin, la conversation se poursuit à partir de ce résumé. Le résumé remplace l'historique de la conversation, puis votre requête retenue de l'étape 1 est transmise à Claude pour obtenir une réponse.
Essayez : la compaction
Mémoire écrite
La mémoire est ce qui permet à une fenêtre strictement limitée de sembler infinie : Claude écrit une note dans une conversation, et ces notes sont réintégrées au début de la suivante.
Pensez à la mémoire comme à Claude qui écrit des choses, à la manière de Memento, puis les relit plus tard : Claude se réveille parfaitement reposé après une sieste et peut consulter les fichiers mémoire qu'il a précédemment écrits pour lui-même. Nous appellerons cela la mémoire écrite, afin de ne pas la confondre avec la mémoire paramétrique.
La compaction est ce qui permet à Claude de poursuivre une même conversation au-delà de la limite de contexte. La mémoire écrite est ce qui permet à Claude de conserver des détails importants dans le contexte à travers plusieurs conversations.
Lisez le schéma de gauche à droite. Mardi, vous exprimez une préférence et Claude la note visiblement. Puis, jeudi, dans une nouvelle conversation, la préférence n'a pas été redonnée à Claude. Mais la note de mémoire est discrètement insérée dans le contexte avant votre premier message. Ce processus permet à Claude de se souvenir de vos préférences au fil du temps, en se basant sur les retours directs que vous partagez.
La mémoire se retrouve dans les conversations futures, même dans une toute nouvelle session sans le contexte complet de mardi.
Différents produits Claude implémentent la mémoire différemment. Claude Code lit les fichiers CLAUDE.md(s’ouvre dans un nouvel onglet) à travers une base de code, tandis que claude.ai conserve la mémoire dans ses paramètres(s’ouvre dans un nouvel onglet). Mais même si l'emplacement diffère, le processus est le même : Claude écrit les informations importantes, puis une instance ultérieure de Claude les relit au début de la conversation suivante.
Une semaine de mémoire
Cinq jours avec le même assistant. Observez ce qu'il note, et comparez-le à ce qu'il recherche à nouveau.
Contexte préalable
En prenant du recul, on constate que beaucoup de choses sont ajoutées au contexte avant que Claude ne voie votre premier jeton. Le widget ci-dessous montre quel contexte préalable pourrait être ajouté à une conversation avec Claude. Le contenu exact varie d'un produit à l'autre.
Contexte agentique
Maintenant que vous savez à quel point le contexte est important pour augmenter les capacités de Claude, il est important de comprendre le contexte agentique : lorsque Claude décide d'obtenir plus de contexte avant de répondre. Vous avez vu cela se produire dans l'exemple précédent sur les plants de tomates, où Claude a utilisé un outil de recherche plutôt que de répondre à partir de la mémoire paramétrique ou du contexte qu'il avait déjà.
Dans le widget suivant, imaginez que vous êtes Claude. La barre latérale affiche des informations qui ont été discrètement insérées dans le contexte avant le message de l'utilisateur. Pour chaque requête, décidez s'il faut répondre avec ce que vous savez déjà, ou aller chercher plus de contexte à l'extérieur.
Claude prend cette même décision à chaque tour, et sa propension à rechercher davantage de contexte dépend en partie du niveau d'effort. À un niveau d'effort plus élevé, Claude est plus susceptible de rechercher, de lire et de vérifier avant de répondre, ce qui se traduit généralement par une meilleure réponse et une fenêtre de contexte plus grande. À un niveau d'effort plus faible, Claude est plus susceptible de répondre directement. Découvrez comment choisir un niveau d'effort dans Claude(s’ouvre dans un nouvel onglet) ou dans Claude Code(s’ouvre dans un nouvel onglet).
Retracer le contexte
Prenez cet exemple de réponse de Claude. Chaque section surlignée a été influencée par une partie du contexte préalable. Cliquez sur une section et identifiez d'où vous pensez qu'elle provient.
Ce que vous pouvez faire maintenant
- Vous pouvez nommer la différence entre ce qui se trouve dans les poids (mémoire paramétrique) et ce qui se trouve dans la fenêtre (contexte).
- Vous savez que la fenêtre a un plafond, et que vous n'êtes pas le seul auteur à la remplir.
- Vous savez que chaque tour renvoie l'intégralité de la fenêtre, et vous pouvez décider intentionnellement du moment où démarrer une nouvelle session.
- Vous comprenez que la compaction est une technique de résumé qui peut donner l'impression que la fenêtre est infinie, mais qui peut entraîner la perte de détails.
- Vous pouvez expliquer comment la mémoire écrite survit entre les sessions.
- Vous pouvez examiner une réponse de Claude et faire des suppositions sur la manière dont le contexte préalable a pu la façonner.
Suite : choisir un niveau d'effort dans Claude(s’ouvre dans un nouvel onglet) · dans Claude Code(s’ouvre dans un nouvel onglet)
En savoir plus : Comment fonctionne l'IA(s’ouvre dans un nouvel onglet) · Capacités et limites de l'IA(s’ouvre dans un nouvel onglet)