Dégradation du contexte
Quand plus de contexte aggrave les choses
Un instinct naturel lorsqu'on utilise l'IA est de lui donner tout. Coller le document entier. Inclure chaque message. Ajouter tout le contexte que vous pouvez trouver. Plus d'informations signifie de meilleures réponses, n'est-ce pas ?
Pas toujours. Il existe un phénomène que toute personne ayant révisé intensivement pour un examen connaît intuitivement : il y a une limite à ce que l'on peut garder en tête à la fois. Et les éléments du milieu ont tendance à disparaître en premier.
Avant de parler de la façon dont cela affecte les modèles d'IA, voyons comment cela vous affecte vous.
Le test de mémoire
La courbe en forme de U
Ce que vous venez de vivre a un nom : l'effet de position sérielle. Les psychologues l'étudient depuis plus d'un siècle. Les éléments au début d'une liste bénéficient de la primauté (ils sont davantage répétés), et les éléments à la fin bénéficient de la récence (ils sont encore frais). Le milieu ne bénéficie d'aucun de ces deux avantages.
La partie fascinante : les grands modèles de langage présentent le même schéma. En 2023, des chercheurs de Stanford ont testé ce qui se passe lorsqu'on place un fait clé à différentes positions au sein d'une longue fenêtre de contexte. La précision était la plus élevée lorsque le fait apparaissait tout au début ou tout à la fin — et chutait de plus de 30 % lorsqu'il était enfoui au milieu.
Ce n'est pas une bizarrerie. C'est structurel. Les schémas d'attention des transformeurs pondèrent naturellement plus fortement les bords de la fenêtre de contexte.
Ce que cela signifie pour le prompting
Si vous collez un document de 20 pages dans une invite et posez une question sur quelque chose à la page 11, le modèle est plus susceptible de le manquer que quelque chose à la page 1 ou à la page 20. Cela a des implications réelles sur la façon dont vous structurez le contexte.
Le conseil pratique est simple : placez vos instructions les plus importantes au début et à la fin du contexte. Si une contrainte doit absolument être respectée, énoncez-la tôt dans l'invite système et reformulez-la vers la fin. Ne comptez pas sur le modèle pour accorder un poids égal à tout ce qui se trouve entre les deux.
C'est le point de départ, pas le plafond. À mesure que vous gagnerez en aisance, vous découvrirez des façons de plus en plus sophistiquées de structurer le contexte afin que le modèle comprenne de manière fiable ce qui compte — en exploitant l'endroit où se trouve l'information dans la fenêtre, ce qu'il faut inclure par rapport à ce qu'il faut couper, et comment éviter que les instructions critiques ne glissent dans la zone morte. L'objectif est toujours le même : rendre évident pour Claude ce dont vous avez réellement besoin.
La vue d'ensemble
La dégradation du contexte est la raison pour laquelle « donnez-lui simplement plus de contexte » n'est pas toujours la réponse. Chaque élément de contexte que vous ajoutez repousse les autres éléments davantage vers le milieu — la zone morte de l'attention. C'est la tension fondamentale de l'ingénierie du contexte : non seulement quoi inclure, mais où le placer et quoi laisser de côté.
Votre propre test de mémoire vous l'a déjà appris. Les mots du milieu ont disparu. La même chose se produit dans chaque conversation longue, chaque document collé, chaque fenêtre de contexte remplie à ras bord. La solution n'est pas d'en faire plus — c'est d'être plus intelligent.