Comment les modèles d'IA utilisent la prédiction du prochain token
Prédiction du prochain token · 4 min
L'IA générative se rapproche davantage d'une saisie automatique extrêmement sophistiquée que d'un moteur de recherche. Elle rédige les réponses mot par mot en fonction de ce qui a tendance à suivre quoi. Cette seule propriété vous donne à la fois la fluidité et l'hallucination.
La saisie automatique à grande échelle
Points clés à retenir
- La prédiction du prochain token fait référence au fait que l'IA générative rédige les réponses mot par mot en fonction de ce qui a tendance à suivre quoi.
- Zone de compétence : tâches qui ressemblent à des schémas que le modèle a vus de nombreuses fois (résumer, reformater, expliquer des concepts courants).
- Zone de limitation : territoire inédit ou peu documenté, et partout où la tâche exige de distinguer le « vrai » du « qui sonne vrai ».
- La fabrication se concentre dans la spécificité : noms, dates, statistiques, citations, URL, citations textuelles. Plus une affirmation est précise, plus elle justifie une vérification.
- Les fonctionnalités produit telles que les citations, le signalement d'incertitude, la génération contrainte et les boucles générateur-vérificateur existent spécifiquement pour repousser cette limitation.
- Connexion 4D : la prédiction du prochain token est le fondement du Discernement. Savoir que le résultat a été généré vous indique exactement quel type de vigilance appliquer.
Exercices
Le test de vérification
Pourquoi ? Vous savez désormais que le même processus génératif qui rend l'IA fluide est celui qui la fait fabriquer. Il est temps de le constater sur votre propre terrain, dans un domaine où vous saurez le repérer.
Reprenez votre liste de tâches et choisissez celle pour laquelle vous êtes le plus confiant dans votre expertise du domaine. Vous avez besoin d'un sujet dans lequel vous êtes l'expert, car vous devez être capable de vérifier ce qui vous est renvoyé. Notez cinq faits précis et vérifiables de ce domaine : le titre du poste d'une personne, une date de publication, une statistique, une spécification de produit, une citation directe, une URL. Des éléments que vous savez exacts et que vous pouvez confirmer de manière indépendante.
Effectuez maintenant trois sondages :
- Sondage 1 : la zone de compétence. Demandez à l'IA d'expliquer ou de résumer un concept bien connu de votre domaine. Quelque chose de populaire et bien documenté. Notez la fluidité. Vérifiez ponctuellement le contenu. C'est à cela que ressemble la zone de compétence : fluide, assuré et largement exact.
- Sondage 2 : la spécificité sous pression. Demandez à l'IA de fournir cinq éléments précis et vérifiables dans votre domaine : citer trois sources, nommer un auteur, donner des chiffres exacts, fournir une URL. Vérifiez chacun d'eux. Notez sur cinq : combien étaient entièrement exacts ? Si elle fabrique, notez à quel point elle semblait sûre d'elle en le faisant.
- Sondage 3 : l'échantillonnage en action. Lancez exactement la même demande de faits précis dans une nouvelle conversation. Comparez les deux résultats. Qu'est-ce qui est resté cohérent ? Qu'est-ce qui a changé ? La variation que vous observez est l'échantillonnage de la prédiction du prochain token à l'œuvre.
Objectif bonus : relancez le sondage 2 dans un outil avec les citations activées (comme le mode Recherche dans Claude). Notez-le à nouveau. Le fait d'avoir des sources à vérifier change-t-il le score ?
Réflexion sur la leçon
- Auriez-vous repéré des fabrications dans un domaine que vous ne connaissiez pas bien ?
- Examinez votre liste de tâches : lesquelles se situent principalement dans la zone de compétence, et lesquelles s'aventurent dans une spécificité nécessitant une vérification ?
Et ensuite ?
La prédiction du prochain token explique comment l'IA génère. Nous allons maintenant examiner à partir de quoi elle génère : la propriété de Connaissance. Que sait réellement le modèle, d'où vient cette connaissance, et où se situent les lacunes ?