Claude Academy
Chargement

Quand les propriétés entrent en collision

Leçon 1220 min
Dans cette leçonÀ la fin, vous serez en mesure de
  • Reconnaître que la plupart des échecs de l'IA impliquent l'interaction de deux propriétés ou plus
  • Diagnostiquer les schémas d'échec courants (citations hallucinées, dérive lors de conversations longues, erreurs mathématiques énoncées avec assurance, acquiescement à de mauvaises prémisses) en identifiant les propriétés en jeu
  • Appliquer une correction ciblée en fonction de la propriété qui constitue le facteur limitant

Diagnostiquer les échecs de l'IA

Chargement

Quand les propriétés entrent en collision · 3 min

RésuméTranscription

Les quatre propriétés n'opèrent pas isolément. La plupart des échecs réels résultent de deux d'entre elles qui se croisent. Une fois que vous pouvez nommer lesquelles, vous savez quelle correction appliquer.

Deux propriétés qui se rencontrent : diagnostiquer ce qui s'est mal passé

Chargement

Points clés à retenir

  • Les échecs du monde réel résultent généralement de l'interaction de deux propriétés, pas d'une seule.
  • Paires diagnostiques à reconnaître :
    • Prédiction du token suivant + Connaissance (détails hallucinés)
    • Mémoire de travail + Pilotabilité (dérive lors de conversations longues)
  • Nommer les propriétés en jeu vous oriente directement vers la correction : vérifier les détails, réapprovisionner le contexte, déléguer à l'exécution de code, ou inviter la contradiction.
  • Cette démarche diagnostique est le Discernement appliqué. Vous évaluez mieux lorsque vous savez quel type d'erreur vous observez.

Exercices

Le diagnostic de l'échec

Pourquoi ? La plupart des échecs réels de l'IA ne résultent pas d'une seule propriété défaillante. Ils résultent de la rencontre de deux propriétés au même moment. Nommer lesquelles change entièrement la correction.

Repensez à votre expérience avec l'IA (y compris ce que vous avez observé pendant ce cours). Identifiez deux ou trois moments où une sortie de l'IA vous a véritablement déçu ou surpris. Pour chacun, décrivez-le en une ou deux phrases : ce que vous avez demandé, ce que vous avez obtenu, ce qui était décevant ou surprenant.

  1. Passez en revue chaque événement avec l'IA. Décrivez ce qui s'est passé et demandez : « D'après les quatre propriétés (Prédiction du token suivant, Connaissance, Mémoire de travail, Pilotabilité), lesquelles étaient probablement en jeu ici, et pourquoi ? »
  2. Évaluez son diagnostic à la lumière de ce que vous savez maintenant. Êtes-vous d'accord ? Si non, contestez-le. (Rappelez-vous l'empreinte de la complaisance de la Leçon 3 : l'IA peut acquiescer trop facilement à votre formulation. Si vous pensez qu'elle a tort, dites-le.)
  3. Pour chaque diagnostic, demandez : « Étant donné ce diagnostic, quelle est la correction la plus ciblée ? » Si vous le pouvez, testez l'ajustement dès maintenant sur une tâche similaire.

Examinez maintenant votre liste de tâches de la Leçon 1 avec toutes ses annotations accumulées (étiquettes de propriétés de la Leçon 2, scores de vérification de la Leçon 4, indicateurs de connaissance de la Leçon 5, besoins de contexte de la Leçon 6, énoncés d'objectifs de la Leçon 7). Pour les tâches qui vous ont posé le plus de difficultés, nommez les deux propriétés qui entraient en collision. Écrivez le diagnostic à côté de chacune.

Réflexion sur la leçon

  • Le fait de nommer la paire de propriétés a-t-il changé la correction que vous auriez appliquée ? Avant ce cours, auriez-vous essayé une correction différente (moins efficace) ?
  • Quelle association de propriétés pensez-vous rencontrer le plus souvent dans votre travail quotidien ?

Et ensuite

Dans la dernière leçon, nous consolidons ce que vous avez construit, le relions au Cadre 4D en tant que système complet, et vous indiquons où aller plus loin.