Claude Academy
Chargement

Pilotabilité

Leçon 1025 min
Dans cette leçonÀ la fin, vous serez en mesure de
  • Expliquer pourquoi la pilotabilité fonctionne (le fine-tuning a appris au modèle à suivre des instructions) et pourquoi elle a des limites (les instructions sont suivies par reconnaissance de motifs, pas par compréhension)
  • Prédire où le contrôle est le plus serré (instructions courtes, concrètes, vérifiables) par rapport à où il est le plus lâche (longues chaînes de raisonnement, demandes abstraites, tâches de précision native)
  • Identifier la dérive du raisonnement, la lettre plutôt que l'esprit, et l'arithmétique fragile comme des échecs caractéristiques de la pilotabilité
  • Reconnaître les invites système, l'exécution de code, le raisonnement visible et les sorties structurées comme des fonctionnalités produit répondant à cette limitation

Comment la pilotabilité affecte les résultats de l'IA générative

Chargement

Pilotabilité · 5 min

RésuméTranscription

Le modèle suit vos instructions de la même manière qu'il fait tout le reste : en poursuivant un motif. Cela le rend remarquablement pilotable. Cela signifie aussi qu'il y a toujours un écart entre ce que vous vouliez dire et ce qui a été compris, et la plupart des échecs intéressants se trouvent dans cet écart.

Dans quelle mesure avez-vous réellement le contrôle ?

Chargement

Points clés à retenir

  • La pilotabilité signifie que le modèle suit les instructions via la prédiction du prochain token.
    • Zone de capacité : instructions courtes, concrètes, vérifiables. Spécifications de format, limites de longueur, rôles explicites.
    • Zone de limitation : longues chaînes de raisonnement, instructions abstraites ou ambiguës, tout ce qui nécessite une précision numérique ou logique native.
    • Échecs caractéristiques : dérive du raisonnement (les petites erreurs s'accumulent) et lettre plutôt qu'esprit (l'instruction a été respectée mais pas l'intention).
    • Les invites système, l'exécution de code, le raisonnement visible et les modes de sortie structurée existent pour empêcher votre intention de se diluer.
    • Lorsqu'une instruction est suivie littéralement mais de manière inutile, reformulez l'objectif. Répéter l'instruction avec plus de force ne comblera pas l'écart.
  • Connexion aux 4D : La pilotabilité est ce qui rend la Description puissante et ce qui la limite. Comprendre l'écart entre les mots et l'intention change la façon dont vous rédigez vos prompts et où vous insérez des points de contrôle.

Exercices

La réécriture de l'objectif

Pourquoi ? L'écart entre ce que vous dites et ce que vous voulez dire est là où se trouvent la plupart des échecs de pilotabilité. Cet exercice vous apprend à formuler vos prompts à partir de l'intention, pas seulement de l'instruction.

Choisissez une tâche de votre liste de la Leçon 1 qui implique plusieurs étapes ou un format de sortie spécifique. Notez l'objectif en une phrase : ce que vous essayez réellement d'accomplir, pas seulement à quoi devrait ressembler le résultat. (« Convaincre mon équipe que ce calendrier est réaliste » est un objectif. « Trois puces » est un format.)

Maintenant, effectuez trois sondages :

  1. Sondage 1 : Contrôle serré. Donnez une instruction courte, concrète et vérifiable liée à votre tâche : « répondez sous forme de tableau à trois colonnes », « exactement cinq puces », « à la deuxième personne tout au long ». Vérifiez si cela a été respecté précisément. C'est la zone de capacité : l'instruction est suffisamment simple pour être reconnue par motif de manière parfaite.
  2. Sondage 2 : Dérive du raisonnement. Demandez une version de votre tâche qui nécessite 4 à 5 étapes dépendantes. Examinez le résultat étape par étape. Une petite erreur au début s'est-elle propagée jusqu'à la fin ? Essayez à nouveau, mais demandez à l'IA de s'arrêter et de vous montrer le résultat de l'étape 2 avant de continuer. Comparez ce que vous obtenez lorsque vous insérez un point de contrôle par rapport à lorsque vous la laissez s'exécuter.
  3. Sondage 3 : Lettre contre esprit. Donnez une instruction qui pourrait être satisfaite littéralement mais de manière inutile. « Rends ceci plus court » sur un brouillon où le vrai problème est la structure. « Rends ceci plus professionnel » sur un e-mail où le vrai problème est qu'il enterre la demande. Voyez ce que vous obtenez. Puis reformulez le prompt avec l'objectif énoncé explicitement en plus de l'instruction : « Rends ceci plus court. Mon objectif est de maintenir l'attention du dirigeant jusqu'à la conclusion clé en page deux. » Comparez.

Revenez à votre liste de tâches. Pour toute tâche à plusieurs étapes, notez où vous inséreriez un point de contrôle. Pour toute tâche où vous avez formulé vos prompts uniquement avec le format, rédigez l'énoncé de l'objectif que vous ajouterez la prochaine fois.

Réflexion sur la leçon

  • À quelle fréquence avez-vous énoncé le format mais pas l'objectif ? Qu'est-ce qui change lorsque vous incluez les deux ?
  • Quelle est une tâche récurrente à laquelle vous ajouterez un point de contrôle en cours de processus dès cette semaine ?

Et ensuite

Vous avez maintenant rencontré les quatre propriétés individuellement. Dans la prochaine leçon, nous examinons comment elles interagissent, car la plupart des échecs du monde réel sont la rencontre de deux propriétés.