Lorsque vous travaillez avec Claude, écrire un bon prompt n'est que le début. Pour créer des applications d'IA fiables, vous devez comprendre deux concepts essentiels : le prompt engineering et l'évaluation des prompts. Le prompt engineering vous donne des techniques pour élaborer de meilleurs prompts, tandis que l'évaluation des prompts vous aide à mesurer dans quelle mesure ces prompts fonctionnent réellement.
Prompt Engineering vs Évaluation des prompts
Le prompt engineering est votre boîte à outils pour écrire et améliorer des prompts. Il s'agit d'un ensemble de bonnes pratiques qui aident Claude à comprendre exactement ce que vous demandez et comment vous souhaitez qu'il réponde. Considérez-le comme l'art de la rédaction de prompts - des techniques comme le multishot prompting, la structuration avec des balises XML, et de nombreuses autres approches que nous explorerons.
L'évaluation des prompts, en revanche, concerne la mesure. Il s'agit de tests automatisés qui vous fournissent des métriques objectives sur l'efficacité réelle de vos prompts. Plutôt que de deviner si votre prompt fonctionne bien, l'évaluation vous permet de :
- Tester par rapport à des réponses attendues
- Comparer différentes versions d'un même prompt
- Examiner les résultats pour détecter des erreurs
Les trois voies possibles après avoir écrit un prompt
Une fois que vous avez rédigé un prompt, vous avez généralement trois options pour la suite :
Option 1 : Tester le prompt une fois et décider qu'il est suffisamment bon. Cela comporte un risque important de dysfonctionnement en production lorsque les utilisateurs fournissent des entrées inattendues.
Option 2 : Tester le prompt quelques fois et l'ajuster pour gérer un ou deux cas particuliers. Bien que meilleure que l'option 1, cette approche vous laisse toujours vulnérable car les utilisateurs fourniront souvent des entrées très inattendues que vous n'avez pas envisagées.
Option 3 : Faire passer le prompt par un pipeline d'évaluation pour le noter, puis itérer sur le prompt en fonction de données objectives. Cela nécessite plus de travail et de coûts en amont, mais vous donne beaucoup plus de confiance dans la fiabilité de votre prompt.
Pourquoi la plupart des ingénieurs tombent dans les pièges des tests
Les options 1 et 2 sont des pièges dans lesquels tombent tous les ingénieurs, moi y compris. Il est naturel d'écrire un prompt pour une application sérieuse sans le tester suffisamment en profondeur. Nous avons tendance à tester avec des entrées qui nous semblent évidentes, mais les utilisateurs réels interagiront avec vos prompts de manières que vous n'avez jamais anticipées.
La solution consiste à adopter l'option 3 : l'évaluation systématique. En faisant passer vos prompts par des pipelines d'évaluation appropriés, vous obtenez des scores objectifs qui vous indiquent dans quelle mesure votre prompt fonctionne bien dans un large éventail de scénarios. Cette approche basée sur les données vous permet d'itérer en toute confiance et de détecter les problèmes avant qu'ils n'atteignent la production.
Comprendre l'évaluation en premier vous donne les bases nécessaires pour mesurer les améliorations à mesure que vous appliquez des techniques de prompt engineering. Une fois que vous pouvez mesurer de manière fiable l'efficacité d'un prompt, vous pouvez expérimenter différentes approches et savoir avec certitude lesquelles fonctionnent le mieux.