Lorsque vous travaillez avec Claude, écrire un bon prompt n'est que le début. Pour créer des applications d'IA fiables, vous devez comprendre deux concepts essentiels : l'ingénierie des prompts et l'évaluation des prompts. L'ingénierie des prompts vous donne des techniques pour écrire de meilleurs prompts, tandis que l'évaluation des prompts vous aide à mesurer l'efficacité réelle de ces prompts.
Ingénierie des prompts vs évaluation des prompts
L'ingénierie des prompts est votre boîte à outils pour écrire et améliorer des prompts. Il s'agit d'un ensemble de bonnes pratiques qui aident Claude à comprendre exactement ce que vous demandez et comment vous souhaitez qu'il réponde. Considérez cela comme l'art de l'écriture de prompts - des techniques comme le prompting multishot, la structuration avec des balises XML, et de nombreuses autres approches que nous explorerons.
L'évaluation des prompts, en revanche, concerne la mesure. Il s'agit de tests automatisés qui vous fournissent des métriques objectives sur l'efficacité réelle de vos prompts. Plutôt que de deviner si votre prompt fonctionne bien, l'évaluation vous permet de :
- Tester par rapport à des réponses attendues
- Comparer différentes versions du même prompt
- Examiner les sorties à la recherche d'erreurs
Les trois voies possibles après avoir écrit un prompt
Une fois que vous avez rédigé un prompt, vous faites généralement face à trois options pour la suite :
Option 1 : Tester le prompt une fois et décider qu'il est suffisamment bon. Cela comporte un risque important de dysfonctionnement en production lorsque les utilisateurs fournissent des entrées inattendues.
Option 2 : Tester le prompt quelques fois et l'ajuster pour gérer un ou deux cas particuliers. Bien que meilleure que l'option 1, les utilisateurs fourniront souvent des entrées très inattendues que vous n'avez pas envisagées.
Option 3 : Faire passer le prompt par un pipeline d'évaluation pour le noter, puis itérer sur le prompt en fonction de données objectives. Cela nécessite plus de travail et de coûts en amont, mais vous donne beaucoup plus de confiance dans la fiabilité de votre prompt.
Pourquoi la plupart des ingénieurs tombent dans les pièges des tests
Les options 1 et 2 sont des pièges dans lesquels tombent tous les ingénieurs - moi y compris. Il est naturel d'écrire un prompt, de le tester quelques fois avec vos propres entrées, et de penser « c'est suffisamment bon ». Mais lorsque vous créez des applications sérieuses, cette approche conduit souvent à des problèmes en production.
Le problème est que vous ne pouvez pas prédire toutes les façons dont les utilisateurs interagiront avec votre prompt. Ce qui semble fonctionner parfaitement lors de vos tests limités peut échouer complètement face à des schémas d'utilisation réels.
La valeur d'une évaluation systématique
L'option 3 - faire passer votre prompt par un pipeline d'évaluation - vous fournit des données objectives sur la performance. Plutôt que de vous fier à des intuitions ou à des tests manuels limités, vous obtenez des scores mesurables qui vous indiquent dans quelle mesure votre prompt gère une variété d'entrées.
Cette approche vous permet d'itérer avec confiance. Vous pouvez apporter des modifications à votre prompt et voir immédiatement si ces modifications améliorent ou nuisent à la performance. C'est la différence entre deviner et savoir si les améliorations apportées à votre prompt fonctionnent réellement.
Bien que l'évaluation nécessite un investissement initial plus important en temps et en ressources, elle porte ses fruits lorsque vous avez besoin de prompts fiables et prêts pour la production qui fonctionnent de manière cohérente face à des entrées utilisateur diverses.