Un flux de travail typique d'évaluation de prompt suit cinq étapes clés qui vous aident à améliorer systématiquement vos prompts grâce à une mesure objective. Bien qu'il existe de nombreuses façons différentes d'assembler ces flux de travail et divers outils open source et payants disponibles, comprendre le processus central vous aide à commencer petit et à évoluer selon vos besoins.
Étape 1 : Rédiger un prompt
Commencez par écrire un prompt initial que vous souhaitez améliorer. Pour cet exemple, nous utiliserons un prompt simple :
prompt = f"""
Please answer the user's question:
{question}
"""
Ce prompt de base servira de référence pour les tests et l'amélioration.
Étape 2 : Créer un jeu de données d'évaluation
Votre jeu de données d'évaluation contient des exemples d'entrées qui représentent les types de questions ou de demandes que votre prompt traitera en production. Le jeu de données doit inclure des questions qui seront interpolées dans votre modèle de prompt.
Pour cet exemple, notre jeu de données comprend trois questions :
- « Combien font 2+2 ? »
- « Comment préparer du porridge ? »
- « À quelle distance se trouve la Lune ? »
Dans des évaluations réelles, vous pourriez avoir des dizaines, des centaines, voire des milliers d'enregistrements. Vous pouvez assembler ces jeux de données manuellement ou utiliser Claude pour les générer pour vous.
Étape 3 : Faire passer par Claude
Prenez chaque question de votre jeu de données et fusionnez-la avec votre modèle de prompt pour créer des prompts complets. Envoyez ensuite chacun à Claude pour obtenir des réponses.
Par exemple, la première question devient :
Please answer the user's question:
What's 2+2?Claude pourrait répondre « 2 + 2 = 4 » pour la question de mathématiques, fournir des instructions de préparation du porridge pour la deuxième question, et donner la distance jusqu'à la Lune pour la troisième.
Étape 4 : Faire passer par un évaluateur
L'évaluateur évalue la qualité des réponses de Claude en examinant à la fois la question originale et la réponse de Claude. Cette étape fournit une notation objective, généralement sur une échelle de 1 à 10, où 10 représente une réponse parfaite et des scores plus bas indiquent une marge d'amélioration.
Dans notre exemple, l'évaluateur pourrait attribuer :
- Question de mathématiques : 10 (réponse parfaite)
- Question sur le porridge : 4 (nécessite une amélioration)
- Question sur la Lune : 9 (très bonne réponse)
Le score moyen sur l'ensemble des questions vous donne une mesure objective : (10 + 4 + 9) ÷ 3 = 7,66
Étape 5 : Modifier le prompt et répéter
Maintenant que vous avez un score de référence, vous pouvez modifier votre prompt et relancer l'ensemble du processus pour voir si vos changements améliorent les performances.
Par exemple, vous pourriez ajouter plus de conseils à votre prompt :
prompt = f"""
Please answer the user's question:
{question}
Answer the question with ample detail
"""Après avoir exécuté ce prompt amélioré via le même processus d'évaluation, vous pourriez obtenir un score moyen plus élevé de 8,7, indiquant que l'instruction supplémentaire a aidé Claude à fournir de meilleures réponses.
Notation des prompts
L'avantage clé de ce flux de travail est d'obtenir des mesures objectives de la performance des prompts. Vous pouvez :
- Comparer numériquement différentes versions de prompts
- Utiliser la version avec le meilleur score
- Continuer à itérer pour trouver des approches encore meilleures
Cette approche systématique élimine les conjectures de l'ingénierie de prompt et vous donne la confiance que vos changements sont réellement des améliorations plutôt que de simples variations.