Un flux de travail d'évaluation de prompt typique suit une approche systématique pour mesurer et améliorer objectivement vos prompts. Bien qu'il existe de nombreuses façons différentes d'assembler ces flux de travail et divers outils open source et payants disponibles, comprendre le processus de base vous aide à commencer petit et à monter en puissance selon vos besoins.
Étape 1 : Rédigez votre prompt initial
Commencez par écrire un prompt de base que vous souhaitez améliorer. Pour cet exemple, nous utiliserons une structure de prompt simple :
prompt = f"""
Please answer the user's question:
{question}
"""
Cela nous donne une base de référence à partir de laquelle travailler. Nous ne saurons pas si elle est efficace jusqu'à ce que nous l'évaluions avec une méthodologie objective.
Étape 2 : Créez un jeu de données d'évaluation
Votre jeu de données d'évaluation contient des exemples d'entrées que vous allez injecter dans votre prompt. Comme notre prompt n'a qu'une seule entrée (la question de l'utilisateur), nous avons besoin d'une collection de questions différentes pour effectuer les tests.
Le jeu de données contient des questions que nous allons fusionner avec notre prompt. Vous pouvez assembler ces jeux de données à la main ou les générer à l'aide de Claude. Dans des évaluations réelles, vous pourriez avoir des dizaines, des centaines, voire des milliers d'enregistrements différents, mais nous commencerons avec seulement trois questions pour cet exemple :
- Combien font 2+2 ?
- Comment préparer du porridge d'avoine ?
- À quelle distance se trouve la Lune ?
Étape 3 : Faites passer par Claude
Prenez chaque question de votre jeu de données et fusionnez-la avec votre modèle de prompt pour créer des prompts complets. Envoyez ensuite chacun d'eux à Claude et collectez les réponses.
Par exemple, la première question devient un prompt complet auquel Claude peut répondre. Vous répéterez ce processus pour tous les enregistrements de votre jeu de données, obtenant des réponses comme « 2 + 2 = 4 », des instructions détaillées pour le porridge d'avoine, et des informations sur la distance de la Lune.
Étape 4 : Faites passer par un évaluateur
Vient maintenant l'étape cruciale : noter objectivement les réponses de Claude. Prenez chaque paire question-réponse et injectez-la dans un évaluateur qui évaluera la qualité de la réponse de Claude.
L'évaluateur attribue des scores (généralement de 1 à 10) en fonction de la qualité de la réponse :
- 10 = Réponse parfaite, aucune marge d'amélioration
- 4 = Marge d'amélioration certaine
- 1 = Réponse médiocre ou incorrecte
Dans notre exemple, les réponses pourraient obtenir respectivement les scores 10, 4 et 9. Faites la moyenne de ces scores pour obtenir une métrique de performance globale : 7,66.
Étape 5 : Modifiez le prompt et répétez
Une fois votre score de référence établi, vous pouvez maintenant itérer sur votre prompt. Essayez d'ajouter des instructions plus spécifiques pour guider les réponses de Claude :
prompt = f"""
Please answer the user's question:
{question}
Answer the question with ample detail
"""Faites passer ce prompt amélioré à travers l'ensemble du pipeline d'évaluation à nouveau. Comparez les scores pour voir quelle version est la plus performante.
Notation et itération des prompts
La puissance de ce flux de travail réside dans l'obtention de mesures objectives pour chaque version de prompt. Vous pouvez comparer les scores entre différentes itérations et utiliser la version offrant les meilleures performances, ou continuer à itérer pour trouver des approches encore meilleures.
Dans notre exemple :
- Le prompt v1 a obtenu un score de 7,66
- Le prompt v2 a obtenu un score de 8,7
Le score plus élevé pour la v2 suggère que l'ajout de « Répondez à la question avec suffisamment de détails » a amélioré les performances du prompt sur nos cas de test.
Cette approche systématique vous offre un moyen objectif de mesurer les améliorations des prompts plutôt que de vous fier à un jugement subjectif. Vous pouvez commencer par une implémentation simple et ajouter progressivement des critères d'évaluation plus sophistiqués à mesure que vos besoins évoluent.