Un flux de travail typique d'évaluation de prompt suit cinq étapes clés qui vous aident à améliorer systématiquement vos prompts grâce à une mesure objective. Bien qu'il existe de nombreuses façons différentes d'assembler ces flux de travail et divers outils open source et payants disponibles, comprendre le processus de base vous aide à commencer petit et à monter en échelle selon les besoins.
Étape 1 : Rédiger un prompt
Commencez par écrire un prompt initial que vous souhaitez améliorer. Pour cet exemple, nous utiliserons un prompt simple :
prompt = f"""
Please answer the user's question:
{question}
"""
Ce prompt de base servira de référence pour les tests et l'amélioration.
Étape 2 : Créer un jeu de données d'évaluation
Votre jeu de données d'évaluation contient des exemples d'entrées que vous allez injecter dans votre prompt. Comme notre prompt n'a qu'une seule entrée (la question de l'utilisateur), nous avons besoin d'une collection de questions différentes pour effectuer les tests.
Le jeu de données contient des questions que nous allons fusionner avec notre prompt. Vous pouvez assembler ces jeux de données manuellement ou les générer à l'aide de Claude. Dans des évaluations réelles, vous pourriez avoir des dizaines, des centaines, voire des milliers d'enregistrements différents, mais nous commencerons avec seulement trois questions pour cet exemple :
- Combien font 2+2 ?
- Comment préparer du porridge ?
- À quelle distance se trouve la Lune ?
Étape 3 : Faire passer par Claude
Prenez chaque question de votre jeu de données et fusionnez-la avec votre modèle de prompt pour créer des prompts complets. Envoyez ensuite chacun d'eux à Claude et collectez les réponses.
Par exemple, la première question devient un prompt complet que Claude traite et renvoie une réponse comme « 2 + 2 = 4 ». Vous répétez ce processus pour toutes les questions de votre jeu de données, en constituant une collection de paires question-réponse.
Étape 4 : Faire passer par un évaluateur
Vient maintenant l'étape cruciale consistant à mesurer objectivement la qualité des réponses de Claude. Vous prenez chaque paire question-réponse et vous les injectez dans un évaluateur qui note les réponses.
L'évaluateur attribue des notes (généralement de 1 à 10) en fonction de la qualité de la réponse :
- 10 = Réponse parfaite, sans aucune marge d'amélioration
- 4 = Adéquate mais avec certainement une marge d'amélioration
- Des notes plus basses indiquent des réponses médiocres
Après avoir noté toutes les réponses, vous faites la moyenne des notes. Dans notre exemple, les notes de 10, 4 et 9 donnent une moyenne de 7,66, ce qui vous fournit une mesure objective de la performance de votre prompt.
Étape 5 : Modifier le prompt et répéter
Une fois votre note de référence établie, vous pouvez maintenant modifier votre prompt et relancer l'ensemble du processus pour voir si vos changements améliorent la performance.
Par exemple, vous pourriez améliorer le prompt original en ajoutant des instructions plus précises :
prompt = f"""
Please answer the user's question:
{question}
Answer the question with ample detail
"""Notation des prompts
La puissance de ce flux de travail réside dans l'obtention de mesures objectives de la performance des prompts. Vous pouvez comparer les notes entre différentes versions de prompts pour déterminer laquelle est la plus performante.
Dans notre exemple :
- Le prompt v1 a obtenu 7,66
- Le prompt v2 a obtenu 8,7
La note plus élevée pour la v2 fournit une preuve objective que l'ajout de « Répondez à la question avec suffisamment de détails » a amélioré la performance du prompt. Vous pouvez ensuite utiliser la version la plus performante ou continuer à itérer pour obtenir des notes encore plus élevées.
Cette approche systématique élimine les conjectures de l'amélioration des prompts et vous offre un cadre fiable pour l'optimisation. Bien qu'il y ait une certaine complexité dans la mise en œuvre d'évaluateurs efficaces, ce flux de travail constitue une base solide pour construire votre propre système d'évaluation.