Ein typischer Workflow zur Prompt-Evaluierung folgt fünf zentralen Schritten, die dir helfen, deine Prompts durch objektive Messung systematisch zu verbessern. Es gibt viele verschiedene Möglichkeiten, diese Workflows zusammenzustellen, sowie diverse Open-Source- und kostenpflichtige Tools, aber das Verständnis des Kernprozesses hilft dir, klein anzufangen und bei Bedarf zu skalieren.
Schritt 1: Einen Prompt entwerfen
Beginne damit, einen ersten Prompt zu schreiben, den du verbessern möchtest. Für dieses Beispiel verwenden wir einen einfachen Prompt:
prompt = f"""
Please answer the user's question:
{question}
"""
Dieser einfache Prompt dient uns als Ausgangsbasis für Tests und Verbesserungen.
Schritt 2: Einen Eval-Datensatz erstellen
Dein Evaluierungsdatensatz enthält Beispiel-Eingaben, die die Arten von Fragen oder Anfragen repräsentieren, die dein Prompt im produktiven Einsatz verarbeiten wird. Der Datensatz sollte Fragen enthalten, die in deine Prompt-Vorlage eingefügt werden.
Für dieses Beispiel enthält unser Datensatz drei Fragen:
- „Was ist 2+2?"
- „Wie bereite ich Haferbrei zu?"
- „Wie weit ist der Mond entfernt?"
In realen Evaluierungen hast du möglicherweise zehn, hunderte oder sogar tausende Datensätze. Du kannst diese Datensätze manuell zusammenstellen oder Claude nutzen, um sie für dich zu generieren.
Schritt 3: Durch Claude laufen lassen
Nimm jede Frage aus deinem Datensatz und verschmelze sie mit deiner Prompt-Vorlage, um vollständige Prompts zu erstellen. Sende dann jeden einzelnen an Claude, um Antworten zu erhalten.
Zum Beispiel wird aus der ersten Frage:
Please answer the user's question:
What's 2+2?Claude könnte mit „2 + 2 = 4" auf die Mathefrage antworten, Anweisungen zur Zubereitung von Haferbrei für die zweite Frage geben und die Entfernung zum Mond für die dritte Frage nennen.
Schritt 4: Durch einen Grader laufen lassen
Der Grader bewertet die Qualität von Claudes Antworten, indem er sowohl die ursprüngliche Frage als auch Claudes Antwort untersucht. Dieser Schritt liefert eine objektive Bewertung, typischerweise auf einer Skala von 1 bis 10, wobei 10 eine perfekte Antwort darstellt und niedrigere Werte auf Verbesserungspotenzial hinweisen.
In unserem Beispiel könnte der Grader folgende Werte vergeben:
- Mathefrage: 10 (perfekte Antwort)
- Haferbrei-Frage: 4 (verbesserungswürdig)
- Mond-Frage: 9 (sehr gute Antwort)
Der Durchschnittswert über alle Fragen hinweg liefert dir eine objektive Messung: (10 + 4 + 9) ÷ 3 = 7,66
Schritt 5: Prompt ändern und wiederholen
Jetzt, wo du einen Ausgangswert hast, kannst du deinen Prompt ändern und den gesamten Prozess erneut durchlaufen, um zu sehen, ob deine Änderungen die Leistung verbessern.
Zum Beispiel könntest du deinem Prompt mehr Anleitung hinzufügen:
prompt = f"""
Please answer the user's question:
{question}
Answer the question with ample detail
"""Nachdem du diesen verbesserten Prompt durch denselben Evaluierungsprozess laufen lässt, erhältst du möglicherweise einen höheren Durchschnittswert von 8,7, was darauf hinweist, dass die zusätzliche Anweisung Claude geholfen hat, bessere Antworten zu liefern.
Prompt-Bewertung
Der wesentliche Vorteil dieses Workflows ist, objektive Messungen der Prompt-Leistung zu erhalten. Du kannst:
- Verschiedene Prompt-Versionen numerisch vergleichen
- Die Version mit dem besten Wert verwenden
- Weiter iterieren, um noch bessere Ansätze zu finden
Dieser systematische Ansatz entfernt das Rätselraten aus dem Prompt-Engineering und gibt dir die Gewissheit, dass deine Änderungen tatsächlich Verbesserungen sind und nicht nur andere Varianten.