Ein typischer Workflow zur Prompt-Evaluierung folgt fünf zentralen Schritten, die dir helfen, deine Prompts systematisch durch objektive Messung zu verbessern. Es gibt viele verschiedene Möglichkeiten, diese Workflows zusammenzustellen, und zahlreiche Open-Source- und kostenpflichtige Tools sind verfügbar, aber das Verständnis des Kernprozesses hilft dir, klein anzufangen und nach Bedarf zu skalieren.
Schritt 1: Einen Prompt entwerfen
Beginne damit, einen ersten Prompt zu schreiben, den du verbessern möchtest. Für dieses Beispiel verwenden wir einen einfachen Prompt:
prompt = f"""
Please answer the user's question:
{question}
"""
Dieser einfache Prompt dient als unsere Baseline für Tests und Verbesserungen.
Schritt 2: Einen Evaluierungsdatensatz erstellen
Dein Evaluierungsdatensatz enthält Beispiel-Eingaben, die du in deinen Prompt einspeist. Da unser Prompt nur eine Eingabe hat (die Frage des Nutzers), benötigen wir eine Sammlung verschiedener Fragen zum Testen.
Der Datensatz enthält Fragen, die wir mit unserem Prompt zusammenführen. Du kannst diese Datensätze manuell zusammenstellen oder sie mit Claude generieren. In realen Evaluierungen hast du möglicherweise Dutzende, Hunderte oder sogar Tausende verschiedener Datensätze, aber wir beginnen für dieses Beispiel mit nur drei Fragen:
- Was ist 2+2?
- Wie mache ich Haferbrei?
- Wie weit ist der Mond entfernt?
Schritt 3: Durch Claude laufen lassen
Nimm jede Frage aus deinem Datensatz und führe sie mit deiner Prompt-Vorlage zusammen, um vollständige Prompts zu erstellen. Sende dann jeden einzelnen an Claude und sammle die Antworten.
Zum Beispiel wird die erste Frage zu einem vollständigen Prompt, den Claude verarbeitet und eine Antwort wie „2 + 2 = 4" zurückgibt. Du wiederholst diesen Prozess für alle Fragen in deinem Datensatz und baust so eine Sammlung von Frage-Antwort-Paaren auf.
Schritt 4: Durch einen Grader laufen lassen
Jetzt kommt der entscheidende Schritt, die Qualität von Claudes Antworten objektiv zu messen. Du nimmst jedes Frage-Antwort-Paar und speist es in einen Grader ein, der die Antworten bewertet.
Der Grader vergibt Punktzahlen (typischerweise 1-10) basierend auf der Antwortqualität:
- 10 = Perfekte Antwort ohne Verbesserungsspielraum
- 4 = Angemessen, aber definitiv Verbesserungsspielraum
- Niedrigere Punktzahlen weisen auf schlechte Antworten hin
Nachdem alle Antworten bewertet wurden, bildest du den Durchschnitt der Punktzahlen. In unserem Beispiel ergeben die Punktzahlen 10, 4 und 9 einen Durchschnitt von 7,66, was dir eine objektive Messung der Leistung deines Prompts liefert.
Schritt 5: Prompt ändern und wiederholen
Mit deiner festgelegten Baseline-Punktzahl kannst du nun deinen Prompt ändern und den gesamten Prozess erneut durchlaufen lassen, um zu sehen, ob deine Änderungen die Leistung verbessern.
Zum Beispiel könntest du den ursprünglichen Prompt verbessern, indem du spezifischere Anweisungen hinzufügst:
prompt = f"""
Please answer the user's question:
{question}
Answer the question with ample detail
"""Prompt-Bewertung
Die Stärke dieses Workflows liegt darin, objektive Messungen der Prompt-Leistung zu erhalten. Du kannst Punktzahlen zwischen verschiedenen Prompt-Versionen vergleichen, um festzustellen, welche besser abschneidet.
In unserem Beispiel:
- Prompt v1 erzielte 7,66
- Prompt v2 erzielte 8,7
Die höhere Punktzahl für v2 liefert den objektiven Nachweis, dass das Hinzufügen von „Beantworte die Frage mit ausreichend Detail" die Leistung des Prompts verbessert hat. Du kannst dann die besser abschneidende Version verwenden oder weiter iterieren, um noch höhere Punktzahlen zu erreichen.
Dieser systematische Ansatz nimmt das Rätselraten aus der Prompt-Verbesserung heraus und gibt dir ein zuverlässiges Framework für die Optimierung. Obwohl die Implementierung effektiver Grader komplex ist, bietet dieser Workflow eine solide Grundlage für den Aufbau deines eigenen Evaluierungssystems.