Beim Prompt Engineering geht es darum, einen Prompt, den du geschrieben hast, zu nehmen und so zu verbessern, dass er zuverlässigere, hochwertigere Ausgaben liefert. Dieser Prozess umfasst eine iterative Verfeinerung – beginnend mit einem einfachen Prompt, der Bewertung seiner Leistung und der anschließenden systematischen Anwendung von Engineering-Techniken zur Verbesserung.
Der iterative Verbesserungsprozess
Der Ansatz folgt einem klaren Zyklus, den du wiederholen kannst, bis du die gewünschten Ergebnisse erzielst:
- Ziel festlegen – Definiere, was dein Prompt erreichen soll
- Ersten Prompt schreiben – Erstelle einen einfachen ersten Versuch
- Prompt bewerten – Teste ihn anhand deiner Kriterien
- Prompt-Engineering-Techniken anwenden – Verwende spezifische Methoden zur Leistungsverbesserung
- Erneut bewerten – Überprüfe, ob deine Änderungen die Ergebnisse tatsächlich verbessert haben
Du wiederholst die letzten beiden Schritte, bis du mit der Leistung zufrieden bist. Jede Iteration sollte eine messbare Verbesserung deiner Bewertungsergebnisse zeigen.
Beispiel: Essensplanung für Athleten
Gehen wir ein praktisches Beispiel durch. Das Ziel ist es, einen Prompt zu erstellen, der einen eintägigen Essensplan für Athleten basierend auf ihren körperlichen Merkmalen und Anforderungen generiert.
Der Prompt nimmt diese Eingaben und sollte einen umfassenden Essensplan mit Kalorien-Gesamtsummen, Makronährstoff-Aufschlüsselungen und spezifischen Mahlzeitendetails mit Portionen und Zeitplanung erzeugen.
Einrichten des Bewertungsrahmens
Um Verbesserungen systematisch zu messen, benötigst du eine robuste Bewertungseinrichtung. Der Rahmen umfasst:
- Datensatzgenerierung – Erstelle Testfälle, die reale Szenarien repräsentieren
- Automatisierte Bewertung – Verwende konsistente Kriterien zur Bewertung der Ausgaben
- Leistungsverfolgung – Überwache Verbesserungen über Iterationen hinweg
Achte beim Einrichten deines Evaluators auf API-Ratenlimits. Beginne mit niedriger Parallelität (1-3 gleichzeitige Anfragen) und erhöhe sie nur, wenn du keine Ratenlimit-Fehler feststellst.
Erstellen deines ersten Prompts
Beginne mit etwas Einfachem, auch wenn du weißt, dass es nicht großartig ist. Hier ist ein Beispiel für einen einfachen ersten Versuch:
What should this person eat?
- Height: {prompt_inputs["height"]}
- Weight: {prompt_inputs["weight"]}
- Goal: {prompt_inputs["goal"]}
- Dietary restrictions: {prompt_inputs["restrictions"]}Dieser Prompt ist absichtlich einfach gehalten und wird wahrscheinlich schlechte Ergebnisse liefern. Genau das ist es, was du willst – eine klare Ausgangsbasis, von der aus du dich verbessern kannst.
Bewertungskriterien festlegen
Definiere spezifische Kriterien, die dein Prompt erfüllen sollte. Für das Beispiel der Essensplanung sollte eine gute Ausgabe Folgendes enthalten:
- Tägliche Kalorien-Gesamtsumme
- Makronährstoff-Aufschlüsselung
- Mahlzeiten mit genauen Lebensmitteln, Portionen und Zeitplanung
Diese Kriterien helfen dem Bewertungsmodell, Ausgaben konsistent zu bewerten, und geben dir klare Ziele für Verbesserungen.
Messen der Basisleistung
Führe deinen ersten Prompt durch den Bewertungsrahmen. Lass dich nicht von niedrigen Bewertungen entmutigen – eine Bewertung von 2,3 von 10 ist tatsächlich perfekt für einen Ausgangspunkt. Sie gibt dir viel Raum, um Verbesserungen zu demonstrieren.
Analyse der Ergebnisse
Die meisten Bewertungsrahmen generieren detaillierte Berichte, die zeigen, wie jeder Testfall abgeschnitten hat. Diese Berichte umfassen typischerweise:
- Einzelne Testfallergebnisse – Sieh genau, was das Modell produziert hat
- Bewertungsaufschlüsselung – Verstehe, warum bestimmte Ausgaben schlecht bewertet wurden
- Begründung – Erhalte Feedback dazu, was fehlt oder falsch ist
Nutze dieses detaillierte Feedback, um spezifische Bereiche zu identifizieren, in denen dein Prompt verbessert werden muss. Achte auf Muster über mehrere Testfälle hinweg, um systematische Probleme zu verstehen, anstatt Einzelfallprobleme.
Nächste Schritte
Mit deiner etablierten Basis und dem eingerichteten Bewertungsrahmen bist du bereit, spezifische Prompt-Engineering-Techniken anzuwenden. Jede Technik, die du anwendest, sollte zu einer messbaren Verbesserung deiner Bewertungsergebnisse führen und dich näher an deine ideale Ausgabequalität bringen.
Der Schlüssel ist, jeweils eine Änderung vorzunehmen, die Auswirkung zu bewerten und dann zu entscheiden, ob du die Änderung beibehältst oder einen anderen Ansatz ausprobierst. Dieser systematische Prozess stellt sicher, dass du verstehst, welche Techniken für deinen spezifischen Anwendungsfall am besten funktionieren.