Claude Academy
Wird geladen

Prompt Engineering

Lektion 1515 Min.

Beim Prompt Engineering geht es darum, einen von dir geschriebenen Prompt zu nehmen und ihn zu verbessern, um zuverlässigere, hochwertigere Ausgaben zu erhalten. Dieser Prozess umfasst eine iterative Verfeinerung – beginnend mit einem einfachen Prompt, der Bewertung seiner Leistung und der anschließenden systematischen Anwendung von Engineering-Techniken zur Verbesserung.

Der iterative Verbesserungsprozess

Der Ansatz folgt einem klaren Zyklus, den du wiederholen kannst, bis du die gewünschten Ergebnisse erzielst:

  1. Ziel festlegen – Definiere, was dein Prompt erreichen soll
  2. Ersten Prompt schreiben – Erstelle einen einfachen ersten Versuch
  3. Prompt bewerten – Teste ihn anhand deiner Kriterien
  4. Prompt-Engineering-Techniken anwenden – Verwende spezifische Methoden zur Leistungsverbesserung
  5. Erneut bewerten – Überprüfe, ob deine Änderungen die Ergebnisse tatsächlich verbessert haben

Du wiederholst die letzten beiden Schritte, bis du mit der Leistung zufrieden bist. Jede Iteration sollte eine messbare Verbesserung deiner Bewertungsergebnisse zeigen.

Einrichten deiner Evaluierungspipeline

Um diesen Prozess zu demonstrieren, arbeiten wir mit einem praktischen Beispiel: der Erstellung eines Prompts, der eintägige Mahlzeitenpläne für Athleten generiert. Der Prompt muss Größe, Gewicht, Ziele und Ernährungseinschränkungen eines Athleten berücksichtigen und dann einen umfassenden Mahlzeitenplan erstellen.

Das Evaluierungssetup verwendet eine PromptEvaluator-Klasse, die die Datensatzgenerierung und die Modellbewertung übernimmt. Beim Erstellen deiner Evaluator-Instanz kannst du die Parallelität mit dem Parameter max_concurrent_tasks steuern:

python
evaluator = PromptEvaluator(max_concurrent_tasks=5)

Beginne mit einem niedrigen Parallelitätswert (wie 3), um Ratenlimit-Fehler zu vermeiden. Du kannst ihn erhöhen, wenn dein API-Kontingent eine schnellere Verarbeitung zulässt.

Testdaten generieren

Das Evaluierungssystem kann automatisch Testfälle basierend auf den Anforderungen deines Prompts generieren. Du definierst, welche Eingaben dein Prompt benötigt:

python
dataset = evaluator.generate_dataset(
    task_description="Write a compact, concise 1 day meal plan for a single athlete",
    prompt_inputs_spec={
        "height": "Athlete's height in cm",
        "weight": "Athlete's weight in kg", 
        "goal": "Goal of the athlete",
        "restrictions": "Dietary restrictions of the athlete"
    },
    output_file="dataset.json",
    num_cases=3
)

Halte die Anzahl der Testfälle während der Entwicklung niedrig (2-3), um deinen Iterationszyklus zu beschleunigen. Du kannst diese Zahl für die finale Validierung erhöhen.

Deinen ersten Prompt schreiben

Beginne mit einem einfachen, naiven Prompt, um eine Baseline festzulegen. Hier ist ein Beispiel für einen bewusst einfachen ersten Versuch:

python
def run_prompt(prompt_inputs):
    prompt = f"""
What should this person eat?

- Height: {prompt_inputs["height"]}
- Weight: {prompt_inputs["weight"]}
- Goal: {prompt_inputs["goal"]}
- Dietary restrictions: {prompt_inputs["restrictions"]}
"""
    
    messages = []
    add_user_message(messages, prompt)
    return chat(messages)

Dieser einfache Prompt wird wahrscheinlich schlechte Ergebnisse liefern, gibt dir aber einen Ausgangspunkt, um Verbesserungen daran zu messen.

Bewertungskriterien hinzufügen

Beim Ausführen deiner Evaluierung kannst du zusätzliche Kriterien angeben, die das bewertende Modell berücksichtigen soll:

python
results = evaluator.run_evaluation(
    run_prompt_function=run_prompt,
    dataset_file="dataset.json",
    extra_criteria="""
The output should include:
- Daily caloric total
- Macronutrient breakdown  
- Meals with exact foods, portions, and timing
"""
)

Dies hilft sicherzustellen, dass dein Prompt anhand der spezifischen Anforderungen bewertet wird, die für deinen Anwendungsfall relevant sind.

Ergebnisse analysieren

Nach dem Ausführen einer Evaluierung erhältst du sowohl eine numerische Bewertung als auch einen detaillierten HTML-Bericht. Der Bericht zeigt dir genau, wie jeder Testfall abgeschnitten hat, einschließlich der Begründung des Modells für jede Bewertung.

Lass dich nicht von niedrigen anfänglichen Bewertungen entmutigen – eine Bewertung von 2,3 von 10 ist typisch für einen ersten Versuch. Das Ziel ist es, eine konsistente Verbesserung zu sehen, während du Engineering-Techniken anwendest.

Der detaillierte Evaluierungsbericht hilft dir zu verstehen, wo genau dein Prompt versagt und welche Verbesserungen erforderlich sind. Nutze dieses Feedback, um deine nächste Iteration zu steuern.

Nächste Schritte

Mit deiner etablierten Baseline bist du bereit, spezifische Prompt-Engineering-Techniken anzuwenden. Jede Technik, die du lernst, sollte zu einer messbaren Verbesserung deiner Bewertungsergebnisse führen und deinen einfachen Prompt schrittweise in ein zuverlässiges, leistungsstarkes Tool verwandeln.

Denke daran, dass Prompt Engineering ein iterativer Prozess ist. Der Schlüssel liegt darin, jeweils eine Änderung vorzunehmen, die Auswirkungen zu bewerten und auf dem aufzubauen, was funktioniert. Dieser systematische Ansatz stellt sicher, dass du verstehst, welche Techniken den größten Mehrwert für deinen spezifischen Anwendungsfall bieten.