Iteriere den Prompt, bevor du das Modell upgradest

Die Demo in diesem Video wurde im August 2026 aufgezeichnet. Sie lief auf Claude Haiku 4.5, Claude Sonnet 5 und Claude Opus 5. Bei neueren Modellen werden die Ergebnisse abweichen. Die Demo jeder Lektion ist ein separater Eval-Durchlauf, daher stimmen ihre Werte und Kosten nicht mit denen anderer Lektionen überein.

Eine niedrige Eval-Bewertung sagt, dass ein Modell zu viele Fälle falsch beantwortet hat, aber nicht, ob das Modell oder dein Prompt schuld ist.

Überprüfe zuerst den Prompt, denn ein größeres Modell erhöht den Preis jeder Anfrage, die du nach dem Wechsel sendest. Das Ändern des Prompts dauert nur wenige Minuten, und du kannst die Änderung sofort testen.

Meridian, eine fiktive Ingenieurberatung, hat einen Prompt, der drei Felder aus jedem monatlichen Projektbericht extrahiert: die Projekt-ID, den Terminstatus und das größte Risiko. Der Eval-Test umfasst 50 Fälle, jeweils ein Bericht gepaart mit der erwarteten Antwort.

Claude Sonnet 5 und Claude Opus 5 haben alle 50 richtig beantwortet. Claude Haiku 4.5 ist von den dreien das günstigste, erreichte aber nur 84 % und blieb damit unter der Genauigkeitsschwelle von 90 %, die Meridian verlangt, bevor es ein Modell einsetzt.

Bevor Meridian mehr für ein größeres Modell ausgibt, arbeitet es fünf Schritte durch:

1. Lies die fehlgeschlagenen Fälle und finde heraus, was sie gemeinsam haben.
2. Wähle Lösungen für die nicht belegten Antworten aus.
3. Schreibe die Änderungen in den Prompt.
4. Führe alle 50 Fälle erneut mit allen drei Modellen aus.
5. Überprüfe jede Spalte und entscheide dann über ein Upgrade.

Lies die fehlgeschlagenen Fälle und finde heraus, was sie gemeinsam haben

Sortiere die fehlgeschlagenen Fälle nach der Art des jeweiligen Berichts und nach dem Feld, das falsch beantwortet wurde. Eine Bewertung zählt die Fehler, kann sie aber nicht erklären. Wenn du dir ansiehst, was fehlgeschlagen ist, zeigt dir das, was schiefgelaufen ist und warum, und so erfährst du, ob das Modell oder der Prompt schuld ist.

Meridians 50 Fälle bestehen aus 30 typischen Berichten, 10, die mehrere Projekte abdecken, und 10 Fällen mit fehlendem Risiko, bei denen der Bericht keinen Risikoabschnitt enthält. Die Tabelle zeigt, wie Haiku 4.5 mit dem alten Prompt abgeschnitten hat, also dem, mit dem Meridian begonnen hat.

Haiku 4.5 scheiterte mit dem alten Prompt bei 8 der 50 Fälle.

Fünf der acht Fehler sind Fälle mit fehlendem Risiko, alle beim Feld top_risk. Jeder hätte null zurückgeben sollen, aber das Modell schrieb jedes Mal einen Satz, der ein Risiko benannte. Fall r045 ist einer davon.

Die Genehmigung bekommt nur eine Routinenotiz, und der Bericht selbst sagt, dass keine Schwierigkeiten zu erwarten sind, trotzdem wählte das Modell sie als größtes Risiko aus.

Die top_risk-Zeile des alten Prompts endete mit „or null“, was null zwar erlaubte, dem Modell aber nie sagte, wann das gilt. Wenn sich Fehler bei einer Art von Bericht und einem Feld häufen, haben sie meist eine gemeinsame Ursache, und hier hat der Prompt etwas ausgelassen.

Wähle Lösungen für die nicht belegten Antworten aus

Wähle deine Lösungen aus fünf Standardwegen, um nicht belegte Antworten seltener zu machen. Eine nicht belegte Antwort, also eine, die das Dokument nicht stützt, wird auch Halluzination genannt. Die ersten drei der folgenden Wege sind grundlegende Schritte, die Halluzinationen seltener machen.

1. Lass es „Ich weiß es nicht“ sagen. Sag dem Modell, was es zurückgeben soll, wenn das Dokument die Antwort nicht enthält – bei Meridian ist das null.
2. Zitiere, bevor du antwortest. Lass das Modell zuerst den Satz herausziehen, der seine Antwort stützt, und dann auf Basis dieses Satzes antworten.
3. Verweise zurück auf das Dokument. Nachdem das Modell geantwortet hat, lass es für jede Aussage ein Zitat finden, das sie stützt, und jede Aussage zurücknehmen, die es nicht belegen kann. Eine Person kann dann jede verbliebene Aussage prüfen.
4. Füge einen Verifizierungsdurchlauf hinzu. Sende eine zweite Anfrage, deren Aufgabe es ist, die Antwort der ersten Anfrage zu überprüfen.
5. Beschränke externes Wissen. Sag dem Modell, dass es ausschließlich aus dem Dokument antworten und auslassen soll, was es beim Training gelernt hat.

Meridian nutzt die ersten beiden, denn die erste füllt genau die Lücke, die Schritt 1 gefunden hat. Die zweite sorgt dafür, dass jede Antwort zu einem Satz im Bericht passt. Beide erfordern nur eine oder zwei zusätzliche Zeilen im Prompt, den Meridian bereits hat.

Schreibe die Änderungen in den Prompt

Lege im Prompt fest, wann null die richtige Antwort ist, und fordere das Zitat vor der Antwort an. Das Feld unten enthält den neuen Prompt, also Meridians Prompt mit beiden vorgenommenen Änderungen. Finde die Zeile, die jede Aufgabe übernimmt – eine Notiz zeigt, was sich geändert hat.

Nimm noch einmal Fall r045. Das Modell muss jetzt auf einen Satz verweisen, der ein Risiko zeigt, und die eigenen Worte des Berichts zeigen keines: „Das Team rechnet nicht mit Problemen bei der Verlängerung.“ Wenn ein Bericht keinen solchen Satz enthält, sagt der neue Prompt, was zurückgegeben werden soll: <source>none</source>, dann null.

Dein Code hat jetzt auch eine neue Aufgabe. Da das Zitat nun zuerst in der Antwort steht, ist der gesamte Text kein gültiges JSON mehr, und json.loads schlägt dabei fehl. Parse nur das, was auf das schließende </source>-Tag folgt.

answer = json.loads(text.split("</source>")[-1])

Führe alle 50 Fälle erneut mit allen drei Modellen aus

Führe den Eval mit dem neuen Prompt erneut aus, mit denselben 50 Fällen und denselben drei Modellen.

Der Anteil der Fälle, die Haiku 4.5 richtig beantwortet hat, mit dem alten Prompt und mit dem neuen Prompt.

Keine der fünf nicht belegten Antworten kam zurück, und Haiku 4.5 liegt jetzt über der Genauigkeitsschwelle.

In der nächsten Tabelle sind die Durchlaufkosten der Preis für einen Durchlauf eines Modells durch alle 50 Fälle, und die Kosten pro erledigter Aufgabe teilen diesen Wert durch die Anzahl der richtigen Antworten.

Alle drei Modelle mit dem neuen Prompt über 50 Fälle, gegen eine Genauigkeitsschwelle von 90 %, zu den Standardpreisen von August 2026. Siehe aktuelle Preise.

Jedes Modell liegt jetzt über der Schwelle, also triffst du die Wahl anhand der Kosten pro erledigter Aufgabe, und die von Haiku 4.5 sind am niedrigsten.

Überprüfe jede Spalte und entscheide dann über ein Upgrade

Sieh dir jede Spalte in beiden Durchläufen an, nicht nur die, die du beheben wolltest. Eine Änderung, die einer Art von Fall hilft, kann eine andere verschlechtern, also prüfe das nach jeder Änderung.

Zähle die nicht belegten Antworten und alle richtigen Antworten, die falsch wurden. Meridian hat keine seiner richtigen Antworten verloren.

Die drei typischen Fälle, die bei schedule_status fehlschlugen, bestanden dieses Mal, obwohl keine Änderung die Zeile dieses Felds betraf. Ein Modell kann denselben Fall von einem Durchlauf zum nächsten unterschiedlich beantworten, also führe jedes Setup zwei- oder mehrmals aus, bevor du einer Bewertung vertraust.

Ändere den Prompt weiter und führe ihn erneut aus, solange sich die Bewertung bewegt. Wenn sie sich unterhalb deiner Genauigkeitsschwelle nicht mehr bewegt, fehlt dem Modell eine Fähigkeit, und dann ist es Zeit für ein Upgrade.

Das Fazit

1. Beginne damit, die fehlgeschlagenen Fälle zu lesen, gruppiert nach der Art des jeweiligen Berichts und dem Feld, das falsch beantwortet wurde.
2. Behebe, was der Prompt auslässt, indem du angibst, was zurückgegeben werden soll, wenn das Dokument keine Antwort enthält, und indem du das Zitat zuerst anforderst.
3. Führe dieselben Fälle zwei- oder mehrmals erneut aus und prüfe, dass nicht belegte Antworten abnehmen, während keine richtige Antwort falsch wird.
4. Upgrade erst dann auf ein größeres Modell, wenn Prompt-Änderungen die Bewertung nicht mehr verändern.