Wann welches Modell verwendet werden sollte

Die Demo in diesem Video wurde im August 2026 aufgezeichnet. Sie lief auf Claude Haiku 4.5, Claude Sonnet 5 und Claude Opus 5. Die Ergebnisse werden bei neueren Modellen abweichen. Die Demo jeder Lektion ist ein eigener Eval-Lauf, daher stimmen ihre Werte und Kosten nicht mit denen anderer Lektionen überein.

Wenn du ein Claude-Modell für eine Aufgabe auswählst, gehst du wahrscheinlich nach Instinkt oder nach dem Wort eines Kollegen vor. Claudes Modelle unterscheiden sich tatsächlich in Fähigkeit, Geschwindigkeit und Kosten, aber kein veröffentlichter Vergleich hat jemals deinen spezifischen Prompt gesehen, also kann keiner davon dir sagen, wie ein Modell bei deiner Aufgabe abschneiden wird. Die Art, wie man auswählt, besteht darin, zu messen, wie oft jedes Modell deine Aufgabe richtig löst, und erst danach zu betrachten, was jedes einzelne kostet.

Es ist ähnlich wie beim Kauf einer Leiter, um die Spitze einer Mauer zu erreichen. Bevor du auf Preise schaust, findest du heraus, wie hoch die Mauer ist, denn eine Leiter, die zu kurz ist, ist zu jedem Preis nutzlos. Raten sagt dir nicht, welche Leitern reichen, also misst du sie, und von denen, die reichen, kaufst du die günstigste. Eine höhere Mauer braucht eine längere Leiter, und das ist dann die richtige Wahl, auch wenn sie mehr kostet.

Bei Modellen wird diese Messung durch einen Eval durchgeführt, also eine Reihe von Fällen, mit denen du jedes Modell durchlaufen lässt. Jeder Fall ist eine Eingabe, die dein Prompt sehen wird, sowie die erwartete Antwort, und eine Person schreibt diese Antwort anhand der Eingabe, bevor irgendein Modell läuft. Jeder Durchlauf erhält dann einen Wert dafür, wie viele Fälle das Modell richtig gelöst hat.

Diese Lektion folgt Meridian. Jeden Monat erhält die Firma 50 Projektberichte in Markdown, und ein Prompt extrahiert aus jedem drei Felder: die Projekt-ID, den Zeitplanstatus und das größte Risiko. Ihre Fälle sind die 50 Berichte eines Monats, und was sie noch nicht weiß, ist, welches Modell diesen Prompt ausführen sollte.

Meridian geht das in fünf Schritten an, die du mit deinem eigenen Prompt nachvollziehen kannst:

1. Entscheide, wie genau ein Modell sein muss
2. Bewerte jedes Modell anhand derselben Fälle
3. Ermittle, was ein Aufruf kostet
4. Vergleiche Modelle anhand der Kosten pro abgeschlossener Aufgabe
5. Wähle das Modell mit der benötigten Genauigkeit zu den niedrigsten Kosten

Entscheide, wie genau ein Modell sein muss

Das ist die Höhe der Mauer, und du legst sie fest, bevor du auf die Kosten schaust. Deine Genauigkeitsschwelle ist der Anteil der Fälle, die ein Modell richtig lösen muss, bevor du es in Produktion bringen würdest. Um die Schwelle festzulegen, ermittle, was eine falsche Antwort dich kostet, denn je teurer sie ist, desto höher sollte deine Schwelle sein.

Bei Meridian bedeutet eine falsche Antwort, dass jemand diesen Bericht von Hand überprüfen muss, was etwa 5 Minuten dauert. Die Ingenieure können sich 5 solcher Überprüfungen pro Monat leisten, und da 5 von 50 gleich 10 % sind, liegt Meridians Schwelle bei 90 %.

Eine andere Aufgabe kann die Schwelle deutlich höher treiben. Angenommen, eine falsche Antwort kostet 1.000 $, vielleicht weil sie einen Kunden erreicht hat. Dann steigt die Schwelle auf 100 %, und was das Modell kostet, spielt kaum noch eine Rolle.

Bewerte jedes Modell anhand derselben Fälle

Eine Schwelle ist nur eine Zahl, bis du Modelle daran misst. Lass jedes Modell mit demselben Prompt auf denselben Fällen laufen, sodass sich von einem Durchlauf zum nächsten nur das Modell ändert. Meridian ließ seine 50 Berichte mit einem Prompt durch drei Modelle laufen: Claude Haiku 4.5, Claude Sonnet 5 und Claude Opus 5.

Ein Skript von Meridian prüft jedes Feld gegen die erwartete Antwort. Die Projekt-ID und der Zeitplanstatus müssen exakt übereinstimmen, aber das größte Risiko ist ein Satz, daher vergleicht das Skript ihn großzügiger und lässt leichte Abweichungen in der Formulierung zu. Jeder Fall ist eine Aufgabe, was bei Meridian bedeutet: ein Bericht, aus dem drei Felder extrahiert werden. Ein Modell schließt die Aufgabe nur dann ab, wenn es alle drei Felder richtig löst.

Von den 50 Fällen sind 30 typische Berichte, 10 decken mehrere Projekte gleichzeitig ab, und 10 haben keinen Risikoabschnitt. Die Tabelle schlüsselt den Wert jedes Modells nach diesen drei Arten auf.

Anteil der Fälle, die jedes Modell richtig gelöst hat, nach Berichtsart, mit demselben Prompt und einer Schwelle von 90 %

Sonnet 5 und Opus 5 lösten beide alle 50 richtig. Haiku 4.5 löste 42 von 50, also 84 %, womit es bei dieser Aufgabe und diesem Prompt die Schwelle nicht erreicht.

Ermittle, was ein Aufruf kostet

Jetzt, wo zwei Modelle die Schwelle erreicht haben, kommen die Kosten ins Spiel. Abgerechnet wird pro Token, einem Textstück, das Modelle verarbeiten, und jede Antwort der Messages API enthält einen usage-Block mit den genauen Token-Zahlen, die dir in Rechnung gestellt werden. Das Beispiel unten ist eine Illustration, ein Sonnet-5-Aufruf etwa in der Größenordnung eines von Meridians, mit 780 Input-Tokens und 41 Output-Tokens.

"usage": {
  "input_tokens": 780,
  "output_tokens": 41
}

Lies diese Zahlen aus usage für jedes Modell, statt sie aus deinem Text zu schätzen. Der Tokenizer eines Modells ist der Teil, der Text in Tokens aufteilt, und nicht jedes Modell verwendet denselben. Daher kann derselbe Text bei unterschiedlichen Modellen zu einer unterschiedlichen Anzahl von Tokens führen. Sonnet 5 und Opus 5 verwenden einen neueren Tokenizer, der für denselben Text etwa 30 % mehr Tokens erzeugt, und Haiku 4.5 verwendet den vorherigen.

Input-Tokens und Output-Tokens haben getrennte Sätze, jeweils angegeben pro Million Tokens. Die Tabelle zeigt die Sätze der drei Modelle, wie sie im August 2026 gelistet waren, also als Meridian den Eval durchführte, und Claudes Preisseite enthält die heute geltenden Sätze.

Satz jedes Modells pro Million Input- und Output-Tokens, wie im August 2026 gelistet

Die Kosten eines Aufrufs sind seine Input-Tokens mal dem Input-Satz plus seine Output-Tokens mal dem Output-Satz. Das Beispiel ist ein Sonnet-5-Aufruf, verwendet also die Sätze von Sonnet 5 aus dieser Tabelle.

780 input tokens  × $2 per million  = $0.0016
 41 output tokens × $10 per million = $0.0004
                              total = $0.0020

Vergleiche Modelle anhand der Kosten pro abgeschlossener Aufgabe

Addiere, was jeder Aufruf in einem Durchlauf kostet, und die Summe nennt man die Durchlaufkosten. Teile die Durchlaufkosten durch die Anzahl der Aufgaben, die das Modell abgeschlossen hat, und du erhältst die Kosten pro abgeschlossener Aufgabe, also die Kennzahl, anhand derer du Modelle vergleichst.

Du teilst durch abgeschlossene Aufgaben, nicht durch Aufrufe. Das liegt daran, dass jeder Aufruf abgerechnet wird, auch einer, bei dem die Aufgabe falsch gelöst wird. Die falschen Antworten eines Modells erhöhen also die Kosten jeder Aufgabe, die dasselbe Modell tatsächlich abschließt.

Durchlaufkosten und Kosten pro abgeschlossener Aufgabe für die 50 Fälle, zu den im August 2026 gelisteten Sätzen

Wähle das Modell mit der benötigten Genauigkeit zu den niedrigsten Kosten

Deine Schwelle legt fest, welche Modelle infrage kommen, und von diesen wählst du jenes mit den niedrigsten Kosten pro abgeschlossener Aufgabe. Sonnet 5 und Opus 5 lösten beide 50 von 50, zu 0,0020 $ bzw. 0,0046 $ pro abgeschlossener Aufgabe, also wählt Meridian für diese Aufgabe Sonnet 5. Haiku 4.5s 0,0009 $ ist der niedrigste Wert in der Tabelle, aber es kommt nicht infrage, weil es die Schwelle nicht erreicht.

Bei einer schwierigeren Aufgabe könnte das leistungsfähigste Modell das einzige sein, das die Schwelle erreicht, und dann ist es die richtige Wahl. Jedes Ergebnis ist außerdem an den Prompt und die Fälle gebunden, die der Eval verwendet hat. Änderst du den Prompt oder die Fälle, kann sich auch das richtige Modell ändern, führe den Eval also erneut aus, wann immer du eines der beiden änderst.

Dieser Eval misst keine Latenz. Wenn deine Nutzer auf die Antworten warten, miss die Antwortzeiten anhand deiner eigenen Fälle, genau wie du sie hier bewertet hast.

Senke die Kosten für das Ausführen des Evals

Diese fünf Schritte geben dir ein Modell, und es gibt noch eine weitere Möglichkeit, die Kosten des Evals selbst zu senken. Niemand wartet auf die Antworten eines Evals, also kannst du ihn über die Batch API laufen lassen, die Anfragen asynchron verarbeitet. Die Batch API führt dieselben Modelle zu der Hälfte des Preises für Input- und Output-Tokens aus.

Wenn du Modelle vergleichst, mische in einem Vergleich nicht Batch-Sätze und Standardsätze. Ermittle die Kosten jedes Modells entweder zu Batch-Sätzen oder die Kosten jedes Modells zu Standardsätzen.

Fazit

1. Lege zuerst deine Genauigkeitsschwelle fest, ausgehend davon, was dich eine falsche Antwort kosten würde.
2. Gib jedem Modell dieselben Fälle, und verwirf jedes Modell, das die Schwelle nicht erreicht.
3. Entnimm die Kosten jedes Aufrufs seinem usage-Block, und teile dann die Durchlaufkosten durch die Anzahl der Aufgaben, die das Modell abgeschlossen hat.
4. Wähle von den Kandidaten, die die Schwelle erreichen, denjenigen mit den niedrigsten Kosten pro abgeschlossener Aufgabe.