Claude Academy
Wird geladen

Einführung in Evals

Erstelle einen kleinen Eval mit deinen eigenen Daten, um ein Claude-Modell zuerst nach Genauigkeit und dann nach Kosten auszuwählen, den Prompt zu korrigieren, bevor du ein Upgrade durchführst, und nach dem Launch weiter zu prüfen.

1 Std.1 Quiz
Kurs startenMelde dich an, um deinen Fortschritt zu speichern
Was du lernen wirstAm Ende dieses Kurses wirst du in der Lage sein,
  • Lege eine Genauigkeitsuntergrenze basierend darauf fest, was dich eine falsche Antwort kosten würde
  • Wähle das kostengünstigste Modell, das deine Untergrenze übertrifft, anhand der Kosten pro abgeschlossener Aufgabe
  • Erstelle einen kleinen Satz von Fällen aus deinen eigenen Daten, mit erwarteten Antworten
  • Bewerte exakte Felder mit Code und Freitext mit einem LLM-Judge und einer Bewertungsrubrik
  • Korrigiere den Prompt anhand seiner gescheiterten Fälle, bevor du das Modell upgradest
  • Blockiere einen Merge, wenn der Smoke-Eval bei einem Pull Request zu niedrig bewertet wird
  • Führe die vollständige Suite über die Batch API aus, wenn niemand wartet
  • Erkenne Drift, indem du nachts eine Stichprobe des Live-Traffics bewertest

Kein veröffentlichter Modellvergleich hat deinen Prompt gesehen. Ein Eval ist ein Test auf Basis deiner eigenen Fälle, der dir eine Zahl liefert, auf deren Grundlage du entscheiden kannst. Jede der vier Hauptlektionen zeigt ein kurzes Video und dann, wie Meridian, eine fiktive Engineering-Beratung, einen Eval für einen Prompt erstellt und ausgeführt hat. In drei dieser vier findest du die Zeile im Code, Prompt oder in der Workflow-Datei, die jeweils die Arbeit erledigt. Es gibt kein Skript zum Herunterladen. Danach erstellst du deinen eigenen Eval auf die gleiche Weise. Am Ende kannst du ein Modell und einen Prompt anhand von Belegen auswählen und nach dem Launch weiter prüfen. Bestehe das bewertete Quiz, um dein Abschluss-Badge zu erhalten.

Für wen dieser Kurs gedacht ist

Dieser Kurs ist für dich, wenn du einen funktionierenden Prompt hast, aber keinen bewerteten Eval. Die Lektionen beschränken sich auf Prompts, die als einzelner Aufruf der Messages API laufen. Er behandelt weder die Bewertung von Agenten noch die Messung der Latenz.

Voraussetzungen

Absolviere zuerst Claude Platform 101, es sei denn, du kannst die Messages API aufrufen und die Antwort lesen. Der Code ist in Python, dazu ein GitHub-Actions-Workflow in YAML in der Lektion „Evals in Produktion“. Es reicht, sie zu lesen. Diese Lektion setzt voraus, dass du dich mit Pull Requests und CI-Checks auskennst. Dein eigener Eval benötigt ein Claude-Console-Konto, einen API-Key und echte Eingaben mit erwarteten Antworten.