Warum das wichtig ist
Wenn du einen Skill erstellst oder mehrere davon in ein Plugin bündelst, baust du im Grunde ein kleines Produkt, das andere Menschen nutzen werden. Und wie alles, was du einem Kollegen in die Hand geben würdest — eine Vorlage, ein Tabellenkalkulationsmodell, eine Checkliste — lohnt es sich, es vor der Übergabe einmal zu testen.
Wenn du einen Skill verwendest, den du selbst erstellt hast, weißt du, wie du mit Problemen oder Fehlern umgehen kannst. Du weißt genau, was du ihn fragen musst, welche Dateien du ihm geben musst und wie die Antwort aussehen soll. Ein Teammitglied hat nichts davon. Es könnte die Anfrage etwas anders formulieren, leicht andere Eingaben machen oder auf einen Grenzfall stoßen — eine ungewöhnliche, aber reale Situation, etwa eine Anfrage, die knapp außerhalb dessen liegt, wofür der Skill entwickelt wurde. Genau dort geraten Skills oft ins Stolpern, und die Person, die sie nutzt, weiß nicht, warum.
Einen Skill mit Evals zu testen — kurz für Evaluationen — ist die Art und Weise, wie du diese Stolperstellen findest, bevor es jemand anderes tut. Lass dich von dem Wort nicht abschrecken. Ein Eval ist einfach ein Testlauf: Eine realistische Anfrage geht hinein, du schaust dir an, was herauskommt, und sagst Claude, was zu verbessern ist. Kein Code, keine Testskripte — nur dein Urteil darüber, ob das Ergebnis gut genug ist, um deinen Namen dafür zu geben.
Wie das Eval-System funktioniert
Wenn du einen Skill mit skill-creator erstellst — Claudes integriertem Helfer zum Erstellen von Skills — führt er dich als Teil des Prozesses durch Evals. So sieht das in der Praxis aus.
Skill-creator entwickelt zwei oder mehr realistische Prompts, die jemand mit deinem Skill verwenden könnte. Für jeden Prompt erstellt er ein Paar von Ausgaben:
- Eine, bei der Claude deinen Skill verwendet
- Eine, bei der Claude denselben Prompt ohne deinen Skill beantwortet
Die zweite ist der Vergleichspunkt. Sie ist dazu da, damit du direkt nebeneinander sehen kannst, welchen Unterschied dein Skill tatsächlich macht — nicht nur „ist diese Ausgabe okay", sondern „ist diese Ausgabe besser als das, was Claude von sich aus gemacht hätte".
Überprüfe jedes Paar und gib dein Feedback in einfacher, natürlicher Sprache direkt auf der Überprüfungsseite. Während du jedes Paar liest, beantwortest du im Grunde nur zwei Fragen:
- Ist die Skill-Version diejenige, die ich verwenden würde? Wenn ja, großartig — notiere, was sie besser gemacht hat, damit der Skill das weiterhin tut.
- Wenn nicht, was fehlt oder stimmt nicht? Sei konkret. „Der Ton ist zu formell" oder „die Zusammenfassung für die Geschäftsleitung wurde ausgelassen" gibt Claude etwas, womit es arbeiten kann; „das passt nicht ganz" tut das nicht.
Sobald du dein Feedback abschickst, überarbeitet Claude den Skill für dich basierend auf dem, was du gesagt hast.
Den Skill iterieren
Dein Feedback ist die Lösung. Sobald du es abschickst, aktualisiert Claude den Skill — schreibt die Anweisungen um, passt die Beispiele an, präzisiert, was er abfragt — und du kannst dieselben Prompts erneut ausführen, um zu sehen, ob die Änderung gegriffen hat.
Ändere jeweils nur eine Sache. Wenn die erste Runde gezeigt hat, dass der Skill zu wortreich war und einen Abschnitt vermissen ließ, wähle das, was wichtiger ist, behebe es, führe es erneut aus und komm dann für eine weitere Überprüfung zurück. So kannst du erkennen, was tatsächlich den Unterschied gemacht hat. Wenn du nach der Überarbeitung mit den Ausgaben immer noch nicht zufrieden bist, führe es erneut aus — es ist eine Schleife, kein einmaliges Tor. Die meisten Skills sind nach ein oder zwei Runden bereit. Die Messlatte für die Veröffentlichung eines Skills — für dich selbst, für ein Teammitglied — sind nicht perfekte Evals. Es geht darum, dass die Fälle, die dir wichtig sind, deutlich besser abschneiden als die Ausgangsbasis, und dass du die Fälle benannt hast, die du noch nicht abdeckst.
Und wenn die Ausgaben schon beim ersten Durchlauf großartig aussehen? Dann bist du fertig. Evals sind keine Hürde, die man überwinden muss — sie sind dafür da, wenn du Sicherheit brauchst, nicht für die Form.
Probiere es jetzt aus
Gehe unten eine simulierte Eval-Überprüfung durch — drei Prompts, jeweils mit einer Ausgabe mit Skill und einer Ausgabe ohne Skill nebeneinander.
Wähle für jedes Paar die Version, die du tatsächlich senden würdest, und schreibe eine Zeile Feedback, die du Claude geben würdest. Das ist die ganze Schleife.
Was kommt als Nächstes
In der nächsten Lektion bewegst du dich von „das funktioniert für mich" zu „das funktioniert für das Team" — die Muster und Entscheidungen, die persönliche Workflows in gemeinsam genutzte Infrastruktur verwandeln.