Angenommen, dein Produkt erhält Support-Tickets, und du möchtest, dass Claude auf jedes eine Antwort schreibt. Bevor du irgendetwas baust, entscheide, wie viel du bauen willst. Ein größerer Aufbau liefert oft bessere Ergebnisse, neigt aber auch dazu, mehr zu kosten und deine Kunden länger warten zu lassen.
Du kannst eine einzelne Anfrage senden, einen Workflow aus mehreren Anfragen in einer von deinem Code festgelegten Reihenfolge ausführen oder einen Agenten verwenden, der seine eigenen Schritte wählt. Beginne mit der einfachsten Option und wechsle erst zur nächsten, wenn ein Test zeigt, dass die einfachere nicht ausreicht.
Frage, wer den nächsten Schritt entscheidet
Die drei Optionen unterscheiden sich darin, wer entscheidet, was passiert, nachdem Claude geantwortet hat.
- Bei einer einzelnen Anfrage passiert als Nächstes nichts, und Claudes Antwort ist das Ergebnis.
- In einem Workflow entscheidet dein Code. Er sendet die nächste Anfrage in einer Reihenfolge, die du im Voraus festgelegt hast.
- Bei einem Agenten entscheidet Claude. Er wählt jeden nächsten Schritt und welche Tools er verwendet.
Um dich zwischen den drei Optionen zu entscheiden, schreibe zuerst auf, wie ein gutes Ergebnis aussieht. Bei den Support-Tickets könnte eine gute Antwort eine sein, die die Frage des Kunden beantwortet, deiner Rückerstattungsrichtlinie folgt und nur leichte Überarbeitungen benötigt, bevor sie versendet wird. Wenn du das aufgeschrieben hast, kannst du die einfachste Option daran testen und sehen, ob sie nicht ausreicht.
Du planst eine Funktion, die Release Notes aus gemergten Pull Requests entwirft. Du hast noch nichts gebaut. Was schreibst du auf, bevor du entscheidest, wie viel du bauen willst?
Beginne mit einer einzelnen Anfrage
Eine einzelne Anfrage ist eine Messages-API-Anfrage mit einer Antwort zurück. Zusammen mit dem Ticket kann sie die Hilfeartikel enthalten, die dein Code für dieses Ticket nachschlägt, sowie ein paar frühere Antworten, die dir gefallen haben, als Beispiele zum Nachahmen. Für viele Funktionen reicht eine auf diese Weise aufgebaute einzelne Anfrage in der Regel aus.
Um herauszufinden, ob eine einzelne Anfrage für deine Tickets ausreicht, führe sie an echten Tickets aus dem letzten Monat aus. Bewerte jede Antwort anhand dessen, was du für eine gute Antwort aufgeschrieben hast. Lies dann die Antworten, die danebenlagen, und schau dir an, welche Art von Tickets sie beantwortet haben. Ein solcher Test, mit echten Eingaben und einer Möglichkeit, das Ergebnis zu bewerten, wird als Eval bezeichnet.
Wenn die Antworten dem entsprechen, was du aufgeschrieben hast, liefere die einzelne Anfrage aus und belasse es dabei. Wo sie danebenliegen, verbessere die Anweisungen, Artikel und Beispiele der Anfrage, bevor du eine Stufe höher gehst.
Ein Anzeichen dafür, dass eine einzelne Anfrage nicht ausreicht, ist, dass eine Korrektur für eine Art von Ticket eine andere Art verschlechtert. Zum Beispiel fügst du deine Rückerstattungsregeln zum Prompt hinzu, und die Antworten auf technische Fragen werden schlechter. Wenn du auf diese Weise immer wieder eine Korrektur gegen eine andere eintauschst, probiere einen Workflow aus.
Eine einzelne Anfrage entwirft Release Notes aus gemergten Pull Requests. Du führst sie an den Releases des letzten Monats aus und bewertest jede Notiz. Welches Ergebnis sagt dir, dass du einen Workflow ausprobieren solltest?
Wechsle zu einem Workflow, wenn du die Schritte auflisten kannst
Sobald eine einzelne Anfrage nicht ausreicht, wähle einen Workflow, wenn du die Schritte aufschreiben kannst, bevor das erste Ticket eintrifft. Ein Workflow passt zu einer Aufgabe, die sich sauber in feste Schritte aufteilen lässt.
Ein Workflow für die Support-Tickets könnte in zwei Schritten ablaufen:
- Eine erste Anfrage ordnet das Ticket in eine von drei Arten ein: Rückerstattung, technische Frage oder allgemeine Frage.
- Dein Code sendet das Ticket in einer zweiten Anfrage, mit dem Prompt und den Hilfeartikeln für diese Art von Ticket.
Jede Art von Ticket hat jetzt ihren eigenen Prompt, sodass eine Änderung am Rückerstattungs-Prompt die technischen Antworten nicht berührt.
Das Aufteilen einer Aufgabe in Anfragen ermöglicht es dir außerdem, zu sehen, was zwischen den Schritten herauskommt. Jeder Schritt ist eine eigene Anfrage, sodass du ihn protokollieren, bewerten und überprüfen kannst, bevor der nächste ausgeführt wird. Dein Code kann zum Beispiel prüfen, ob die erste Anfrage eine der drei Arten zurückgegeben hat, und jede andere Antwort an eine Person weiterleiten.
Dieser Workflow lässt deine Kunden länger warten, weil die zweite Anfrage erst starten kann, wenn die erste abgeschlossen ist. Du nimmst diese Wartezeit in Kauf, um genauere Antworten zu erhalten, und dein Test muss zeigen, dass du sie auch bekommst.
Ein Workflow passt nicht mehr, wenn du die Schritte nicht im Voraus aufschreiben kannst. Zum Beispiel muss Claude für eine Antwort die Bestellung des Kunden nachschlagen, und was es als Nächstes prüft, hängt davon ab, was es dort findet.
Wechsle nur dann zu einem Agenten, wenn du es nicht anders kannst
Wähle einen Agenten nur für eine offene Aufgabe, bei der Claude jeden nächsten Schritt mit den von dir bereitgestellten Tools selbst wählen muss. Offen bedeutet, dass es schwer oder unmöglich ist, vorherzusagen, wie viele Schritte die Aufgabe benötigt, und dass du die Schritte nicht im Voraus aufschreiben kannst.
Zum Beispiel schreibt ein Kunde, dass sein Paket nie angekommen ist. Claude schaut zuerst in dessen Bestellverlauf nach und stellt fest, dass das Paket an eine alte Adresse gegangen ist. Daraufhin liest Claude als Nächstes deine Richtlinienartikel zu falschen Adressen. Dann veranlasst es eine Rückerstattung oder aktualisiert das Ticket.
Ein Agent kostet mehr, und seine Fehler können sich gegenseitig verstärken. Die Freiheit zu wählen, die einen Agenten nützlich macht, macht ihn auch schwerer zu testen. Er kann über viele Schritte laufen, also brauchst du ein gewisses Vertrauen in seine Entscheidungen.
Bevor du dich für einen Agenten entscheidest, beantworte diese Fragen zur Aufgabe:
- Ist ein besseres Ergebnis die höheren Kosten und die längere Wartezeit wert?
- Erledigt Claude diese Art von Aufgabe gut?
- Kann ein falscher Schritt mit Tests, einer Überprüfung oder einem Rollback erkannt und behoben werden?
Wenn die Antwort auf eine davon Nein lautet, bleib bei einem Workflow oder einer einzelnen Anfrage. Für die Support-Tickets bedeutet das, dass du den Workflow für die Arten von Tickets beibehältst, deren Schritte du auflisten kannst, und den Rest an eine Person weiterleitest.
Ein Agent passt nur zu den Tickets, bei denen sich die Reihenfolge der Nachschlagevorgänge und Rückerstattungen von Ticket zu Ticket ändert. Eine Person genehmigt jede Rückerstattung, also lautet die Antwort auf die dritte Frage Ja.
Dein Release-Notes-Workflow erledigt Routine-Releases, aber einige benötigen Schritte, die du nicht im Voraus auflisten kannst. Ein Agent würde direkt an die Kunden veröffentlichen, ohne Überprüfung und ohne Möglichkeit, eine Notiz zurückzuziehen. Was machst du bei diesen Releases?
Probiere es an ein paar Feature-Ideen aus
Probiere jede Feature-Idee an den drei Optionen aus, um zu sehen, was mit ihr passiert.
Wie es weitergeht
Bevor du irgendeine Funktion mit Claude baust, schreibe auf, wie ein gutes Ergebnis aussieht, beginne mit einer einzelnen Anfrage und gehe erst eine Stufe höher, wenn ein Test zeigt, dass sie nicht ausreicht. Triff jetzt dieselbe Entscheidung für die Funktion, die du planst. Um deine Entscheidung zu überprüfen, benenne, wer den nächsten Schritt in deiner Funktion entscheidet, und das Testergebnis, das dich eine Stufe höher bringen würde.
Der Test, der dir sagt, wann du eine Stufe höher gehen solltest, ist ein Eval. Als Nächstes absolviere Einführung in Evals(öffnet in neuem Tab), um an deinen eigenen Daten einen kleinen Eval zu erstellen.
Zwei weitere Seiten helfen dir, sobald du dich entschieden hast. Wenn deine Funktion Claude Tools gibt, zeigt dir Tool-Nutzung mit der Messages API(öffnet in neuem Tab), wie du die Tool-Nutzung zuverlässig, reaktionsschnell und kostengünstiger machst. Wenn du dich für einen Agenten entscheidest, behandelt Was sind Claude Managed Agents?(öffnet in neuem Tab) eine verwaltete Umgebung, die den Agenten und seine Tools ausführt, sodass du diesen Teil nicht selbst bauen musst.