Imaginez que votre produit reçoit des tickets d'assistance, et que vous souhaitez que Claude rédige une réponse à chacun d'eux. Avant de créer quoi que ce soit, choisissez l'ampleur de ce que vous allez créer. Une construction plus importante donne souvent de meilleurs résultats, mais elle tend aussi à coûter plus cher et à faire attendre vos clients plus longtemps.
Vous pouvez envoyer une seule requête, exécuter un flux de travail composé de plusieurs requêtes dans un ordre défini par votre code, ou utiliser un agent qui choisit ses propres étapes. Commencez par l'option la plus simple, et ne passez à la suivante que lorsqu'un test montre que la plus simple est insuffisante.
Demandez-vous qui décide de l'étape suivante
Les trois options diffèrent selon qui décide de ce qui se passe après que Claude a répondu.
- Avec une seule requête, rien ne se passe ensuite, et la réponse de Claude est le résultat.
- Dans un flux de travail, c'est votre code qui décide. Il envoie la requête suivante, dans un ordre que vous avez défini à l'avance.
- Avec un agent, c'est Claude qui décide. Il choisit chaque étape suivante et les outils à utiliser.
Pour choisir parmi les trois options, commencez par noter à quoi ressemble un bon résultat. Pour les tickets d'assistance, une bonne réponse pourrait être celle qui répond à la question du client, respecte votre politique de remboursement, et ne nécessite que des modifications mineures avant d'être envoyée. Une fois cela noté, vous pouvez tester l'option la plus simple par rapport à ce critère et voir si elle est insuffisante.
Vous prévoyez une fonctionnalité qui rédige des notes de version à partir de pull requests fusionnées. Vous n'avez encore rien créé. Que notez-vous avant de choisir l'ampleur de ce que vous allez créer ?
Commencez par une seule requête
Une seule requête correspond à une seule requête Messages API, avec une seule réponse en retour. Avec le ticket, elle peut transporter les articles d'aide que votre code recherche pour ce ticket, ainsi que quelques réponses passées que vous avez appréciées, à titre d'exemples à suivre. Pour de nombreuses fonctionnalités, une seule requête construite de cette façon suffit généralement.
Pour voir si une seule requête suffit pour vos tickets, exécutez-la sur de vrais tickets du mois dernier. Évaluez chaque réponse par rapport à ce que vous avez noté pour une bonne réponse. Lisez ensuite les réponses qui ont échoué, et examinez quels types de tickets elles traitaient. Un test de ce genre, avec de vraies entrées et un moyen d'évaluer ce qui est renvoyé, s'appelle un eval.
Si les réponses correspondent à ce que vous avez noté, déployez la requête unique et arrêtez-vous là. Là où elles échouent, améliorez les instructions, les articles et les exemples de la requête avant de passer à l'étape suivante.
Un signe qu'une seule requête ne suffit pas est qu'une correction pour un type de ticket dégrade un autre type. Par exemple, vous ajoutez vos règles de remboursement à la requête, et les réponses aux questions techniques se détériorent. Lorsque vous continuez ainsi à échanger une correction contre une autre, essayez un flux de travail.
Une seule requête rédige des notes de version à partir de pull requests fusionnées. Vous l'exécutez sur les versions du mois dernier et évaluez chaque note. Quel résultat vous indique d'essayer un flux de travail ?
Passez à un flux de travail lorsque vous pouvez lister les étapes
Une fois qu'une seule requête s'avère insuffisante, choisissez un flux de travail si vous pouvez noter les étapes avant l'arrivée du premier ticket. Un flux de travail convient à une tâche qui se divise clairement en étapes fixes.
Un flux de travail pour les tickets d'assistance pourrait s'exécuter en deux étapes :
- Une première requête classe le ticket dans l'une de trois catégories : remboursement, question technique, ou question générale.
- Votre code envoie le ticket dans une seconde requête, avec la requête et les articles d'aide correspondant à ce type de ticket.
Chaque type de ticket possède désormais sa propre requête, de sorte qu'une modification de la requête de remboursement n'affecte pas les réponses techniques.
Diviser une tâche en requêtes vous permet également de voir ce qui ressort entre les étapes. Chaque étape est sa propre requête, vous pouvez donc la consigner, l'évaluer et la vérifier avant l'exécution de la suivante. Par exemple, votre code peut vérifier que la première requête a renvoyé l'une des trois catégories, et envoyer toute autre réponse à une personne.
Ce flux de travail fait attendre vos clients plus longtemps, car la seconde requête ne peut commencer que lorsque la première est terminée. Vous acceptez cette attente pour obtenir des réponses plus précises, et votre test doit démontrer que vous les obtenez bien.
Un flux de travail ne convient plus lorsque vous ne pouvez pas noter les étapes à l'avance. Par exemple, une réponse nécessite que Claude consulte la commande du client, et ce qu'il vérifie ensuite dépend de ce qu'il y trouve.
Passez à un agent uniquement lorsque vous n'avez pas le choix
Choisissez un agent uniquement pour une tâche ouverte, où Claude doit choisir chaque étape suivante à l'aide des outils que vous lui fournissez. Une tâche ouverte signifie qu'il est difficile, voire impossible, de prédire le nombre d'étapes nécessaires, et que vous ne pouvez pas noter les étapes à l'avance.
Par exemple, un client écrit que son colis n'est jamais arrivé. Claude consulte d'abord son historique de commandes et découvre que le colis a été envoyé à une ancienne adresse. Claude consulte alors vos articles de politique sur les adresses erronées. Puis il émet un remboursement ou met à jour le ticket.
Un agent coûte plus cher, et ses erreurs peuvent s'accumuler. La liberté de choix qui rend un agent utile le rend également plus difficile à tester. Il peut s'exécuter sur de nombreuses étapes, vous devez donc faire confiance, dans une certaine mesure, à ses décisions.
Avant de choisir un agent, répondez à ces questions concernant la tâche :
- Un meilleur résultat vaut-il le coût plus élevé et l'attente plus longue ?
- Claude effectue-t-il bien ce type de tâche ?
- Une étape erronée peut-elle être détectée et corrigée, grâce à des tests, une relecture, ou un retour en arrière ?
Si la réponse à l'une d'entre elles est non, conservez un flux de travail ou une requête unique. Pour les tickets d'assistance, cela signifie que vous conservez le flux de travail pour les types de tickets dont vous pouvez lister les étapes, et envoyez le reste à une personne.
Un agent ne convient qu'aux tickets où l'ordre des recherches et des remboursements change d'un ticket à l'autre. Une personne approuve chaque remboursement, donc la réponse à la troisième question est oui.
Votre flux de travail de notes de version gère les versions courantes, mais certaines nécessitent des étapes que vous ne pouvez pas lister à l'avance. Un agent publierait directement aux clients, sans relecture et sans possibilité de retirer une note. Que faites-vous pour ces versions ?
Essayez-le sur quelques idées de fonctionnalités
Essayez chaque idée de fonctionnalité sur les trois options pour voir ce qui se passe.
Et ensuite ?
Avant de créer une fonctionnalité sur Claude, notez à quoi ressemble un bon résultat, commencez par une seule requête, et ne passez à l'étape suivante que lorsqu'un test montre qu'elle est insuffisante. Faites le même choix maintenant pour la fonctionnalité que vous prévoyez. Pour vérifier votre choix, identifiez qui décide de l'étape suivante dans votre fonctionnalité et le résultat de test qui vous ferait passer à l'étape suivante.
Le test qui vous indique quand passer à l'étape suivante est un eval. Ensuite, suivez Introduction aux evals(s’ouvre dans un nouvel onglet) pour construire un petit eval sur vos propres données.
Deux pages supplémentaires vous aideront une fois votre choix effectué. Si votre fonctionnalité donne des outils à Claude, Utilisation d'outils avec la Messages API(s’ouvre dans un nouvel onglet) montre comment rendre l'utilisation d'outils fiable, réactive, et moins coûteuse à exécuter. Si vous choisissez un agent, Qu'est-ce que Claude Managed Agents ?(s’ouvre dans un nouvel onglet) couvre un environnement géré qui exécute l'agent et ses outils, afin que vous n'ayez pas à créer cette partie vous-même.