Pourquoi c'est important
Lorsque vous créez un skill ou que vous les regroupez dans un plugin, vous créez essentiellement un petit produit que d'autres personnes utiliseront. Et comme tout ce que vous remettriez à un collègue — un modèle, un tableau de calcul, une liste de contrôle — cela vaut la peine de faire un essai avant que cela ne quitte votre bureau.
Lorsque vous utilisez un skill que vous avez créé, vous savez comment contourner les problèmes ou les échecs. Vous savez exactement quoi lui demander, quels fichiers lui fournir, et à quoi la réponse est censée ressembler. Un coéquipier n'a rien de tout cela. Il pourrait formuler la demande un peu différemment, lui fournir des entrées légèrement différentes, ou tomber sur un cas limite — une situation inhabituelle mais réelle, comme une demande qui se situe juste en dehors de ce pour quoi le skill a été conçu. C'est là que les skills ont tendance à trébucher, et la personne qui l'utilise ne saura pas pourquoi.
Tester un skill avec des evals — abréviation d'évaluations — est la façon de détecter ces faux pas avant que quelqu'un d'autre ne le fasse. Ne laissez pas ce mot vous intimider. Un eval n'est qu'un essai : une demande réaliste entre, vous regardez ce qui en sort, et vous dites à Claude quoi corriger. Pas de code, pas de scripts de test — juste votre jugement sur la question de savoir si le résultat est suffisamment bon pour que vous y apposiez votre nom.
Comment fonctionne le système d'eval
Lorsque vous créez un skill avec skill-creator — l'assistant intégré de Claude pour créer des skills — il vous guide à travers les evals dans le cadre du processus. Voici à quoi cela ressemble concrètement.
Skill-creator propose deux ou plusieurs prompts réalistes que quelqu'un pourrait utiliser avec votre skill. Pour chaque prompt, il produit une paire de résultats :
- Un où Claude utilise votre skill
- Un où Claude répond au même prompt sans votre skill
Le second est le point de comparaison. Il est là pour que vous puissiez voir, côte à côte, quelle différence votre skill fait réellement — pas seulement « ce résultat est-il correct », mais « ce résultat est-il meilleur que ce que Claude aurait fait seul ».
Examinez chaque paire et donnez votre avis en langage simple, directement sur la page de révision. En lisant chaque paire, vous répondez en réalité à deux questions :
- La version avec le skill est-elle celle que j'utiliserais ? Si oui, parfait — notez ce qui l'a rendue meilleure afin que le skill continue à le faire.
- Si non, qu'est-ce qui manque ou qui ne va pas ? Soyez précis. « Le ton est trop formel » ou « cela a omis le résumé exécutif » donne à Claude quelque chose sur quoi agir ; « ce n'est pas tout à fait ça » ne le fait pas.
Une fois que vous avez soumis votre avis, Claude révise le skill pour vous en fonction de ce que vous avez dit.
Itérer sur le skill
Votre avis est la correction. Une fois que vous le soumettez, Claude met à jour le skill — en réécrivant les instructions, en ajustant les exemples, en affinant ce qu'il demande — et vous pouvez exécuter à nouveau les mêmes prompts pour voir si le changement a tenu.
Changez une chose à la fois. Si le premier tour a montré que le skill était trop verbeux et qu'il manquait une section, choisissez celle qui compte le plus, corrigez-la, relancez, puis revenez pour une autre révision. Vous pourrez dire ce qui a réellement fait la différence. Si vous n'êtes toujours pas satisfait des résultats après la révision, relancez-le — c'est une boucle, pas une porte à usage unique. La plupart des skills sont prêts après un ou deux tours. La barre pour livrer un skill — à vous-même, à un coéquipier — n'est pas des evals parfaits. C'est que les cas qui vous importent réussissent nettement mieux que la référence, et que vous avez identifié les cas que vous ne gérez pas encore.
Et si les résultats semblent déjà excellents dès le premier passage ? Vous avez terminé. Les evals ne sont pas une formalité à franchir — ils sont là pour quand vous avez besoin de confiance, pas de cérémonie.
Essayez maintenant
Parcourez ci-dessous une révision d'eval simulée — trois prompts, chacun avec un résultat avec skill et un résultat sans skill côte à côte.
Pour chaque paire : choisissez la version que vous enverriez réellement, et écrivez une ligne de retour que vous donneriez à Claude. C'est toute la boucle.
Et ensuite
Dans la prochaine leçon, vous passerez de « cela fonctionne pour moi » à « cela fonctionne pour l'équipe » — les modèles et les choix qui transforment les flux de travail personnels en infrastructure partagée.