为什么这很重要
当您构建一项技能或将它们打包成插件时,您实际上是在构建一个供他人使用的小型产品。就像您交给同事的任何东西——模板、电子表格模型、检查清单——在它离开您的桌面之前,值得先试用一下。
当您使用自己构建的技能时,您知道如何绕过任何问题或故障。您确切地知道该问什么、该提供什么文件,以及答案应该是什么样子。而队友却没有这些信息。他们可能会用稍微不同的方式表达请求,提供略有不同的输入,或者碰到边缘情况——一种不常见但真实存在的情况,比如一个恰好超出该技能设计范围的请求。这正是技能容易出问题的地方,而使用它的人却不知道原因。
用评估(evals,evaluations 的简称)来测试一项技能,就是在别人发现问题之前先自己发现它们的方法。不要被这个词吓到。评估其实就是一次试用:输入一个真实的请求,查看输出结果,然后告诉 Claude 需要修正什么。不需要代码,不需要测试脚本——只需要您对结果是否足够好、值得署上您的名字的判断。
评估系统的工作原理
当您使用 skill-creator——Claude 内置的技能创建助手——构建一项技能时,它会在整个过程中引导您完成评估。下面是实际的操作方式。
Skill-creator 会想出两个或更多有人可能会用来使用您的技能的真实提示。对于每个提示,它会生成一对输出:
- 一个是 Claude 使用您的技能生成的
- 一个是 Claude 在不使用您的技能的情况下回答同一提示生成的
第二个输出就是比较基准。它的存在是为了让您能够并排查看,您的技能究竟带来了什么不同——不仅仅是"这个输出还行吗",而是"这个输出是否比 Claude 独自完成时更好"。
审阅每一对输出,并直接在审阅页面上用简单的语言给出反馈。在阅读每一对输出时,您实际上只是在回答两个问题:
- 带技能的版本是我会使用的那个吗?如果是,很好——记下是什么让它更好,以便该技能继续保持这一点。
- 如果不是,缺少了什么,或者哪里不对?要具体。"语气太正式了"或"它漏掉了执行摘要"能让 Claude 有据可依;"这不太对"则不能。
一旦您提交反馈,Claude 就会根据您所说的内容为您修订该技能。
对技能进行迭代
您的反馈就是修正的依据。一旦您提交反馈,Claude 就会更新该技能——重写说明、调整示例、收紧它所要求的内容——然后您可以再次运行相同的提示,看看这个改动是否真正生效。
一次只改一件事。如果第一轮显示该技能既太冗长又缺少某个部分,选择更重要的那一项,先修正它,重新运行,然后再回来进行另一轮审阅。这样您就能分辨出究竟是哪个改动真正起了作用。如果修订后您仍然不满意输出结果,就再运行一次——这是一个循环,不是一次性的关卡。大多数技能在一到两轮之后就准备好了。发布一项技能的标准——无论是给自己用还是给队友用——并不是要求评估完美无缺。而是您关心的那些用例的表现明显优于基准,并且您已经明确指出了那些您尚未处理好的用例。
如果输出结果在第一次尝试时就已经很出色了呢?那您就完成了。评估不是必须走的形式——它们的存在是为了在您需要信心的时候提供帮助,而不是为了走过场。
现在就试试
在下面逐步完成一次模拟评估审阅——三个提示,每个都有带技能和不带技能的输出并排展示。
对于每一对输出:选出您实际会发送的版本,并写下一句您会给 Claude 的反馈。这就是整个循环。
接下来是什么
在下一课中,您将从"这对我有效"转向"这对团队有效"——也就是那些将个人工作流程转变为共享基础设施的模式和选择。