加载中

验证插件的技能

第 12 课8 分钟
本节课内容学完后,您将能够
  • 解释什么是评估(eval),以及为什么在您分享或依赖某项技能之前它很重要
  • 通过 skill-creator 运行一次轻量级评估

为什么这很重要

当您构建一项技能或将它们打包成插件时,您实际上是在构建一个供他人使用的小型产品。就像您交给同事的任何东西——模板、电子表格模型、检查清单——在它离开您的桌面之前,值得先试用一下。

当您使用自己构建的技能时,您知道如何绕过任何问题或故障。您确切地知道该问什么、该提供什么文件,以及答案应该是什么样子。而队友却没有这些信息。他们可能会用稍微不同的方式表达请求,提供略有不同的输入,或者碰到边缘情况——一种不常见但真实存在的情况,比如一个恰好超出该技能设计范围的请求。这正是技能容易出问题的地方,而使用它的人却不知道原因。

用评估(evals,evaluations 的简称)来测试一项技能,就是在别人发现问题之前先自己发现它们的方法。不要被这个词吓到。评估其实就是一次试用:输入一个真实的请求,查看输出结果,然后告诉 Claude 需要修正什么。不需要代码,不需要测试脚本——只需要您对结果是否足够好、值得署上您的名字的判断。

评估系统的工作原理

当您使用 skill-creator——Claude 内置的技能创建助手——构建一项技能时,它会在整个过程中引导您完成评估。下面是实际的操作方式。

Skill-creator 会想出两个或更多有人可能会用来使用您的技能的真实提示。对于每个提示,它会生成一对输出:

  • 一个是 Claude 使用您的技能生成的
  • 一个是 Claude 在不使用您的技能的情况下回答同一提示生成的

第二个输出就是比较基准。它的存在是为了让您能够并排查看,您的技能究竟带来了什么不同——不仅仅是"这个输出还行吗",而是"这个输出是否比 Claude 独自完成时更好"。

审阅每一对输出,并直接在审阅页面上用简单的语言给出反馈。在阅读每一对输出时,您实际上只是在回答两个问题:

  • 带技能的版本是我会使用的那个吗?如果是,很好——记下是什么让它更好,以便该技能继续保持这一点。
  • 如果不是,缺少了什么,或者哪里不对?要具体。"语气太正式了"或"它漏掉了执行摘要"能让 Claude 有据可依;"这不太对"则不能。

一旦您提交反馈,Claude 就会根据您所说的内容为您修订该技能。

对技能进行迭代

您的反馈就是修正的依据。一旦您提交反馈,Claude 就会更新该技能——重写说明、调整示例、收紧它所要求的内容——然后您可以再次运行相同的提示,看看这个改动是否真正生效。

一次只改一件事。如果第一轮显示该技能既太冗长又缺少某个部分,选择更重要的那一项,先修正它,重新运行,然后再回来进行另一轮审阅。这样您就能分辨出究竟是哪个改动真正起了作用。如果修订后您仍然不满意输出结果,就再运行一次——这是一个循环,不是一次性的关卡。大多数技能在一到两轮之后就准备好了。发布一项技能的标准——无论是给自己用还是给队友用——并不是要求评估完美无缺。而是您关心的那些用例的表现明显优于基准,并且您已经明确指出了那些您尚未处理好的用例。

如果输出结果在第一次尝试时就已经很出色了呢?那您就完成了。评估不是必须走的形式——它们的存在是为了在您需要信心的时候提供帮助,而不是为了走过场。

现在就试试

在下面逐步完成一次模拟评估审阅——三个提示,每个都有带技能和不带技能的输出并排展示。

加载中

对于每一对输出:选出您实际会发送的版本,并写下一句您会给 Claude 的反馈。这就是整个循环。

接下来是什么

在下一课中,您将从"这对我有效"转向"这对团队有效"——也就是那些将个人工作流程转变为共享基础设施的模式和选择。