加载中

评估简介

基于您自己的数据构建一个小型评估,先依据准确性再依据成本来选择 Claude 模型,在升级之前先修正提示,并在上线后持续检查。

1 小时1 个测验
您将学到的内容完成本课程后,您将能够
  • 根据一个错误答案会给您带来的成本,设定一个准确性下限
  • 按每个已完成任务的成本,选择能达到您设定下限的成本最低的模型
  • 使用您自己的数据构建一小组用例,并附带预期答案
  • 使用代码对精确字段评分,使用 LLM 评判者和评分标准对自由文本评分
  • 在升级模型之前,先根据失败用例修正提示
  • 当拉取请求上的冒烟评估得分过低时阻止合并
  • 在没有人等待结果时,通过 Batch API 运行完整的测试套件
  • 通过对每晚抽取的实时流量样本进行评分来捕捉漂移

没有任何已发布的模型对比见过您的提示。评估(eval)是对您自己的用例进行的测试,它会给出一个数字供您据此做决定。四节主要课程中的每一节都会先播放一段简短视频,然后展示 Meridian(一家虚构的工程咨询公司)如何为某个提示构建并运行评估。在这四节课中的三节里,您会看到完成每项工作的那行代码、提示或工作流文件。没有脚本可供下载。之后,您将以同样的方式构建自己的评估。学完之后,您将能够依据证据选择模型和提示,并在上线后持续检查。通过评分测验即可获得完成徽章。

本课程适合谁

如果您已经有一个可用的提示,但还没有经过评分的评估,那么本课程适合您。课程内容仅限于作为对 Messages API 单次调用运行的提示。本课程不涉及评估代理(agent)或测量延迟。

前提条件

除非您已经能够调用 Messages API 并读取响应,否则请先学习 Claude Platform 101。代码使用 Python 编写,此外在"生产环境中的评估"这一课中还有一个用 YAML 编写的 GitHub Actions 工作流。能够读懂它们即可。那节课假设您了解拉取请求和 CI 检查。您自己的评估需要一个 Claude Console 账户、一个 API 密钥,以及带有预期答案的真实输入。