没有任何已发布的模型对比见过您的提示。评估(eval)是对您自己的用例进行的测试,它会给出一个数字供您据此做决定。四节主要课程中的每一节都会先播放一段简短视频,然后展示 Meridian(一家虚构的工程咨询公司)如何为某个提示构建并运行评估。在这四节课中的三节里,您会看到完成每项工作的那行代码、提示或工作流文件。没有脚本可供下载。之后,您将以同样的方式构建自己的评估。学完之后,您将能够依据证据选择模型和提示,并在上线后持续检查。通过评分测验即可获得完成徽章。
本课程适合谁
如果您已经有一个可用的提示,但还没有经过评分的评估,那么本课程适合您。课程内容仅限于作为对 Messages API 单次调用运行的提示。本课程不涉及评估代理(agent)或测量延迟。
前提条件
除非您已经能够调用 Messages API 并读取响应,否则请先学习 Claude Platform 101。代码使用 Python 编写,此外在"生产环境中的评估"这一课中还有一个用 YAML 编写的 GitHub Actions 工作流。能够读懂它们即可。那节课假设您了解拉取请求和 CI 检查。您自己的评估需要一个 Claude Console 账户、一个 API 密钥,以及带有预期答案的真实输入。