典型的提示评估工作流程遵循五个关键步骤，帮助您通过客观测量系统地改进提示。尽管有许多不同的方式来组装这些工作流程，也有各种开源和付费工具可用，但理解核心流程有助于您从小处着手，并根据需要逐步扩展。
步骤 1：起草提示
首先编写一个您想要改进的初始提示。在这个示例中，我们将使用一个简单的提示：
prompt = f"""
Please answer the user's question:
{question}
"""
这个基础提示将作为我们测试和改进的基线。
步骤 2：创建评估数据集
您的评估数据集包含代表您的提示在生产环境中将处理的问题或请求类型的样本输入。该数据集应包含将插入到您的提示模板中的问题。
在这个示例中，我们的数据集包括三个问题：
- "2+2 等于多少？"
- "我该如何制作燕麦粥？"
- "月球有多远？"
在实际评估中，您可能会有数十、数百甚至数千条记录。您可以手动组装这些数据集，或使用 Claude 为您生成它们。
步骤 3：通过 Claude 处理
从您的数据集中取出每个问题，并将其与您的提示模板合并，以创建完整的提示。然后将每个提示发送给 Claude 以获取响应。
例如，第一个问题变成：
Please answer the user's question:
What's 2+2?对于数学问题，Claude 可能会回答"2 + 2 = 4"，对于第二个问题提供燕麦粥的烹饪说明，对于第三个问题给出到月球的距离。
步骤 4：通过评分器处理
评分器通过检查原始问题和 Claude 的答案来评估 Claude 响应的质量。此步骤提供客观评分，通常采用 1 到 10 的量表，其中 10 代表完美答案，较低的分数表示有改进空间。
在我们的示例中，评分器可能会给出：
- 数学问题：10（完美答案）
- 燕麦粥问题：4（需要改进）
- 月球问题：9（非常好的答案）
所有问题的平均分数为您提供了一个客观的测量值：(10 + 4 + 9) ÷ 3 = 7.66
步骤 5：更改提示并重复
现在您有了一个基线分数，您可以修改您的提示并再次运行整个流程，以查看您的更改是否提高了性能。
例如，您可能会在提示中添加更多指导：
prompt = f"""
Please answer the user's question:
{question}
Answer the question with ample detail
"""在通过相同的评估流程运行这个改进后的提示后，您可能会获得更高的平均分数 8.7，这表明额外的指令帮助 Claude 提供了更好的响应。
提示评分
这个工作流程的关键优势是获得提示性能的客观测量。您可以：
- 以数字方式比较不同的提示版本
- 使用得分最高的版本
- 继续迭代以找到更好的方法
这种系统化的方法消除了提示工程中的猜测，并让您确信您的更改确实是改进，而不仅仅是不同的变体。