在使用Claude时，编写一个好的提示只是开始。要构建可靠的AI应用程序，您需要理解两个关键概念：提示工程和提示评估。提示工程为您提供了制作更好提示的技巧，而提示评估则帮助您衡量这些提示实际效果如何。
提示工程与提示评估
提示工程是您用于编写和改进提示的工具包。它是一套最佳实践，帮助Claude准确理解您的需求以及您希望它如何响应。可以将其视为提示编写的技艺——诸如多样本提示、使用XML标签构建结构等技巧，以及我们将探讨的许多其他方法。
另一方面，提示评估则关乎测量。它是一种自动化测试，为您提供关于提示是否真正有效的客观指标。评估不是去猜测您的提示效果如何，而是让您能够：
- 针对预期答案进行测试
- 比较同一提示的不同版本
- 审查输出中的错误
编写提示后的三条路径
一旦您草拟了一个提示，通常会面临接下来要做什么的三种选择：
选项1： 测试提示一次，然后认定它已经足够好。这带来了很大的风险——当用户提供意外输入时，提示可能在生产环境中出现问题。
选项2： 测试提示几次，并针对一两个边缘情况进行调整。虽然比选项1更好，但这种方法仍然让您处于脆弱状态，因为用户往往会提供您未曾考虑过的、非常出乎意料的输出。
选项3： 让提示经过评估流程进行打分，然后根据客观数据对提示进行迭代。这需要更多的前期工作和成本，但能让您对提示的可靠性更有信心。
为什么大多数工程师会陷入测试陷阱
选项1和选项2是所有工程师都会陷入的陷阱，我自己也不例外。为一个重要的应用程序编写提示却没有充分测试，这是很自然的事情。我们往往会用对我们自己来说显而易见的输入进行测试，但真实用户与您的提示交互的方式，往往是您从未预料到的。
解决方案是采用选项3：系统化评估。通过让您的提示经过适当的评估流程，您会获得客观的分数，告诉您提示在各种场景下的表现如何。这种数据驱动的方法让您能够自信地进行迭代，并在问题到达生产环境之前就将其发现。
首先理解评估，能为您提供一个基础，使您在应用提示工程技巧时能够衡量改进效果。一旦您能够可靠地衡量提示的有效性，您就可以尝试不同的方法，并明确知道哪些方法效果更好。