在使用Claude时，编写一个好的提示只是开始。要构建可靠的AI应用程序，您需要理解两个关键概念：提示工程和提示评估。提示工程为您提供编写更好提示的技巧，而提示评估则帮助您衡量这些提示实际效果如何。
提示工程与提示评估
提示工程是您用于编写和改进提示的工具包。它是一套最佳实践，帮助Claude准确理解您的需求以及您希望它如何响应。可以将其视为提示编写的技艺——例如多样本提示、使用XML标签构建结构等我们将探讨的许多方法。
另一方面，提示评估关乎测量。它是自动化测试，为您提供关于提示是否真正有效的客观指标。评估不是猜测您的提示是否运行良好，而是让您能够：
- 针对预期答案进行测试
- 比较同一提示的不同版本
- 审查输出中的错误
编写提示后的三条路径
一旦您起草了一个提示，通常会面临接下来该怎么做的三个选择：
选项1： 测试提示一次，然后认为它已经足够好了。这存在很大的风险，当用户提供意外输入时，可能会在生产环境中出现问题。
选项2： 测试提示几次，并针对一两个边缘情况进行调整。虽然比选项1更好，但用户通常会提供您未曾考虑过的非常意外的输出。
选项3： 通过评估流水线运行提示以对其打分，然后根据客观数据对提示进行迭代。这需要更多的前期工作和成本，但能让您对提示的可靠性更有信心。
为什么大多数工程师会陷入测试陷阱
选项1和选项2是所有工程师都会陷入的陷阱——我自己也不例外。编写一个提示，用自己的输入测试几次，然后认为"这看起来已经足够好了"，这是很自然的想法。但当您在构建严肃的应用程序时，这种方法往往会在生产环境中导致问题。
问题在于，您无法预测用户与您的提示交互的所有方式。在您有限的测试中看似完美运行的提示，在面对真实世界的使用模式时可能会完全失效。
系统化评估的价值
选项3——通过评估流水线运行您的提示——为您提供关于性能的客观数据。您不必依赖直觉或有限的手动测试，而是获得可衡量的分数，告诉您提示在处理各种输入时的表现如何。
这种方法让您能够自信地进行迭代。您可以对提示进行更改，并立即看到这些更改是改善还是损害了性能。这就是猜测与确知您的提示改进是否真正有效之间的区别。
虽然评估需要更多的前期时间和资源投入，但当您需要在各种用户输入中始终如一地表现出可靠、可用于生产的提示时，它会带来丰厚的回报。