提示工程是指将您已经写好的提示加以改进，以获得更可靠、更高质量的输出。这个过程涉及迭代式的优化——从一个基础提示开始，评估其表现，然后系统地应用工程技术来改进它。
迭代改进流程
该方法遵循一个清晰的循环，您可以重复这个循环，直到达到您期望的结果：
- 设定目标 - 定义您希望提示实现什么
- 编写初始提示 - 创建一个基础的初次尝试
- 评估提示 - 根据您的标准进行测试
- 应用提示工程技术 - 使用特定方法来提升表现
- 重新评估 - 验证您的更改是否真正改善了结果
您需要重复最后两个步骤，直到您对表现感到满意。每次迭代都应在您的评估分数中显示出可衡量的改进。
示例：为运动员制定膳食计划
让我们通过一个实际示例来说明。目标是创建一个提示，根据运动员的身体特征和需求生成一日膳食计划。
该提示接收这些输入，并应生成一份全面的膳食计划，包括总热量、宏营养素分解，以及带有份量和时间安排的具体餐食细节。
建立评估框架
为了系统地衡量改进情况，您需要一个健全的评估设置。该框架包括：
- 数据集生成 - 创建代表真实场景的测试用例
- 自动化评分 - 使用一致的标准来评估输出
- 性能跟踪 - 监控各次迭代中的改进情况
在设置评估器时，请注意 API 速率限制。从较低的并发量开始（1-3 个并发请求），只有在没有遇到速率限制错误时才增加并发量。
创建您的初始提示
从简单的内容开始，即使您知道它并不理想。以下是一个基础初次尝试的示例：
What should this person eat?
- Height: {prompt_inputs["height"]}
- Weight: {prompt_inputs["weight"]}
- Goal: {prompt_inputs["goal"]}
- Dietary restrictions: {prompt_inputs["restrictions"]}这个提示是有意设计得很基础的，很可能会产生不理想的结果。这正是您想要的——一个清晰的基线，以便从此改进。
建立评估标准
定义您的提示应满足的具体标准。对于膳食计划示例，好的输出应包括：
- 每日总热量
- 宏营养素分解
- 包含确切食物、份量和时间安排的餐食
这些标准有助于评估模型一致地为输出打分，并为您提供明确的改进目标。
衡量基线表现
通过评估框架运行您的初始提示。不要因为低分而气馁——10 分中得 2.3 分实际上对于一个起点来说是完美的。这为您展示改进留出了充足的空间。
分析结果
大多数评估框架会生成详细的报告，显示每个测试用例的表现情况。这些报告通常包括：
- 单个测试用例结果 - 准确查看模型产生了什么
- 评分细分 - 了解某些输出为何得分较低
- 推理过程 - 获取关于缺失或错误内容的反馈
利用这些详细的反馈来识别您的提示需要改进的具体方面。在多个测试用例中寻找模式，以理解系统性问题，而不是一次性的问题。
后续步骤
在建立了基线并搭建好评估框架之后，您就可以开始应用具体的提示工程技术了。您应用的每一项技术都应在评估分数中带来可衡量的改进，使您更接近理想的输出质量。
关键在于每次只做一个改动，评估其影响，然后决定是保留该改动还是尝试不同的方法。这种系统化的过程能确保您了解哪些技术最适合您的特定使用场景。