提示工程是指將您已撰寫的提示加以改進，以獲得更可靠、更高品質的輸出。這個過程涉及反覆的精煉——從一個基本提示開始，評估其表現，然後系統性地應用工程技巧來改進它。
反覆改進流程
這個方法遵循一個清晰的循環，您可以重複進行直到達到您想要的結果：
- 設定目標 - 定義您希望提示達成的目的
- 撰寫初始提示 - 建立一個基本的初步嘗試
- 評估提示 - 依照您的標準進行測試
- 應用提示工程技巧 - 使用特定方法來改善表現
- 重新評估 - 確認您的變更確實改善了結果
您需要重複最後兩個步驟，直到您對表現感到滿意為止。每次反覆都應在您的評估分數中顯示出可衡量的改進。
範例：為運動員規劃餐點
讓我們來看一個實際的範例。目標是建立一個提示，根據運動員的身體特徵和需求，生成一日餐點計畫。
此提示接收這些輸入，並應產生一份完整的餐點計畫，包含總熱量、巨量營養素分配，以及具體的餐點細節（份量與時間）。
建立評估框架
為了系統性地衡量改進程度，您需要一個穩健的評估設置。此框架包括：
- 資料集生成 - 建立代表真實世界情境的測試案例
- 自動化評分 - 使用一致的標準來評估輸出
- 效能追蹤 - 監控各次反覆之間的改進情況
在設置您的評估器時，請留意 API 速率限制。從低並行度（1-3 個並行請求）開始，只有在未遇到速率限制錯誤時才增加並行度。
建立您的初始提示
從簡單的內容開始，即使您知道它並不理想。以下是一個基本初步嘗試的範例：
What should this person eat?
- Height: {prompt_inputs["height"]}
- Weight: {prompt_inputs["weight"]}
- Goal: {prompt_inputs["goal"]}
- Dietary restrictions: {prompt_inputs["restrictions"]}這個提示是刻意設計得很基本，很可能會產生不佳的結果。這正是您想要的——一個清晰的基準，以便從此改進。
建立評估標準
定義您的提示應滿足的具體標準。以餐點規劃範例而言，良好的輸出應包括：
- 每日總熱量
- 巨量營養素分配
- 包含確切食物、份量和時間的餐點
這些標準有助於評估模型一致地為輸出評分，並為您提供明確的改進目標。
衡量基準表現
透過評估框架執行您的初始提示。不要因為低分而感到氣餒——10 分中得到 2.3 分，對於一個起點來說其實是完美的。這讓您有充分的空間來展現改進成果。
分析結果
大多數評估框架會生成詳細的報告，顯示每個測試案例的表現。這些報告通常包括：
- 個別測試案例結果 - 確切了解模型產生了什麼
- 評分細項 - 了解為何某些輸出得分較低
- 推理過程 - 獲得關於缺失或錯誤之處的回饋
利用這些詳細的回饋來找出您的提示需要改進的具體領域。在多個測試案例中尋找模式，以了解系統性問題，而非僅是個別的偶發問題。
後續步驟
在建立好基準並設置評估框架後，您就準備好開始應用特定的提示工程技巧了。您應用的每項技巧都應在評估分數中產生可衡量的改進，使您更接近理想的輸出品質。
關鍵在於一次只做一項變更，評估其影響，然後決定是保留該變更還是嘗試不同的方法。這個系統性的流程能確保您了解哪些技巧最適合您的特定使用案例。