典型的提示評估工作流程遵循五個關鍵步驟，幫助您透過客觀測量系統性地改進您的提示。雖然有許多不同的方式可以組裝這些工作流程，也有各種開源和付費工具可供使用，但了解核心流程有助於您從小規模開始，並根據需要擴大規模。
步驟 1：草擬提示
首先撰寫您想要改進的初始提示。在這個範例中，我們將使用一個簡單的提示：
prompt = f"""
Please answer the user's question:
{question}
"""
這個基本提示將作為我們測試和改進的基準。
步驟 2：建立評估資料集
您的評估資料集包含代表您的提示在生產環境中將處理的問題或請求類型的範例輸入。該資料集應包含將被插入到您的提示範本中的問題。
在這個範例中，我們的資料集包含三個問題：
- 「2+2 等於多少？」
- 「我該如何煮燕麥粥？」
- 「月球有多遠？」
在實際的評估中，您可能會有數十、數百甚至數千筆記錄。您可以手動組裝這些資料集，或使用 Claude 為您生成。
步驟 3：透過 Claude 處理
從您的資料集中取出每個問題，並將其與您的提示範本合併，以建立完整的提示。然後將每個提示發送給 Claude 以取得回應。
例如，第一個問題會變成：
Please answer the user's question:
What's 2+2?對於數學問題，Claude 可能會回答「2 + 2 = 4」，對於第二個問題提供燕麥粥的烹飪說明，並對第三個問題給出月球的距離。
步驟 4：透過評分者處理
評分者透過檢視原始問題和 Claude 的答案來評估 Claude 回應的品質。這個步驟提供客觀評分，通常採用 1 到 10 的量表，其中 10 代表完美的答案，較低的分數則表示有改進的空間。
在我們的範例中，評分者可能會給出：
- 數學問題：10（完美答案）
- 燕麥粥問題：4（需要改進）
- 月球問題：9（非常好的答案）
所有問題的平均分數為您提供了一個客觀的測量值：(10 + 4 + 9) ÷ 3 = 7.66
步驟 5：修改提示並重複
現在您已經有了基準分數，您可以修改您的提示並再次執行整個流程，以查看您的變更是否改善了效能。
例如，您可能會在提示中加入更多指引：
prompt = f"""
Please answer the user's question:
{question}
Answer the question with ample detail
"""在透過相同的評估流程執行這個改進後的提示後，您可能會得到更高的平均分數 8.7，這表示額外的指示幫助 Claude 提供了更好的回應。
提示評分
這個工作流程的主要優點是能夠客觀測量提示的效能。您可以：
- 以數值方式比較不同的提示版本
- 使用得分最高的版本
- 持續迭代以找到更好的方法
這種系統性的方法消除了提示工程中的猜測，並讓您確信您的變更確實是改進，而不僅僅是不同的變化。