典型的提示評估工作流程遵循系統化的方法，以客觀地衡量和改進您的提示。雖然有許多不同的方式來組建這些工作流程，並有各種開源和付費工具可供使用，但了解核心流程有助於您從小規模開始，並根據需要擴展。
步驟 1：草擬您的初始提示
首先寫出一個您想要改進的基本提示。在這個範例中，我們將使用一個簡單的提示結構：
prompt = f"""
Please answer the user's question:
{question}
"""
這為我們提供了一個可以著手改進的基準。我們不會知道它是否有效，直到我們用某種客觀的方法來評估它。
步驟 2：建立評估資料集
您的評估資料集包含您將輸入到提示中的範例輸入。由於我們的提示只有一個輸入（使用者的問題），我們需要一組不同的問題來進行測試。
該資料集包含我們將與提示合併的問題。您可以手動組建這些資料集，或使用 Claude 生成它們。在實際的評估中，您可能會有數十、數百甚至數千筆不同的記錄，但在這個範例中，我們將從僅三個問題開始：
- 2+2 等於多少？
- 我該如何製作燕麥粥？
- 月球有多遠？
步驟 3：透過 Claude 處理
從您的資料集中取出每個問題，並將其與您的提示範本合併，以建立完整的提示。然後將每一個發送給 Claude 並收集回應。
例如，第一個問題會變成一個完整的提示，Claude 可以對此做出回應。您將對資料集中的所有記錄重複此過程，取得像「2 + 2 = 4」、詳細的燕麥粥製作說明，以及關於月球距離的資訊等回應。
步驟 4：透過評分器處理
現在到了關鍵的步驟：客觀地為 Claude 的回應評分。將每個問題與答案配對，並將它們輸入到評分器中，評分器將評估 Claude 回應的品質。
評分器會根據回應品質給予分數（通常為 1 到 10 分）：
- 10 = 完美的答案，沒有改進空間
- 4 = 確實有改進空間
- 1 = 差或不正確的回應
在我們的範例中，這些回應可能分別得到 10、4 和 9 分。將這些分數平均起來，得到一個整體的效能指標：7.66。
步驟 5：更改提示並重複
在建立了基準分數之後，您現在可以對提示進行迭代。嘗試加入更具體的指示，以引導 Claude 的回應：
prompt = f"""
Please answer the user's question:
{question}
Answer the question with ample detail
"""再次將這個改進後的提示通過整個評估流程。比較分數，看看哪個版本表現更好。
提示評分與迭代
這個工作流程的強大之處在於能為每個提示版本取得客觀的衡量結果。您可以比較不同迭代之間的分數，並使用表現最佳的版本，或繼續迭代以找到更好的方法。
在我們的範例中：
- 提示 v1 得分 7.66
- 提示 v2 得分 8.7
v2 較高的分數表明，加入「請詳盡地回答問題」這句話提升了提示在我們測試案例中的表現。
這種系統化的方法為您提供了一種客觀的方式來衡量提示的改進，而不是依賴主觀判斷。您可以從簡單的實作開始，並隨著需求的增長逐漸加入更複雜的評估標準。