典型的提示評估工作流程遵循五個關鍵步驟，幫助您透過客觀測量系統性地改善您的提示。雖然有許多不同的方式來組建這些工作流程，並有各種開源和付費工具可供使用，但了解核心流程有助於您從小規模開始並依需求擴展。
步驟 1：草擬提示
首先撰寫一個您想要改善的初始提示。在這個範例中，我們將使用一個簡單的提示：
prompt = f"""
Please answer the user's question:
{question}
"""
這個基本提示將作為我們測試和改善的基準。
步驟 2：建立評估資料集
您的評估資料集包含您將輸入到提示中的範例輸入。由於我們的提示只有一個輸入（使用者的問題），我們需要一組不同的問題來進行測試。
該資料集包含我們將與提示合併的問題。您可以手動組建這些資料集，或使用 Claude 生成它們。在實際的評估中，您可能會有數十、數百甚至數千筆不同的記錄，但在這個範例中，我們將從僅三個問題開始：
- 2+2 等於多少？
- 我該如何製作燕麥粥？
- 月球距離地球有多遠？
步驟 3：透過 Claude 處理
從您的資料集中取出每個問題，並將其與您的提示範本合併，以建立完整的提示。然後將每個提示傳送給 Claude 並收集回應。
例如，第一個問題會變成一個完整的提示，Claude 處理後會回傳像「2 + 2 = 4」這樣的答案。您對資料集中的所有問題重複這個過程，建立一組問答配對。
步驟 4：透過評分器處理
現在來到關鍵步驟：客觀地測量 Claude 回應的品質。您將每個問答配對輸入到評分器中，由評分器對回應進行評分。
評分器根據答案品質給予分數（通常為 1-10 分）：
- 10 分 = 完美答案，沒有改善空間
- 4 分 = 尚可，但絕對有改善空間
- 較低分數表示回應品質不佳
在對所有回應評分後，您將這些分數平均計算。在我們的範例中，10、4 和 9 的分數平均為 7.66，讓您對提示的表現有一個客觀的測量結果。
步驟 5：修改提示並重複
在建立基準分數後，您現在可以修改您的提示，並再次執行整個流程，以查看您的變更是否改善了表現。
例如，您可以透過加入更具體的指示來增強原始提示：
prompt = f"""
Please answer the user's question:
{question}
Answer the question with ample detail
"""提示評分
這個工作流程的威力在於能夠獲得提示表現的客觀測量結果。您可以比較不同提示版本之間的分數，以判斷哪一個表現更好。
在我們的範例中：
- 提示 v1 得分 7.66
- 提示 v2 得分 8.7
v2 較高的分數提供了客觀證據，證明加入「請詳細回答問題」改善了提示的表現。您可以接著使用表現較佳的版本，或繼續迭代以達到更高的分數。
這種系統化的方法消除了提示改善過程中的猜測，並為您提供了一個可靠的優化框架。雖然實作有效的評分器存在一定的複雜性，但這個工作流程為建立您自己的評估系統提供了堅實的基礎。