在使用 Claude 時，寫出一個好的提示只是開始。要建立可靠的 AI 應用程式，您需要理解兩個關鍵概念：提示工程與提示評估。提示工程為您提供撰寫更好提示的技巧，而提示評估則幫助您衡量這些提示實際運作的效果。
提示工程 vs 提示評估
提示工程是您用來撰寫和改進提示的工具箱。它是一套最佳實踐，能幫助 Claude 準確理解您所要求的內容以及您希望它如何回應。可以將其視為提示撰寫的技藝——例如多範例提示、使用 XML 標籤進行結構化，以及我們將探討的許多其他方法。
另一方面，提示評估則是關於衡量。它是一種自動化測試，能為您提供關於提示是否真正有效的客觀指標。評估讓您不必猜測提示是否運作良好，而是可以：
- 對照預期答案進行測試
- 比較同一提示的不同版本
- 檢視輸出以找出錯誤
撰寫提示後的三條路徑
一旦您草擬了一個提示，通常會面臨接下來要做什麼的三個選項：
選項 1： 測試提示一次，然後認定它已經足夠好。這帶有很大的風險，當使用者提供意外輸入時，可能會在生產環境中出現問題。
選項 2： 測試提示幾次，並調整它以處理一兩個邊緣情況。雖然比選項 1 更好，但這種方法仍然讓您容易受到影響，因為使用者經常會提供您未曾考慮過的非常意外的輸出。
選項 3： 讓提示通過評估流程進行評分，然後根據客觀數據反覆改進提示。這需要更多前期的工作與成本，但能讓您對提示的可靠性更有信心。
為什麼大多數工程師會陷入測試陷阱
選項 1 和選項 2 是所有工程師都會陷入的陷阱，我自己也不例外。為一個重要的應用程式撰寫提示卻沒有充分測試，是很自然的事。我們往往會用對我們來說顯而易見的輸入進行測試，但真實使用者與您的提示互動的方式，往往是您從未預料到的。
解決方案是採用選項 3：系統化評估。透過讓您的提示通過適當的評估流程，您會得到客觀的分數，告訴您提示在各種情境下的表現如何。這種以數據為驅動的方法讓您能夠有信心地反覆改進，並在問題到達生產環境之前就發現它們。
先理解評估，能為您提供基礎，讓您在應用提示工程技巧時衡量改進的效果。一旦您能可靠地衡量提示的有效性，您就可以嘗試不同的方法，並明確知道哪些方法效果更好。