在使用 Claude 時，寫出一個好的提示只是開始。要建立可靠的 AI 應用程式，您需要理解兩個關鍵概念：提示工程與提示評估。提示工程為您提供撰寫更好提示的技巧，而提示評估則幫助您衡量這些提示實際運作的效果。
提示工程與提示評估
提示工程是您用於撰寫和改進提示的工具箱。它是一套最佳實踐，能幫助 Claude 準確理解您的需求以及您希望它如何回應。可以將其視為提示撰寫的技藝——例如多範例提示、使用 XML 標籤進行結構化，以及我們將探討的許多其他方法。
另一方面，提示評估則是關於衡量。它是一種自動化測試，能為您提供關於提示是否真正有效的客觀指標。評估讓您不必猜測提示是否運作良好，而是可以：
- 針對預期答案進行測試
- 比較同一提示的不同版本
- 審查輸出中的錯誤
撰寫提示後的三條路徑
一旦您草擬了一個提示，通常會面臨三個選項來決定接下來該怎麼做：
選項一： 測試提示一次，然後判定它已經足夠好。這帶有很大的風險，當使用者提供意外輸入時，可能會在生產環境中出現問題。
選項二： 測試提示幾次，並針對一兩個邊緣情況進行調整。雖然比選項一更好，但使用者經常會提供您未曾考慮過的非常意外的輸出。
選項三： 讓提示通過評估管線進行評分，然後根據客觀數據反覆改進提示。這需要更多前期的工作和成本，但能讓您對提示的可靠性更有信心。
為何大多數工程師會陷入測試陷阱
選項一和選項二是所有工程師都會陷入的陷阱——我自己也不例外。寫一個提示，用自己的輸入測試幾次，然後覺得「這看起來已經夠好了」，這是很自然的想法。但當您在建立正式的應用程式時，這種做法往往會在生產環境中導致問題。
問題在於，您無法預測使用者與您的提示互動的所有方式。在您有限的測試中看似完美運作的提示，在面對真實世界的使用模式時可能會完全失效。
系統性評估的價值
選項三——讓您的提示通過評估管線——能為您提供關於效能的客觀數據。您不必依賴直覺或有限的人工測試，而是能獲得可衡量的分數，告訴您提示在處理各種輸入時的表現如何。
這種方法讓您能夠有信心地反覆改進。您可以對提示進行修改，並立即看出這些修改是改善還是損害了效能。這就是猜測與確知您的提示改進是否真正有效之間的差別。
雖然評估需要更多前期的時間和資源投入，但當您需要能在各種使用者輸入中持續穩定運作的可靠、可用於生產環境的提示時，這項投入將帶來豐厚的回報。