在使用 Claude 時，撰寫一個好的提示只是開始。要建立可靠的 AI 應用程式，您需要理解兩個關鍵概念：提示工程（prompt engineering）和提示評估（prompt evaluation）。提示工程為您提供撰寫更好提示的技巧，而提示評估則幫助您衡量這些提示實際運作的效果。
提示工程 vs 提示評估
提示工程是您用於打造有效提示的工具包。它包括以下技巧：
- 多樣本提示（Multishot prompting）
- 使用 XML 標籤進行結構化
- 許多其他最佳實踐
這些技巧有助於 Claude 準確理解您的需求以及您希望它如何回應。
提示評估則採取不同的方法。它不專注於如何撰寫提示，而是透過自動化測試來衡量提示的有效性。您可以：
- 針對預期答案進行測試
- 比較同一提示的不同版本
- 檢查輸出是否有錯誤
撰寫提示後的三條路徑
一旦您草擬了一個提示，接下來通常會面臨三種選擇：
選項 1： 測試提示一次，然後認定它已經足夠好。這帶有很大的風險，當使用者提供意外輸入時，可能會在生產環境中出現問題。
選項 2： 測試提示幾次，並調整它以處理一兩個邊緣情況。雖然比選項 1 更好，但使用者經常會提供您未曾考慮過的非常意外的輸出。
選項 3： 讓提示通過評估流程進行評分，然後根據客觀指標反覆改進提示。這種方法需要更多的工作和成本，但能讓您對提示的可靠性更有信心。
為什麼大多數工程師會陷入測試陷阱
選項 1 和選項 2 是所有工程師都會陷入的常見陷阱，我自己也不例外。為一個重要的應用程式撰寫提示，卻沒有充分測試它，這是很自然的事。我們往往會低估真實使用者會遇到多少邊緣情況。
現實情況是，當您將提示部署到生產環境時，使用者與它互動的方式將是您從未預料到的。在您有限的測試中看起來很穩固的提示，一旦面對真實世界輸入的全部多樣性，可能很快就會崩潰。
評估優先的方法
選項 3 代表了一種更系統化的提示開發方法。透過讓您的提示通過評估流程，您可以獲得關於其在更廣泛測試案例中表現的客觀指標。這種以數據驅動的方法讓您能夠：
- 在問題成為生產環境問題之前識別弱點
- 客觀地比較不同的提示版本
- 根據可衡量的改進，有信心地反覆改進
- 建立更可靠的 AI 應用程式
雖然這種方法需要在時間和測試基礎設施上投入更多前期資源，但它會在最終應用程式的可靠性和穩健性方面帶來豐厚的回報。目標是在開發過程中發現問題，而不是等到使用者遇到問題之後才發現。