AI 模型為什麼會產生幻覺？

如果 AI 如此先進，為什麼它有時還會編造內容呢？我叫 Jordan，在 Anthropic 工作。我們打造了 Claude，一個 AI 助手，我們做了很多努力來確保它提供準確的資訊。但有時 AI 仍然會編造內容。我們稱這些錯誤為幻覺。而且它們通常比單純犯錯更糟糕，因為 AI 會表現得非常自信，甚至試圖說服您它是對的。

幻覺可能以多種方式出現。AI 可能會引用一篇不存在的研究論文、編造虛假的統計數據，或是把真實人物或真實事件的事實搞錯。以下是它的樣子。您要求 Claude 告訴您一些由 Jared Kaplan 撰寫的論文。它自信地給出了答案。但那些標題實際上都不存在。

Claude 產生幻覺的情況比一年前少了很多。老實說，我們花了一段時間才找到這樣的例子，因為我們在減少 Claude 的幻覺方面投入了大量工作。但這正是重點所在。幻覺很難預料、很難察覺，而且錯誤的答案往往看起來就跟正確答案一模一樣。而且由於幻覺變得越來越罕見，人們往往懶得去檢查 AI 的工作成果。所以讓我們來談談為什麼會發生這種情況、我們正在做些什麼，以及當您使用 AI 時該如何發現幻覺。

像 Claude 這樣的 AI 助手是透過閱讀來自網路的大量文本來學習的。它們非常擅長判斷接下來通常會出現什麼詞語或想法。有點像您的手機在您打字時會建議下一個詞。這在大多數情況下都運作良好。但當您詢問一些冷僻的內容，例如來自相對不知名研究者的特定研究論文時，AI 就沒有足夠的資訊可以參考。所以它會試圖提供幫助，並做出一個猜測。而有時這個猜測是錯的。

這有點像詢問一位讀過所有熱門書籍、並以知道關於這些書籍的各種冷知識為傲的朋友。但因為他們想表現得像個專家，有時他們會自信地說出錯誤的內容，而不是承認「我不知道」。AI 被訓練成要提供幫助，所以即使它們不確定，也想給您一個答案。

但我們有辦法緩解這個問題。在訓練過程中，我們教導 Claude 要誠實，並在不確定時說「我不知道」。我們試圖教導 Claude，誠實既是正確的做法，也是變得更有幫助的一部分。

我們定期用數千個專門設計來考倒 Claude 的問題來測試它。冷僻的事實、小眾的主題、真實答案是「我不知道」的問題。我們會衡量諸如：Claude 多常正確地表示它不確定？它是否會編造引用或統計數據？它適當地表達保留態度的頻率，相較於自信地陳述錯誤內容的頻率是多少？這些測試幫助我們發現問題並追蹤我們的進展。隨著每個新版本的 Claude 推出，我們都看到了改進，但我們坦承這對整個 AI 領域來說是一項持續的挑戰，絕非已解決的問題。

如果您想知道如何察覺這種情況發生，幻覺最有可能出現在幾種情況中。例如，如果您要求提供特定的事實、統計數據或引用，或者主題是冷僻的、小眾的或非常新近的，如果您詢問的是真實但不廣為人知的人物或地點，或是當您需要精確的細節，例如日期、姓名或數字時。

以下是一些可以用來減少幻覺的技巧。首先，要求 AI 找出支持其說法的來源。如果它已經提供了來源，請要求它確認這些來源確實支持它所說的內容。試著事先告訴 AI：「如果你不知道也沒關係。」如果您對某個答案不確定，請詢問 AI 它有多確信，以及是否有任何可能出錯的地方。通常 AI 知道自己錯了，只是想表現得自信。

如果您有一個不確定的答案，請開啟一個新的對話，要求 AI 找出答案中的錯誤，並確認來源支持這些陳述。對於關鍵性的工作，您應該與可信賴的來源進行交叉比對。要保持懷疑態度，並仔細核對具體的數字、日期和引用。如果有什麼地方聽起來不對勁，就提出後續問題。

減少幻覺是讓 AI 對每個人都更值得信賴、更有用的重要目標。我們將持續在我們的部落格上分享這方面的進展。您可以在 Anthropic Academy 中了解更多與 AI 協作的其他工具和框架。