下一個詞元預測 · AI 的能力與限制

AI 模型如何使用下一個詞元預測

下一個詞元預測 · 4 分鐘

摘要逐字稿

生成式 AI 更接近於一個極其精密的自動完成功能，而非搜尋引擎。它逐字撰寫答案，依據的是什麼詞往往跟隨著什麼詞。正是這一個特性，同時賦予了流暢性與幻覺。

下一個詞元預測指的是生成式 AI 逐字撰寫答案，依據的是什麼詞往往跟隨著什麼詞這一事實。
- 能力區：類似模型已見過許多次的模式的任務（摘要、重新格式化、解釋常見概念）。
- 限制區：新穎或稀疏的領域，以及任何需要區分「真實」與「聽起來真實」的任務。
- 虛構集中於特定性：姓名、日期、統計數據、引用、URL、引言。主張越精確，就越需要驗證。
- 產品功能，例如引用、不確定性提示、受限生成，以及生成器-驗證器循環，其存在的目的正是為了進一步推展此限制的邊界。
4D 連結：下一個詞元預測是辨別力的基礎。知道輸出是生成出來的，能確切告訴您應該施加何種審查。

為什麼？您現在知道，使 AI 流暢的同一個生成過程，也正是使其產生虛構內容的原因。現在該在您自己的領域中親自驗證這一點，在一個您能夠察覺問題的領域裡進行測試。

回到您的任務清單，選擇一項您在該領域專業知識上最有信心的任務。您需要一個您是專家的主題，因為您需要能夠驗證回傳的內容。寫下該領域中五個具體、可核實的事實：某人的職稱、發表日期、一項統計數據、產品規格、一段直接引言、一個 URL。這些是您知道準確無誤、並能獨立確認的事項。

現在執行三項探測：

探測 1：能力區。請 AI 解釋或總結您領域中一個廣為人知的概念。選擇一個普及且有充分文獻記載的主題。留意其流暢度。抽查內容。這就是能力區的感覺：流暢、自信，且大致準確。
探測 2：壓力下的特定性。請 AI 在您的領域中提供五項可核實的具體內容：引用三個來源、指名一位作者、給出確切數字、提供一個 URL。逐一驗證。以五分為滿分評分：有多少項完全準確？如果它虛構了內容，請留意它在這麼做時聽起來有多自信。
探測 3：取樣實際運作。在一個全新的對話中執行完全相同的具體事實請求。比較這兩次輸出。哪些內容保持一致？哪些改變了？您所看到的變化，正是下一個詞元預測的取樣機制在運作。

進階目標：在啟用引用功能的工具中（例如 Claude 的 Research 模式）重新執行探測 2。再次評分。有來源可供核實是否改變了分數？

下一個詞元預測解釋了 AI 如何生成內容。接下來，我們將探討它是「從什麼」生成的：知識特性。模型實際上知道什麼？這些知識來自何處？又有哪些缺口？