理解 AI 模型中的知識缺口
載入中
知識 · 5 分鐘
摘要逐字稿
模型只知道它在訓練期間接觸過的內容，僅此而已。預設情況下沒有即時瀏覽功能，沒有親身經歷，並且在知識截止日期有一個硬性停止點。實際的問題不是「AI 知道這個嗎？」，而是「這在它讀過的內容中被充分呈現的程度如何？」
模型讀過什麼，以及何時停止閱讀
載入中
重點整理
- 生成式 AI 所知道的內容完全來自訓練數據，並在知識截止日期被凍結。沒有工具的情況下，它無法存取該日期之後的任何資訊。
- 能力範圍：在訓練數據中頻繁、近期（訓練範圍內）且一致出現的主題。
- 限制範圍：罕見、截止日期之後、小眾、地方性或有爭議的主題。
- 典型失敗：過時、覆蓋不均、在何謂「預設」或「正常」方面繼承的偏見，以及無法歸因知識來源。
- 網路搜尋、檢索（RAG／MCP）和工具使用的存在，正是為了透過讓模型存取它從未訓練過的資訊，來彌補這些缺口。
- 4D 連結：知識的不均衡是委派（Delegation）的核心。了解模型在哪些方面儲備充足、哪些方面薄弱，能告訴您何時該交辦、何時該自行提供上下文，以及何時該另尋他法。
練習
局外人測試
為什麼？您知道模型的知識廣泛但已凍結，受其訓練數據中所包含內容的形塑。現在您將準確地繪製出，在您的特定領域中，它哪裡儲備充足、哪裡薄弱。
回到您的任務清單，選擇一項任務。針對該任務，寫下：
- 兩個主流、有充分記錄且穩定的主題。任何知情的同事都會知道的那種事情。
- 兩個小眾、地方性、近期或快速演變的主題。產業特定術語、地區性法規、過去一年內發生變化的事物。
- 一個您所屬領域的局外人常常搞錯的「預設假設」。（典型客戶是誰。「標準」案例是什麼樣子。人們實際使用的工具，相對於受到媒體關注的工具。）
現在執行三項探測：
- 探測 1：覆蓋範圍。從您的清單中詢問一個主流主題和一個小眾主題。比較深度和準確性。注意 AI 在這兩者之間是否以不同方式表達不確定性，或者兩個答案是否都帶有相同的自信語氣。
- 探測 2：過時性。詢問您知道在您的領域中最近發生變化的事情：法規更新、工具發布、領導層變動、修訂後的標準。AI 是否承認截止日期？是否將過時的資訊呈現為最新的？是否拒絕回答？記錄發生的情況。
- 探測 3：預設假設。不要直接點名您的假設，提出一個能揭露 AI 是否預設採用局外人觀點的問題。例如，如果您所屬領域的「標準」客戶與大多數人的假設不同，請 AI 描述典型客戶。記錄它將什麼視為正常。
回到您的任務清單，新增第二個註記：針對每項任務，標記您是否可以依賴模型的知識，或者您是否需要透過上下文、文件或搜尋自行帶入知識。
進階目標：啟用網路搜尋後重新執行過時性探測。比較有什麼變化。這就是檢索的實際運作。
課程反思
- 在您的工作中，有哪個領域是您現在意識到需要自行提供上下文，而不是假設模型已經具備的？
- 預設假設探測是否揭露了任何讓您感到驚訝的事情？
接下來
知識涵蓋了模型在訓練期間吸收的內容。工作記憶涵蓋了它現在正在關注的內容：您的提示、您的文件、您的對話。這項特性在四者之中擁有最鮮明的邊界。