上下文視窗如何影響生成式 AI 的輸出
載入中
Working Memory · 6 min
摘要逐字稿
AI 所關注的一切都存在於一個固定大小的工作空間中，稱為上下文視窗。它可以關注其中的內容，但無法關注其外的任何事物。這個限制以一種其他特性所沒有的硬性方式存在：事情在某個點之前都能正常運作，之後就完全失效。
上下文視窗：AI 的工作記憶
載入中
重點整理
- 工作記憶指的是 AI 模型擁有一個固定的上下文視窗，它只能關注其中的內容。
- 能力範圍：您的材料能舒適地容納其中，會話是最新的，您提供了相關的上下文。
- 限制範圍：非常長的文件或對話、期望跨會話的連續性、將關鍵資訊埋藏在長篇輸入的中間。
- 此特性呈現斷崖式而非漸進式的變化。靜默截斷是其失效模式，而您不一定會收到警告。
- 模型不會從您的更正中學習。它只會回應目前上下文中的內容。
- 記憶功能、壓縮、專案、更大的視窗以及多代理工作流程，這些都是為了將這個斷崖推得更遠而存在的。
- 4D 連結：工作記憶是「描述」所作用的對象。了解視窗的運作方式，能告訴您如何組織上下文、何時該前置重要內容、何時該重新開始。
練習
前後對比
為什麼？上下文就是槓桿。同一項任務，在提供正確上下文的情況下，可以從平庸的初稿變成真正有用的成果。這個練習讓這一點變得具體可見。
從您第一課的清單中選一項只有您才掌握相關上下文的任務：一份風格指南、一個過去優秀作品的範例，或是一組特定於您角色或受眾的限制條件。用兩三行文字寫下這項任務輸出的「好」是什麼樣子，描述要清楚到讓一個陌生人也能評估它。
現在執行三項探測：
- 探測一：冷啟動 vs. 有上下文。在零上下文的情況下提出您的任務要求，只給出最基本的請求。保存輸出結果。然後開啟一個全新的對話，執行相同的任務，這次事先提供您的風格指南、過去範例或限制條件。將兩次輸出與您的「好」定義進行比較，衡量其差距。
- 探測二：迷失在中間。取一份較長的文件（或拼貼幾段參考材料）。將一項具體且重要的指示埋藏在文件中間。提出一個正確答案取決於該埋藏指示的問題。AI 有抓到它嗎？現在將該指示移到最上方，再問一次。比較結果。
- 探測三：空白狀態。進行一段簡短的交流，教導 AI 一些關於您工作背景的具體資訊，或糾正它做錯的某件事。然後開啟一個全新的對話，提出一個假設它記得您所教導內容的問題。觀察它從零開始的情況。
回到您的任務清單，加上第三項註記：哪些任務需要建立常駐上下文（一個專案、已儲存的指示、上傳的參考文件）才值得執行，哪些任務在冷啟動下也能運作良好？
進階挑戰：如果您的工具具有記憶或專案功能，請用探測一的上下文建立一個。再次執行該任務，比較其與冷啟動版本相比的投入與品質。
課程反思
- 前置上下文對輸出品質的改變有多大？這個差距是否比您預期的更大？
- 本週您會建立哪一項常駐上下文，以避免重複向 AI 解釋自己？
接下來
最後一項特性：可操控性。當您給出指示時，您實際上掌控了多少？這種控制又會在何處失效？