上下文退化
當更多上下文反而讓事情變得更糟時
使用 AI 時的一種自然直覺是給它所有東西。貼上整份文件。包含每一則訊息。加入您能找到的所有上下文。更多資訊意味著更好的答案，對吧？
並非總是如此。有一種現象，任何曾為考試臨時抱佛腳的人都能直覺地理解：您一次能記住的內容是有限的。而位於中間的內容往往最先消失。
在我們討論這如何影響 AI 模型之前，讓我們先看看它如何影響您。
記憶測試
U 形曲線
您剛剛經歷的現象有一個名稱：序列位置效應。心理學家已經研究這個現象超過一個世紀。列表開頭的項目受益於初始效應（它們被複誦得更多），而結尾的項目受益於新近效應（它們仍然記憶猶新）。中間的項目則兩者皆無。
令人驚訝的部分是：大型語言模型表現出相同的模式。2023 年，史丹佛大學的研究人員測試了當您將一個關鍵事實放置在長上下文視窗中不同位置時會發生什麼。當事實出現在最開頭或最結尾時，準確度最高——而當它被埋在中間時，準確度下降了超過 30%。
這不是一個怪癖。這是結構性的。Transformer 的注意力模式自然會更重視上下文視窗的邊緣部分。
這對提示撰寫意味著什麼
如果您將一份 20 頁的文件貼入提示中，並詢問關於第 11 頁某個內容的問題，模型更有可能錯過它，而不是第 1 頁或第 20 頁的內容。這對您如何組織上下文有實際的影響。
實用的建議很直接：將您最重要的指示放在上下文的開頭和結尾。如果有一個限制條件絕對必須被遵守，請在系統提示的早期陳述它，並在接近結尾處再次陳述。不要依賴模型對中間所有內容給予同等的重視。
這只是起點，不是上限。隨著您越來越熟練，您會發現越來越精巧的方式來組織上下文，讓模型能可靠地理解什麼才重要——善用資訊在視窗中的位置、該包含什麼與該刪減什麼，以及如何防止關鍵指示滑入死角區域。目標始終如一：讓 Claude 清楚明白您真正需要的是什麼。
更大的圖景
上下文退化正是「只要給它更多上下文」並非總是答案的原因。您加入的每一段上下文都會將其他內容推得更靠近中間——也就是注意力的死角區域。這正是上下文工程的核心張力：不僅是要包含什麼，還有要放在哪裡、要省略什麼。
您自己的記憶測試已經告訴您這一點了。中間的詞語消失了。同樣的事情也發生在每一次長對話、每一份貼上的文件、每一個被填滿到極限的上下文視窗之中。解決方法不是更多——而是更聰明。