提示快取是一項功能，透過重複使用先前請求的運算工作，加快 Claude 的回應速度並降低文本生成的成本。為了理解這是如何運作的，讓我們先看看在一般請求中，Claude 內部通常會發生什麼事。
Claude 通常如何處理請求
當您向 Claude 發送訊息時，在您收到回應之前，幕後會發生許多事情。Claude 不會立即開始生成文本——它首先會對您的輸入訊息進行大量的處理工作。
以下是 Claude 對您的訊息所做的事情：
- 將提示進行分詞（tokenize）
- 為每個 token 建立嵌入（embeddings）
- 根據周圍文本添加上下文
- 生成輸出文本
所有這些預處理工作都發生在 Claude 生成任何實際回應之前。一旦 Claude 完成處理您的請求並送回回應，它就會丟棄剛剛完成的所有運算工作。
丟棄工作所帶來的問題
當您與 Claude 進行對話時，這會造成一種低效率。假設您發出一個後續請求，其中包含先前的相同訊息、Claude 先前的回應，以及一則用於延續對話的新訊息。
當 Claude 再次看到原始訊息時，它必須重新執行剛剛丟棄的所有相同運算工作。Claude 基本上會這樣想：「我剛剛處理過這則完全相同的訊息並完成了所有這些工作，然後把它丟掉了。現在我必須重新做一遍。」
提示快取如何解決這個問題
提示快取透過儲存運算工作而不是丟棄它，來解決這種低效率問題。以下是其運作方式：
當 Claude 處理您的初始請求時，它不會丟棄所有的預處理工作，而是將這些工作儲存在快取中。快取的作用就像一個查找表，將特定的輸入訊息對應到其相應的運算結果。
當您發出包含相同內容的後續請求時，Claude 可以檢查其快取，並重複使用先前的工作，而不是從頭開始。
主要優點與限制
提示快取提供了幾項優勢：
- 使用快取內容的請求執行起來更便宜、更快速
- 初始請求會寫入快取
- 後續請求可以從快取中讀取
- 快取的存活時間為 5 分鐘
- 僅在您重複發送相同內容時才有用（但這種情況其實非常頻繁發生）
快取的存活時間為 5 分鐘，因此對於在短時間內發出多個具有重疊內容的請求的對話或工作流程來說，它最為有益。這種模式在實際應用中其實非常常見——想想聊天機器人、文件分析工具，或任何維持對話上下文的系統。
提示快取特別有價值，因為許多 AI 應用程式確實會重複發送相同的內容。無論是系統提示、對話歷史，還是正在分析的大型文件，相同的文本往往會在一個會話中的多個請求中出現。