載入中

提示快取是一項功能,透過重複使用先前請求的運算工作,加快 Claude 的回應速度並降低文本生成的成本。Claude 不會在每次請求後丟棄所有處理工作,而是可以在您再次傳送類似內容時儲存並重複使用這些工作。

Claude 通常如何處理請求

為了理解提示快取,讓我們先看看在未啟用快取的情況下,典型請求期間會發生什麼事。

當您向 Claude 傳送訊息時,它不會立即開始生成回應。相反,Claude 會對您的輸入進行大量的預處理工作:

  • 將提示分詞成較小的片段
  • 為每個 token 建立嵌入
  • 根據周圍文本新增上下文
  • 只有在此之後才生成實際的輸出文本

在向您傳送回應後,Claude 會丟棄所有這些運算工作——分詞、嵌入和上下文分析全部都會被捨棄。

丟棄工作的問題

當您提出包含相同內容的後續請求時,這會變得沒有效率。例如,在一個對話中,您要求 Claude 精煉同一段長文本的摘要:

Claude 必須對它剛剛分析過的內容重複進行所有相同的預處理工作。Claude 可能會這樣想:「我剛剛處理過那則訊息,卻丟棄了我所做的所有工作——我本來可以重複使用它的!」

提示快取如何解決這個問題

提示快取透過儲存預處理工作而非丟棄它,改變了這個工作流程:

當您發出初始請求時,Claude 會執行所有常規的預處理工作,但會將結果儲存在快取中,而不是丟棄它們。快取就像一個查找表,表示「如果我再次看到這則訊息,我會重複使用我已經完成的這項工作。」

主要優點與限制

提示快取提供了幾項優勢:

  • 更快的回應: 使用快取內容的請求執行速度更快
  • 更低的成本: 您為請求中快取的部分支付較少的費用
  • 自動優化: 初始請求會寫入快取,後續請求則從快取中讀取

然而,有一些重要的限制需要留意:

  • 快取持續時間: 預設情況下,快取內容的存續時間為 5 分鐘,每次重複使用都會重新整理該計時器,且不會產生額外費用。您可以選擇將存續時間延長至 1 小時,但這會產生較高的快取寫入價格。
  • 有限的使用情境: 只有在您重複傳送相同內容時才有益處
  • 高頻率要求: 當相同內容在您的請求中極其頻繁出現時最為有效

提示快取最適合用於文件分析工作流程等情境,例如您針對同一份大型文件提出多個問題,或是基礎內容保持不變而您精煉特定方面的迭代編輯任務。