檢索增強生成（Retrieval Augmented Generation，RAG）是一種技術，能協助您處理大型文件，方法是將文件拆分成較小的片段，並只將每個問題最相關的片段提供給 Claude。RAG 不會讓模型被整份 800 頁的財務報告淹沒，而是讓您只擷取與回答特定查詢相關的部分。
大型文件的問題
當您有一份龐大的文件，並想向 Claude 詢問關於該文件的特定問題時，您會面臨一個根本性的挑戰：如何在不超出限制或降低效能的情況下，將正確的資訊提供給 Claude？
以一份冗長的財務文件為例，假設您詢問「這家公司有哪些風險因素？」。文件中包含答案，但 Claude 需要存取相關內容才能協助您。
選項一：將所有內容放入提示中
最直接的方法是從文件中擷取所有文字，並將其全部塞進單一提示中：
這種方法有嚴重的限制：
- 嚴格的 token 限制意味著非常長的文件根本無法容納
- 提示過長時，Claude 的效果會變差
- 較大的提示會花費更多金錢，且處理時間更長
- 當需要篩選的資訊過多時，效能會下降
選項二：將文件拆分成片段
RAG 採用更聰明的方法，先將文件預處理成可管理的片段，然後只針對每個問題檢索相關的片段。
運作方式如下：
- 將文件拆分成較小的片段（策略展望、風險因素、資產負債表等）
- 當使用者提出問題時，分析他們想要尋找的內容
- 找出與其問題最相關的片段
- 只將這些相關片段納入提供給 Claude 的提示中
對於有關公司風險的問題，系統會識別並檢索「風險因素」片段，為 Claude 提供聚焦且相關的上下文，而非整份文件。
RAG 的優點
- Claude 可以只專注於最相關的內容
- 可擴展至非常大型的文件及多份文件
- 可跨文件集合運作，而不僅限於單一檔案
- 較小的提示意味著更快的處理速度及更低的成本
RAG 的挑戰
RAG 帶來了您需要管理的複雜性：
- 需要一個預處理步驟來分割文件
- 需要一個搜尋機制來找出相關片段
- 檢索到的片段可能不包含所有必要的上下文
- 有許多不同的文字分割方式——哪種方法最有效？
您可以依照等分、依標題與章節、依語意，或其他策略來分割文件。每種方法都有取捨，您需要針對特定使用情境進行評估。
何時使用 RAG
當您處理大型文件或文件集合，且使用者提出的特定問題只需要部分內容即可回答時，RAG 便能發揮優勢。當您需要擴展超出單一提示所能容納的範圍、想要更快的回應速度，或是需要管理多次查詢的成本時，預處理的複雜性便值得投入。
關鍵在於分析實作分割、搜尋及檢索所帶來的技術開銷，是否適合您的特定應用程式。有時候，簡單的「將所有內容塞進提示」方法就已經足夠——但在其他情況下，RAG 則成為讓您的系統實用且高效運作的關鍵。