多搜索 RAG 管道 · 通过 Amazon Bedrock 使用 Claude

当您同时拥有独立运行的语义搜索（向量嵌入）和词法搜索（BM25）时，下一步就是将它们组合成一个统一的搜索管道。这种混合方法利用了两种方法的优势，从而提供更准确的结果。

构建统一接口

两种搜索实现共享几乎相同的 API——它们都有 add_document() 和 search() 方法。这种一致性使得将它们封装在一个单一的 Retriever 类中变得非常简单，该类负责协调这两种方法。

Retriever 充当协调者，负责：

接收用户的问题
将其转发给 VectorIndex 和 BM25Index
收集来自两个系统的结果
使用排名算法合并结果

倒数排名融合

挑战在于合并来自不同搜索方法的结果。每个系统返回的结果使用不同的评分机制，因此您不能简单地直接合并分数。相反，我们使用一种称为倒数排名融合（Reciprocal Rank Fusion，RRF）的技术。

下面通过一个实际示例来说明 RRF 的工作原理。假设您的 VectorIndex 返回的结果排名为：Section 2、Section 7、Section 6。同时，您的 BM25Index 返回：Section 6、Section 2、Section 7。

要合并这些结果，您需要创建一个组合表，显示每个文本块在两个系统中的排名：

RRF 公式为每个文档计算一个分数：

RRF_score(d) = Σ(1 / (k + rank_i(d)))

其中 k 是一个常数（通常为 60，不过 1 在结果更清晰时效果也很好），rank_i(d) 是文档 d 在第 i 个排名系统中的排名。

对于每个文本块，您可以计算：

Section 2：1.0/(1+1) + 1.0/(1+2) = 0.833
Section 7：1.0/(1+2) + 1.0/(1+3) = 0.583
Section 6：1.0/(1+3) + 1.0/(1+1) = 0.75

按分数排序后，最终排名为：Section 2（第一）、Section 6（第二）、Section 7（第三）。

实现

Retriever 类的实现非常简单：

python

class Retriever:
    def __init__(self, *indexes):
        self._indexes = list(indexes)
    
    def add_document(self, document):
        for index in self._indexes:
            index.add_document(document)
    
    def search(self, query_text, k=1, k_rrf=60):
        # 从所有索引获取结果
        all_results = []
        for idx, results in enumerate(all_results):
            for rank, (doc, _) in enumerate(results):
                # 跨系统跟踪文档排名
                # 应用 RRF 公式
                # 返回合并并排序后的结果