混合检索权重（向量 vs 关键词）

文章目录混合检索权重向量 vs 关键词总结一、核心结论二、考察点三、两种检索方式本质对比1️⃣ 向量检索Semantic Search特点适用场景2️⃣ 关键词检索BM25等特点适用场景四、为什么必须混合检索五、权重设计核心❌ 错误回答✅ 正确回答✔ 原则 经验权重参考 本质逻辑六、工程实现方式重点加分1️⃣ 并行召回 重排序主流2️⃣ 分数加权融合3️⃣ RRF推荐4️⃣ 动态权重进阶七、容易忽略的关键点⚠️ 1. 分数不可直接比⚠️ 2. 不只是权重问题⚠️ 3. Embedding能力限制八、标准回答结构九、一句话记忆十、补充高级点✅ 最终总结混合检索权重向量 vs 关键词总结一、核心结论没有固定权重必须根据场景动态调整二、考察点是否理解两种检索本质差异是否理解不同Query适配不同检索方式是否具备系统设计能力而非拍脑袋调权重 关键不是“说比例”而是“解释为什么这样设计”三、两种检索方式本质对比1️⃣ 向量检索Semantic Search特点语义匹配理解意思支持同义词、模糊表达适用场景FAQ / 问答系统自然语言问题表达多样、语义相近2️⃣ 关键词检索BM25等特点精确匹配字面匹配对结构化词敏感适用场景错误码 / 编号 / 产品型号法条 / 医疗术语精确查询需求四、为什么必须混合检索 单一方式都有缺陷只用向量 →精确匹配弱只用关键词 →语义理解弱 结论必须 Hybrid Search语义 精确五、权重设计核心❌ 错误回答“7:3 / 6:4”✅ 正确回答✔ 原则没有固定权重根据Query类型 数据特征动态调整 经验权重参考场景向量检索关键词检索自然语言问答70%30%通用知识库50%50%术语/编号密集30%70% 本质逻辑Query越“语义化” → 向量权重大Query越“精确化” → 关键词权重大六、工程实现方式重点加分1️⃣ 并行召回 重排序主流向量检索 关键词检索 → 合并 → Reranker排序✔ 优点简单稳定不依赖权重精调2️⃣ 分数加权融合向量分数 BM25分数加权需要归一化3️⃣ RRF推荐Rank融合不依赖分数工程稳定性强4️⃣ 动态权重进阶根据Query自动判断类型动态调整权重七、容易忽略的关键点⚠️ 1. 分数不可直接比向量分数 vs BM25分数 →必须归一化⚠️ 2. 不只是权重问题还包括重排序RerankQuery理解数据结构⚠️ 3. Embedding能力限制垂直领域 → 向量效果可能差需提高关键词权重八、标准回答结构 推荐回答顺序先说结论没有固定权重讲原理两种检索的差异讲场景不同Query适配不同策略讲工程实现Hybrid Rerank 动态权重九、一句话记忆混合检索本质用向量解决“理解问题”用关键词解决“精确问题”十、补充高级点Query分类intent classification多路召回multi-retrieverRerank模型cross-encoderA/B测试调权重指标RecallK / MRR✅ 最终总结 不要说“权重是7:3” 要说权重没有固定值需要根据Query类型和数据特征动态调整同时通过混合召回重排序来保证整体检索效果最优。