宁波市网站建设_网站建设公司_产品经理_seo优化
2026/1/12 20:53:11 网站建设 项目流程

RAG(检索增强生成):检索方式、文档切片(Chunking)的实现逻辑


目录

    • 一、RAG的核心检索方式
      • 1. 基于向量的检索(Vector Retrieval)
        • 核心原理
        • 实现方式
        • 代码实例(基于Chroma+Sentence-BERT)
      • 2. 关键词检索(Keyword Retrieval)
        • 核心原理
        • 实现方式
        • 代码实例(基于Elasticsearch+BM25)
      • 3. 混合检索(Hybrid Retrieval)
        • 核心原理
        • 实现实例(RRF融合)
      • 4. 知识图谱检索(Knowledge Graph Retrieval)
        • 核心原理
        • 实现方式
        • 实例(Neo4j+Cypher查询)
      • 5. 多模态检索(Multimodal Retrieval)
        • 核心原理
        • 实现实例(CLIP检索图文)
    • 二、RAG中文档切片(Chunking)的实现
      • 1. 核心原理
      • 2. 主流切片策略
        • 策略1:固定长度切片
        • 策略2:语义感知切片(智能版):LangChain+RecursiveCharacterTextSplitter
        • 策略3:结构化切片(专业版):LangChain+PDFLoader
    • 三、流行的RAG方案
      • 1. 基础RAG(LangChain + 向量库 + LLM)
        • 核心原理
      • 2. RAG-Fusion(多查询融合)
        • 核心原理
      • 3. HyDE(假设性文档嵌入)
        • 核心原理
      • 4. LlamaIndex(企业级RAG)
        • 核心原理
      • 5. 结构化RAG(知识图谱+向量检索)
        • 核心原理
      • 6. Agent-RAG(智能代理RAG)
        • 核心原理
    • 总结
      • 关键点回顾

一、RAG的核心检索方式

RAG的检索环节是“从知识库中找到与用户问题最相关的信息”,核心目标是高召回率(不漏掉相关信息)+ 高精度(不返回无关信息)。主流检索方式可分为5类,以下是每类的核心原理、实现方式和实例:

1. 基于向量的检索(Vector Retrieval)

核心原理

这是RAG最核心、最主流的检索方式。核心逻辑是:

  • 将用户问题和知识库中的文档片段(Chunk)都通过嵌入模型(Embedding Model)转换成高维向量(语义向量);
  • 计算用户问题向量与文档片段向量的相似度(常用余弦相似度、欧氏距离)
  • 按相似度排序,返回Top-N最相关的片段。
    本质是“语义层面的匹配”,而非字面匹配,能解决关键词检索的“一词多义/多词一义”问题。
实现方式
  • 嵌入模型:开源(BGE-base/zh、Sentence-BERT、m3e-base)、闭源(OpenAI text-embedding-ada-002);
  • 向量数据库:专门存储/检索向量的数据库(Milvus、Pinecone、Chroma、FAISS);
  • 核心步骤:文

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询