在企业数字化转型浪潮中,如何有效管理和利用内部知识资产已成为关键挑战。随着大型语言模型(LLM)技术的成熟,检索增强生成(RAG)应用正逐渐成为连接企业知识与AI能力的重要桥梁。然而,传统RAG实现常面临检索质量不佳、实时更新困难等痛点问题。
本文将通过实战案例,详细介绍如何基于模型上下文协议(MCP)构建一套高性能企业RAG系统,帮助企业快速打造智能知识库应用。
MCP与传统RAG对比优势
传统RAG方案的局限
传统RAG实现通常采用简单的"Embedding+检索+LLM生成"架构,存在以下限制:
- 紧耦合架构:检索逻辑与LLM调用紧密耦合,难以独立优化
- 单一检索策略:通常只采用向量检索,缺乏多种检索方式结合
- 缺乏标准化接口:各实现间接口差异大,难以实现功能复用
- 维护成本高:系统升级需要修改大量底层代码
MCP解决方案的优势
基于MCP的RAG系统通过标准化协议,将知识检索服务解耦为独立模块,带来以下优势:
- 标准化工具调用:MCP提供统一接口规范,降低集成成本
- 解耦设计:将模型调用与业务逻辑分离,便于独立升级和维护
- 灵活扩展:轻松添加新数据源和功能模块,如混合检索、多模态内容等
- 工程实践友好:符合软件工程最佳实践,便于团队协作开发
- 图片源自 dailydoseofds
项目背景与需求
现代企业面临的知识管理挑战主要表现在以下几个方面:
- •知识分散:企业文档分布在多个系统中,缺乏统一检索入口
- •检索效率低:传统关键词检索无法理解语义,难以准确找到所需信息
- •知识更新慢:知识库更新依赖人工整理,无法及时反映最新情况
- •使用门槛高:专业术语和复杂查询语法提高了普通员工使用难度
针对这些问题,我们需要设计一个系统满足以下核心需求:
- 智能检索:支持自然语言提问,理解问题意图和上下文
- 知识自动化处理:实现文档智能拆分、FAQ自动提取
- 灵活扩展:支持多种数据源和模型集成
- 易于部署与维护:架构简洁,便于技术团队掌握和迭代
项目目标
本项目旨在构建一个基于MCP的企业RAG系统,实现以下具体目标:
- 技术目标
- • 构建支持MCP协议的知识库服务和客户端
- • 实现文档智能切分、FAQ自动提取功能
- • 支持复杂问题的拆解和混合检索策略
- 应用目标
- • 提供统一的知识库管理和检索入口
- • 显著提升企业内部知识检索准确率(目标90%以上)
- • 减少70%知识库维护工作量
- • 支持企业各类文档的智能处理和检索
项目系统设计与实现
本项目系统设计参考自alibabacloud-tablestore-mcp-server[1],由于
alibabacloud-tablestore-mcp-server项目使用Tablestore存储和Java实现的MCP Server,不方便于后期扩展和迭代。本项目改造为Milvus存储和Python实现MCP Server和MCP Client,代码全部重写(cursor帮忙不少)。
以下设计和流程皆为
alibabacloud-tablestore-mcp-server内容,在此感谢@xjtushilei 开源的alibabacloud-tablestore-mcp-server。
我们构建的基于MCP的RAG系统主要包含三个核心部分:
- 知识库服务(MCP Server):基于Milvus向量数据库实现的后端服务,负责文档存储和检索
- 客户端工具(MCP Client):与MCP Server通信的客户端,实现知识库的构建和检索功能
- 大模型集成:通过LLM实现文档切分、FAQ提取、问题拆解和回答生成等核心功能
流程图
主要分为两部分:知识库构建和检索。
- 知识库构建
- 文本切段:对文本进行切段,切段后的内容需要保证文本完整性以及语义完整性。
- 提取 FAQ:根据文本内容提取 FAQ,作为知识库检索的一个补充,以提升检索效果。
- 导入知识库:将文本和 FAQ 导入知识库,并进行 Embedding 后导入向量。
- 知识检索(RAG)
- 问题拆解:对输入问题进行拆解和重写,拆解为更原子的子问题。
- 检索:针对每个子问题分别检索相关文本和 FAQ,针对文本采取向量检索,针对 FAQ 采取全文和向量混合检索。
- 知识库内容筛选:针对检索出来的内容进行筛选,保留与问题最相关的内容进行参考回答。
相比传统的 Naive RAG,在知识库构建和检索分别做了一些常见的优化,包括 Chunk 切分优化、提取 FAQ、Query Rewrite、混合检索等。
流程
流程图
本Agent整体架构分为三个部分:
- 知识库:内部包含 Knowledge Store 和 FAQ Store,分别存储文本内容和 FAQ 内容,支持向量和全文的混合检索。
- MCP Server:提供对 Knowledge Store 和 FAQ Store 的读写操作,总共提供 4 个 Tools。
- **功能实现部分:**完全通过 Prompt + LLM 来实现对知识库的导入、检索和问答这几个功能。
项目结构
项目结构分为两部分:
milvus-mcp-client:Python 实现的 Client 端,实现了与大模型进行交互,通过 MCP Client 获取 Tools,根据大模型的反馈调用 Tools 等基本能力。通过 Prompt 实现了知识库构建、检索和问答三个主要功能。
- **
milvus-mcp-server:** Python 实现的 Server 端,基于 MCP 框架实现的服务,提供了连接 Milvus 向量数据库的接口,支持知识库的存储和检索功能。
- **
项目实战:从零搭建MCP-RAG系统
接下来,我们将从环境搭建、服务部署到功能测试,全面介绍如何搭建一个基于MCP的RAG系统。
环境准备
首先,确保满足以下系统要求:
- • Docker 和 Docker Compose
- • 至少 4CPU、4GB内存和20GB磁盘空间
- • 克隆代码
git clone -b rag_0.1.1 https://github.com/FlyAIBox/mcp-in-action.git
部署MCP Server
MCP Server基于Milvus向量数据库,提供了知识库的存储和检索功能。
对于需要进行开发或调试的场景,可以选择本地部署:
# 进入项目目录cd mcp-rag# 先启动Milvus及依赖服务docker compose up -d etcd minio standalone# 创建Python虚拟环境python -m venv env-mcp-ragsource env-mcp-rag/bin/activate # 安装依赖pip install -r requirements.txt# 启动服务python -m app.mainMCP Server的核心API
MCP Server提供四个核心工具,支持知识库的读写操作:
- storeKnowledge:存储文档到知识库
- searchKnowledge:在知识库中搜索相似文档
- storeFAQ:存储FAQ到FAQ库
- searchFAQ:在FAQ库中搜索相似问答对
让我们看看这些API的实际实现原理:
async defstore_knowledge(self, content: str, metadata: Dict[str, Any] = None) -> Dict[str, Any]: """存储知识内容到Milvus""" # 确保服务准备就绪 awaitself.ready_for_connections() try: knowledge_content = KnowledgeContent( content=content, metadata=metadata or {} ) self.milvus_service.store_knowledge(knowledge_content) return {"status": "success", "message": "Knowledge stored successfully"} except Exception as e: logger.error(f"Error storing knowledge: {e}") return {"status": "error", "message": str(e)}这段代码展示了storeKnowledge工具的实现:接收文本内容和元数据,创建知识内容对象,然后通过Milvus服务存储到向量数据库中。
基于MCP Client实现RAG客户端
接下来,我们需要实现一个RAG客户端,通过MCP协议与Server通信,实现知识库的构建和查询功能。
1. 知识库构建
- • 文本切分:对长文本进行智能切分,保证语义完整性
- • FAQ提取:从文档自动生成常见问题解答对
- • 向量化存储:将文本片段和FAQ转换为向量并存入Milvus
文本切分代码示例:
def _chunk_text(self, text: str) -> List[str]: """将文本分割成chunk,保证语义完整性""" chunks = [] # 处理文本小于chunk_size的简单情况 iflen(text) <= self.chunk_size: chunks.append(text) return chunks # 使用重叠策略分割文本 start = 0 while start < len(text): # 获取chunk结束位置 end = start + self.chunk_size # 调整结束位置,避免在句子中间切断 if end < len(text): # 寻找句子边界(句号、问号、感叹号) sentence_end = max( text.rfind('. ', start, end), text.rfind('? ', start, end), text.rfind('! ', start, end) ) # 如果找到句子结束,使用它作为chunk结束 if sentence_end > start: end = sentence_end + 1# 包含句号 # 添加chunk chunks.append(text[start:min(end, len(text))]) # 移动开始位置到下一个chunk,考虑重叠 start = end - self.chunk_overlap # 确保进度 if start >= len(text) or start <= 0: break return chunksFAQ提取,通过LLM实现:
async def_extract_faqs(self, text: str) -> List[Dict[str, str]]: """从文本中提取FAQ""" # 对过长文本进行分块处理 iflen(text) > 8000: chunks = self._chunk_text(text) faqs = [] for chunk in chunks: chunk_faqs = awaitself._extract_faqs(chunk) faqs.extend(chunk_faqs) return faqs # FAQ提取的提示模板 system_prompt = """你是一位专业的知识提取专家。你的任务是从文本中提取可能的常见问题(FAQ)。 这些问题应该是用户可能会问的关于文本内容的自然问题,答案应该能在文本中找到。 提取的FAQ应该覆盖文本中最重要的概念和信息。 请遵循以下规则: 1. 每个FAQ由一个问题和一个答案组成 2. 问题应该简短明了,直接针对主题 3. 答案应该全面但简洁,提供文本中的相关信息 4. 提取的FAQ数量应该基于文本长度和内容丰富度,通常不超过10个 5. 确保提取的FAQ相互之间不重复 6. 按照重要性排序,最重要的问题应该放在前面 输出格式必须是一个JSON数组,每个FAQ是一个包含"question"和"answer"字段的对象,例如: [ { "question": "问题1?", "answer": "答案1" }, { "question": "问题2?", "answer": "答案2" } ] 只输出JSON格式,不要有任何其他文本。""" user_prompt = f"""从以下文本中提取常见问题(FAQ): ```{text} ```请提取最相关、最有价值的FAQ,并按JSON格式返回。""" # 使用LLM提取FAQ response = self.llm_client.sync_generate( prompt=text, system_prompt=system_prompt, temperature=0.3 ) # 解析LLM响应获取FAQ # ...2. 知识检索优化
与传统RAG不同,我们在检索环节引入了问题拆解、混合检索和结果筛选三个优化机制。
- • 问题拆解:将复杂问题拆解为多个子问题
- • 混合检索:同时检索文本库和FAQ库,提高召回率
- • 结果筛选:对检索结果进行排序和筛选,优先保留高质量内容
问题拆解示例:
async def_decompose_question(self, question: str) -> List[str]: """将复杂问题分解为更简单的子问题""" system_prompt = """你是一位问题分析专家。你的任务是将复杂问题分解为更简单的子问题,以便更好地检索相关信息。 请遵循以下规则: 1. 分析用户的问题,识别其中包含的不同方面或概念 2. 将复杂问题拆分成更简单、更具体的子问题 3. 确保子问题覆盖原始问题的所有关键方面 4. 提供2-4个子问题,具体数量取决于原始问题的复杂度 5. 子问题应该是明确的、有针对性的 6. 子问题之间应该尽量避免重复 输出格式必须是一个JSON数组,包含所有子问题的字符串,例如: ["子问题1", "子问题2", "子问题3"] 如果原始问题已经足够简单,不需要分解,则返回只包含原始问题的JSON数组: ["原始问题"] 只输出JSON格式,不要有任何其他文本。""" user_prompt = f"""请将以下问题分解为更简单的子问题以便检索:{question}""" # 使用LLM生成子问题 response = self.llm_client.sync_generate( prompt=user_prompt, system_prompt=system_prompt, temperature=0.3 ) # 解析响应获取子问题列表 # ...结果筛选与生成回答的关键代码:
async def_filter_context(self, question: str, context_items: List[Dict[str, Any]]) -> List[Dict[str, Any]]: """根据问题相关性筛选上下文""" # 简单筛选:去重和截断 seen_contents = set() filtered_items = [] # 优先处理FAQ类型 faq_items = [item for item in context_items if item["type"] == "faq"] knowledge_items = [item for item in context_items if item["type"] == "knowledge"] # 先处理FAQ项 for item in faq_items: # 去重处理 # ... # 再处理知识项 for item in knowledge_items: # 去重处理 # ... # 限制上下文项总数 max_context_items = 6 iflen(filtered_items) > max_context_items: filtered_items = filtered_items[:max_context_items] return filtered_items实际效果展示
部署完成后,让我们看看系统的实际运行效果:
1. 知识库构建
python -m app.main build --file test.md --title "RAG基本介绍" --author "企业知识库" --tags "LLM,RAG,知识库"执行结果:
plaintext 2025-05-11 14:50:16 | INFO | app.knowledge_builder:build_from_text:52 - Split text into 2 chunks2025-05-11 14:50:59 | INFO | app.knowledge_builder:build_from_text:72 - Extracted 8 FAQs from text2025-05-11 14:51:00 | INFO | __main__:build_knowledge_base:48 - Stored 2/2 chunks to knowledge base2025-05-11 14:51:00 | INFO | __main__:build_knowledge_base:50 - Extracted and stored 8 FAQs借助attu查看知识库构建结果
2. 知识检索问答
python -m app.main query --question "RAG相比企业传统的知识库有什么优势和缺点"执行结果:
2025-05-11 15:01:46 | INFO | app.knowledge_retriever:query:39 - Decomposed question into 4 sub-questions2025-05-11 15:01:47 | INFO | app.knowledge_retriever:query:67 - Filtered 28 context items to 6================================================================================问题: RAG相比企业传统的知识库有什么优势和缺点--------------------------------------------------------------------------------回答: 检索增强生成(RAG)是一种通过整合训练数据之外的权威知识库来优化大型语言模型(LLM)输出的技术。其核心在于允许LLM在生成响应前动态访问特定领域或组织的内部知识库,例如实时数据源、文档或专业数据库,而无需对模型本身进行重新训练。这种方式通过引入外部信息,显著提升了生成内容的相关性、准确性及实用性,同时保留了LLM的灵活性和泛化能力。================================================================================知识检索问答
实施建议与最佳实践
根据实际项目经验,我们总结了以下最佳实践:
- 文档处理策略
- • 合理设置文本切分的大小(1000-1500字符)和重叠率(200-300字符)
- • 根据文档类型调整切分策略,技术文档和叙述性文档要区别对待
- • 保留文档原始格式信息作为元数据,提升检索精度
- 检索优化技巧
- • 使用混合检索(语义+关键词)提高召回率
- • 在问题拆解环节设置合理的子问题数量(2-4个)
- • 限制总上下文数量(5-8个)避免信息过载
- 系统集成要点
- • 选择合适的向量模型
- • 针对实时更新需求设计增量索引策略
- • 添加监控和日志记录,及时发现并解决问题
总结与展望
基于MCP实现的RAG系统代表了知识库建设的新方向。通过模型上下文协议,我们不仅解决了传统RAG系统中的诸多痛点,还为企业提供了一种低成本、高效率的知识管理方案。
未来,随着大模型技术的进步和MCP标准的完善,我们可以期待更多创新功能的出现:
- • 多模态内容的支持(图像、音频、视频等)
- • 更精准的实时知识更新机制
- • 基于用户反馈的自适应检索优化
对于企业而言,现在正是开始探索和应用这一技术的最佳时机。通过MCP-RAG,企业可以充分挖掘自身知识资产的价值,为员工和客户提供更智能、更精准的信息服务。
参考资源
- 模型上下文协议(MCP)官方文档[2]
- Milvus向量数据库可视化客户端Attu[3]
- MCP-RAG实战代码仓库[4]
欢迎感兴趣的开发者访问项目仓库,体验和改进这一开源解决方案: https://github.com/FlyAIBox/mcp-in-action/tree/rag_0.1.1/mcp-rag
想入门 AI 大模型却找不到清晰方向?备考大厂 AI 岗还在四处搜集零散资料?别再浪费时间啦!2025 年AI 大模型全套学习资料已整理完毕,从学习路线到面试真题,从工具教程到行业报告,一站式覆盖你的所有需求,现在全部免费分享!
👇👇扫码免费领取全部内容👇👇
一、学习必备:100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT,帮你看透 AI 趋势
想了解大模型的行业动态、商业落地案例?大模型电子书?这份资料帮你站在 “行业高度” 学 AI:
1. 100+本大模型方向电子书
2. 26 份行业研究报告:覆盖多领域实践与趋势
报告包含阿里、DeepSeek 等权威机构发布的核心内容,涵盖:
- 职业趋势:《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》;
- 商业落地:《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》;
- 领域细分:《AGI 在金融领域的应用报告》《AI GC 实践案例集》;
- 行业监测:《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。
3. 600+套技术大会 PPT:听行业大咖讲实战
PPT 整理自 2024-2025 年热门技术大会,包含百度、腾讯、字节等企业的一线实践:
- 安全方向:《端侧大模型的安全建设》《大模型驱动安全升级(腾讯代码安全实践)》;
- 产品与创新:《大模型产品如何创新与创收》《AI 时代的新范式:构建 AI 产品》;
- 多模态与 Agent:《Step-Video 开源模型(视频生成进展)》《Agentic RAG 的现在与未来》;
- 工程落地:《从原型到生产:AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。
二、求职必看:大厂 AI 岗面试 “弹药库”,300 + 真题 + 107 道面经直接抱走
想冲字节、腾讯、阿里、蔚来等大厂 AI 岗?这份面试资料帮你提前 “押题”,拒绝临场慌!
1. 107 道大厂面经:覆盖 Prompt、RAG、大模型应用工程师等热门岗位
面经整理自 2021-2025 年真实面试场景,包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题,每道题都附带思路解析:
2. 102 道 AI 大模型真题:直击大模型核心考点
针对大模型专属考题,从概念到实践全面覆盖,帮你理清底层逻辑:
3. 97 道 LLMs 真题:聚焦大型语言模型高频问题
专门拆解 LLMs 的核心痛点与解决方案,比如让很多人头疼的 “复读机问题”:
![]()
三、路线必明: AI 大模型学习路线图,1 张图理清核心内容
刚接触 AI 大模型,不知道该从哪学起?这份「AI大模型 学习路线图」直接帮你划重点,不用再盲目摸索!
路线图涵盖 5 大核心板块,从基础到进阶层层递进:一步步带你从入门到进阶,从理论到实战。
L1阶段:启航篇丨极速破界AI新时代
L1阶段:了解大模型的基础知识,以及大模型在各个行业的应用和分析,学习理解大模型的核心原理、关键技术以及大模型应用场景。
L2阶段:攻坚篇丨RAG开发实战工坊
L2阶段:AI大模型RAG应用开发工程,主要学习RAG检索增强生成:包括Naive RAG、Advanced-RAG以及RAG性能评估,还有GraphRAG在内的多个RAG热门项目的分析。
L3阶段:跃迁篇丨Agent智能体架构设计
L3阶段:大模型Agent应用架构进阶实现,主要学习LangChain、 LIamaIndex框架,也会学习到AutoGPT、 MetaGPT等多Agent系统,打造Agent智能体。
L4阶段:精进篇丨模型微调与私有化部署
L4阶段:大模型的微调和私有化部署,更加深入的探讨Transformer架构,学习大模型的微调技术,利用DeepSpeed、Lamam Factory等工具快速进行模型微调,并通过Ollama、vLLM等推理部署框架,实现模型的快速部署。
L5阶段:专题集丨特训篇 【录播课】
![]()
四、资料领取:全套内容免费抱走,学 AI 不用再找第二份
不管你是 0 基础想入门 AI 大模型,还是有基础想冲刺大厂、了解行业趋势,这份资料都能满足你!
现在只需按照提示操作,就能免费领取:
👇👇扫码免费领取全部内容👇👇
2025 年想抓住 AI 大模型的风口?别犹豫,这份免费资料就是你的 “起跑线”!