蚌埠市网站建设_网站建设公司_会员系统_seo优化
2025/12/31 11:01:24 网站建设 项目流程

在企业数字化转型浪潮中,如何有效管理和利用内部知识资产已成为关键挑战。随着大型语言模型(LLM)技术的成熟,检索增强生成(RAG)应用正逐渐成为连接企业知识与AI能力的重要桥梁。然而,传统RAG实现常面临检索质量不佳、实时更新困难等痛点问题。

本文将通过实战案例,详细介绍如何基于模型上下文协议(MCP)构建一套高性能企业RAG系统,帮助企业快速打造智能知识库应用。

MCP与传统RAG对比优势

传统RAG方案的局限

传统RAG实现通常采用简单的"Embedding+检索+LLM生成"架构,存在以下限制:

    1. 紧耦合架构:检索逻辑与LLM调用紧密耦合,难以独立优化
    1. 单一检索策略:通常只采用向量检索,缺乏多种检索方式结合
    1. 缺乏标准化接口:各实现间接口差异大,难以实现功能复用
    1. 维护成本高:系统升级需要修改大量底层代码

MCP解决方案的优势

基于MCP的RAG系统通过标准化协议,将知识检索服务解耦为独立模块,带来以下优势:

    1. 标准化工具调用:MCP提供统一接口规范,降低集成成本
    1. 解耦设计:将模型调用与业务逻辑分离,便于独立升级和维护
    1. 灵活扩展:轻松添加新数据源和功能模块,如混合检索、多模态内容等
    1. 工程实践友好:符合软件工程最佳实践,便于团队协作开发
  1. 图片源自 dailydoseofds

项目背景与需求

现代企业面临的知识管理挑战主要表现在以下几个方面:

  • 知识分散:企业文档分布在多个系统中,缺乏统一检索入口
  • 检索效率低:传统关键词检索无法理解语义,难以准确找到所需信息
  • 知识更新慢:知识库更新依赖人工整理,无法及时反映最新情况
  • 使用门槛高:专业术语和复杂查询语法提高了普通员工使用难度

针对这些问题,我们需要设计一个系统满足以下核心需求:

    1. 智能检索:支持自然语言提问,理解问题意图和上下文
    1. 知识自动化处理:实现文档智能拆分、FAQ自动提取
    1. 灵活扩展:支持多种数据源和模型集成
    1. 易于部署与维护:架构简洁,便于技术团队掌握和迭代

项目目标

本项目旨在构建一个基于MCP的企业RAG系统,实现以下具体目标:

    1. 技术目标
  • • 构建支持MCP协议的知识库服务和客户端
  • • 实现文档智能切分、FAQ自动提取功能
  • • 支持复杂问题的拆解和混合检索策略
    1. 应用目标
  • • 提供统一的知识库管理和检索入口
  • • 显著提升企业内部知识检索准确率(目标90%以上)
  • • 减少70%知识库维护工作量
  • • 支持企业各类文档的智能处理和检索

项目系统设计与实现

本项目系统设计参考自alibabacloud-tablestore-mcp-server[1],由于alibabacloud-tablestore-mcp-server项目使用Tablestore存储和Java实现的MCP Server,不方便于后期扩展和迭代。

本项目改造为Milvus存储和Python实现MCP Server和MCP Client,代码全部重写(cursor帮忙不少)。

以下设计和流程皆为alibabacloud-tablestore-mcp-server内容,在此感谢@xjtushilei 开源的alibabacloud-tablestore-mcp-server

我们构建的基于MCP的RAG系统主要包含三个核心部分:

    1. 知识库服务(MCP Server):基于Milvus向量数据库实现的后端服务,负责文档存储和检索
    1. 客户端工具(MCP Client):与MCP Server通信的客户端,实现知识库的构建和检索功能
    1. 大模型集成:通过LLM实现文档切分、FAQ提取、问题拆解和回答生成等核心功能

流程图

主要分为两部分:知识库构建和检索。

    1. 知识库构建
    1. 文本切段:对文本进行切段,切段后的内容需要保证文本完整性以及语义完整性。
    1. 提取 FAQ:根据文本内容提取 FAQ,作为知识库检索的一个补充,以提升检索效果。
    1. 导入知识库:将文本和 FAQ 导入知识库,并进行 Embedding 后导入向量。
    1. 知识检索(RAG)
    1. 问题拆解:对输入问题进行拆解和重写,拆解为更原子的子问题。
    1. 检索:针对每个子问题分别检索相关文本和 FAQ,针对文本采取向量检索,针对 FAQ 采取全文和向量混合检索。
    1. 知识库内容筛选:针对检索出来的内容进行筛选,保留与问题最相关的内容进行参考回答。

相比传统的 Naive RAG,在知识库构建和检索分别做了一些常见的优化,包括 Chunk 切分优化、提取 FAQ、Query Rewrite、混合检索等。

流程

流程图

本Agent整体架构分为三个部分:

    1. 知识库:内部包含 Knowledge Store 和 FAQ Store,分别存储文本内容和 FAQ 内容,支持向量和全文的混合检索。
    1. MCP Server:提供对 Knowledge Store 和 FAQ Store 的读写操作,总共提供 4 个 Tools。
    1. **功能实现部分:**完全通过 Prompt + LLM 来实现对知识库的导入、检索和问答这几个功能。

项目结构

项目结构分为两部分:

    1. milvus-mcp-clientPython 实现的 Client 端,实现了与大模型进行交互,通过 MCP Client 获取 Tools,根据大模型的反馈调用 Tools 等基本能力。通过 Prompt 实现了知识库构建、检索和问答三个主要功能。
    1. **milvus-mcp-server:** Python 实现的 Server 端,基于 MCP 框架实现的服务,提供了连接 Milvus 向量数据库的接口,支持知识库的存储和检索功能。

项目实战:从零搭建MCP-RAG系统

接下来,我们将从环境搭建、服务部署到功能测试,全面介绍如何搭建一个基于MCP的RAG系统。

环境准备

首先,确保满足以下系统要求:

  • • Docker 和 Docker Compose
  • • 至少 4CPU、4GB内存和20GB磁盘空间
  • • 克隆代码git clone -b rag_0.1.1 https://github.com/FlyAIBox/mcp-in-action.git

部署MCP Server

MCP Server基于Milvus向量数据库,提供了知识库的存储和检索功能。

对于需要进行开发或调试的场景,可以选择本地部署:

# 进入项目目录cd mcp-rag# 先启动Milvus及依赖服务docker compose up -d etcd minio standalone# 创建Python虚拟环境python -m venv env-mcp-ragsource env-mcp-rag/bin/activate # 安装依赖pip install -r requirements.txt# 启动服务python -m app.main

MCP Server的核心API

MCP Server提供四个核心工具,支持知识库的读写操作:

    1. storeKnowledge:存储文档到知识库
    1. searchKnowledge:在知识库中搜索相似文档
    1. storeFAQ:存储FAQ到FAQ库
    1. searchFAQ:在FAQ库中搜索相似问答对

让我们看看这些API的实际实现原理:

async defstore_knowledge(self, content: str, metadata: Dict[str, Any] = None) -> Dict[str, Any]: """存储知识内容到Milvus""" # 确保服务准备就绪 awaitself.ready_for_connections() try: knowledge_content = KnowledgeContent( content=content, metadata=metadata or {} ) self.milvus_service.store_knowledge(knowledge_content) return {"status": "success", "message": "Knowledge stored successfully"} except Exception as e: logger.error(f"Error storing knowledge: {e}") return {"status": "error", "message": str(e)}

这段代码展示了storeKnowledge工具的实现:接收文本内容和元数据,创建知识内容对象,然后通过Milvus服务存储到向量数据库中。

基于MCP Client实现RAG客户端

接下来,我们需要实现一个RAG客户端,通过MCP协议与Server通信,实现知识库的构建和查询功能。

1. 知识库构建
  • • 文本切分:对长文本进行智能切分,保证语义完整性
  • • FAQ提取:从文档自动生成常见问题解答对
  • • 向量化存储:将文本片段和FAQ转换为向量并存入Milvus

文本切分代码示例:

def _chunk_text(self, text: str) -> List[str]: """将文本分割成chunk,保证语义完整性""" chunks = [] # 处理文本小于chunk_size的简单情况 iflen(text) <= self.chunk_size: chunks.append(text) return chunks # 使用重叠策略分割文本 start = 0 while start < len(text): # 获取chunk结束位置 end = start + self.chunk_size # 调整结束位置,避免在句子中间切断 if end < len(text): # 寻找句子边界(句号、问号、感叹号) sentence_end = max( text.rfind('. ', start, end), text.rfind('? ', start, end), text.rfind('! ', start, end) ) # 如果找到句子结束,使用它作为chunk结束 if sentence_end > start: end = sentence_end + 1# 包含句号 # 添加chunk chunks.append(text[start:min(end, len(text))]) # 移动开始位置到下一个chunk,考虑重叠 start = end - self.chunk_overlap # 确保进度 if start >= len(text) or start <= 0: break return chunks

FAQ提取,通过LLM实现:

async def_extract_faqs(self, text: str) -> List[Dict[str, str]]: """从文本中提取FAQ""" # 对过长文本进行分块处理 iflen(text) > 8000: chunks = self._chunk_text(text) faqs = [] for chunk in chunks: chunk_faqs = awaitself._extract_faqs(chunk) faqs.extend(chunk_faqs) return faqs # FAQ提取的提示模板 system_prompt = """你是一位专业的知识提取专家。你的任务是从文本中提取可能的常见问题(FAQ)。 这些问题应该是用户可能会问的关于文本内容的自然问题,答案应该能在文本中找到。 提取的FAQ应该覆盖文本中最重要的概念和信息。 请遵循以下规则: 1. 每个FAQ由一个问题和一个答案组成 2. 问题应该简短明了,直接针对主题 3. 答案应该全面但简洁,提供文本中的相关信息 4. 提取的FAQ数量应该基于文本长度和内容丰富度,通常不超过10个 5. 确保提取的FAQ相互之间不重复 6. 按照重要性排序,最重要的问题应该放在前面 输出格式必须是一个JSON数组,每个FAQ是一个包含"question"和"answer"字段的对象,例如: [ { "question": "问题1?", "answer": "答案1" }, { "question": "问题2?", "answer": "答案2" } ] 只输出JSON格式,不要有任何其他文本。""" user_prompt = f"""从以下文本中提取常见问题(FAQ): ```{text} ```请提取最相关、最有价值的FAQ,并按JSON格式返回。""" # 使用LLM提取FAQ response = self.llm_client.sync_generate( prompt=text, system_prompt=system_prompt, temperature=0.3 ) # 解析LLM响应获取FAQ # ...
2. 知识检索优化

与传统RAG不同,我们在检索环节引入了问题拆解、混合检索和结果筛选三个优化机制。

  • • 问题拆解:将复杂问题拆解为多个子问题
  • • 混合检索:同时检索文本库和FAQ库,提高召回率
  • • 结果筛选:对检索结果进行排序和筛选,优先保留高质量内容

问题拆解示例:

async def_decompose_question(self, question: str) -> List[str]: """将复杂问题分解为更简单的子问题""" system_prompt = """你是一位问题分析专家。你的任务是将复杂问题分解为更简单的子问题,以便更好地检索相关信息。 请遵循以下规则: 1. 分析用户的问题,识别其中包含的不同方面或概念 2. 将复杂问题拆分成更简单、更具体的子问题 3. 确保子问题覆盖原始问题的所有关键方面 4. 提供2-4个子问题,具体数量取决于原始问题的复杂度 5. 子问题应该是明确的、有针对性的 6. 子问题之间应该尽量避免重复 输出格式必须是一个JSON数组,包含所有子问题的字符串,例如: ["子问题1", "子问题2", "子问题3"] 如果原始问题已经足够简单,不需要分解,则返回只包含原始问题的JSON数组: ["原始问题"] 只输出JSON格式,不要有任何其他文本。""" user_prompt = f"""请将以下问题分解为更简单的子问题以便检索:{question}""" # 使用LLM生成子问题 response = self.llm_client.sync_generate( prompt=user_prompt, system_prompt=system_prompt, temperature=0.3 ) # 解析响应获取子问题列表 # ...

结果筛选与生成回答的关键代码:

async def_filter_context(self, question: str, context_items: List[Dict[str, Any]]) -> List[Dict[str, Any]]: """根据问题相关性筛选上下文""" # 简单筛选:去重和截断 seen_contents = set() filtered_items = [] # 优先处理FAQ类型 faq_items = [item for item in context_items if item["type"] == "faq"] knowledge_items = [item for item in context_items if item["type"] == "knowledge"] # 先处理FAQ项 for item in faq_items: # 去重处理 # ... # 再处理知识项 for item in knowledge_items: # 去重处理 # ... # 限制上下文项总数 max_context_items = 6 iflen(filtered_items) > max_context_items: filtered_items = filtered_items[:max_context_items] return filtered_items

实际效果展示

部署完成后,让我们看看系统的实际运行效果:

1. 知识库构建
python -m app.main build --file test.md --title "RAG基本介绍" --author "企业知识库" --tags "LLM,RAG,知识库"

执行结果:

plaintext 2025-05-11 14:50:16 | INFO | app.knowledge_builder:build_from_text:52 - Split text into 2 chunks2025-05-11 14:50:59 | INFO | app.knowledge_builder:build_from_text:72 - Extracted 8 FAQs from text2025-05-11 14:51:00 | INFO | __main__:build_knowledge_base:48 - Stored 2/2 chunks to knowledge base2025-05-11 14:51:00 | INFO | __main__:build_knowledge_base:50 - Extracted and stored 8 FAQs

借助attu查看知识库构建结果

2. 知识检索问答
python -m app.main query --question "RAG相比企业传统的知识库有什么优势和缺点"

执行结果:

2025-05-11 15:01:46 | INFO | app.knowledge_retriever:query:39 - Decomposed question into 4 sub-questions2025-05-11 15:01:47 | INFO | app.knowledge_retriever:query:67 - Filtered 28 context items to 6================================================================================问题: RAG相比企业传统的知识库有什么优势和缺点--------------------------------------------------------------------------------回答: 检索增强生成(RAG)是一种通过整合训练数据之外的权威知识库来优化大型语言模型(LLM)输出的技术。其核心在于允许LLM在生成响应前动态访问特定领域或组织的内部知识库,例如实时数据源、文档或专业数据库,而无需对模型本身进行重新训练。这种方式通过引入外部信息,显著提升了生成内容的相关性、准确性及实用性,同时保留了LLM的灵活性和泛化能力。================================================================================

知识检索问答

实施建议与最佳实践

根据实际项目经验,我们总结了以下最佳实践:

    1. 文档处理策略
  • • 合理设置文本切分的大小(1000-1500字符)和重叠率(200-300字符)
  • • 根据文档类型调整切分策略,技术文档和叙述性文档要区别对待
  • • 保留文档原始格式信息作为元数据,提升检索精度
    1. 检索优化技巧
  • • 使用混合检索(语义+关键词)提高召回率
  • • 在问题拆解环节设置合理的子问题数量(2-4个)
  • • 限制总上下文数量(5-8个)避免信息过载
    1. 系统集成要点
  • • 选择合适的向量模型
  • • 针对实时更新需求设计增量索引策略
  • • 添加监控和日志记录,及时发现并解决问题

总结与展望

基于MCP实现的RAG系统代表了知识库建设的新方向。通过模型上下文协议,我们不仅解决了传统RAG系统中的诸多痛点,还为企业提供了一种低成本、高效率的知识管理方案。

未来,随着大模型技术的进步和MCP标准的完善,我们可以期待更多创新功能的出现:

  • • 多模态内容的支持(图像、音频、视频等)
  • • 更精准的实时知识更新机制
  • • 基于用户反馈的自适应检索优化

对于企业而言,现在正是开始探索和应用这一技术的最佳时机。通过MCP-RAG,企业可以充分挖掘自身知识资产的价值,为员工和客户提供更智能、更精准的信息服务。

参考资源

    1. 模型上下文协议(MCP)官方文档[2]
    1. Milvus向量数据库可视化客户端Attu[3]
    1. MCP-RAG实战代码仓库[4]

欢迎感兴趣的开发者访问项目仓库,体验和改进这一开源解决方案: https://github.com/FlyAIBox/mcp-in-action/tree/rag_0.1.1/mcp-rag

想入门 AI 大模型却找不到清晰方向?备考大厂 AI 岗还在四处搜集零散资料?别再浪费时间啦!2025 年AI 大模型全套学习资料已整理完毕,从学习路线到面试真题,从工具教程到行业报告,一站式覆盖你的所有需求,现在全部免费分享

👇👇扫码免费领取全部内容👇👇

一、学习必备:100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT,帮你看透 AI 趋势

想了解大模型的行业动态、商业落地案例?大模型电子书?这份资料帮你站在 “行业高度” 学 AI

1. 100+本大模型方向电子书

2. 26 份行业研究报告:覆盖多领域实践与趋势

报告包含阿里、DeepSeek 等权威机构发布的核心内容,涵盖:

  • 职业趋势:《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》;
  • 商业落地:《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》;
  • 领域细分:《AGI 在金融领域的应用报告》《AI GC 实践案例集》;
  • 行业监测:《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。

3. 600+套技术大会 PPT:听行业大咖讲实战

PPT 整理自 2024-2025 年热门技术大会,包含百度、腾讯、字节等企业的一线实践:

  • 安全方向:《端侧大模型的安全建设》《大模型驱动安全升级(腾讯代码安全实践)》;
  • 产品与创新:《大模型产品如何创新与创收》《AI 时代的新范式:构建 AI 产品》;
  • 多模态与 Agent:《Step-Video 开源模型(视频生成进展)》《Agentic RAG 的现在与未来》;
  • 工程落地:《从原型到生产:AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。

二、求职必看:大厂 AI 岗面试 “弹药库”,300 + 真题 + 107 道面经直接抱走

想冲字节、腾讯、阿里、蔚来等大厂 AI 岗?这份面试资料帮你提前 “押题”,拒绝临场慌!

1. 107 道大厂面经:覆盖 Prompt、RAG、大模型应用工程师等热门岗位

面经整理自 2021-2025 年真实面试场景,包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题,每道题都附带思路解析

2. 102 道 AI 大模型真题:直击大模型核心考点

针对大模型专属考题,从概念到实践全面覆盖,帮你理清底层逻辑:

3. 97 道 LLMs 真题:聚焦大型语言模型高频问题

专门拆解 LLMs 的核心痛点与解决方案,比如让很多人头疼的 “复读机问题”:


三、路线必明: AI 大模型学习路线图,1 张图理清核心内容

刚接触 AI 大模型,不知道该从哪学起?这份「AI大模型 学习路线图」直接帮你划重点,不用再盲目摸索!

路线图涵盖 5 大核心板块,从基础到进阶层层递进:一步步带你从入门到进阶,从理论到实战。

L1阶段:启航篇丨极速破界AI新时代

L1阶段:了解大模型的基础知识,以及大模型在各个行业的应用和分析,学习理解大模型的核心原理、关键技术以及大模型应用场景。

L2阶段:攻坚篇丨RAG开发实战工坊

L2阶段:AI大模型RAG应用开发工程,主要学习RAG检索增强生成:包括Naive RAG、Advanced-RAG以及RAG性能评估,还有GraphRAG在内的多个RAG热门项目的分析。

L3阶段:跃迁篇丨Agent智能体架构设计

L3阶段:大模型Agent应用架构进阶实现,主要学习LangChain、 LIamaIndex框架,也会学习到AutoGPT、 MetaGPT等多Agent系统,打造Agent智能体。

L4阶段:精进篇丨模型微调与私有化部署

L4阶段:大模型的微调和私有化部署,更加深入的探讨Transformer架构,学习大模型的微调技术,利用DeepSpeed、Lamam Factory等工具快速进行模型微调,并通过Ollama、vLLM等推理部署框架,实现模型的快速部署。

L5阶段:专题集丨特训篇 【录播课】


四、资料领取:全套内容免费抱走,学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型,还是有基础想冲刺大厂、了解行业趋势,这份资料都能满足你!
现在只需按照提示操作,就能免费领取:

👇👇扫码免费领取全部内容👇👇

2025 年想抓住 AI 大模型的风口?别犹豫,这份免费资料就是你的 “起跑线”!

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询