吉林市网站建设_网站建设公司_VS Code_seo优化

文章探讨了传统知识库与AI知识库的区别，指出AI知识库是数字化转型的延续。从公司、业务团队和CEO三个视角分析知识库，强调AI知识库最终目标是成为Agent。文章详细介绍了RAG技术作为AI知识库核心，包括数据清洗、分块、向量化等流程，以及向量数据库的作用。总结指出知识库是AI项目的核心，优质数据构建最难，经典RAG流程包括入库和检索两大部分。

传统知识库 vs AI 知识库

传统知识库多为“文档堆砌库”，需人工检索、筛选信息，某金融机构客服曾为查询一则利率政策，翻阅 200+页文档耗时 15 分钟。AI 知识库的通过智能化让用户想用、能用，能查到想要的信息，高质量的数据是 AI 知识库的基础，优质的数据更容易被大模型理解和调用。

到底什么是 AI 知识库？

接下来首先我们以使用者的角度进行思考和讨论

一般人眼中的公司 AI 知识库

• 完善的知识库：包括公司的介绍、产品文档、技术文档、规章制度等等，方便员工进行实时检索
• AI+知识库：AI 基于完善的知识库，结合实际语境上下文，给予用户符合知识库的最精准回答。
• AI Agent：AI 基于知识库以及工作流，结合实际需求，完成预期的任务。

  以上的路径看上去很完美，但是第一步完善的知识库就拦住了 90%的公司，绝大多数的公司的根本没有文档，或者文档不全，即使有文档也是摆设，写了也不看。AI 知识库其实是数字化信息化转型的延续，没有完善的数据支撑，指望通过引入 AI 一步登天是不可能的。

业务团队的知识库

• 公司的政策规定，市场的信息
• 业务完成情况
• 各类指导手册：问题处理解决方案，话术指导等等
• 业务流程 SOP，AI 智能数据流转
• 业务战略方向指引

CEO 的知识库

• 公司客观信息：员工信息、项目信息、资源信息、公司氛围
• 公司决策信息：选题建议、梯队建设、应急风控、企业迭代、CEO 陪伴
• CEO 视角每件事情都应该有价值，资源用到了什么地方？如何将资源用到了地方？什么是有效资源的投入。
• 通过对数据的重新组织，让 CEO 直观的看到钱花到哪里去了，有没有浪费，怎么花的更高效。

小结

通过这三个视角的知识库分析，我们可以得出所有的 AI 知识库都不是知识库，都是 Agent，我们想要不仅仅是知识，最终想要的是通过知识+AI 辅助我们做些什么…

AI 知识库基础概念

• AI 知识库项目是 AI 项目的核心，而 RAG 是 AI 知识库的核心技术之一。
• RAG（Retrieval Augmented Generation，检索增强生成）是一种结合信息检索和文本生成的技术方案

RAG 解决什么问题

1. 模型上文长度不足的问题

早期的模型上下文严重不足，为了解决该问题所以需要将数据分片存储到向量数据库中，通过 RAG 进行存储和检索，以解决上下文不足的问题，随着模型上文的长度不断增加，RAG 的技术有可能被淘汰或者演进。

2. 提高准确性

通过引用外部知识库，RAG能够弥补LLM 在特定领域知识或最新信息方面的不足，从而提高生成响应的准确性。

3. 更新鲜的信息

RAG 能够访问实时更新的外部数据源，使得模型生成的响应更加及时和符合最新情况。

4. 降低成本

与重新训练 LLM 相比，RAG 是一种更具成本效益的方式来增强 LLM 的能力，因为它无需对模型进行大规模的重新训练。

5. 增强可解释性

RAG 可以提供生成响应所依据的外部来源，增强了响应的可解释性和可信度。

6. 消除幻觉

基于确定性的知识能够让大模型的回答更加稳定，大幅度降低胡编乱造的可能性。

向量数据库

• 用于存储、索引、 查询和检索高维向量数据。
• 特别适合处理非结构化数据（如图像、音频、文本）。
• 实现传统数据库难以完成的高级分析和相似性搜索。

向量库的本质到底是什么？其实它就是一个小模型，它筛选的准确性它一定没有大模型高，那为什么要用小模型？无非是考虑成本问题和一个那种速度效率问题。在单一的特定领域用微调用的小模型代替向量库效果会比用向量库的效果好很多。

经典 RAG 技术原理

流程如下图所示

知识入库

step1 数据清洗

• **目的：**去除不必要的符号和不利于检索的内容。只保留结构化的文档内容，方便后续做分块处理。去除广告，转结构化，markdown 相对来说比较友好。
• 处理方法：

1. 工程方式：用正则表达式，写代码实现
2. 用大模型帮忙转换

step2 数据分块

• 原则：每个分块都应该是一个完整的内容片段（中等长度）

1. 内容相关
2. 长度适中
3. 语义完整

• 常见的分块策略

  分块策略	说明
  匹配表达式分块	匹配特定的符号(\n 句号 ##)等
  NLP分块	通过使用第三方的库 (NLTK/spaCy)等工具，做基础的语义理解和句子、段落结构的识别
  大模型分块	基于语义理解对文档进行语义分段

一般来说第一步处理好，这边直接用特定字符分块就好了。

• 数据分块的难点

  难点	说明	解决思路
  图文混排文档	很多知识都是图文混排的，如PPT格式和PDF格式，里面都会存在大量的架构图、说明图片等内容。如果单纯的过滤掉图片，文字内容就会显得支离破碎，缺乏必要的语义和上下文。如果把图片单独做向量化存储，那么直接检索的意义和效果都非常差。	对图片做识别，生成图片摘要，实际存储和检索的是图片摘要。
  数据版本问题	同一份数据有多个不同的副本，导致数据差异	做好知识库的更新策略
  数据歧义	类似的数据，在不同的文档中都有描述，代表完全不同的意思	做好知识库的切分，不同领域的知识放在不同的知识库中
  复杂问题检索	需要跨多知识库文档进行检索	分步检索 + GraphRAG

step3 向量化

1. 密集向量

以向量之间的距离描述语义相似度，语义越相似，距离越接近

2. 稀疏向量-全文检索

根据词在语料库中的频率和重要性为词分配权重,如下图所示，大部分的维度为0，省略不展示。

知识检索

Step1 检索前优化

1. 原始问题改写

对检索关键词进行定向优化，提高检索效果

示例参考

假设用户在一个对话系统中先前提到： 我最近在学习Python编程。然后用户接着问： 我该如何开始？ 在这个上下文中，系统可以将查询改写为: 我应该从哪些Python学习资源或项目开始？

通用提示词

请将以下用户的原始提问改写为一个更加具体和清晰的问题，以便更好地进行检索和生成：用户提问：{{原始提问}}

2. Multi-Query

将单个查询拓展为多个相关的问题进行查询，从而丰富上下文内容的多样性和覆盖范围

提示词示例

你是一个AI语育模型助手。 你的任务是针对给定的用户问题生成五个不同版本的表述，以便从向量数据库中检索相关文档。 通过对用户问题生成多种角度的表述，你的目标是帮助用户克服基于距离的相似性搜索的一些局限性。 将这些替代问题用换行符分隔开。 原始问题：{question}

3. Sub-question

将复杂问题拆解为多个简单问题

示例：

问题：Coze和Dify的区别？答案1：Coze基本介绍 -- 检索Coze知识库答案2：Dify基本介绍 -- 检索Dify知识库最终答案：结合答案1和答案2整理出二者的区别

Step2 知识召回

1. 多路召回

多种方式多个通路进行召回，最后再合成结果

2. RRF倒数排序融合算法

在多路召回中，仅使用每种结果的排名进行融合排序

Step3 检索后优化 --重排序

重排序是一个优中选优的过程，使用ReRank Model

主流平台知识库支持情况

总体情况

知识上传

知识解析&分块

知识库集成

知识检索

知识库集成

总结

今天简单分享到这里，具体的案例留到下次再分享。简单总结一下今天的内容：

1. 知识库项目是AI项目的核心
2. AI知识库，最难是优质数据
3. 所有的AI知识库最终目的都不是知识库，都是Agent
4. 经典RAG的流程

• 入库：数据清洗 --> 数据分块 --> 向量化 --> 数据入库
• 检索：向量化 --> 向量检索 --> 召回 --> 重排序 --> 根据上下文输出

最后

选择AI大模型就是选择未来！最近两年，大家都可以看到AI的发展有多快，时代在瞬息万变，我们又为何不给自己多一个选择，多一个出路，多一个可能呢？

与其在传统行业里停滞不前，不如尝试一下新兴行业，而AI大模型恰恰是这两年的大风口，人才需求急为紧迫！

人工智能时代最缺的是什么？就是能动手解决问题还会动脑创新的技术牛人！智泊AI为了让学员毕业后快速成为抢手的AI人才，直接把课程升级到了V6.0版本‌。

这个课程就像搭积木一样，既有机器学习、深度学习这些基本功教学，又教大家玩转大模型开发、处理图片语音等多种数据的新潮技能，把AI技术从基础到前沿全部都包圆了！

课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

课程还教大家怎么和AI搭档一起工作，就像程序员带着智能助手写代码、优化方案，效率直接翻倍‌！

这么练出来的学员确实吃香，83%的应届生都进了大厂搞研发，平均工资比同行高出四成多‌。

智泊AI还特别注重培养"人无我有"的能力，比如需求分析、创新设计这些AI暂时替代不了的核心竞争力，让学员在AI时代站稳脚跟‌。

课程优势一：人才库优秀学员参与真实商业项目实训

课程优势二：与大厂深入合作，共建大模型课程

课程优势三：海外高校学历提升

课程优势四：热门岗位全覆盖，匹配企业岗位需求

如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！

·应届毕业生‌：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

·零基础转型‌：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

·业务赋能 ‌突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌，构建起"前沿课程+智能实训+精准就业"的高效培养体系。

重磅消息

人工智能V6.0升级两大班型：AI大模型全栈班、AI大模型算法班，为学生提供更多选择。

由于文章篇幅有限，在这里我就不一一向大家展示了，学习AI大模型是一项系统工程，需要时间和持续的努力。但随着技术的发展和在线资源的丰富，零基础的小白也有很好的机会逐步学习和掌握。

【最新最全版】AI大模型全套学习籽料（可无偿送）：LLM面试题+AI大模型学习路线+大模型PDF书籍+640套AI大模型报告等等，从入门到进阶再到精通，超全面存下吧！

获取方式：有需要的小伙伴，可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

来智泊AI，高起点就业

培养企业刚需人才

扫码咨询 抢免费试学

⬇⬇⬇

AI大模型学习之路，道阻且长，但只要你坚持下去，就一定会有收获。