南京市网站建设_网站建设公司_页面加载速度_seo优化

0. 写在开头

开头先分享最近的一点感触，虽然有时候我们会横眉冷对一些夸大宣传或者是利用信息差的产品，但是还是得尊重产品本身的技术和应用领域，比如：为什么它能夸大宣传？信息差在哪里？满足了哪些用户需求？真正的核心价值是什么？核心价值是使用怎么实现的？寻找了这些问题的答案之后，可能，就一层层的剥开了这些产品的“包装”和“外衣”，也就能真正的把包在内核的产品技术使用在生产环境之中了。

回到主题，跟我一起从头开始学AI这个系列差不多有一年没有更新了，这一年来AI的更新和变化巨大。当初没有把一些内容实践完的现实，现在看来也没那么糟，有时候停下来等一等也是一个很好的决定。

差不多在两个多月前，收藏了一个 Github 的仓库，地址为github.com/FareedKhan-dev/all-rag-techniques，准备差不多到时候系统的学习和体验。两个多月后，终于开始实践。其中另一个重要原因是，如何建立知识库的平台已经实践了一年多，陆陆续续的增减功能之后，基本已经完成了核心功能（欢迎有兴趣的朋友来找我探讨如何建立一个建立知识库的平台）。有了知识库之后，基于知识库的功能开发就离不开 RAG 了，为了能更好的开发功能，系统的学习体验 RAG 也是势在必行。

所以，这部分 RAG 的学习笔记，应该也会是一个系列。

1. 仓库概览

这个名为all-rag-techniques的 GitHub 仓库 (由 Fareed Khan 创建) 收集和实现了各种已知的 RAG (Retrieval Augmented Generation - 检索增强生成) 技术。

仓库内容：

• •演示多种 RAG 技术：通过一系列 Jupyter Notebook，仓库展示了从简单到复杂的不同 RAG 实现方法。
• •提供实用代码示例：每个 Notebook 都包含可运行的 Python 代码，帮助你理解每种技术的核心概念和实现细节。
• •促进 RAG 理解和应用：帮助开发者和研究人员学习、比较和选择适合其特定用例的 RAG 策略。
  

2. 什么是 RAG？（检索增强生成）

传统的 LLM 在回答问题或生成文本时，依赖于其在训练数据中学到的知识。这可能导致以下问题：

• •知识陈旧：LLM 的知识截止于其训练数据的最后日期。
• •幻觉：LLM 可能会编造看似合理但不正确的信息。
• •缺乏特定领域知识：对于未在其训练数据中充分覆盖的专业领域，LLM 可能表现不佳。

RAG 通过以下步骤来解决这些问题：

1. 1. 检索 (Retrieval)：当用户提出问题或请求时，RAG 系统首先从一个外部知识库（如文档集合、数据库、知识图谱）中检索与查询最相关的信息片段。
2. 2. 增强 (Augmentation)：将检索到的信息片段作为上下文 (context) 添加到用户的原始查询中。
3. 3. 生成 (Generation)：将增强后的提示（原始查询 + 检索到的上下文）输入给 LLM，让 LLM 基于这些信息生成最终的回答。

这种方法使得 LLM 能够利用最新的、特定的外部知识，从而提高回答的准确性和相关性。

3. 从入门到精通：RAG 技术学习路径

阶段一：RAG 基础

目标：理解 RAG 的核心工作流程。这是所有高级技术的基础。

• •学习内容：
• •数据加载 (Loading)：如何加载文档（例如 PDF, TXT）。
• •文本切分 (Splitting/Chunking)：将长文档切分成小块，以便于嵌入和检索。
• •嵌入 (Embedding)：将文本块转换为向量表示，捕捉其语义信息。常用的模型有 Sentence Transformers, OpenAI Embeddings 等。
• •向量存储 (Vector Storage)：将嵌入向量存储在向量数据库（如 FAISS, Chroma, Pinecone）中，以便进行高效的相似性搜索。
• •检索 (Retrieval)：根据用户查询的嵌入向量，从向量数据库中找出最相似（即最相关）的文本块。
• •生成 (Generation)：将检索到的文本块作为上下文，与用户查询一起构建提示，并交给 LLM 生成回答。

阶段二：优化检索 - 文本切分策略

目标：学习如何更有效地切分文档以提高检索质量。

• •语义切分

• •学习内容：与固定大小切分不同，语义切分尝试根据文本的语义结构（如句子、段落或主题）来切分文档，使得每个文本块包含更完整的上下文。
• •核心概念：提高切分块的语义完整性，避免重要信息被割裂。

• •块大小选择器

• •学习内容：探讨不同块大小对 RAG 性能的影响，以及如何根据数据和任务特点选择合适的块大小。太小的块可能丢失上下文，太大的块可能引入噪音。
• •核心概念：块大小是一个重要的超参数，需要权衡。

• •命题切分

• •学习内容：将文档分解为更细粒度的“命题”（即表达单一事实或观点的断言）。这有助于更精确地匹配查询中的具体信息点。LLM 通常用于从文本中提取命题。
• •核心概念：以事实为单位进行检索，提高检索精度。

阶段三：增强上下文和查询

目标：学习如何通过改进上下文信息和用户查询来提升 RAG 效果。

• •上下文丰富 RAG

• •学习内容：在检索到相关的文本块后，如何通过添加其周围的文本（例如，前后的句子或段落）来丰富上下文，为 LLM 提供更全面的信息。
• •核心概念：检索到的块可能只是答案的一部分，补充上下文有助于理解。

• •上下文块头 RAG

• •学习内容：利用文档的结构信息（如标题、章节名）来为文本块添加元数据或“头部信息”。这有助于 LLM 更好地理解块的来源和主题。
• •核心概念：结构化信息可以指导 LLM 的理解。

• •文档增强 RAG

• •学习内容：在索引之前，使用 LLM 对原始文档进行增强，例如生成摘要、提取关键词、生成潜在问题等，并将这些增强信息与原始文本块一起索引。
• •核心概念：预处理文档以提高检索信号。

• •查询转换

• •学习内容：用户查询可能不总是最优的检索形式。此技术涉及使用 LLM 对用户查询进行转换，例如：

• •查询重写 (Query Rewriting)：改进查询的清晰度和具体性。
• •子查询生成 (Sub-query Generation)：将复杂查询分解为多个子查询，分别检索后再合并结果。
• •假设性文档嵌入 (Hypothetical Document Embeddings - HyDE)：

• •核心概念：优化查询以匹配知识库中的文档。

• •假设性文档嵌入 (HyDE) RAG

• •学习内容：首先让 LLM 根据用户查询生成一个“假设性”的答案或文档。然后，将这个假设性文档嵌入，并用其嵌入向量在向量数据库中进行检索。其思想是，一个好的答案的嵌入向量应该与包含该答案的真实文档的嵌入向量相似。
• •核心概念：通过生成一个理想答案的“原型”来指导检索。

阶段四：优化和提炼检索结果

目标：学习如何对初步检索到的结果进行排序和筛选，以提高最终提供给 LLM 的上下文质量。

• •重排器 (Re-ranker)

• •学习内容：初步检索（通常基于向量相似性）可能返回大量文档，其中一些可能并不那么相关。重排器使用更复杂的模型（如交叉编码器 Cross-Encoders）对初步检索到的文档列表进行重新排序，将最相关的文档排在前面。
• •核心概念：两阶段检索，先快后精，提高最终上下文的质量。

• •上下文压缩

• •学习内容：即使是相关的文档块，也可能包含一些与当前查询无关的信息。上下文压缩技术尝试从检索到的文档块中仅提取与查询最相关的部分，或者过滤掉不相关的部分，从而减少噪音并缩短上下文长度。
• •核心概念：精简上下文，只保留最精华的部分。

阶段五：高级 RAG 架构和技术

目标：探索更复杂、更智能的 RAG 系统设计。

• •反馈循环 RAG

• •学习内容：如何将用户反馈（例如，对答案的评分、修正）或自动评估信号整合到 RAG 系统中，以持续改进检索和生成组件的性能。
• •核心概念：让 RAG 系统能够从经验中学习和进化。

• •自适应 RAG

• •学习内容：设计能够根据查询的类型、难度或知识库的特点动态调整其检索策略或生成参数的 RAG 系统。例如，对于简单查询可能使用简单检索，对于复杂查询则激活更高级的模块（如查询分解、多跳检索）。
• •核心概念：智能化地选择合适的 RAG 策略。

• •自省式 RAG (Self-RAG)

• •学习内容：一种让 LLM 自行决定何时需要检索、检索什么内容以及如何使用检索到的信息来生成和反思答案的框架。它通过特殊的“反思令牌 (reflection tokens)”来控制生成过程，并评估检索内容的实用性。
• •核心概念：赋予 LLM 更大的自主权来控制 RAG 流程。

• •多模态 RAG

• •学习内容：将 RAG 的思想扩展到处理多种数据模态（如文本、图像、表格）。这可能涉及使用多模态嵌入模型，以及能够处理和融合来自不同来源的多模态信息的检索和生成组件。
• •核心概念：超越纯文本，处理更丰富的数据类型。

• •融合 RAG (例如，Reciprocal Rank Fusion - RRF)

• •学习内容：当使用多种检索方法（例如，基于稀疏向量的 BM25 和基于密集向量的相似性搜索）或从多个知识源检索时，如何有效地融合它们的排序结果，以产生一个综合的、更优的排序列表。RRF 是一种常用的融合算法。
• •核心概念：集各家之长，提高检索的鲁棒性和覆盖面。

• •知识图谱 RAG

• •学习内容：利用知识图谱 (Knowledge Graphs) 作为 RAG 的外部知识源。知识图谱以结构化的方式存储实体和关系，可以进行更精确和多跳的推理检索。
• •核心概念：结合结构化知识进行更深层次的理解和推理。

• •层级 RAG

• •学习内容：利用文档或知识库中的层级结构（如章节-小节-段落，或类别-子类别）来指导检索过程。例如，先在高层级定位相关区域，再在低层级进行精细检索。
• •核心概念：利用结构信息缩小搜索范围，提高效率和准确性。

• •纠正性检索增强生成 (Corrective RAG - CRAG)

• •学习内容：一种旨在提高 RAG 鲁棒性的方法。它包含一个轻量级的检索评估器，用于评估检索到的文档的总体质量。如果评估结果不佳，系统会触发不同的知识检索策略（如网页搜索）或使用检索到的知识进行自我纠正，从而改善生成结果。
• •核心概念：对检索结果进行评估和动态纠正。

• •基于强化学习的 RAG

• •学习内容：使用强化学习 (Reinforcement Learning - RL) 来优化 RAG 系统的某些组件，例如检索器 (retriever) 或生成器 (generator)。RL 代理可以通过与环境交互并接收奖励信号来学习最优策略。
• •核心概念：通过试错学习来端到端地优化 RAG 系统。

• •结合知识图谱处理大数据的 RAG

• •学习内容：专门探讨在拥有海量数据和复杂知识图谱的场景下，如何设计和实现高效、可扩展的 RAG 系统。
• •核心概念：RAG 在大规模数据和知识环境下的应用和挑战。

阶段六：评估与选择

目标：学习如何评估不同的 RAG 策略并为特定应用选择最佳方案。

• •最佳 RAG 发现器

• •学习内容：评估 RAG 系统性能的指标（如答案相关性、准确性、忠实度、上下文利用率等）和评估框架（如 RAGAS, ARES）。它也可能提供一个比较不同 RAG 技术组合效果的实验流程。
• •核心概念：理解如何量化 RAG 系统的表现，并根据评估结果进行迭代优化。

4. 学习tips

• •动手实践：理论学习很重要，但更重要的是亲自动手运行这些 Notebook 中的代码。尝试修改参数、替换数据、观察结果变化。
• •阅读相关论文：对于 Notebook 中提到的高级技术（如 Self-RAG, CRAG, HyDE），查找并阅读相关的研究论文，可以帮助你更深入地理解其背后的原理。
• •从小处着手：从简单开始，确保完全理解基础 RAG 的每个步骤，然后再逐步学习更复杂的技术。
• •关注评估：学习如何评估你的 RAG 系统。没有评估，就无法知道哪种技术组合是最好的。
• •保持好奇：RAG 领域发展迅速，不断有新的技术和方法涌现。保持学习的热情，关注最新的研究进展。

想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？别再浪费时间啦！2025 年AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！

👇👇扫码免费领取全部内容👇👇

​

一、学习必备：100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT，帮你看透 AI 趋势

想了解大模型的行业动态、商业落地案例？大模型电子书？这份资料帮你站在 “行业高度” 学 AI：

1. 100+本大模型方向电子书

2. 26 份行业研究报告：覆盖多领域实践与趋势

报告包含阿里、DeepSeek 等权威机构发布的核心内容，涵盖：

• 职业趋势：《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》；
• 商业落地：《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》；
• 领域细分：《AGI 在金融领域的应用报告》《AI GC 实践案例集》；
• 行业监测：《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。

3. 600+套技术大会 PPT：听行业大咖讲实战

PPT 整理自 2024-2025 年热门技术大会，包含百度、腾讯、字节等企业的一线实践：

• 安全方向：《端侧大模型的安全建设》《大模型驱动安全升级（腾讯代码安全实践）》；
• 产品与创新：《大模型产品如何创新与创收》《AI 时代的新范式：构建 AI 产品》；
• 多模态与 Agent：《Step-Video 开源模型（视频生成进展）》《Agentic RAG 的现在与未来》；
• 工程落地：《从原型到生产：AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。

二、求职必看：大厂 AI 岗面试 “弹药库”，300 + 真题 + 107 道面经直接抱走

想冲字节、腾讯、阿里、蔚来等大厂 AI 岗？这份面试资料帮你提前 “押题”，拒绝临场慌！

1. 107 道大厂面经：覆盖 Prompt、RAG、大模型应用工程师等热门岗位

面经整理自 2021-2025 年真实面试场景，包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题，每道题都附带思路解析：

2. 102 道 AI 大模型真题：直击大模型核心考点

针对大模型专属考题，从概念到实践全面覆盖，帮你理清底层逻辑：

3. 97 道 LLMs 真题：聚焦大型语言模型高频问题

专门拆解 LLMs 的核心痛点与解决方案，比如让很多人头疼的 “复读机问题”：

三、路线必明： AI 大模型学习路线图，1 张图理清核心内容

刚接触 AI 大模型，不知道该从哪学起？这份「AI大模型 学习路线图」直接帮你划重点，不用再盲目摸索！

路线图涵盖 5 大核心板块，从基础到进阶层层递进：一步步带你从入门到进阶，从理论到实战。

L1阶段:启航篇丨极速破界AI新时代

L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。

L2阶段：攻坚篇丨RAG开发实战工坊

L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。

L3阶段：跃迁篇丨Agent智能体架构设计

L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。

L4阶段：精进篇丨模型微调与私有化部署

L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。

L5阶段：专题集丨特训篇 【录播课】

四、资料领取：全套内容免费抱走，学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：

👇👇扫码免费领取全部内容👇👇

​

2025 年想抓住 AI 大模型的风口？别犹豫，这份免费资料就是你的 “起跑线”！