MinerU和Docling对比评测：学术文献提取谁更强？实战数据
2026/1/22 10:00:01
Qwen2.5-0.5B如何加入知识库？RAG基础实现教程
1. 引言：让小模型也能“懂”你的业务
你有没有遇到过这种情况：Qwen2.5-0.5B-Instruct 虽然反应快、体积小，但一问到公司内部的产品细节、项目文档或者操作手册，它就一脸懵：“抱歉，我无法回答这个问题。”
这很正常。因为像 Qwen2.5-0.5B 这样的通用模型，它的“知识”截止于训练数据，并不了解你手头这份刚写完的《用户使用指南》。
那能不能让它读一读我们的文档，变成一个专属智能助手？
当然可以！这就是我们今天要讲的核心技术——RAG（Retrieval-Augmented Generation，检索增强生成）。
本教程将带你一步步实现：
如何为轻量级模型 Qwen2.5-0.5B-Instruct 添加自定义知识库
搭建一个支持本地文档问答的 RAG 系统
全流程代码解析 + 实用技巧分享
所有组件均适配 CPU 环境，无需 GPU 也能跑起来
学完之后，你可以让这个“小个子”模型读懂 PDF、TXT、Word 文档，真正成为你的私人助理。
2. 技术准备：理解 RAG 的工作原理
2.1 什么是 RAG？
简单来说，RAG 就是“先查资料，再写答案”。
传统的 AI 模型靠“记忆”回答问题，而 RAG 是这样工作的：
- 用户提问→ “我们新产品的定价策略是什么？”
- 系统检索→ 自动在你的知识库中搜索相关段落
- 拼接上下文→ 把找到的内容作为“参考资料”交给模型
- 生成回答→ 模型基于这份资料给出准确答复
这就像是考试时允许开卷——虽然记不住所有内容，但知道去哪查，照样能拿高分。
2.2 为什么选择 RAG 而不是微调？
| 方式 | 是否需要训练 | 更新知识 | 部署成本 | 适合场景 |
|---|---|---|---|---|
| 微调（Fine-tuning） | 是 | ❌ 困难 | 高（需GPU） | 知识稳定、风格定制 |
| RAG | ❌ 否 | 极易 | 低（CPU可跑） | 动态更新、私有知识 |
对于 Qwen2.5-0.5B 这种轻量模型，RAG 是最经济高效的扩展方式。
3. 环境搭建与依赖安装
假设你已经通过镜像部署了 Qwen2.5-0.5B-Instruct 服务，接下来我们要在其基础上添加 RAG 功能。
3.1 安装必要 Python 包
打开终端或 Jupyter Notebook，运行以下命令：
pip install transformers torch sentence-transformers faiss-cpu PyPDF2 python-docx说明：
transformers&torch：加载 Qwen 模型的基础库sentence-transformers：用于文本向量化（把文字转成数字）faiss-cpu：Facebook 开发的高效向量检索库（CPU 版本）PyPDF2/python-docx：分别读取 PDF 和 Word 文件
** 注意**：如果你的环境有 GPU，建议安装
faiss-gpu提升检索速度。但我们这里以 CPU 为主，确保低门槛运行。
3.2 加载本地模型
由于 Qwen2.5-0.5B 支持 Hugging Face 接口，我们可以直接加载：
from transformers import AutoTokenizer, AutoModelForCausalLM model_path = "Qwen/Qwen2.5-0.5B-Instruct" tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True)首次运行会自动下载模型（约 1GB），后续即可离线使用。
4. 构建知识库：从文档到向量数据库
现在我们来把一堆静态文件变成 AI 可查询的知识源。
4.1 文档预处理
假设你有一个knowledge/文件夹，里面包含：
product_manual.pdfpricing_policy.docxfaq.txt
我们需要把这些文件拆成一个个“句子块”，便于后续检索。
import os from PyPDF2 import PdfReader from docx import Document def extract_text_from_file(filepath): text = "" if filepath.endswith(".pdf"): reader = PdfReader(filepath) for page in reader.pages: text += page.extract_text() + "\n" elif filepath.endswith(".docx"): doc = Document(filepath) text = "\n".join([para.text for para in doc.paragraphs]) elif filepath.endswith(".txt"): with open(filepath, "r", encoding="utf-8") as f: text = f.read() return text # 读取所有文档 documents = [] for filename in os.listdir("knowledge"): filepath = os.path.join("knowledge", filename) content = extract_text_from_file(filepath) # 按段落分割 chunks = [chunk.strip() for chunk in content.split("\n\n") if len(chunk.strip()) > 20] documents.extend(chunks)这样我们就得到了一个由数百个文本片段组成的列表。
4.2 向量化存储
接下来，用sentence-transformers将每个文本块转换为向量：
from sentence_transformers import SentenceTransformer # 使用中文通用句向量模型 embedding_model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2') # 生成所有文本块的向量 embeddings = embedding_model.encode(documents, show_progress_bar=True) # 保存以便下次快速加载 import numpy as np np.save("embeddings.npy", embeddings)这些向量代表了每段文字的“语义特征”，比如“价格”和“收费”在向量空间里就很接近。
4.3 建立向量索引
使用 FAISS 快速建立检索系统：
import faiss import numpy as np embeddings = np.load("embeddings.npy").astype('float32') dimension = embeddings.shape[1] # 创建索引 index = faiss.IndexFlatL2(dimension) # 使用 L2 距离 index.add(embeddings) # 保存索引 faiss.write_index(index, "vector_index.faiss")至此，知识库已建成。以后每次启动只需加载索引和文档列表即可。
5. 实现检索增强生成（RAG）
现在进入最关键的一步：当用户提问时，先检索相关信息，再让 Qwen 作答。
5.1 检索相关文档块
def retrieve_relevant_docs(query, top_k=3): # 将问题编码为向量 query_vec = embedding_model.encode([query]) query_vec = np.array(query_vec).astype('float32') # 搜索最相似的 top_k 个文本块 distances, indices = index.search(query_vec, top_k) # 返回对应原文 results = [documents[i] for i in indices[0]] return results测试一下：
results = retrieve_relevant_docs("新产品怎么收费？") for r in results: print(" 匹配内容：", r[:100], "...")输出可能是：
匹配内容： 新产品采用阶梯定价模式，月用量低于100次免费，超过部分按0.5元/次计费 ...5.2 构造 Prompt 并调用 Qwen 生成答案
我们将检索到的内容作为上下文，拼接到提示词中：
def generate_answer_with_rag(question): # 步骤1：检索 context_docs = retrieve_relevant_docs(question, top_k=3) context = "\n".join(context_docs) # 步骤2：构造 prompt prompt = f"""你是一个智能助手，请根据以下提供的资料回答问题。如果资料中没有相关信息，请回答“我不知道”。 【参考资料】 {context} 【问题】 {question} 【回答】""" # 步骤3：调用模型生成 inputs = tokenizer(prompt, return_tensors="pt") outputs = model.generate( inputs.input_ids, max_new_tokens=200, do_sample=True, temperature=0.7, top_p=0.9 ) answer = tokenizer.decode(outputs[0], skip_special_tokens=True) # 截取回答部分（去掉 prompt） return answer[len(prompt):].strip()试试看效果：
print(generate_answer_with_rag("新产品的收费标准是什么？"))可能输出：
新产品采用阶梯定价模式，月用量低于100次免费，超过部分按0.5元/次计费。企业客户可申请包年套餐，享受额外折扣。
完美！模型不再是“我不知道”，而是给出了精准引用的回答。
6. 实际应用建议与优化技巧
6.1 如何提升回答质量？
- 调整 chunk 大小：太短丢失上下文，太长影响精度。建议 100~300 字之间。
- 使用更好的嵌入模型：如
text2vec-large-chinese，更适合中文语义匹配。 - 增加 rerank 步骤：先用 FAISS 拿出 10 个候选，再用更精细模型排序前 3 个。
6.2 如何支持更多文件类型？
目前只支持.txt,.pdf,.docx，你可以扩展支持：
.pptx→ 使用python-pptx.xlsx→ 使用pandas读取表格.md→ 直接按行读取
6.3 如何实现实时更新知识库？
只需三步：
- 添加新文件到
knowledge/文件夹 - 重新运行文档提取和向量化脚本
- 更新 FAISS 索引（支持增量添加）
# 示例：新增向量 new_embeddings = embedding_model.encode(new_chunks).astype('float32') index.add(new_embeddings) faiss.write_index(index, "vector_index.faiss") # 覆盖保存整个过程不到一分钟，真正做到“即改即用”。
7. 总结：小模型也能有大智慧
7.1 本教程核心成果回顾
我们成功实现了：
- 在 CPU 环境下为 Qwen2.5-0.5B-Instruct 添加了知识库能力
- 搭建了一套完整的 RAG 流程：文档加载 → 向量化 → 检索 → 增强生成
- 所有代码均可运行，适合边缘设备部署
- 回答具备可解释性，知道答案来自哪份资料
这个方案特别适合：
- 企业内部知识问答系统
- 客服机器人后台支持
- 教育领域的个性化辅导
- 个人笔记 AI 助手
7.2 下一步你可以尝试
- 将系统封装为 Web API，接入聊天界面
- 结合 LangChain 简化流程管理
- 添加权限控制，不同用户访问不同知识库
- 支持多轮对话中的上下文记忆
别再让小模型只能“背书”。只要加上一层 RAG，它就能读懂你的世界。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。