西藏自治区网站建设_网站建设公司_建站流程_seo优化

本节完成官方案例：Build a RAG agent with LangChain

文档路径： Learn->LangChain -> RAG agent , 文档地址：https://docs.langchain.com/oss/python/langchain/rag 。 主要完成两个功能：

1. 索引：从网页获取知识，将知识向量化后存储到向量数据库
2. RAG: 提出问题后先到向量数据库检索(R-Retrieval) ,然后将检索的结果和问题一起发送给大模型(A-Augmented) , 最终大模型给出答案(G-Generation)

1.文档加载

需要从网页加载文档，所以会用到Python 第三方库 ：Beautify Soup简称：BS4,它可以从 HTML 或 XML 文档中快速地提取指定的数据。Beautiful Soup 语法简单，使用方便，并且容易理解.

# 安装 bs4 依赖pipinstallbs4

这里定义一个函数，并进行测试：

chapter07/rag-demo.py

importbs4fromlangchain_community.document_loadersimportWebBaseLoaderdefload_web(url:str):# 创建一个 SoupStrainer 对象, 用于过滤掉不需要的标签bs4_strainer=bs4.SoupStrainer()loader=WebBaseLoader(# 这个参数可以指定多个网页路径，是一个Tuple类型。# 因为这里只传入了一个url，元祖中只有一个元素。# 如果后面没有逗号，则Python会认为是一个普通的括号，而不是元素。这是url后面为什么有一个逗号的原因web_paths=(url,),bs_kwargs={"parse_only":bs4_strainer,# 指定过滤器})returnloader.load()if__name__=='__main__':docs=load_web("https://news.cctv.com/2026/01/04/ARTIvjEzc0cszhUpOlfZJz1v260104.shtml?spm=C94212.P4YnMod9m2uD.ENPMkWvfnaiV.13")print(f"文档个数：{len(docs)}, 标题：{docs[0].metadata['title']}")print(f"内容(前100个字符)：{docs[0].page_content[:100]}")

2.拆分文档

前面代码获取到了一个网页内容，这个内容现在需要被拆分：

chapter07/rag-demo.py

fromlangchain_text_splittersimportRecursiveCharacterTextSplitterdefsplitDocs(docs):""" 将 Document 数组拆分为多个 Document 数组 :param docs: Document 数组 :return: 拆分后的 Document 数组 """text_splitter=RecursiveCharacterTextSplitter(chunk_size=1000,separators=["\n\n","\n","."," ",""],chunk_overlap=128)# 一个List[Document], 每个元素是一个文档块all_splits=text_splitter.split_documents(docs)print(f"拆分后的文档数量:{len(all_splits)}")returnall_splitsif__name__=='__main__':docs=load_web("https://news.cctv.com/2026/01/04/ARTIvjEzc0cszhUpOlfZJz1v260104.shtml?spm=C94212.P4YnMod9m2uD.ENPMkWvfnaiV.13")all_splits=splitDocs(docs)# 拆分后的文档数量:8

3.存入Vector Stores

这里我使用的是本地ollama 中安装的bge-m3:567m模型，需要提前在ollama中拉取：

ollama pull bge-m3:567m

前面章节中我们用到了chroma向量数据库，我们采用的是DashScopeEmbeddings即百炼的向量模型，本次使用在 ollama 中拉取的bge-m3:567m模型。官方文档：https://docs.langchain.com/oss/python/integrations/text_embedding 中提供了OllamaEmbeddings类

3.1 什么是Vector Store?

Vector Store（向量存储）是一种专门用于存储高维向量（通常是文本经过嵌入模型转换后的向量表示）并支持快速相似性搜索的数据结构或数据库。其主要功能包括：

• 存储：将文本块（chunks）及其对应的嵌入向量（embeddings）保存起来。
• 检索：给定一个查询（query），将其转换为向量后，在向量空间中查找“最相似”的向量（通常用余弦相似度、欧氏距离等度量），返回对应的原始文本。

LangChain 为所有向量数据库提供了一致的抽象接口，开发者无需因更换底层数据库而重写业务逻辑。主要方法包括：

这使得你可以轻松在Chroma、FAISS、Pinecone等之间切换。

官方文档： https://docs.langchain.com/oss/python/integrations/vectorstores#ollama 有说明

3.2 创建Vector Store

fromlangchain_ollamaimportOllamaEmbeddingsfromlangchain_chromaimportChromadefget_vectory_store():# 创建一个向量模型embedding_modle=OllamaEmbeddings(model="bge-m3:567m",base_url="http://192.168.6.133:11434")vector_store=Chroma(# 创建一个向量集合collection_name="news_collection",# 向量模型embedding_function=embedding_modle,# 向量数据库保存目录persist_directory="./chroma_langchain_db",)returnvector_store

这个函数执行后，将会创建索引数据库：

3.3 保存拆分后的文档

因为vector store 提供了统一的入口，保存拆分后的文档的时候，它会自动调用为他设定的 embedding model 进行向量化，然后保存到对应的向量数据库中。

if__name__=='__main__':docs=load_web("https://news.cctv.com/2026/01/04/ARTIvjEzc0cszhUpOlfZJz1v260104.shtml?spm=C94212.P4YnMod9m2uD.ENPMkWvfnaiV.13")all_splits=splitDocs(docs)# 拆分后的文档数量:8# 创建vectory storevectory_store=get_vectory_store()# 保存文档vectory_store.add_documents(all_splits)

4.检索工具

在这里，我们使用“工具装饰器”来配置工具，以便将原始文档作为“附件”附加到每个“ToolMessage”中。这样，我们就能在应用程序中访问文档的元数据，而这些元数据与发送到模型的字符串化表示是分开的。

defcreate_retrieve_tool(vector_store):# 将检索工具用函数封装起来，因为它需要用到 vector_store@tool(response_format="content_and_artifact")defretrieve_context(query:str):"""Retrieve information to help answer a query."""retrieved_docs=vector_store.similarity_search(query,k=2)serialized="\n\n".join((f"Source:{doc.metadata}\nContent:{doc.page_content}")fordocinretrieved_docs)returnserialized,retrieved_docsreturnretrieve_context

这里之所以用create_retrieve_tool函数将工具声明封装起来，是因为在工具中要用到vector_store进行相似度搜索。

5.创建RAG agent

接下来我们需要创建一个 RAG agent，将上面创建的tool交给它，然后提出问题。那么agent就会先调用工具进行相似度检索，然后将结果和问题一起发送给大模型，大模型回答后返回结果：

if__name__=='__main__':# 获取 vectory_storevectory_store=get_vectory_store()# 创建检索工具tools=[create_retrieve_tool(vectory_store)]# 对话模型model=init_chat_model(model="ollama:qwen3-next:80b-cloud",base_url="http://127.0.0.1:11434")# 在Python中，当你用括号包围多个字符串时，Python会自动将它们连接成一个单一的字符串。这种做法通常用于提高代码的可读性，特别是当字符串很长时。SYSTEM_PROMPT=("You have access to a tool that retrieves context from a blog post.\n\n""Use the tool to help answer user queries.")# 创建Agentagent=create_agent(model=model,system_prompt=SYSTEM_PROMPT,tools=tools)# 问题question="《固体废物综合治理行动计划》是哪一天由谁印发的?"response=agent.stream({"messages":[{"role":"user","content":question}]},stream_mode="values",)foreventinresponse:# 取最后一条打印event["messages"][-1].pretty_print()

输出：

============= Human Message ============= 《固体废物综合治理行动计划》是哪一天由谁印发的? ============= Ai Message ============= Tool Calls: retrieve_context (409b1e3d-185a-4c48-b64d-cc836d35034a) Call ID: 409b1e3d-185a-4c48-b64d-cc836d35034a Args: query: 固体废物综合治理行动计划 印发日期 印发单位 ============= Tool Message ============= Name: retrieve_context ......省略 ============= Ai Message ============= 《固体废物综合治理行动计划》由国务院于2025年12月27日印发，文件编号为国发〔2025〕14号。该通知明确要求各省、自治区、直辖市人民政府及国务院各部委、各直属机构认真贯彻执行。

可以看到，agent在执行的时候，自动调用了 tool工具到本地向量数据库中进行了相似度搜索。

自动将搜索结果与问题一起发送给了大模型，最终大模型经过思考后，给出了最终答案。很显然它的答案是来自于刚开始从网站上抓取的文章。