图木舒克市网站建设_网站建设公司_改版升级_seo优化

手把手教你用bge-large-zh-v1.5构建新闻推荐系统

在信息爆炸的时代，用户每天面对海量新闻内容，如何从纷繁复杂的信息中精准推送他们感兴趣的内容，成为各大平台的核心竞争力。传统的关键词匹配方式已经难以满足语义层面的理解需求，而基于深度学习的语义向量模型则提供了全新的解决方案。

本文将带你从零开始，使用bge-large-zh-v1.5这款高性能中文嵌入模型，结合本地部署环境与向量检索技术，一步步搭建一个具备语义理解能力的新闻推荐系统。你不需要有复杂的机器学习背景，只要跟着步骤操作，就能让系统“读懂”新闻之间的深层关联，并实现智能推荐。

通过本教程，你将掌握：

• 如何验证并调用已部署的 bge-large-zh-v1.5 模型服务
• 如何为新闻数据生成高质量的语义向量
• 如何构建支持向量检索的索引结构
• 如何基于用户查询进行语义相似度搜索，实现个性化推荐

整个过程注重实用性和可落地性，所有代码均可直接运行，适合希望快速上手 AI 推荐系统的开发者和工程师。

1. 理解bge-large-zh-v1.5的核心能力

1.1 什么是bge-large-zh-v1.5？

bge-large-zh-v1.5是由 BAAI（北京智源人工智能研究院）推出的一款专为中文优化的大规模文本嵌入模型。它能够将任意长度不超过 512 个 token 的中文文本转换成一个高维向量（维度为 1024），这个向量捕捉了原文的深层语义信息。

举个例子，两句话虽然用词不同，但意思相近：

• “浙江提高公积金贷款额度”
• “丽水市上调住房贷款最高限额”

传统方法可能认为这两句话差异很大，但bge-large-zh-v1.5能够识别出它们在语义上的高度相似性，并生成接近的向量表示。这种能力正是构建智能推荐系统的关键基础。

1.2 为什么选择bge-large-zh-v1.5做新闻推荐？

在推荐系统中，我们常常需要回答这样一个问题：“哪些新闻和用户当前阅读的内容最相关？”这本质上是一个语义匹配问题，而不是简单的关键词重合。

bge-large-zh-v1.5 在以下几个方面表现出色，特别适合用于新闻推荐场景：

更重要的是，本文所使用的镜像已经通过sglang完成了模型服务化部署，你可以像调用 API 一样轻松获取文本向量，无需关心底层推理细节。

2. 验证模型服务是否正常运行

在开始构建推荐逻辑之前，首先要确保bge-large-zh-v1.5模型服务已经成功启动并可以正常调用。

2.1 进入工作目录

打开终端，进入预设的工作空间目录：

cd /root/workspace

该路径下包含了日志文件和服务配置，是我们后续操作的基础环境。

2.2 查看模型启动日志

执行以下命令查看模型服务的日志输出：

cat sglang.log

如果看到类似如下内容，说明模型已成功加载并监听在指定端口：

INFO: Started server process [1] INFO: Uvicorn running on http://0.0.0.0:30000 INFO: Initializing model: bge-large-zh-v1.5 INFO: Model bge-large-zh-v1.5 loaded successfully

提示：日志中出现Model loaded successfully或类似的初始化完成提示，即表示服务就绪。

一旦确认服务正常运行，就可以进行下一步——编写代码来调用模型生成向量。

3. 调用embedding模型生成新闻向量

现在我们进入 Jupyter Notebook 环境，通过 Python 代码调用本地部署的bge-large-zh-v1.5模型服务，测试其基本功能。

3.1 初始化客户端连接

由于模型是通过 OpenAI 兼容接口暴露的，我们可以直接使用openaiPython 包进行调用：

import openai # 创建客户端，指向本地运行的sglang服务 client = openai.Client( base_url="http://localhost:30000/v1", api_key="EMPTY" # 因为没有认证需求，使用空密钥即可 )

这里的base_url="http://localhost:30000/v1"指向了本地运行的 sglang 服务，端口 30000 是默认设置。

3.2 生成单条文本的向量表示

接下来，我们尝试对一条新闻标题进行编码：

response = client.embeddings.create( model="bge-large-zh-v1.5", input="浙江丽水：住房公积金贷款最高限额拟提至100万元" ) # 输出结果 print(response.data[0].embedding[:10]) # 打印前10个维度的值作为示例

如果你能看到一串浮点数输出，例如：

[0.012, -0.034, 0.056, ..., 0.008]

那就说明模型调用成功！这个列表就是该新闻标题的 1024 维语义向量。

3.3 批量生成多条新闻向量

为了支持推荐系统，我们需要为每一篇新闻都生成对应的向量。下面是一个批量处理的例子：

news_titles = [ "浙江丽水：住房公积金贷款最高限额拟提至100万元", "今年新疆两口岸通行中欧（中亚）班列已突破4000列", "新疆巴州逾300万亩棉花机械化种植助力棉农节本增效" ] embeddings = [] for title in news_titles: response = client.embeddings.create( model="bge-large-zh-v1.5", input=title ) embeddings.append({ 'title': title, 'vector': response.data[0].embedding }) print(f"共生成 {len(embeddings)} 条新闻向量")

这些向量将成为我们后续进行语义匹配和推荐的核心依据。

4. 构建支持语义检索的向量索引

仅仅生成向量还不够，我们需要一个高效的存储和检索机制。这里我们采用Elasticsearch作为向量数据库，利用其强大的全文检索与 KNN 向量搜索能力，实现“语义级”新闻查找。

4.1 创建原始新闻索引

首先，在 Elasticsearch 中创建一个用于存储原始新闻数据的索引article：

PUT /article { "mappings": { "properties": { "title": { "type": "text" }, "brief": { "type": "text" }, "author": { "type": "keyword" }, "content": { "type": "text" }, "readNumber": { "type": "integer" } } } }

这个索引保存新闻的基本信息，如标题、简介、作者、正文和阅读量。

4.2 写入测试新闻数据

插入三条来自参考博文的新闻样例：

POST /article/_doc/001 { "title": "浙江丽水：住房公积金贷款最高限额拟提至100万元", "brief": "【浙江丽水：住房公积金贷款最高限额拟提至100万元】财联社3月21日电...", "author": "黄宁", "content": "...", "readNumber": 188 }

POST /article/_doc/002 { "title": "今年新疆两口岸通行中欧（中亚）班列已突破4000列", "brief": "昨天（9日），一列满载汽车、机电产品、服装的中欧班列...", "author": "央视新闻客户端", "content": "...", "readNumber": 208 }

POST /article/_doc/003 { "title": "新疆巴州逾300万亩棉花机械化种植助力棉农节本增效", "brief": "2024年，新疆巴州棉花的种植面积预计达300万亩以上...", "author": "央视新闻客户端", "content": "...", "readNumber": 308 }

4.3 创建带向量字段的目标索引

接下来创建一个新的索引article_embeddings，用于存储包含向量的新闻数据：

PUT /article_embeddings { "mappings": { "properties": { "title": { "type": "text" }, "brief": { "type": "text" }, "author": { "type": "keyword" }, "content": { "type": "text" }, "readNumber": { "type": "integer" }, "text_embedding": { "properties": { "model_id": { "type": "keyword" }, "predicted_value": { "type": "dense_vector", "dims": 1024, "index": true, "similarity": "cosine" } } } } } }

其中predicted_value字段专门用来存放bge-large-zh-v1.5生成的 1024 维向量，similarity: cosine表示我们将使用余弦相似度来衡量语义距离。

5. 使用Ingest Pipeline自动完成向量化

手动为每条新闻生成向量显然不现实。Elasticsearch 提供了Ingest Pipeline功能，可以在数据写入时自动调用预训练模型完成向量化。

5.1 注册向量化Pipeline

假设你的 Elasticsearch 已经导入了bge-large-zh-v1.5模型（可通过 Eland 工具上传），可以创建如下 Pipeline：

PUT _ingest/pipeline/article_embeddings_pipeline { "description": "Article embeddings pipeline using bge-large-zh-v1.5", "processors": [ { "inference": { "model_id": "bge-large-zh-v1.5", "target_field": "text_embedding", "field_map": { "title": "text_field" } } } ] }

这个 Pipeline 的作用是：当文档进入时，提取title字段内容，传给bge-large-zh-v1.5模型，生成的向量存入text_embedding.predicted_value。

5.2 执行Reindex任务迁移数据

将原始索引中的数据通过 Pipeline 迁移到新索引：

POST _reindex?wait_for_completion=false { "source": { "index": "article" }, "dest": { "index": "article_embeddings", "pipeline": "article_embeddings_pipeline" } }

任务提交后，Elasticsearch 会自动为每条新闻生成向量并写入目标索引。

5.3 验证向量是否生成成功

执行一次查询，检查是否有向量字段：

GET /article_embeddings/_search { "_source": ["title", "text_embedding.predicted_value"], "size": 1 }

你会看到返回结果中包含完整的 1024 维向量数组，说明向量化流程已打通。

6. 实现语义级别的新闻推荐

现在，我们的系统已经具备了“理解”新闻语义的能力。接下来，就可以根据用户的兴趣或当前浏览内容，推荐语义上最相关的新闻。

6.1 获取用户查询的语义向量

假设用户搜索“中欧班列”，我们先将其转化为向量：

query = "中欧班列" response = client.embeddings.create(model="bge-large-zh-v1.5", input=query) query_vector = response.data[0].embedding

6.2 执行KNN向量相似度搜索

使用 Elasticsearch 的 KNN 查询功能，在article_embeddings索引中查找最相似的新闻：

GET /article_embeddings/_search { "query": { "knn": { "field": "text_embedding.predicted_value", "num_candidates": 10, "query_vector": [0.0088, -0.0293, -0.0256, ...] // 填入上面生成的向量 } }, "_source": ["title", "brief", "author", "readNumber"] }

注意：新版 Elasticsearch 不再支持"k"参数，只需设置num_candidates控制候选数量即可。

6.3 推荐结果分析

执行上述查询后，你会发现标题中含有“中欧班列”、“国际货运”、“一带一路”等相关概念的新闻被优先返回，即使它们没有完全相同的关键词。

这意味着系统真正做到了“按意义推荐”，而非“按字面匹配”。

7. 总结：打造智能化新闻推荐的第一步

通过本文的实践，我们完成了从模型调用到语义推荐的全流程搭建：

1. 验证了bge-large-zh-v1.5模型服务的可用性
2. 掌握了如何调用模型生成中文文本向量
3. 构建了支持向量检索的 Elasticsearch 索引结构
4. 利用 Ingest Pipeline 实现自动化向量化处理
5. 实现了基于语义相似度的新闻推荐功能

这套方案不仅适用于新闻推荐，也可以扩展到内容去重、热点发现、个性化首页、智能问答等多个场景。

未来你可以进一步优化的方向包括：

• 引入用户行为数据进行协同过滤 + 语义混合推荐
• 使用更长上下文模型（如 bge-m3）提升长文本理解能力
• 结合时间衰减因子，优先推荐近期相关内容

只要你掌握了语义向量这一核心工具，就能为任何内容类产品注入“理解语言”的能力。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。