资阳市网站建设_网站建设公司_Django_seo优化

=

文章探讨了将蒙特卡洛树搜索(MCTS)与大语言模型(LLM)结合的方法，赋予LLM"慢思考"能力以解决复杂问题。分析了三种实现方案：PPO-MCTS利用价值函数减少计算复杂度；基于ChatGPT的任务规划方法通过状态和动作表示提升规划能力；以及AlphaZero类树搜索方法优化节点表示和价值函数评估。未来方向包括提高计算效率和通过多智能体训练提升LLM解决复杂问题的能力。=

在上一篇文章[1]中，我们初步探索了基于EBM- MCTS的方法，并在多个数学数据集上完成实验验证，相比使用更多的SFT语料等等，EBM-MCTS能够极大提升已有的SFT模型的数学能力[1][7]，而且，EBM不依赖更强的LLM、不需要LLM自己提出问题并评估中间步骤答案的好坏等等。能量函数还能通过无监督方法训练（也不需要更大的尺寸即可提升SFT模型的效果）。近期，笔者看到了更多类似的文章，大部分在ai-agent的task-planning中探索。我们将基于这些文章，进一步探讨这些方法的’first-principle’以及未来的方向。

MCTS

Monte-Carlo-Tree-Search[2] 主要用于解决复杂序列决策问题，基于policy-model和evaluation-function，找到reward最大的决策序列。evaluation-function评估基于policy-model生成的partial sequences。实现更好的exploitation和exploration的平衡。该方法在棋类游戏中应用广泛。其核心包含四个步骤: selection, expansion, simulation和backpropagation。

mcts

Selection: 根据一定准则在叶子节点中选择一个节点。为了保证exploitation(visit-count/reward)和exploration(未被访问的节点)，通常使用UCT[2]作为叶子节点:

uct

近期，文献[3]提出了使用PUCT(引入了policy的prior-probability)：

puct

Expansion: 上一步中选择的节点被标记为已探索并与其父节点建立链接关系。

Simulation: 从root节点到被expanded的节点作为prefix-sequence，应用policy-model生成后续的序列。通常基于一定的终止条件终止simulation 如 生成 结束符号、达到指定的rollout长度 等等。

Backpropagation: 在simulation中产生的sequence，应用evaluation-function评估reward（如质量分、输赢）等等，并将reward 从 结束节点反传回根节点，更新路径节点的访问次数和节点reward。

从MCTS的基本原理，我们可以看到，MCTS可以看成某种慢思考即通过policy-model快速生成路径，并通过MCTS不断评估和更新中间过程，最终产生更准确的决策输出。

LLM-MCTS

随着ai-agent的兴起，LLM带来了更多的可能性，不仅限于传统NLP/NLG任务以及作为核心系统的子模块，其本身可以作为复杂系统的决策中枢，改变传统软件、复杂系统的工作模式。当LLM作为ai-agent的决策中枢时，核心问题是在用户给定的指令下，自动将指令分解（复杂问题分解为若干子问题）、指令泛化（子问题的关联问题泛化）、复杂子问题的工具调用以及最终的解决方案生成。

类比人类解决问题，通常在某一领域有丰富经验的专家，对于领域问题具备一定的一步到位解决能力，俗称‘肌肉记忆’。通过大量的刻意练习，将中间思考步骤逐渐固化为本能，不需要刻意思考也能快速提出最终的解决方案。这种方式可以粗略理解为“greedy-decoding”，即通过大量刻意练习包括但不限于SFT(mentor手把手教)和RLHF(外部反馈)等等，将技能固化为本能即模型的快思考。

当面对新的复杂问题时，快思考 往往难以一步到位给出好的解决方案，还可能局限于已有的领域知识，给出错误但confident的解决方案—陷入快思考陷阱或者定势思维。这个时候，慢思考往往能带来新的思路，帮助我们不断评估中间过程和结果，最终从‘first-principle’的角度解决新的复杂问题。这一范式可以对应到MCTS即不断提出问题、中间解决方案和评估，最终，根据中间过程的“价值”(访问次数/reward) 输出 最优的解决方案。

当我们将LLM与MCTS结合时，赋予LLM慢思考的能力，一般需要解决以下问题：

1. 高效的rollout
2. evaluation-function
3. node-representation and edge-representation

下面，我们主要分析三篇文章[3][4][5]，均是将LLM与MCTS结合，提升模型的生成、planning能力。

MAKING PPO EVEN BETTER: VALUE-GUIDED MONTE-CARLO TREE SEARCH DECODING

PPO-MCTS巧妙地利用了PPO训练过程的产出物: value-function: 估计当前(state, action)下的reward，而不需要完整地rollout（rollout的计算复杂度较高）。为了估计 ,PPO-MCTS作了如下近似作为 的初始化: 使用state-value-function近似state-action-value-function

即 在当前的状态 (MCTS的prefix-sequence)下，select节点 的累计期望reward即 仅与状态有关，而与select的节点 无关(相当于action的分布为均匀分布)。

当进行backpropagation时，通过以下方式更新state-action-value-function(state-action-value-function的标准更新方法):

state-value-function

这里， 的计算方法为：

step-level-rewards

然而，实际应用时，存在几个约束：

1. reward-model无法获取。此时，我们可以使用value-function近似reward-function，即用 近似 。
2. reference-model无法获取。此时，我们无法根据step-level-reward估计state-value-function，所以，我们只能粗略的近似 。这种情况相当于去掉了policy-model和reference-model的kl-divergence，可能存在退化以及reward-hacking。

由于PPO优化过程存在诸多trick，如Reward normalization，Reward whitening， KL term clamping 以及 Adaptive KL coefficient。当使用这些trick时，step-level-reward的计算不准确，所以，我们需要使用 。（当然，如果有消融实验，对比 step-level-reward和 的结果，对于实践会更有帮助）。

Large Language Models as Commonsense Knowledge for Large-Scale Task Planning

该方法的核心思路如上图所示。该文章主要处理language-instructed object rearrangement tasks。核心在于:

1. state-representation。该文章主要解决 object rearrangement，其状态包括 object、robot-position、moveable-items和moveable-containers。
2. action-representation。object picking, object placing, moving, opening a container, and closing a container。
3. MCTS的node和edge。将objects建模为node，将物体之间的关系建模为edge。

该文章将MCTS与ChatGPT结合，MCTS的使用较为常规。但在MCTS的加持下，ChatGPT具备了更强的任务规划能力，相比ChatGPT-policy，提升了10个点以上。具体细节可参考对应文章。

ALPHAZERO-LIKE TREE-SEARCH CAN GUIDE LARGE LANGUAGE MODEL DECODING AND TRAINING

该文章探讨了我们提到的三个基本问题：mcts中的node、edge表示、evaluation-function以及rollout。

node表示：

• 将word作为节点。适用于短输出。
• 将句子作为节点。适用于长文。（EBM-MCTS中，也是类似的考虑，将句子作为node）

edge表示：

当我们有语言模型后，node之间的转移可以通过LLM计算。某种程度上，可以看成一种model-based-RL。所以，edge表示了node之间的转移概率且可以通过LLM计算。

evaluation-function：

将value-function作为MCTS的evaluation-function。value-function的损失函数为（这部分内容也在PPO中有类似计算过程，详见[3]）:

value-function的损失函数

其中， 可以通过MC-estimate或者 估计。

此外，这篇文章介绍了三个MCTS的变种:

• MCTS-: 该方法主要应用于alphazero。在当前state下，做N次simulations（select, expand, backup）。node的value使用value-function估计。然后根据node访问次数，选择一个node并进入下一个state。直到达到terminal-node。由于有value-function，不必rollout也能估计节点reward并backup。
• MCTS：相比MCTS- ，经典MCTS需要select、expand、rollout、backup。而且，只能从terminal-node的reward回溯更新路径上的中间节点reward。并且，总是从initial state node出发。在空间较大的时候计算复杂度更高。
• MCTS-Rollout：结合了以上两个方法的优点。能够基于value-function估计中间节点的reward并进行backup（而不需要rollout到terminal-node）。并且，每次从root-node开始模拟。

这里，是否需要rollout取决于evaluation-function。如果evaluation-function能够估计 或者 ，则可以使用 MCTS- ，反之，则需要rollout并基于terminal-node的reward（只能利用最后输赢的reward更新节点reward）。

未来

1. LLM-based的MCTS高效实现，在复杂任务或者OOD上面取得更理想的效果。
2. rollout一般需要更多的计算量。为了避免rollout，我们需要估计一个较好的value-function，用于评估当前state下的reward。一般而言，需要通过RL估计 或者 。[3]使用了PPO的value-function(critic-model)做一些近似或者直接训练一个value-function[5]。也能借鉴Q-learning如Implicit-language-q-learning[6]等，使用offline-method等提升样本效率。
3. 当SFT进行到一定程度后，可以借鉴multi-agent-RL的方法，进行多智能体的训练，提升LLM解决复杂问题的能力，实现更好的alignment。

如何系统的学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

一直在更新，更多的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇

01.大模型风口已至：月薪30K+的AI岗正在批量诞生

2025年大模型应用呈现爆发式增长，根据工信部最新数据：

国内大模型相关岗位缺口达47万

初级工程师平均薪资28K（数据来源：BOSS直聘报告）

70%企业存在"能用模型不会调优"的痛点

真实案例：某二本机械专业学员，通过4个月系统学习，成功拿到某AI医疗公司大模型优化岗offer，薪资直接翻3倍！

02.大模型 AI 学习和面试资料

1️⃣ 提示词工程：把ChatGPT从玩具变成生产工具
2️⃣ RAG系统：让大模型精准输出行业知识
3️⃣ 智能体开发：用AutoGPT打造24小时数字员工

📦熬了三个大夜整理的《AI进化工具包》送你：
✔️ 大厂内部LLM落地手册（含58个真实案例）
✔️ 提示词设计模板库（覆盖12大应用场景）
✔️ 私藏学习路径图（0基础到项目实战仅需90天）

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】