大模型架构新范式！NUS、复旦等发布首篇Latent Space系统综述

大模型的设计正迎来新的范式从人类可读的离散显式符号空间转向机器原生的连续潜在空间。近期新加坡国立大学、复旦大学、清华大学等国内外顶尖高校与科研机构联合发布了大模型潜在空间领域首个统一系统性全景综述。该综述以基础—演进—机制—能力—展望五大递进视角系统性整合了该领域碎片化的研究成果填补了潜在空间统一研究综述的空白。论文题目The Latent Space: Foundation, Evolution, Mechanism, Ability, and Outlook论文链接https://arxiv.org/pdf/2604.02029GitHub 链接https://github.com/YU-deep/Awesome-Latent-Space基础什么是潜在空间大模型潜在空间是基于语言的大模型含 LLM、VLM、VLA 等经学习习得的连续非离散表征空间。它会将文本、多模态信息中未被显式 token 呈现的深层语义、句法规则、上下文关联、跨模态对应关系等核心信息编码其中是适配模型运算逻辑的机器原生计算空间。当前主流大模型仍以显式符号空间语言 token 空间作为核心运算载体这一模式存在语言冗余、离散化瓶颈、序列解码低效、细粒度语义丢失等难以规避的结构性缺陷在复杂推理、多模态交互、长时序任务等场景中表现受限。核心差异对比四大表征属性可读性显式空间由人类可读的离散语言符号构成可直接被人类理解与核验潜空间是机器原生的高维连续向量人类无法直接解读却能承载更丰富的表征信息。存在形式显式空间离散且固定伴随大量语言冗余信息潜空间连续且灵活摒弃表层语言冗余仅保留核心语义信息。计算效率显式空间采用逐 token 序列生成方式需反复进行编码解码转换算力浪费严重潜空间直接执行向量运算无额外表征转换开销计算效率更高。语义保留显式空间受离散量化瓶颈限制易丢失细粒度语义信息潜空间无需离散化转码可高保真保留完整语义与细节信息。四大功能能力可操作性显式空间离散不可微分仅能实现有限的 token 级间接操作潜空间连续可微分支持向量拼接、线性组合、语义导向操控等精细语义操作。表达能力显式空间受词汇量与语法规则约束仅能表达语言可描述的内容潜空间突破语言符号限制可承载高维非语言信息与多模态特征表达维度更广泛。可扩展性显式空间受序列长度与自回归解码模式严格限制扩展难度大潜空间表征紧凑且支持并行化处理可轻松适配长推理轨迹、多智能体交互等复杂场景。泛化能力显式空间易被语言表层形式束缚跨域泛化能力较弱潜空间聚焦抽象语义结构能捕捉底层通用规律跨领域、跨任务的泛化性显著提升。演化潜在空间的发展历程大模型潜在空间的研究发展随技术迭代划分为四个递进阶段从早期理论构想逐步走向全场景落地应用依次为原型阶段、形成阶段、拓展阶段与爆发阶段。2.1 原型阶段此前—2025年3月该阶段为早期探索期首次验证了模型推理可脱离自然语言显式符号依托连续向量表征即可完成初代潜在推理框架相继问世整体仅停留在概念验证与可行性探索阶段尚未形成系统化的技术方案。2.2 形成阶段2025年4月—7月研究进入理论奠基与技术成型期搭建起潜空间的核心理论体系通过数学证明严格验证了潜空间的计算与表达优势技术研发以文本潜在推理为核心同时初步试水多模态、具身场景完成了从零散原型到理论化、体系化的转变。2.3 拓展阶段2025年8月—11月研究边界从纯文本全面拓展覆盖视觉感知、多智能体协作、机器人具身操作等多元领域领域专用技术走向成熟潜空间方法开始从理论验证转向实际落地实现了从单一文本范式到多领域跨场景的延伸。2.4 爆发阶段2025年12月—至今潜在空间正式成为大模型的原生独立计算空间与核心研究范式面向潜空间的专属架构、精细化优化策略批量涌现文本、视觉、具身智能、多智能体协作等全领域应用呈爆发式增长潜空间范式迈入成熟与规模化应用的新阶段。机制潜在空间如何作用潜在空间依托架构、表征、计算、优化四大协同维度搭建起全流程运作体系分别解决潜空间如何嵌入模型、如何承载信息、如何执行运算、如何全周期调优四大核心问题。3.1 架构架构维度定义了潜空间与模型的结合方式分为三类主干内置直接改造模型主干架构通过循环、迭代、递归等结构让模型原生具备潜空间计算能力插件组件不改动原有模型主干通过生成、投影、对齐、控制、存储等插件式模块扩展潜空间功能辅助模型借助外部独立的辅助模型提供监督信号或中间特征引导主模型生成与使用潜空间。3.2 表征表征维度明确了潜空间的信息存储形式分为四类内部表征直接复用模型隐状态、词嵌入、KV 缓存等内部激活值无需新增额外参数外部表征使用冻结的外部预训练模型生成潜表征再注入主模型作为条件输入或监督目标可学习表征通过可训练模块如连续虚拟 Token、轻量适配器生成潜表征与主模型端到端联合优化混合表征结合可学习模块与外部注入的优势先通过可学习模块构建专用潜表征再以外部信号形式注入主模型。3.3 计算计算维度规定了潜空间的信息处理方式分为四类压缩计算对显式推理轨迹、内部缓存、多模态特征进行压缩降低算力与内存消耗同时保留核心语义扩展计算通过循环、并行、结构拓展等方式扩充计算深度与宽度提升潜空间的表达与推理能力自适应计算根据输入复杂度动态分配计算资源调整计算深度、宽度或终止时机灵活平衡效率与性能交错计算将显式离散 Token 与潜空间连续表征、文本与视觉潜信息、推理与记忆模块交错运算融合双方优势。3.4 优化优化维度覆盖潜空间的全阶段调优分为三个阶段预训练优化模型从随机初始化开始训练让模型从训练初期就原生具备潜计算能力后训练优化在预训练模型基础上进行微调优化潜空间以适配各类下游任务推理优化固定模型参数实时修正推理阶段的潜状态直接优化最终输出效果。能力潜在空间实现什么能力潜空间彻底突破离散 token 的表达限制与计算瓶颈全面激活推理、规划、建模、感知、记忆、协作、具身七大核心智能大幅拓展大模型的能力边界。4.1 推理能力脱离显式语言的冗余约束实现隐式推断、紧凑化推理轨迹、连续迭代修正、多分支路径并行探索跨模态泛化能力大幅提升。4.2 规划支持可控的解题路径探索、高效的潜在解空间搜索可自适应分配计算资源动态优化长时序决策轨迹。4.3 建模可高效表达复杂计算逻辑实现模型内部状态的自我检视与分析能对模型行为进行鲁棒可控调控同时显著提升计算的可拓展性。4.4 感知完整保留视觉的精细结构与细节信息支持启发式视觉想象让多模态感知结果更精准、更忠实于原始信息。4.5 记忆构建高效的工作记忆 retention 机制实现知识的持久化存储与迭代进化支持多模态信息的精准记忆与快速召回。4.6 协作实现智能体间高保真、无损的语义传输构建多智能体共享认知空间支持异构模型、跨模态的无障碍互通与协同。4.7 具身支持无监督场景下的动作落地以内隐思考完成连续规划具备未来场景预测与空间认知能力赋能机器人实现跨硬件形态的泛化与迁移。展望: 潜在空间发展方向未来大模型潜在空间的发展将聚焦四大核心方向构筑下一代智能系统的核心范式5.1 构建统一理论体系明晰潜空间的计算原理与表达边界厘清其与显式空间的协同协作规则建立标准化的评估基准、监督机制与验证体系5.2 深耕多模态原生计算打造文本、视觉、动作等多模态统一的原生潜计算空间摆脱文本中介的多模态处理瓶颈5.3 规模化落地下游任务以潜空间为核心支撑推动复杂推理、机器人控制、具身智能、多智能体协作等真实场景的落地应用5.4 实现可信可控治理攻克潜空间的可观测、可操控、可解释难题让潜空间计算可评估、可管控、可审计从根本上解决模型的可信性与安全性问题。更多阅读#投 稿 通 道#让你的文字被更多人看到如何才能让更多的优质内容以更短路径到达读者群体缩短读者寻找优质内容的成本呢答案就是你不认识的人。总有一些你不认识的人知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁促使不同背景、不同方向的学者和学术灵感相互碰撞迸发出更多的可能性。PaperWeekly 鼓励高校实验室或个人在我们的平台上分享各类优质内容可以是最新论文解读也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个让知识真正流动起来。稿件基本要求• 文章确系个人原创作品未曾在公开渠道发表如为其他平台已发表或待发表的文章请明确标注• 稿件建议以markdown格式撰写文中配图以附件形式发送要求图片清晰无版权问题• PaperWeekly 尊重原作者署名权并将为每篇被采纳的原创首发稿件提供业内具有竞争力稿酬具体依据文章阅读量和文章质量阶梯制结算投稿通道• 投稿邮箱hrpaperweekly.site• 来稿请备注即时联系方式微信以便我们在稿件选用的第一时间联系作者• 您也可以直接添加小编微信pwbot02快速投稿备注姓名-投稿△长按添加PaperWeekly小编现在在「知乎」也能找到我们了进入知乎首页搜索「PaperWeekly」点击「关注」订阅我们的专栏吧·