铜陵市网站建设_网站建设公司_建站流程_seo优化

VLA 模型正被越来越多地应用于端到端自动驾驶系统中。然而，VLA 模型中冗长的视觉 token 极大地增加了计算成本。但现有的视觉 token 剪枝方法都不是专为自动驾驶设计的，在自动驾驶场景中都具有局限性。

小鹏汽车联合北京大学计算机科学学院多媒体信息处理国家重点实验室发表论文《FastDriveVLA》，不仅为自动驾驶 VLA 模型中的高效视觉 token 剪枝建立了新的范式，也为特定任务的剪枝策略提供了有价值的洞察。

受人类驾驶员主要关注前景区域而非背景区域的启发，研究团队做出假设：对于自动驾驶而言，与前景信息相关的视觉 token 比与背景内容相关的视觉 token 更有价值。为了验证这个假设，研究团队构建了大规模自动驾驶标注数据集 nuScenes-FG（包含来自 6 个摄像头视角的、带有前景区域标注的 24.1 万个图像 - 掩码对），通过 MAE 风格的像素重建策略和新颖的对抗性前景 - 背景重建策略，训练出了一个适用于不同 VLA 模型的、可以即插即用的视觉 token 剪枝器 ReconPruner。

实验结果显示，在不同剪枝比例下，FastDriveVLA 在 nuScenes 开环规划基准测试中均取得了 SOTA 性能。FastDriveVLA 也非常高效，当视觉 token 数量从 3249 减少至 812 时，FastDriveVLA 的 FLOPs 直降约 7.5 倍；在 CUDA 推理延迟方面，FastDriveVLA 将预填充（prefill）时间减少了 3.7 倍、将解码（decode）时间减少了 1.3 倍，显著提升了推理效率。

该篇论文被 AAAI 2026 录用。

• 论文标题：FastDriveVLA: Efficient End-to-End Driving via Plug-and-Play Reconstruction-based Token Pruning
• 论文链接：https://arxiv.org/pdf/2507.23318

研究背景与问题

端到端自动驾驶最近展现出巨大潜力，有望彻底改变未来的交通系统。与传统的模块化自动驾驶系统不同，端到端方法在一个统一的框架中学习整个驾驶流程，这种设计不仅减少了模块之间信息传递时的误差，还增强了系统的简洁性。

然而，现有的 VLA 模型通常将视觉输入转换为大量的视觉 token，这种方法导致了巨大的计算开销和推理延迟的增加，对真实场景的车端部署提出了重大挑战，因为计算资源和推理速度都受到严重限制。

已经有大量研究尝试通过减少视觉 token 来加速 VLM 的推理，但在自动驾驶场景中都具有局限性：引入新设计的多模态投影器需要重新训练整个模型，基于注意力的剪枝策略容易受到无关信息的影响，基于相似性的剪枝策略会错误保留与驾驶无关的信息。

为了解决这些挑战，我们专为端到端自动驾驶 VLA 模型定制了一个新型的、基于重建的视觉 token 剪枝框架 FastDriveVLA。

图 1：不同视觉 token 剪枝策略的对比，（c）为基于重建的剪枝策略

方法与创新

nuScenes-FG 数据集

受人类驾驶员主要关注前景区域而非背景区域的启发，我们首先对自动驾驶场景中的「前景区域」进行了明确定义。这些区域包括行人、道路、车辆、交通标志（含交通信号灯）以及交通障碍物（如位于车道上或紧邻车道的障碍物）等对驾驶决策具有直接影响的元素。相比之下，建筑物、天空、行道树等背景区域即使被完全遮挡，通常也不会显著影响人类驾驶员的判断。然后，借助 Grounded-SAM 对 nuScenes 场景进行细粒度、语义一致的前景分割，构建了 nuScenes-FG 数据集。

图 2：nuScenes-FG 数据集，为 nuScenes 场景提供了 24.1 万个前景分割标注。

基于重建的剪枝器 ReconPruner

我们提出了一种轻量级的、可即插即用的剪枝器 ReconPruner，主要目标是让 ReconPruner 能够有效识别并选择包含有意义前景信息的视觉 token，因此借鉴 Masked Image Modeling（掩码图像建模）方法设计了 MAE 风格的像素重建策略。在训练过程中，我们选取 ReconPruner 预测的可获得高分的视觉 token 子集，用于掩码前景重建。该子集上的重建误差作为监督信号，鼓励 ReconPruner 为真正对应前景内容的视觉 token 打高分。

图 3：FastDriveVLA 框架。在训练阶段，提出了一种新颖的「前景 - 背景对抗重建」策略，以增强 ReconPruner 对前景视觉 token 的感知能力；在推理阶段，ReconPruner 可直接嵌入自动驾驶 VLA 模型，用于 token 剪枝。

对抗性前景 - 背景重建策略

但若仅仅依赖前景重建，ReconPruner 可能会采取捷径，不加区分地为所有视觉 token 打高分。我们从生成对抗网络（GANs）中汲取灵感，提出了对抗性前景 - 背景重建策略。具体来说，ReconPruner 还需要使用获得低分的视觉 token 来重建背景区域。这种对抗性设置增强了 ReconPruner 区分前景 token 和背景 token 的能力。

实验结果

实验设置

我们采用 Impromptu-VLA 作为视觉 token 剪枝的基础模型，在专为城区自动驾驶设计的大规模基准测试数据集 nuScenes 上对不同剪枝方法进行了评估。nuScenes 数据集包含 1000 个驾驶场景、每个场景约持续 20 秒。测试时，我们总计使用了 6019 个测试样本，并通过 L2 轨迹误差、碰撞率、路外率三个指标来评估开环规划的性能。

我们使用余弦调度器以 2e-5 的学习率训练 FastDriveVLA，总计进行了 10 轮训练，仅在两块 H800 GPU 上运行 3 小时就完成了训练。

不同剪枝方法在 nuScenes 数据集上的对比

FastV、SparseVLM 是基于注意力的基线，DivPrune、VisPruner 是基于相似性的基线。

• 当剪枝 25% 时，FastDriveVLA 在所有评估指标上均表现最佳，尤其在 L2 轨迹误差和碰撞指标上分别比未剪枝的原始模型低了 0.1% 和 1.0%，这证明了聚焦于与前景相关的视觉 token 是提升自动驾驶性能的关键。
• 当剪枝 50% 时，FastDriveVLA 在碰撞指标上的表现优于剪枝 25%。
• 当剪枝 75% 时，FastDriveVLA 在路外率指标上的表现优于剪枝 50%。

总体来看，FastDriveVLA 在各种剪枝比例下均优于现有方法。特别值得注意的是，当剪枝 50% 时，FastDriveVLA 在所有指标上的表现都更加均衡。因此，我们建议，在实际部署自动驾驶系统时采用 50% 这一剪枝比例，以实现性能与效率的最佳平衡。

效率分析

为了展示 FastDriveVLA 的高效，我们从 FLOPs 与 CUDA 延迟的角度对不同剪枝方法进行了效率分析。当视觉 token 数量从 3249 减少至 812 时，FastDriveVLA 的 FLOPs 直降约 7.5 倍。在 CUDA 推理延迟方面，FastDriveVLA 将预填充提速 3.7 倍、解码提速 1.3 倍，实际推理效率显著提升。

定性可视化分析

ReconPruner 几乎完整留下了前景 token ，把背景压成极稀疏的色块，重建画面依旧清晰，证明它能在减少 token 冗余的同时保留关键信息，如图 4 所示。

再把 FastV（基于注意力）、DivPrune（基于相似性）和 FastDriveVLA 放到图 5 中进行对比，可以看到：我们的点密密麻麻落在车道、车道线和车身；FastV 几乎漏掉了车辆；DivPrune 虽然撒点更多，却几乎没往车道线上靠。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】