MediaPipe Hands实战：智能零售手势交互系统部署
2026/1/13 15:47:40
🚀 快速了解部分
基础信息（英文）：
- 题目: Video Prediction Policy: A Generalist Robot Policy with Predictive Visual Representations
- 时间年月: 2025.5
- 机构名: AI Lab, Shanghai Qi Zhi Institute, RobotEra, University of California, Berkeley, Tsinghua University
- 3个英文关键词: Video Prediction Policy (VPP), Predictive Visual Representations, Video Diffusion Models
1句话通俗总结本文干了什么事情
本文提出了一种名为“视频预测策略（VPP）”的新方法，通过利用视频扩散模型预测未来的视觉画面来隐式地学习机器人的动作策略，从而让机器人能更好地理解和执行复杂的物理操作任务。
研究痛点：现有研究不足 / 要解决的具体问题
现有的视觉编码器通常只关注当前的静态画面或简单的图像对比，忽略了对具身任务至关重要的动态信息；而现有的视频预测方法往往计算量大、控制频率低，或者无法充分利用互联网上丰富的视频数据中的物理知识。
核心方法：关键技术、模型或研究设计（简要）
该研究提出了VPP模型，分为两步：首先利用互联网和机器人数据微调视频扩散模型（TVP），使其具备预测未来画面的能力；然后利用该模型生成的“预测视觉表示”（包含当前和未来信息）作为输入，训练一个策略网络来生成机器人的动作。
🧐 深入了解部分
相比前人创新在哪里
VPP的创新在于它不直接使用视频扩散模型生成像素级的清晰未来图像（这很耗时），而是将其作为一个“视觉编码器”，利用模型内部的隐变量表示（Latent Variables）来同时捕捉当前状态和预测的未来动态。这种方法既利用了视频生成模型对物理世界的理解，又避免了繁琐的去噪过程，实现了高频控制。
解决方法/算法的通俗解释
想象一下，这个机器人在行动前会先在“脑海”里快速预演接下来会发生什么画面。VPP不是真的去画出下一秒的高清图，而是提取出画面中物体和手臂将要怎么移动的“趋势信息”（即预测视觉表示），然后根据这个趋势来决定现在的动作，就像老司机开车时预判路况一样。
解决方法的具体做法
- 预训练与微调（TVP模型）：基于Stable Video Diffusion模型，加入语言指令微调，使用互联网人类操作数据和机器人数据进行训练，使其能根据当前画面和指令预测未来的视频序列隐变量。
- 特征提取与聚合：在推理时，只进行一次前向传播，提取视频扩散模型上采样层的特征，并通过“Video Former”模块将这些时空特征聚合为固定长度的表示。
- 动作生成：将聚合后的特征输入到扩散策略（Diffusion Policy）头部，直接输出机器人的动作序列。
基于前人的哪些方法
该研究基于**视频扩散模型（Video Diffusion Models, VDMs）的基础理论（如SVD），并结合了扩散策略（Diffusion Policy）**的动作生成机制。它还借鉴了利用预训练模型（Foundation Models）进行视觉表示学习的思路，但将其从静态图像扩展到了动态视频预测。
实验设置、数据、评估方式、结论
- 模拟实验：在CALVIN和MetaWorld基准上测试。VPP在CALVIN ABC→D泛化任务中平均任务完成长度达到4.33（SOTA），比之前的GR-1提升了18.6%；在MetaWorld 50个任务中平均成功率也显著领先。
- 真实世界实验：在Franka Panda机械臂（30+任务）和灵巧手（100+任务）上验证。VPP在未见过的任务（Unseen Tasks）中表现出极强的泛化能力，成功率比GR-1和Susie等基线高出31.6%。
- 结论：利用视频预测模型的内部表示能有效传递物理世界的动态知识，VPP在模拟和真实场景中均实现了最先进的性能和泛化能力。
提到的同类工作
文中提到的同类工作包括RT-1（直接动作学习）、Robo-Flamingo（多模态动作学习）、Uni-Pi（基于视频预测的逆运动学）、Susie（基于图像编辑模型的预测）、GR-1（自回归视频动作生成）、Robo-Uniview（3D视觉编码器）以及Vidman（视频扩散模型适配）。
和本文相关性最高的3个文献
- GR-1 (Wu et al., 2023a)：这是本文最主要的对比基准（SOTA方法），VPP在多个实验中直接对标并超越了GR-1的性能。
- Stable Video Diffusion (SVD) (Blattmann et al., 2023a)：这是本文提出的TVP模型所基于的基础视频生成模型架构。
- Diffusion Policy (Chi et al., 2023)：本文在动作生成头部使用的核心算法基础。
我的
- 依赖video generation model来提供信息。和DreameGen不同，是从生成模型里的latents来预测Action。