鹭羽发自凹非寺
量子位 | 公众号 QbitAI
「仿生人会梦见电子羊吗？」这是科幻界一个闻名遐迩的问题。
现在英伟达给出答案：Yes！而且还可以从中学习新技能。
这是 NVIDIA GEAR Lab 最新推出的 DreamGen 项目。
它所说的“梦境中学习”，是巧妙利用 AI 视频世界模型生成神经轨迹，仅需少量现实视频，就能让机器人学会执行 22 种新任务。
在真实机器人测试上，复杂任务的成功率更是从 21% 显著提升至 45.5%，并首次实现真正意义上的从 0 开始的泛化。
英伟达掌门人老黄最近也在 Computex 2025 演讲上将其作为 GR00T-Dreams 的一部分对外正式进行宣布。
接下来就 DreamGen 构造我们一一拆解。
在梦境中学习
传统机器人虽已展现出执行复杂现实任务的巨大潜力，但严重依赖人工收集的大规模遥操作数据，成本高且耗时长。
纯粹的计算机仿真合成数据，也由于模拟环境与真实物理世界差距大，机器人所学会的技能难以直接应用到现实。
于是研究团队提出要不试试让机器人在梦境中学习？
这个想法也并非空穴来风，早在 2016 年 MIT 的一项研究就证实，婴儿大脑会通过睡眠期间的神经活动进行自发学习。
由此诞生的 DreamGen，核心思想就是利用成熟的视频世界模型（如 Sora、Veo），对现实视频进行虚拟合成，创建大规模逼真训练数据。
新范式主要遵循四步走流程：
1、微调模型
通过目标机器人的远程操作轨迹，捕捉其运动学与动力学特征，微调视频世界模型。
2、虚拟数据生成
给定初始帧与语言指令后，生成描述预期行为的海量机器人视频序列，既包含微调后的已知行为，也包括未知场景中的新行为。
当然在这一步也要过滤掉那些不听从指令的噩梦。
3、虚拟动作提取
利用潜在动作模型或逆动力学模型（IDM）解析伪动作序列，形成神经轨迹。
4、策略训练
使用生成的视频-动作序列对（即神经轨迹）训练下游视觉运动策略。
通过 DreamGen，团队实现仅凭单个环境中的单一拾取任务的遥操作数据，就能在10 个新环境中生成22 个新动作的“梦境”或神经轨迹，例如倾倒、锤击、折叠、熨烫衣物、舀取M&M‘s豆等，并训练机器人“零镜头”下执行这些任务。
此外它还可以增强不同机器人系统（如 Franka 与 SO-100）以及不同策略架构（如 Diffusion Policy、GR00T N1）在接触密集型任务中的表现，真正实现了从 0 到 1 的零样本行为泛化和零样本环境泛化。
实验结果表明，利用单一动作数据学习新动作的成功率从11. 2%升至43. 2%，在单环境训练下，全新环境中的成功率也从0%达到了28. 5%（传统方法几乎无法完成）。
以RoboCasa为基准的仿真验证中，神经轨迹规模达到人类演示数据的333 倍，策略性能随轨迹数量呈对数线性提升。
在 Fourier GR1、Franka Emika 和 SO-100 机器人等真实平台上复杂任务的成功率也提升显著，均证实了 DreamGen 的有效性。
另外团队还开发了首个机器人视频生成评估基准DreamGen Bench，通过指令遵循度（IF）和物理合理性（PA）两项指标，评估模型生成数据的质量。
英伟达的 GR00T-Dreams 蓝图
英伟达的野心还远不止于此，DreamGen 作为英伟达进军物理 AI 的宏伟蓝图的一部分，将协助新工具GR00T-Dreams从单个图像中生成大量合成运动数据，并通过压缩动作令牌加速机器人行为学习。
这意味着 GR00T-Dreams 将会让GR00T N1.5开发从 3 个月锐减至 36 小时，作为英伟达开放、通用、完全可定制的类人推理和技能基础模型的首次更新，GR00T N1.5 将部署在 Jetson Thor 上，预计于今年底推出。
老黄谈到这一发展时表示：
从机器人的人工智能大脑，到用于实践的模拟世界，再到用于训练基础模型的人工智能超级计算机，NVIDIA 为机器人技术发展的每个阶段提供了基础模块。
也许正如网友所说，英伟达一直走在造梦的路上：
论文链接：https://arxiv.org/abs/2505.12705
项目链接：https://research.nvidia.com/labs/gear/dreamgen/
参考链接：
[1]https://x.com/DrJimFan/status/1924819887139987855
