李飞飞、Yilun Du罕见联手：别给机器人建大脑了，直接偷视频模型的｜GAIR Paper 115

摘要

李飞飞与 Yilun Du 等研究者提出新思路，主张不再为机器人单独构建“大脑”，而是直接利用视频大模型作为机器人的控制中枢。该研究通过“像素动作”的新接口，打通视频大模型与机器人之间的壁垒，使视频模型能够直接输出控制指令。这一方法有望大幅降低具身智能的开发门槛，加速机器人在复杂场景中的泛化能力。

为何重要

• •提出直接利用视频大模型控制机器人的新范式，挑战了传统为机器人单独构建控制模型的思路。
• •通过“像素动作”接口打通视频模型与机器人，为具身智能提供了更高效的技术路径。
• •该方法有望降低具身智能开发门槛，加速机器人在复杂场景中的泛化能力。
• •李飞飞与 Yilun Du 等顶尖学者的联手，提升了该研究方向在学术界与产业界的关注度。