具身智能领域迎来颠覆性突破，清华大学与生数科技联合研发的Vidar模型，首次让通用视频大模型实现了从虚拟到现实的跨越。7月25日发布的这项成果，通过少样本泛化能力，成功连接了Dream World与Real World的物理执行，彻底改写了具身智能的发展规则。这一创新不仅打破了传统数据壁垒，更开创了“虚实互通”的新范式，为具身智能的规模化发展提供了关键支撑。
突破跨本体泛化困境：实现精准指令控制
作为视频大模型Vidu在具身智能领域的重大突破，Vidar是全球首个基于通用视频大模型实现视频理解向物理决策系统性迁移的多视角具身基座模型。该模型创新性地构建了支持双臂协同任务的多视角视频预测框架，在保持SOTA性能的同时，展现出卓越的少样本学习优势。仅需20分钟机器人真机数据，即可快速泛化到全新机器人本体，所需数据量仅为行业领先RDT的八十分之一，π0.5的一千两百分之一，大幅降低了机器人大规模泛化的数据门槛。经过微调的模型能够精准执行多视角双臂任务，实现“说什么指令，做什么事情”的完美控制。
具身数据金字塔：解决数据采集难题
当前主流视觉-语言-动作（VLA）模型高度依赖海量多模态数据，但数据收集过程费时费力、成本高昂，且往往适配特定机器人本体。Vidar通过解构具身任务执行范式，将其划分为上游视频预测和下游动作执行两部分，构建了“海量通用视频-中等规模具身视频-少量机器人特定数据”的三级数据金字塔。视频预测部分利用海量视频数据训练的Vidu基座，结合中等规模具身视频数据继续预训练，获得少样本泛化能力；下游执行部分通过学习逆动力学模型（IDM），将视频翻译为机械臂动作，实现视觉-语言模态与动作模态的完全解耦。
Vidar整体架构：视频扩散模型与逆动力学模型
视频扩散模型通过“预训练+微调”实现精准控制。为提升模型泛化能力，清华大学和生数团队创新性地提出基于统一观测空间的具身预训练方法。该方法通过多视角视频拼接形成统一分辨率的“全景图”，整合本体信息、摄像头信息与任务标注，为海量互联网数据提供共同对话基础。以75万条双臂机器人操作数据对Vidu模型进行深度训练，构建了兼具动作、环境和任务先验知识的具身视频基座模型。仅需20分钟目标机器人操作数据即可完成专属微调，使Vidar在全新机器人平台上精准执行任务。
具身预训练前后，Vidu2.0基础模型在VBench视频生成基准上显著提升主体一致性、背景一致性和图像质量，为少样本泛化提供有力支撑。团队引入测试时扩展（Test-Time Scaling），使模型能够根据实际情况选择更贴近现实的预测结果，进一步提升了实际应用中的视频预测表现。
逆动力学模型：连接虚拟与现实的桥梁
为突破VLA范式面临的机器人动作数据匮乏瓶颈，团队提出“任务无关动作”概念，将动作解耦出基座模型，带来三大核心优势：数据采集更便捷、跨任务泛化更轻松、无需人类监督标注。基于此，团队开发了自动化规模化收集任务无关动作数据的方法ATARA，仅需10小时无干预自动化采集即可实现全动作空间泛化。超高精度预测模型AnyPos通过Arm-Decoupled Estimation和Direction-Aware Decoder，在自动化采集的数据上训练出高精度动作预测模型，准确率远超基线51%，真实世界任务轨迹重放成功率接近100%。
为适应不同背景，团队还提出掩码逆动力学模型架构，自动捕捉机械臂相关像素，实现跨背景高效泛化。这些创新使Vidar在16种常见机器人操作任务上取得远超基线方法的成功率，尤其在未见过任务和背景上的泛化能力表现突出。
真机操作实验：打通虚拟-物理世界
Vidar视频预测结果与真机执行结果对比显示，模型能够准确理解任务意图（如从红色物体中找到苹果并抓取），并精确完成双臂协作抓取等复杂任务。这一突破显著提升了机器人在多任务操作和灵活应对环境变化方面的能力，为服务机器人在居家、医院、工厂等复杂环境中的应用奠定了坚实技术基础。Vidar架起了从虚拟世界算法演练到真实环境自主行动的关键桥梁，让AI真正能够“脚踏实地”服务物理世界。
技术溯源：从视频理解到具身执行的创新路径
Vidar（Video Diffusion for Action Reasoning）基于生数科技旗下视频大模型Vidu的创新架构，延续雷达灵敏感知的隐喻，突出其打通虚实结合的多重能力。Vidar与Vidu均致力于解决复杂时空信息的理解与生成，是全球首个采用多模态生成模型架构解决物理世界问题并达到SOTA水平的机器人大模型。这一创新不仅彰显了Vidu的强大基模能力及其架构的卓越扩展性，也将通过强化对物理世界的认知，反哺Vidu在数字世界视频创作中对物理规律的理解与生成能力。
生数科技创始人兼首席科学家朱军教授表示：“我们致力于通过多模态大模型技术推动数字世界与物理世界的深度融合与协同进化。一方面打造新一代数字内容创作引擎，另一方面通过训练具身视频基座模型实现虚拟与现实的深度交互。”团队核心成员来自清华大学计算机系TSAIL实验室，包括冯耀、谭恒楷、毛心怡等，研究方向涵盖具身智能、多模态大模型和强化学习。该项目由两位Co-Lead领导：清华大学计算机系TSAIL实验室的2023级博士生冯耀（Yao Feng）和二年级博士生谭恒楷（Hengkai Tan）。AnyPos和Vidar工作延续了团队“将动作解耦出基座模型”的思路，朝着泛化的视觉交互智能体迈出关键一步。
