
微新创想:Skywork AI 团队近日发布技术报告 宣布在交互式世界模型领域取得重大突破
其最新研发的 Matrix-Game3.0 系统 首次在 720p 高清分辨率下实现了每秒40帧(FPS) 的实时视频生成速度 并成功解决了 AI 视频生成中长期存在的“长效记忆”缺失问题
核心突破 攻克 AI 视频的“失忆”顽疾

长期以来 AI 视频生成模型在处理长序列互动时 常因缺乏有效记忆而出现空间结构错乱或风格漂移 Matrix-Game3.0 通过引入相机感知的记忆检索机制打破了这一瓶颈 该系统不仅能根据当前的相机姿态精准检索历史画面 还采用了统一的自注意力架构 将远期记忆 近期历史与当前预测帧置于同一空间进行联合建模 实验证明 即使在长达数分钟的复杂交互中 系统依然能保持极高的时空一致性 确保用户在“故地重游”时 场景细节与最初生成的画面高度吻合
工业级数据引擎 海量3A 游戏数据注入
为了让 AI 深刻理解真实世界的物理逻辑 研发团队构建了一套规模庞大的“数据工厂” 虚拟现实同步生成 利用虚幻引擎5(UE5)开发了 Unreal-Gen 平台 可全自动生成包含超过1亿种角色组合的电影级交互视频 3A 大作自动化采集 系统支持从《侠盗猎车手5》 《赛博朋克2077》等顶级游戏中大规模自动录制高质量的交互数据 多维真实场景补充 整合了超过10,000个真实世界的4K 序列 涵盖室内 城市及航拍等多样化场景
性能优化 通过“瘦身”实现极速响应

为满足实时交互对超低延迟的要求 Matrix-Game3.0 在推理架构上进行了深度优化 团队采用了多段自回归蒸馏策略 并结合了 VAE 解码器剪枝技术(剪枝率高达75%) 使解码速度提升了5倍以上 此外 通过 INT8量化等手段 系统进一步压低了计算开销 确保在5B 参数规模下依然能流畅运行
未来愿景 迈向无限生成的数字宇宙
除了5B 版本 团队还展示了参数规模达 28B 的 MoE 模型 随着模型规模的提升 AI 在动态模拟 场景过渡以及通用泛化能力上表现出更强的生命力 业内专家指出 Matrix-Game3.0 的问世为机器人训练 XR 扩展现实以及下一代沉浸式娱乐提供了关键的技术底座 这标志着 AI 从简单的“生成片段”进化到了“实时构建可交互世界”的新阶段
