NVIDIA 的人工智能研究团队近日推出了 NitroGen，这是一款针对通用游戏代理的开放视觉行动基础模型。NitroGen 能够从网络视频中直接学习如何通过游戏画面和手柄操作来玩商业游戏，整个模型经过40，000小时的游戏体验训练，覆盖了超过1，000款游戏，同时还提供了开放数据集、通用模拟器和预训练策略。
NitroGen 的构建流程始于公开的游戏视频，这些视频包含输入叠加层，如游戏手柄的可视化。研究团队收集了71，000小时的原始视频，经过质量过滤后，最终得到40，000小时的精选数据，涵盖了818位创作者的38，739个视频。数据显示，这些视频跨越846款游戏，其中34.9% 的游戏时间来自动作角色扮演类游戏，18.4% 来自平台类游戏，9.2% 来自动作冒险类游戏，剩余则涵盖了体育、 roguelike、赛车等多个类别。
在提取每帧动作的过程中，NitroGen 使用了三阶段的提取流程。首先，系统通过300个控制器模板定位手柄叠加层。接着，使用基于 SegFormer 的分类分割模型解析手柄区域，最后对坐标进行精细化处理。这一流程确保了动作预测的准确性，使得 NitroGen 能够有效进行大规模行为克隆。
此外，NitroGen 还配备了一个通用模拟器，它能够将商业 Windows 游戏包装为兼容 Gymnasium 的接口，支持逐帧互动，且无需修改游戏代码。这使得 NitroGen 可以在多个游戏中直接应用同一策略。
NitroGen 采用了基于 Diffusion Transformer 的策略架构，该模型在256×256分辨率的 RGB 图像上运行。经过预训练后，NitroGen 在多个任务上展现了良好的零 – shot 评估能力，任务完成率在45% 至60% 之间。该模型的预训练使其在迁移到新游戏时，表现出显著的性能提升，相较于从头训练，提升幅度可达52%。
huggingface:https://huggingface.co/nvidia/NitroGen
划重点:
📊 NitroGen 是一款开放视觉行动基础模型，能够从网络视频中直接学习游戏操作。
🎮 数据集涵盖40，000小时游戏视频，覆盖超过1，000款游戏。
🚀 预训练的 NitroGen 在新游戏中的表现显著提升，相较于从头训练有高达52% 的性能改善。