NVIDIA 最新力作 Cosmos DiffusionRenderer 正式问世，这是一款革命性的视频扩散框架，专为高精度图像与视频的去光源及重光源处理而生。作为 NVIDIA 原有 DiffusionRenderer 技术的颠覆性升级，Cosmos DiffusionRenderer 通过创新的数据策划流程，实现了令人惊叹的渲染效果提升，为视觉效果领域树立了新标杆。
想要体验 Cosmos DiffusionRenderer 的强大功能，用户需要满足以下基础配置要求：首先，确保系统已安装 Python3.10 版本；其次，配备一块显存至少为 16GB 的 NVIDIA GPU，推荐使用显存达到 24GB 的显卡以获得最佳性能；此外，还需要安装最新版 NVIDIA 驱动程序，并确保 CUDA 版本为 12.0 或更高。同时，用户必须预留至少 70GB 的可用磁盘空间。设置过程十分简单，只需创建一个名为 “cosmos-predict1” 的 conda 环境，并安装所有必要的依赖包即可完成环境配置。
安装完成后，下一步是下载模型权重，这些权重资源可以通过 Hugging Face 平台轻松获取。一旦所有准备工作就绪，用户即可开始进行图像和视频的渲染推断。在图像处理环节，Cosmos DiffusionRenderer 能够利用已训练的逆渲染模型，从输入图像中精准提取基础颜色、法线、深度等关键 G 缓冲区信息。通过简洁的命令行操作，用户可以高效处理指定文件夹中的图像，并将渲染结果保存至自定义输出文件夹。
完成逆渲染步骤后，前向渲染器将发挥其独特优势，对图像进行重光源处理。此时，用户可以根据需求选择不同的环境光照地图，从而创造出多样化的重光源效果。对于视频处理需求，Cosmos DiffusionRenderer 同样表现出色——只需先将视频分解为独立帧，然后依次对每一帧进行逆渲染和重光源处理，最终合成完整的高质量视频。该框架支持多环境光源的选择，能够生成丰富多样的重光源视频效果。
Cosmos DiffusionRenderer 的推出不仅为用户带来了前所未有的灵活性和创作自由度，更在渲染质量上实现了质的飞跃。这一技术的问世，标志着视频渲染技术迈入了全新纪元，未来必将在电影特效、游戏开发、虚拟现实等视觉效果创作领域发挥不可估量的重要作用。
项目地址: https://github.com/nv-tlabs/cosmos1-diffusion-renderer
划重点:
? 此技术是 NVIDIA 原有 DiffusionRenderer 的重大升级，提供更高质量的图像和视频渲染
? 用户需安装 Python3.10和至少16GB 显存的 NVIDIA GPU，并创建相关的 conda 环境
? 支持对图像和视频进行去光源及重光源处理，并能使用多种环境光照地图进行渲染