马里兰大学与Meta AI研究人员联合推出突破性视频抠图新方法——OmnimatteRF，通过创新性地融合2D前景图层与3D背景模型，显著提升了视频抠图的精准度和适用范围。这一技术突破为视频处理领域带来了革命性进展，特别是在处理复杂动态场景时展现出卓越性能。
2D前景图层专门用于捕捉运动物体及其动态影响，而3D背景模型则完美适配具有复杂几何结构和非旋转摄像运动的场景。这种双模型协同工作方式极大地扩展了可处理视频类型的多样性，从日常记录到专业制作都能实现高质量抠图效果。研究人员在两个权威视频数据集上的对比实验表明，OmnimatteRF的表现远超传统方法，且无需针对每个视频进行单独参数调整，真正实现了通用化解决方案。
Omnimatte技术之所以备受瞩目，源于其巧妙融合了现有两种领先方法的优点。传统Omnimatte方法基于单应性建模背景，仅适用于平面或纯旋转运动场景；而D2NeRF通过独立建模动态与静态成分，采用双辐射场架构，在处理大范围运动场景时表现出色，且无需任何遮挡输入即可实现完全自监督。OmnimatteRF则创新性地将两者结合，既保留了对复杂几何形状的精准处理能力，又增强了2D指导信息的融合机制，真正实现了技术突破。
具体实现流程中，OmnimatteRF首先运用传统视频遮罩技术精准分离动态前景层，随后结合单目深度估计训练TensoRF神经辐射场模型构建静态背景，最终通过联合优化算法实现前景与背景的无缝融合。实验数据显示，在各类真实视频测试中，OmnimatteRF的重建效果比仅依赖二维层的方法提升超过30%，特别是在处理复杂场景时优势更为明显。这一技术不仅为视频制作专业人员提供了强大工具，可用于添加特效或进行场景重构，更在构建沉浸式虚拟环境领域展现出巨大潜力，有望推动数字内容创作进入全新阶段。项目源代码已开源至GitHub，为业界提供宝贵研究资源。
