通过眼球反光复现眼中的世界？科幻场景竟成现实
编者按：本文来自微信公众号新智元（ID：AI_era），作者：新智元，微新创想经授权发布，头图来源摄图网。”唯一真正的探索之旅，不是去拜访陌生的土地，而是透过别人的眼睛来观察宇宙。”——马塞尔·普鲁斯特
透过他人之眼观察世界，这个充满科幻色彩又带点诗意的想法，如今已化为现实！只需捕捉眼睛的微妙反光，就能三维重建他人眼中的景象。这究竟是如何实现的？
最近，马里兰大学的研究团队提出了一种突破性方法——通过分析包含眼睛反光的人像照片，重建摄像机无法直接捕捉的场景。论文地址：https://arxiv.org/abs/2306.09348 项目地址：https://world-from-eyes.github.io/
经典科幻场景成真？用眼睛反射生成辐射场重建？这个想法看似天马行空，却拥有坚实的理论基础。研究团队指出，人眼具有高度反射性，通过捕捉头部移动的一系列帧，完全可能仅凭眼睛反光重建并渲染观察者眼中的3D场景。
这个概念如此颠覆性，论文发布几小时后，《黑镜》新一季就宣布上线，这种巧合不禁让人怀疑《黑镜》导演是否提前看到了这篇论文。（狗头）黑镜第六季今日上线
这项研究迅速引发热议。网友们惊呼：”我们真的要进入这个时代了吗？这不就是《攻壳机动队》里的场景？”100%还原《银翼杀手》，现在就给我一份拷贝吧！儒勒·凡尔纳笔下的《基普兄弟》竟成真了！
当然，也有人表示担忧：”这项技术可千万别被用于调查取证。”
如今，Varjo眼动追踪相机、苹果VisionPro等设备已能捕捉海量视觉数据，结合这项新技术，无数科幻场景或将很快变为现实……
研究团队通过分析光线在眼球上的微小反射，开发出一种单目图像序列重建方法，能还原观察者（非直视）的场景。但仅靠反射训练辐射场存在三大挑战：1）角膜定位噪声；2）虹膜纹理复杂度；3）图像中低分辨率反射。
为攻克这些难题，团队创新性地引入角膜姿态优化和虹膜纹理分解技术，并借助基于虹膜的径向纹理正则化损失。与需要移动相机的传统神经场训练不同，该方法将相机固定在单一视点，完全依赖用户头部移动。
利用人眼反光实现场景重建的关键在于：准确估计眼睛姿态极其困难，且虹膜与场景反射的纹理相互交织。为此，研究团队联合优化了眼睛姿态、场景辐射场和虹膜纹理。主要贡献包括：
1. 提出从眼睛图像重建3D场景的新方法，融合了基础研究与神经渲染最新进展
2. 引入虹膜径向先验，通过纹理分解显著提升辐射场重建质量
3. 开发角膜姿态优化算法，攻克人眼特征提取难题
实验显示，通过移动画面捕捉眼睛反射，能获取场景多角度信息，最终实现完整重建。更令人惊叹的是，团队还用Miley Cyrus和Lady Gaga的音乐视频重建了她们眼中的景象——成功还原了Miley眼中的物体，并从Lady Gaga眼中”捕捉”到一个人的上半身（因视频质量限制，结果尚未完全验证）。
如何实现这一突破？健康成年人的角膜几何形状高度一致。只需计算图像中角膜的像素大小，就能精确定位眼睛位置。研究团队通过模拟光线反射，训练眼睛反射的辐射场，同时用二维纹理映射学习虹膜纹理进行分解。
实验评估分两阶段：
合成数据评估：在Blender场景中放置人眼模型，验证仅靠眼睛反射重建的可行性。结果显示，角膜姿态优化显著降低了估计噪声，尤其在高噪音条件下表现更优。纹理分解使重建在SSIM和LPIPS指标上更胜一筹（因光照差异大未计算PSNR）
真实世界评估：使用索尼RX IV相机拍摄，Adobe Lightroom降噪处理，并辅以额外光源。被摄者需在相机视野内移动，每场景采集5-15帧图像。由于角膜仅占图像0.1%，且与虹膜纹理交错，团队开发了自动化流程：用Grounding Dino定位眼框，ELLSeg拟合虹膜椭圆，Segment Anything获取虹膜分割掩码。
真实结果令人震撼：尽管角膜定位存在模糊性（尤其对绿色/蓝色眼睛），方法仍能重建3D场景。但未建模纹理时会出现”漂浮物”现象。通过增强径向正则化可改善质量。
然而，该方法仍存在两大局限：
1. 实验室设置依赖放大拍摄和额外光源，自由环境下传感器分辨率、动态范围和运动模糊等挑战更大
2. 对虹膜纹理的简化假设（如恒定纹理、径向恒定颜色）可能导致大角度旋转时失效
研究团队介绍：
共同一作Kevin Zhang为马里兰大学博士生
Brandon Y. Feng是马里兰大学计算机科学博士，专注计算成像、中层视觉等领域
Jia-Bin Huang为马里兰大学副教授，研究计算机视觉与机器学习交叉领域
参考资料：https://world-from-eyes.github.io/
本文为专栏作者授权微新创想发表，版权归原作者所有。文章系作者个人观点，不代表微新创想立场，转载请联系原作者。如有任何疑问，请联系http://www.idea2003.com/。
