2023年,尽管智能手机市场整体表现疲软,但手机厂商在产品竞争上却丝毫没有松懈,尤其在影像技术方面更是投入巨大,不断推陈出新。更大面积的传感器、光学防抖技术以及全焦段覆盖,使得高端智能手机的影像配置实现了显著升级。然而,硬件上的同质化竞争日益激烈,难以在用户体验上形成明显差异。同时,更豪华的硬件规格也带来了机身重量增加和内部空间设计的挑战,例如小米13 Ultra在影像方面表现出色,但硕大的相机模组和增加的重量却严重影响了日常手持体验。因此,加大软件与算法等方面的投入已成为手机厂商的共识。但关键问题在于,究竟该往哪个方向努力,又该如何实现突破?在7月底举办的2023 vivo影像盛典特别活动上,vivo影像产品高级总监李卓明确指出,当前手机影像技术正同时发展光学、算力和算法三大领域。
当前技术背景下,光学技术已接近瓶颈,突破难度极大,可能需要材料学和基础物理的突破才能实现。相比之下,算力和算法带来的进步则十分显著。vivo致力于从光学到算法全面发力,不断探索创新。不久前,雷科技受邀参观了vivo重庆智能制造中心内的3D影像实验室,亲眼见证了vivo在影像技术上的深厚积累。
在vivo 3D影像实验室,由175台单反相机、闪光灯、处理器、控制器和服务器组成的3D影像系统令人印象深刻。采集人体信息时,174台单反相机从不同角度同时拍摄,生成100余张2D图片,再通过计算处理最终生成3D模型。vivo展示了整个流程和生成的3D模型,尽管与实际拍摄场景存在差异,但模型的精细程度已足以令人惊叹。vivo明白这种方式无法直接应用于智能手机,但其真正目的在于通过3D模型采集大量精准的人体躯干与面部信息,不断优化算法,最终提升智能手机影像表现。
传统智能手机人像虚化算法通常在2D层面判断轮廓,缺乏3D深度信息,导致主体与背景过渡生硬,背景层次不足。vivo希望通过3D模型预训练,让算法更加智能,准确判断人体深度信息,实现更细腻自然的人像虚化效果。此外,3D模型的加入还扩展了人像虚化算法的应用范围,未来甚至可能实现眼睛特写虚化。在3D模型之外,vivo 3D影像实验室还配备了「重打光」系统——由96个可编程同步光源、工业相机、工作站和服务器组成。该系统模拟不同光照条件下的成像效果,为自研人像算法提供数据支撑,进一步提升手机算法表现。
vivo影像副总裁于猛表示,未来算法将不再孤立发展,而是要为传统光学赋能。这些技术有望不久后落地,并率先应用于vivo X系列。3D影像实验室的目标不止于此,随着生成式AI的普及,vivo正积极布局移动影像这一最佳试验场。
在海外,Midjourney、Stable Diffusion和DALL·E 2等AI绘画工具已取得突破性进展;在国内,「妙鸭相机」AI绘画小程序凭借精准场景、低价格和出色效果迅速走红。vivo重庆3D影像实验室通过搭建影视级光场系统,重建出「毛孔级」人体3D模型,实现高保真渲染。基于人像3D重建感知能力,vivo正探索叠加AIGC算法,通过手机即可拍摄虚实结合更自然的照片,实现「足不出户拍大片」的体验。
在闭门会议上,vivo展示了由3D模型结合AI绘画能力生成的「照片」,画面呈现极具真实感的赛博朋克世界和人物。不同于传统AI绘画,vivo通过工业级相机系统拍摄处理得出的精细化真人模型,不仅真实度高,理论上各种姿势和动作都能完美呈现。这可视为「妙鸭相机」的进阶版,在精细度上优势巨大,更核心的是「人」的呈现。
3D影像技术还可应用于虚拟人领域,包括3D数字人直播、3D表情驱动、3D虚拟场景编辑以及动画制作等。基于3D影像衍生的3D换装应用,可根据采集者的人体模型,在虚拟场景内实现足球游戏,目前已在vivo手机和平板电脑上实现演示。
vivo展示的未来令人憧憬。未来拍照方式可能被彻底颠覆,不再是简单的拍摄,而是基于3D模型和生成式AI技术的一种全新创作方式。