3D生成技术正迎来一场颠覆性的突破,填补了长期以来的物理短板。当我们惊叹于Midjourney的惊艳画作和Sora电影级视频时,一个根本性问题逐渐浮现:为何这些AI创造的3D世界总显”塑料感”?答案直指核心——它们缺乏真实的物理灵魂。现实世界中的每一件物品都严格遵循物理定律,椅子的重量硬度、笔记本电脑屏幕的开合机制、材质对手感和散热的影响,这些物理属性构成了真实体验的基础。然而,现有AI生成3D模型仅关注表面逼真度,完全忽略了这些关键物理特性。这一缺陷在物理仿真、机器人抓取和具身智能等高要求应用中暴露无遗。
南洋理工大学与上海AI Lab的科学家们敏锐捕捉到这一痛点,推出的PhysX-3D项目正引领3D生成领域实现革命性跨越。该项目以宏大目标为指引:打破虚拟世界的”魔咒”,让AI创造出真正”接地气”、具备物理灵魂的3D世界。PhysX-3D团队创新性地提出3D模型的”灵魂五问”,这五大物理维度构成了真实世界的基石。首先是绝对尺寸,AI需精准判断物体实际大小;其次是材质属性,系统需理解玻璃、金属或海绵等材质特性;功能可供性维度要求AI掌握物体核心功能与交互部位;运动学特性涉及部件运动能力与关系;最后是功能描述,需用自然语言解释物体用途。
面对市场缺乏全面物理标注数据集的难题,研究团队展现了工程师的创造力:既然没有现成”教科书”,就自己编写一本。全球首个系统性标注五大物理维度的3D数据集PhysXNet横空出世,包含超过2.6万个精细标注的3D物体。扩展版PhysXNet-XL更是拥有超600万个物理标注模型。数据集构建采用创新的人机协作标注流水线:AI系统GPT-4o等先进行自动化标注,再由人类专家精修。对于复杂的运动学参数,团队设计了精密流程——从接触区域计算到平面拟合,再到运动轴生成,确保参数的物理真实性。
有了权威的”教科书”,关键在于教会AI生成带物理属性的3D模型。PhysXGen生成框架采用”嫁接”与”融合”策略,在优秀几何模型基础上添加物理属性生成模块。其双分支架构设计堪称精妙:结构分支继承几何生成能力(物体的”皮囊”),物理分支专门学习五大物理属性(物体的”灵魂”)。通过潜空间对齐技术实现深度融合,AI逐渐掌握几何与物理的内在联系。实验结果令人瞩目:PhysXGen在几何质量上超越基线方法,物理属性预测准确度全面领先,材质和可供性预测误差分别降低64%和72%。
定性对比更直观展现优势。传统方法生成的水龙头可能连基本旋转都错误,而PhysXGen能准确创建旋转关节和部件关系。对于办公椅,新系统能精确预测海绵材质和靠背旋转特性。PhysX-3D项目意义深远,它为3D内容生成领域开辟全新方向:从单纯关注几何建模转向兼具物理特性的建模。这场变革将深刻影响机器人学、自动驾驶、虚拟现实等领域。当然,通往”物理AI”仍面临挑战:物体尺寸长尾分布、复杂运动学关系定义、虚拟与现实鸿沟等问题亟待解决。但PhysX-3D已打开物理智能世界的大门。随着技术成熟,AI将不仅是虚拟世界的”空想家”,更成为符合物理规律的3D世界建造师,重新定义AI创造力边界。论文地址:https://arxiv.org/pdf/2507.12465