3D生成技术正迎来一场颠覆性的突破，填补了长期以来的物理短板。当我们惊叹于Midjourney的惊艳画作和Sora电影级视频时，一个根本性问题逐渐浮现：为何这些AI创造的3D世界总显”塑料感”？答案直指核心——它们缺乏真实的物理灵魂。现实世界中的每一件物品都严格遵循物理定律，椅子的重量硬度、笔记本电脑屏幕的开合机制、材质对手感和散热的影响，这些物理属性构成了真实体验的基础。然而，现有AI生成3D模型仅关注表面逼真度，完全忽略了这些关键物理特性。这一缺陷在物理仿真、机器人抓取和具身智能等高要求应用中暴露无遗。
南洋理工大学与上海AI Lab的科学家们敏锐捕捉到这一痛点，推出的PhysX-3D项目正引领3D生成领域实现革命性跨越。该项目以宏大目标为指引：打破虚拟世界的”魔咒”，让AI创造出真正”接地气”、具备物理灵魂的3D世界。PhysX-3D团队创新性地提出3D模型的”灵魂五问”，这五大物理维度构成了真实世界的基石。首先是绝对尺寸，AI需精准判断物体实际大小；其次是材质属性，系统需理解玻璃、金属或海绵等材质特性；功能可供性维度要求AI掌握物体核心功能与交互部位；运动学特性涉及部件运动能力与关系；最后是功能描述，需用自然语言解释物体用途。
面对市场缺乏全面物理标注数据集的难题，研究团队展现了工程师的创造力：既然没有现成”教科书”，就自己编写一本。全球首个系统性标注五大物理维度的3D数据集PhysXNet横空出世，包含超过2.6万个精细标注的3D物体。扩展版PhysXNet-XL更是拥有超600万个物理标注模型。数据集构建采用创新的人机协作标注流水线：AI系统GPT-4o等先进行自动化标注，再由人类专家精修。对于复杂的运动学参数，团队设计了精密流程——从接触区域计算到平面拟合，再到运动轴生成，确保参数的物理真实性。
有了权威的”教科书”，关键在于教会AI生成带物理属性的3D模型。PhysXGen生成框架采用”嫁接”与”融合”策略，在优秀几何模型基础上添加物理属性生成模块。其双分支架构设计堪称精妙：结构分支继承几何生成能力（物体的”皮囊”），物理分支专门学习五大物理属性（物体的”灵魂”）。通过潜空间对齐技术实现深度融合，AI逐渐掌握几何与物理的内在联系。实验结果令人瞩目：PhysXGen在几何质量上超越基线方法，物理属性预测准确度全面领先，材质和可供性预测误差分别降低64%和72%。
定性对比更直观展现优势。传统方法生成的水龙头可能连基本旋转都错误，而PhysXGen能准确创建旋转关节和部件关系。对于办公椅，新系统能精确预测海绵材质和靠背旋转特性。PhysX-3D项目意义深远，它为3D内容生成领域开辟全新方向：从单纯关注几何建模转向兼具物理特性的建模。这场变革将深刻影响机器人学、自动驾驶、虚拟现实等领域。当然，通往”物理AI”仍面临挑战：物体尺寸长尾分布、复杂运动学关系定义、虚拟与现实鸿沟等问题亟待解决。但PhysX-3D已打开物理智能世界的大门。随着技术成熟，AI将不仅是虚拟世界的”空想家”，更成为符合物理规律的3D世界建造师，重新定义AI创造力边界。论文地址：https://arxiv.org/pdf/2507.12465