近日，中国香港大学、哈尔滨工业大学与浙江大学三所顶尖高校的联合研究团队，共同发布了一项名为“OmniPart”的革命性3D建模技术。这项创新技术旨在突破当前主流3D生成模型在细节构建上的瓶颈，通过先进的算法实现生成3D模型外观逼真与部件结构清晰的双重突破。与DreamFusion、TRELLIS等现有模型不同，这些模型虽然能创造出看似完整的3D形态，却普遍缺乏内在的零件结构，导致难以满足精细化修改的需求。以3D角色设计为例，当设计师需要调整手臂长度或机械装置的齿轮时，现有模型往往难以提供零件级别的精准控制，严重限制了创意表达的灵活性。
OmniPart技术的核心突破在于实现了部件间的独立性，同时确保整体结构的合理性。其创新的两阶段生成框架，为3D建模领域带来了前所未有的精准度与灵活性。在第一阶段的结构规划环节，OmniPart采用自回归模型与灵活的2D部件掩码，通过智能算法规划出3D部件的空间布局。自回归模型能够根据已有序列信息逐步生成各部件的边界框，其生成过程兼具灵活性与高效性。为解决边界框可能无法完全覆盖对应部件的问题，研究团队还设计了一种创新的部件覆盖损失函数，显著提升了生成效果的质量与准确性。
进入第二阶段，OmniPart基于第一阶段生成的部件布局，利用预训练的整体3D生成器TRELLIS高效生成所有部件的高质量3D表示。这一阶段特别注重每个部件的语义感知与整体结构一致性，确保生成的部件在语义上保持独立性，同时在结构上又能紧密相连。此外，OmniPart还引入了创新的体素丢弃机制，通过智能筛选冗余信息，进一步提升了模型的准确性与运行效率。这一技术的推出，不仅标志着3D建模领域的一次重要突破，更预示着其在游戏开发、动画制作等创意领域的广泛应用前景。
划重点：🌟 OmniPart技术实现了3D模型部件的独立性，为创意设计提供了前所未有的灵活性。 🔍 采用自回归模型与部件掩码的两阶段生成框架，大幅提升3D建模的精确度与细节表现力。 🚀 创新机制如体素丢弃，显著增强了模型在复杂场景中的处理能力与运行效率。项目官网：https://omnipart.github.io/
