CityDreamer 是一款革命性的生成式AI模型，能够无限创造逼真的3D城市环境。在AI生成领域，构建城市景观远比自然场景更为复杂，因为人类对建筑结构的失真更为敏感。这款专为开放式、无边界城市场景设计的AI系统，通过创新技术克服了传统生成方法的局限。
自然场景生成之所以成功，主要得益于两个关键因素：一是自然对象具有高度相似性，二是SPADE等图像转换技术能够高效生成海量高质量训练数据。然而这些方法在城市建筑生成中并不适用。CityDreamer的核心突破在于将建筑实例生成与天空、地面等背景元素分离处理，这种模块化设计有效解决了城市场景中建筑多样性难以兼顾的难题。
CityDreamer系统基于两个真实世界城市数据集——开放街图（OSM）和Google Earth进行训练，使模型能够掌握真实的城市布局和建筑风格。研究人员通过深度学习算法，让模型从海量数据中提取城市生成规律，从而创造出高度逼真的城市场景。
该系统包含四个核心模块：无界布局生成器、城市背景生成器、建筑实例生成器和智能合成器。特别值得一提的是，建筑实例生成采用先进的变分自编码器技术，显著提升了生成结果的多样性。这种创新设计使得CityDreamer能够构建出细节丰富、逼真度极高的3D城市模型，并且支持无限扩展生成范围。
CityDreamer系统巧妙融合了多种生成模型的优点，成功攻克了开放式城市场景生成这一技术瓶颈，为数字城市规划和元宇宙应用提供了强大动力。这项研究成果充分展示了生成模型在复杂三维场景生成领域的巨大潜力，将推动相关领域迈向新高度。
项目官网：https://infinitescript.com/project/city-dreamer/
代码仓库：https://github.com/hzxie/city-dreamer