微新创想8月9日电讯 武汉大学与蚂蚁集团近日联合推出革命性新一代语义增强遥感大模型SkySense,这一创新成果被誉为”12边形战士”,其技术突破已在线发表于国际顶级学术期刊《自然机器智能》
当前遥感基础大模型在复杂动态地球观测场景中应用仍面临多重挑战:多模态遥感影像数据融合性能不足、下游任务微调依赖海量标注数据、对遥感语义信息挖掘深度不够等。为突破这些技术瓶颈,研究团队在前期多模态遥感大模型SkySense基础上,成功研发出新一代升级版SkySense。该模型基于11个卫星载荷提供的2700万组多模态遥感影像数据,采用两阶段渐进式学习完成预训练。这一创新设计显著缓解了大模型对复杂微调流程和大量标注数据的依赖,大幅提升了模型的实用价值与泛化能力
研究团队在农业、林业、灾害管理7大领域的12种典型地球观测任务中,对SkySense进行了全面性能评估。实验结果令人瞩目,SkySense在全部12项任务中均表现突出,整体性能超越其他同类模型。与同期最先进方法相比,在全量微调分类与检测任务上,平均精度提升达4.79%;在少样本提示分割任务中,平均交并比(IoU)提高14.08%
值得一提的是,SkySense的前序版本曾在国际计算机视觉领域顶级会议CVPR发表,并在2024年世界人工智能大会上亮相。此次升级后的SkySense在农业生产评估、灾害应急响应、国土资源监测等实际应用场景中,不仅性能更优、稳定性更强,还新增了免微调部署能力,进一步拓展了模型的应用范围与场景适应性