2023年8月19日至20日，由中国人工智能学会主办、中国人工智能学会会士之家（杭州站）承办、浙江杭州未来科技城管委会协办的第三期人工智能创新技术讲习班——”多模态大模型技术前沿与应用”成功举行，活动采用线上线下相结合的形式，线上累计观看人次突破16万。本次讲习班聚焦人工智能领域热点话题”多模态大模型”，旨在深化学术交流、加速技术创新进程。复旦大学邱锡鹏教授与清华大学徐枫副教授共同担任本期讲习班学术主任，宋睿华副教授、代季峰副教授、孙天祥博士、王炳宁先生、赵俊博研究员、严明先生等6位在多模态大模型及相关领域具有深厚学术影响力的专家学者组成讲师团，为听众奉献了一场内容丰富的学术盛宴。
讲习班期间，听众反响热烈，互动频繁。浓厚的学术氛围不仅贯穿整个授课过程，更延续至课后，各位讲师耐心解答线上线下观众提问，现场交流气氛十分活跃。徐枫副教授在8月19日至20日的两天时间里，带领各位讲师以严谨缜密的学术态度和妙趣横生的授课风格，为线上线下学员和观众呈现了6场知识盛宴，内容涵盖理论研究到落地应用等多个维度。
第一堂课《多模态理解与人工智能创作》由宋睿华副教授主讲。授课伊始，宋睿华副教授深入浅出地阐释了”多模态”概念及其与多媒体的区别，并分析了该技术突然火爆的原因。随后，他详细介绍了文澜模型1.0至3.0的发展历程，分享了”多模态与文本预训练模型的文本嵌入差异研究”的完整研究过程及成果。授课最后，宋睿华副教授对多模态理解与创作的未来趋势进行了总结，鼓励听众勇于挑战学术难题。
第二堂课《视觉基础大模型》由代季峰副教授主讲。他指出通用大模型正在引领人工智能发展浪潮，围绕”超大规模视觉模型”及相关技术路线展开精彩讲解。代季峰副教授不仅描述了LLM（大规模语言模型）的强大功能，更称赞其为通用人工智能发展道路上的重要里程碑。
第三堂课《对话式大型语言模型》由孙天祥博士主讲。授课内容分为四个部分：预训练数据、自然语言基座模型、对话语言模型和OpenLMLab，系统性地介绍了对话式大型语言模型的构建方法。
第四堂课《大语言模型的训练和优化方法》由王炳宁老师主讲。他首先系统梳理了语言模型的发展历程，指出近年来语言模型发展呈现超线性增长趋势，发布频率不断加快。随后，他对大语言模型的基础框架及优化方法进行了详细阐述，并表达了对大语言模型的美好憧憬，以及为中文互联网大语言模型发展贡献力量的决心。
第五堂课《TableGPT——大模型的漫长落地之路初探》由赵俊博研究员主讲。授课前，他以风趣的方式解释了为何为课题名称加上”渡劫”二字，坦言研究过程充满挑战与挫折，希望激励处于研究瓶颈期的同行们。赵俊博研究员介绍了团队研究背景，阐述了从刚性LLM到选择”TableGPT”的决策过程。随后，他详细介绍了”TableGPT”的功能、落地过程及方案，并以幽默的比喻总结道：从通用LLM到领域LLM的转变堪比”文科生到理科生”的蜕变。
第六堂课《达摩院通义mPLUG多模态大模型技术与应用》由严明老师主讲。他首先回顾了多模态大模型技术发展历程，重点介绍了团队研究的两条路径：mPLUG模块化多模态预训练大模型技术系列，以及大小模型协同的Agent系统。最后，严明老师对”ModelScope”实战应用进行了详细讲解。
至此，第三期人工智能创新技术讲习班”多模态大模型技术前沿与应用”的6节课程全部结束。邱锡鹏教授在线上做结业总结，回顾了6位专家学者的精彩授课内容，指出这些前沿研究成果让听众耳目一新。他还表示，多模态大模型发展尚处起步阶段，未来机遇与挑战并存，本次讲习班为研究者们搭建了宝贵的交流平台，有助于各方在学术研究及落地应用层面共同探索、学习进步。