微软密谋小尺寸AI模型,撇开OpenAI搞起了“B计划”
声明:本文来自于微信公众号 三易生活(ID:IT-3eLife),作者:三易菌,授权微新创想转载发布。
AI大模型无疑是2023年的关键词,更是各大科技厂商竞逐的热门赛道。然而象征着未来的AI大模型实在太费钱,以至于财大气粗如微软都开始考虑“Plan B”了。近日有爆料信息显示,在微软内部由Peter Lee领导的1500人研究团队中,有一部分人转向研发全新的LLM,它的体积更小、运营成本也低得多。
关于微软的小尺寸AI模型,实际上在3个月前就已经初见端倪。此前在今年6月,微软方面发布了一篇题为《Textbooks Are All You Need》的论文,用规模仅为70亿token的“教科书级别”数据训练了一个13亿参数的模型phi-1,证明高质量的小规模数据一样能够让模型具备良好的性能。并且在phi-1的基础上,此前微软研究院还发布了名为phi-1.5的全新预训练语言模型,可适用于QA问答、聊天格式和代码等场景。
根据微软方面的说法,在测试常识、语言理解和逻辑推理的基准下,phi-1.5的表现超出了相当一部分大模型。phi-1.5在带LM-Eval Harness的GPT4AL跑分套件中,可以媲美Meta旗下拥有70亿参数的开源大模型llama-2,在AGIEval得分上甚至超过了llama-2。
为什么微软要突然做小尺寸的AI模型呢?首要因素被外界认为可能是与OpenAI之间的纠葛。作为OpenAI的“金主”,微软能够在旗下产品中永久使用OpenAI现有知识产权的独家权利,但这也并不代表他们就能控制OpenAI。所以对于微软这样的巨头而言,无论是出于自身战略安全的考量,还是为了在后续与OpenAI的合作关系中占据更有利的地位,开发高质量的LLM都是一个必选项。
当然,目前AI大模型实在太耗能也是关键因素之一。在今年年初的设计自动化大会上,AMD首席技术官Mark Papermaster就展示了一张幻灯片,显示机器学习系统的能耗与全球发电情况的对比。根据国际能源署估计,训练大模型的数据中心变得越来越耗电,其用电量占全球电力消耗的1.5%至2%,大致相当于整个英国的用电量,预计2030年这个比例将上升到4%。
根据Digital Information World发布的相关报告显示,数据中心为训练AI模型产生的能耗将为常规云服务的三倍,到2028年数据中心功耗将接近4250兆瓦、比2023年增加212倍。而OpenAI训练GPT-3的耗电量为1.287吉瓦时,大约相当于120个美国家庭1年的用电量。但这还仅仅只是训练AI模型的前期电耗,仅占模型实际使用时所消耗电力的40%。
事实上,训练AI大模型不仅耗能、还费水。在谷歌方面发布的2023年环境报告中就显示,他们2022年消耗了56亿加仑(约212亿升)的水,相当于37个高尔夫球场,其中52亿加仑用于该公司的数据中心、比2021年增加了20%。
但AI大模型的高能耗是非常正常的,用ARM高级技术总监Ian Bratt的话来说,就是“AI计算需求是没法满足的。网络规模越大、结果就越好,可以解决的问题也越多,电力使用与网络规模成正比。”
有AI从业者表示,在此次疫情前,训练一个Transformer模型所需的能耗在27千瓦时的范围内,但现在Transformer模型的参数从5000万增加到了2亿,能耗也已经超过了50万千瓦时。也就是说,参数的数量增加了四倍,可能耗却增加了超过18000倍。从某种意义上来说,AI大模型带来的种种创新功能,其实都是以处理性能和功耗方面的高昂成本为代价。
更多的电力驱动更多的GPU进行AI训练,又要大量消耗水资源来冷却GPU,这就是问题所在。以至于微软被曝光正在制定一个路线图,希望用小型核反应堆产生的电能来运营数据中心。更何况即便不提ESG(“环境、社会及管治”),单纯从成本层面出发,研究小尺寸模型也是有价值的。
众所周知,搭建了CUDA生态的英伟达是这一轮AI热潮中的最大受益者,更是已经占据了AI芯片市场的70%,如今H100、A100等计算卡更可谓是一卡难求。可现在的情况,是向英伟达购买算力已经成为了一个推高AI厂商成本的重要因素。所以小尺寸模型也就意味着需要的算力资源更少,只需购买更少的GPU就能解决问题。
虽然功能更强的大模型确实很好,但现在大模型的商业化还处于蒙昧状态,唯一赚得盆满钵满的是“买铲子”的英伟达。所以在这样的情况下,微软自然也就有意来改变现状了。