上个月,人工智能领域掀起了一场激烈的”动物战争”,两大开源大模型家族——Meta的Llama(美洲驼)与NEC的日语版ChatGPT,以及Falcon(猎鹰)系列,展开了一场前所未有的技术对决。NEC在深入研究Llama论文和源代码后,迅速推出了日语版ChatGPT,为日本解决了AI技术瓶颈问题;而Falcon-40B在5月问世时力压Llama登顶开源LLM排行榜,这个由Hugging Face制作的榜单成为衡量大模型能力的标尺。排行榜上Llama与Falcon轮流登顶的景象持续不断,Llama 2推出后扳回一城,但9月初Falcon 180B的问世再次刷新了排名纪录,以68.74分的成绩力压Llama 2。有趣的是,Falcon的开发者并非传统科技公司,而是阿联酋科技创新研究所。政府人士曾表示:”我们参与这场竞赛是为了颠覆核心玩家”。180B版本发布次日,阿联酋人工智能部长奥马尔就入选《时代周刊》AI领域最具影响力的100人名单,与”AI教父”辛顿、OpenAI的阿尔特曼以及李彦宏等一同上榜。
如今AI领域已进入”群魔乱舞”的群雄逐鹿时代,全球各国纷纷推出”XX国版ChatGPT”计划。仅在海湾地区,沙特阿拉伯8月就为国内大学采购了3000多块H100芯片用于LLM训练。金沙江创投朱啸虎曾感慨:”当年看不起互联网商业模式创新,没想到硬科技大模型创业也变成了百模大战”。这场看似高难度的技术竞赛,为何会演变成各国纷纷推出类似产品的局面?
这一切都要归功于2017年谷歌八位计算机科学家发表的《Attention Is All You Need》论文。这篇被引次数第三高的论文公开了Transformer算法,点燃了本轮AI热潮。无论是GPT系列还是其他轰动世界的大模型,都站在了Transformer的肩膀上。在Transformer出现之前,”教机器读书”一直是公认的学术难题。人类阅读时不仅关注当前词句,更会结合上下文理解,但早期的神经网络输入彼此独立,无法理解长文本。直到2014年,伊利亚·苏茨凯弗使用循环神经网络(RNN)处理自然语言,使谷歌翻译性能大幅提升。RNN通过”循环设计”,让每个神经元既接受当前输入也接受上一时刻信息,从而具备结合上下文的能力。
然而RNN存在严重缺陷——顺序计算导致运行效率低下,难以处理大量参数。2015年,Noam Shazeer与同伴开始开发RNN替代品,最终诞生了Transformer。Transformer的两大变革:一是用位置编码取代循环设计实现并行计算,大幅提升训练效率;二是进一步加强上下文理解能力。Transformer的出现彻底改变了AI领域,将大模型从理论研究问题变成了工程问题。2019年OpenAI基于Transformer开发的GPT-2惊艳学术界,谷歌迅速推出性能更强的Meena,仅通过堆叠8.5倍训练参数和14倍算力就超越了GPT-2。Transformer问世后,学术界算法创新速度明显放缓,数据工程、算力规模和模型架构成为AI竞赛的关键。
计算机科学家吴恩达在斯坦福大学演讲时指出:”AI是一系列工具的集合,与电力和互联网等通用技术类似。”OpenAI虽仍是LLM风向标,但半导体分析机构Semi Analysis认为GPT-4的竞争力源自工程解决方案,若开源任何竞争对手都能迅速复现。预计未来其他大型科技公司也能打造出同等性能的大模型。
“百模大战”已从修辞手法变为现实。截至今年7月,中国大模型数量达130个,超过美国的114个,实现弯道超车。除中日阿联酋外,印度Bhashini、韩国HyperClova X等也推出了国家级大模型。这场AI竞赛仿佛重现了互联网泡沫时代的”钞能力”对轰。Transformer将大模型变成工程问题,但入场券虽易得,成为AI时代BAT却非易事。
“动物战争”中Falcon虽排名力压Llama,却未对Meta造成实质性冲击。Meta开源Llama系列既分享科技福祉,又调动开发者智慧。早在2015年组建AI实验室时,Meta就确立了开源基调。扎克伯格深谙社交媒体的群众关系之道,近期推出”AI版创作者激励”活动,资助使用Llama 2解决社会问题的开发者。截至10月初,Hugging Face开源LLM排行榜Top 10中8个基于Llama 2,仅Hugging Face上使用Llama 2协议的LLM就超过1500个。排名第一的LLM仍基于Llama 2打造,而Falcon等模型与GPT-4仍存在明显性能差距。
AgentBench测试显示,GPT-4以4.41分问鼎榜首,Claude仅2.77分,开源LLM多在1分左右徘徊。造成这种差距的不仅是参数,更是OpenAI科学家团队的科研实力和长期积累。大模型的核心能力在于生态建设(开源)或纯粹推理能力(闭源)。随着开源社区活跃,各模型性能可能趋同,因为大家都在使用相似架构和数据集。
更严峻的挑战是价值锚点的缺失。除了Midjourney等少数案例,大部分软件公司尚未想清楚如何盈利。微软的GitHub Copilot每月亏损20美元,重度用户甚至让微软每月倒贴80美元;Adobe也推出积分系统防止用户过度使用。微软和Adobe这些软件巨头都步履维艰,更不用说其他单纯堆砌参数的大模型供应商。没有OpenAI和ChatGPT的横空出世,这场AI革命或许根本不会发生;但在当下,训练大模型的价值值得商榷。
随着同质化竞争加剧和开源模型增多,单纯的大模型供应商空间将更小。iPhone 4的火爆不是因为45nm制程的A4处理器,而是因为它能玩植物大战僵尸和愤怒的小鸟。大模型需要找到类似的应用场景,才能真正实现商业化落地。