声明：本文源自微信公众号CSDN（ID：CSDNnews），作者 |The Economist，译者 |明明如月，经微新创想授权转载发布。若AI要实现更卓越的发展，关键在于以更少的资源打造更强大的功能。大型语言模型（LLMs）如OpenAI的GPT（Generative Pre-trained Transformer）——驱动美国流行聊天机器人的核心引擎——其命名恰如其分。这类现代AI系统由庞大的人工神经网络驱动，以宏观方式模拟生物大脑的运作机制。2020年问世的GPT-3堪称LLM领域的“巨无霸”，拥有1750亿个参数，即神经元间模拟连接的总量。该模型通过数周内利用数千个AI计算专用的GPU处理数万亿字文本进行训练，预计耗资高达460万美元。然而，现代AI研究的共识是：“规模越大，性能越强”。因此，模型规模的扩张速度持续飞驰。今年3月发布的GPT-4据估计拥有约1万亿个参数，较前代增长了近六倍。OpenAICEO Sam Altman估算其研发成本已超1亿美元。整个行业均呈现相似趋势。研究公司Epoch AI在2022年预测，训练顶级模型所需的计算能力每6至10个月便会翻倍（如下图所示）。随着AI模型参数规模的持续膨胀，一系列问题随之浮现。若Epoch AI的预测成立，训练成本每10个月翻倍，至2026年可能突破十亿美元——这还是在假设数据资源未先被耗尽的前提下。2022年10月的一项分析预测，用于训练的高质量文本可能在同一时间周期内用尽。即便模型训练完成，运行大型模型的实际成本也可能极为高昂。今年早些时候，摩根士丹利银行估算，若一半的Google搜索由当前GPT类型程序处理，将使公司年支出增加60亿美元。随着模型规模扩大，这一数字或将持续攀升。因此，许多人认为“大即好”的AI模型发展路径已难以为继。要持续提升AI模型性能（更不用说实现宏伟的AI愿景），开发者必须探索如何在有限资源下获得更优表现。正如Altman先生今年4月回顾大型AI发展历程时所言：“我认为我们已经进入了一个时代的终结。”
量化紧缩
与此同时，研究人员开始转向如何提升模型效率，而非单纯追求规模扩张。一种策略是通过减少参数数量但增加训练数据量来实现平衡。2022年，Google的DeepMind部门在一个包含1.4万亿字语料库上训练了拥有700亿参数的LLM——Chinchilla。尽管参数量远少于GPT-3的1750亿，训练数据也只有3000亿字，但该模型表现却超越GPT-3。为小型LLM提供更多数据意味着训练时间延长，但最终成果是更小、更快、更经济的模型。
另一种选择是降低浮点数精度。减少模型中每个数字的精确位数（即四舍五入），能显著降低硬件需求。奥地利科学技术研究所的研究人员在3月份证明，四舍五入可大幅削减类似GPT-3模型的内存消耗，使其仅需一台高端GPU即可运行，且“精度损失可忽略不计”。
部分用户会对通用LLM进行微调，专注于特定任务如生成法律文件或检测假新闻。虽然不如首次训练LLM复杂，但微调过程仍可能成本高昂且耗时。微调Meta开源的650亿参数LLaMA模型，需多台GPU支持，耗时从数小时到数天不等。华盛顿大学研究人员发明了一种更高效方法，能在单GPU上一天内从LLaMA创建新模型Guanaco，性能损失微乎其微。其中关键技巧包括采用类似奥地利的四舍五入技术，并运用“低秩自适应（Low-Rank Adaptation，LoRA）”技术——该技术固定模型现有参数，再添加一组新的小参数进行微调。这使得即便是计算能力较弱的设备如智能手机也能胜任微调任务。
若能让LLM在用户终端而非巨型数据中心运行，将实现更个性化体验和更好的隐私保护。同时，Google团队为小型模型用户提供了新方案。该方法从大型通用模型中提取特定知识，转化为更小且专业的模型。大模型充当“教师”，小模型扮演“学生”。研究人员让教师回答问题并展示推理过程，将教师答案与推理过程用于训练学生模型。该团队成功训练出仅含77亿参数的学生模型，在特定推理任务上超越拥有5400亿参数的教师模型。
另一种策略是改变模型构建方式，而非关注模型功能本身。多数AI模型采用Python开发，其设计易于使用但屏蔽了运行时芯片操作细节，导致代码运行效率降低。关注这些实现细节能带来巨大收益。正如开源AI公司Hugging Face首席科学官Thomas Wolf所言，这是“当前AI领域的重要研究方向”。
优化代码
例如，2022年斯坦福大学发布了一种改进版“注意力算法”，使LLM能更高效学习词语与概念间的联系。该算法通过修改代码，考虑芯片运行时状态，特别是何时检索或存储特定信息，成功将GPT-2训练速度提升三倍，并增强其处理长查询的能力。
更简洁的代码也可借助先进工具实现。今年早些时候，Meta发布的新版AI编程框架PyTorch，通过让程序员关注实际芯片上的计算组织方式，仅添加一行代码即可将模型训练速度提升一倍。由前Apple和Google工程师创立的初创公司Modular推出的新AI编程语言Mojo（基于Python），允许程序员掌控被Python屏蔽的所有细节，在某些场景下，Mojo代码运行速度比等价Python代码快数千倍。
最后，改进运行代码的芯片至关重要。虽然最初为处理现代游戏图形而设计，GPU意外在AI模型运行上表现优异。但Meta一位硬件研究员指出，GPU在“推理”（模型训练完成后的实际运行）阶段设计并不完美。因此，多家公司正开发专用硬件。Google已在其内部“TPU”芯片上运行大部分AI项目，Meta及其MTIA芯片、Amazon及其Inferentia芯片均在类似方向探索。
有时仅需简单调整（如四舍五入或切换编程语言）就能实现显著性能提升，这或许令人惊讶。但这也反映了LLM发展速度之快。多年来，LLM主要作为研究项目，重点在于使其能正常运行并产生有效结果，而非过度追求设计优雅性。直到最近，它们才成为商业化、面向大众市场的产品。多数专家认为，改进空间仍巨大。正如斯坦福大学计算机科学家Chris Manning所言：“没有任何理由相信当前神经架构已最优，未来可能出现更先进架构。”
