OpenAI罕见挫折：Arrakis模型开发中断背后原因解析

去年年底，当聊天机器人ChatGPT在全球掀起热潮时，人工智能研究公司OpenAI的工程师们已悄然启动了新一代人工智能模型的研发工作，并将其代号命名为Arrakis。OpenAI首席执行官Sam Altman表示，尽管OpenAI通过大语言模型（LLM）GPT-4显著提升了ChatGPT的性能，但Arrakis模型的问世将使公司能够以更低的成本运行聊天机器人。这一突破不仅将助力OpenAI向微软展示其持续创造大语言模型的能力，更对两家公司即将敲定的100亿美元投资与产品合作谈判具有关键意义。然而，据知情人士透露，到2023年中期，OpenAI突然叫停了Arrakis的发布计划，因为该模型的运行效率远未达到预期。这一决策意味着OpenAI错失了宝贵的发展窗口期，不得不将资源转向其他模型的开发。更令微软多位高管失望的是，后者曾投入巨资购买在其产品中使用OpenAI新技术的权限，而Arrakis的受挫可能动摇OpenAI此前树立的不可战胜形象。要知道，OpenAI曾击败人工智能先驱谷歌，并打造出史上增长最快的软件业务之一，但此次Arrakis的失败表明，人工智能前沿领域仍充满未知陷阱。尽管Arrakis的挫折并未拖累OpenAI今年的业务，但随着新大语言模型竞争的加剧，这家初创公司明年或将面临更大压力。例如，谷歌即将推出的Gemini模型，目标是在编码能力、响应准确性等方面超越GPT-4。面对挑战，OpenAI并未停滞不前，而是继续优化其业界领先模型，包括增强解码图像的能力，并计划在11月推出一系列新功能。作为ChatGPT等产品的技术基石，大语言模型甚至被OpenAI视为未来操作系统的雏形，因为它们能够胜任代码编写、图像识别、文件检索等复杂任务。得益于GPT-4的强大性能，OpenAI业务规模迅速扩张，年收入已突破13亿美元，远超去年全年的2800万美元，其中GPT-4为ChatGPT付费版提供了核心动力。今年第二季度，OpenAI通过出售员工股份后估值约300亿美元，但公司正积极寻求更高估值。01 表现未达预期被迫叫停据知情人士透露，OpenAI从去年秋季开始研发Arrakis，旨在打造一款性能媲美GPT-4但运行成本更低的模型，其核心技术在于机器学习领域的稀疏性(Sparsity)。稀疏性通过激活模型特定部分来处理任务，从而在保持强大能力的同时降低计算需求。谷歌等竞争对手也正探索这一技术，OpenAI已将其融入早期软件架构。Arrakis的推出将使OpenAI能用更少的服务器芯片支撑其技术，大幅降低运营成本。今年春季，OpenAI开始用先进计算硬件训练Arrakis，预计成本将远低于GPT-4。但员工很快发现，该模型表现远不及预期。经过约一个月的调试，管理层最终决定终止项目。尽管如此，OpenAI仍可将Arrakis的技术积累用于其他模型，如即将推出的多模态模型Gobi。知情人士指出，尽管OpenAI尝试通过稀疏性降低成本，Arrakis仍未达标。该模型早期测试表现良好，但后续测试中突然失灵的原因尚不明确。一位知情人士透露，Arrakis以《沙丘》中的沙漠星球命名，象征其稀疏性设计理念，而GPT-3.5 Turbo等OpenAI其他模型也延续了这一命名传统。自Arrakis失败后，OpenAI转向开发GPT-4新版本，并考虑将其命名为GPT-4 Turbo——这一代号也曾出现在Arrakis的早期计划中。面对技术成本压力和开源方案崛起，OpenAI迫切需要让模型更经济高效。微软正使用GPT模型支持Office 365等服务的AI功能，并期待Arrakis能提升性能、降低成本。微软必应搜索引擎依赖GPT-4等模型构建聊天机器人，但Arrakis的延迟可能影响商业定价。据华尔街日报报道，GitHub Copilot的月均用户亏损高达80美元，年亏损或超1亿美元。微软此后加速开发其他大模型，以降低运行成本。02 稀疏性成降本关键趋势行业专家预测，稀疏性模型将成为人工智能降本的关键。今年8月，谷歌首席科学家杰夫·迪恩在会议上表示，未来几年AI将向稀疏性方向发展。与Llama 2等”密集”模型不同，稀疏性模型仅调用完成任务所需的计算参数，大幅提升成本效益。迪恩强调：”稀疏计算是未来重要趋势！”许多从业者认为，”混合专家模型”是增强稀疏性的有效手段——大型模型的不同部分被训练处理特定任务，形成子专家模型。知情人士称，OpenAI已将此技术应用于GPT-4和Arrakis。加州大学伯克利分校计算机科学教授伊安·斯托伊卡指出：”专家模型越多，模型越稀疏高效，但可能牺牲部分准确性。”参考资料OpenAI Dropped Work on New ‘Arrakis’ AI Model in Rare Setback — The Information本文为专栏作者授权微新创想发表，版权归原作者所有。文章系作者个人观点，不代表微新创想立场，转载请联系原作者。如有任何疑问，请联系http://www.idea2003.com/。