苹果加速LLM研发，豪掷千金引谷歌人才
苹果正全力冲刺大语言模型（LLM）领域，据The Information报道，公司已大幅增加研究经费，每天烧掉数百万美元，并从谷歌挖来众多工程师。苹果内部员工自信满满地表示，他们的Apple GPT大模型能力已超越GPT-3.5。而Siri也即将迎来重大升级——只需简单指令，它就能自动处理照片创建GIF并发送给朋友，无需用户触碰屏幕。这场LLM领域的激烈竞争已悄然展开，苹果作为科技巨头，必将成为这场战役的重要参与者。
AI负责人不甘落后，苹果曾有机会成为OpenAI
四年前，苹果AI主管John Giannandrea组建团队开发对话式AI，展现远见，但仍是慢一步——OpenAI去年秋季发布的ChatGPT已引起全球关注。苹果内部人士透露，公司其实早有准备，但Giannandrea曾质疑AI聊天机器人的实用价值。如今，苹果决心不惜代价打造LLM，弥补先机之失。
16人核心团队，多路并进攻克LLM难题
苹果为LLM研发投入巨大，尽管团队仅有约16人，但训练模型预算已增至每天数百万美元。该团队由从谷歌挖来的工程师组成，由Ruoming Pang领导，他在谷歌工作15年后于2021年加入苹果。知情人士表示，该团队类似谷歌和Meta的AI实验室，研究人员开发模型，其他部门负责产品应用。
除了Foundational Models团队，苹果至少还有两个团队从事语言和图像模型开发。视觉团队专注于图像、视频和3D场景生成应用，多模态团队则研究同时识别和生成图像、视频及文本的AI。目前，苹果已开发多个模型，正紧锣密鼓进行内部测试。
Siri即将迎来革命性升级，但苹果面临技术挑战
苹果团队认为，最先进的Ajax GPT（Apple GPT）已超越GPT-3.5。有了如此强大的语言模型支持，苹果产品将迎来大升级。例如，通过简单指令，Siri就能自动创建GIF并发送，而Shortcuts应用将允许用户手动编程串联不同app功能。预计明年iOS新版本将上线这些功能。但苹果如何在产品中应用LLM仍无定论，考虑到用户隐私保护，苹果更倾向于设备端离线运行。知情人士透露，Apple GPT参数量已超2000亿，这对iPhone的算力和存储都是巨大考验。谷歌PaLM 2的分层模型设计为苹果提供了借鉴。
苹果变得更”谷歌”，但人才策略独具匠心
Giannandrea加入苹果后，大力推动AI发展，并从谷歌挖来多位骨干工程师。他还在苹果内部推广谷歌云服务和TPU芯片训练模型。苹果给予员工高度自由的研究环境，这与此前严格的限制形成鲜明对比，从而吸引人才回流。Foundational Models团队的前身是Arthur Van Hoff领导的团队，后者曾参与Java开发。团队核心成员包括牛津大学研究员Tom Gunter和Thomas Nickson，以及从谷歌挖来的Ruoming Pang、Daphne Luong和Samy Bengio。不过，Van Hoff已于今年8月离职，而Jon Shlens在加入苹果不到两年后重返谷歌。
苹果选择谷歌云服务，但人才流动频繁
苹果机器学习组在OpenAI发布GPT-3后曾要求增加资金，但高管为控制成本仍鼓励使用价格更低的谷歌云服务。尽管如此，苹果从未停止从谷歌和Meta挖人，据统计已有至少12名新成员为苹果机器学习团队做出贡献，其中7人曾任职于谷歌或Meta。
苹果意外开源，AXLearn框架引发关注
受Ruoming Pang影响，Foundational Models团队于今年7月将训练Ajax GPT的机器学习框架AXLearn开源至GitHub。AXLearn基于谷歌开源框架JAX和XLA，可快速训练机器学习模型并针对谷歌TPU优化。该项目采用面向对象方法解决模型构建、迭代和维护的软件工程挑战，支持在数千个加速器上训练数百亿参数模型，涵盖自然语言处理、计算机视觉和语音识别等应用。尽管苹果未公开训练数据，但AXLearn的开源表明公司希望促进技术共享和改进。