ChatGPT引发AI芯片荒 英伟达成最大赢家

1849年，美国加州金矿的发现点燃了淘金热潮。无数人从东海岸、欧洲大陆乃至初到美国的华人移民涌入这片新大陆，他们最初称这里为「金山」，后来改称「旧金山」。无论名称如何变迁，淘金者们的生存离不开衣食住行，而最关键的装备则是淘金铲。古人云「工欲善其事，必先利其器」，为了提高淘金效率，人们纷纷涌向卖铲人，带动了财富的流动。一个多世纪后，旧金山以南的硅谷掀起了新的淘金热潮：OpenAI发现了AI时代的「金矿」，而英伟达则成为第一批「卖铲人」。与过去相似，无数人和公司涌入这片热土，拿起新时代的「铲子」开始挖掘。但不同的是，过去的铲子几乎无技术门槛，而如今英伟达的GPU成为所有人的首选。今年以来，仅字节跳动就向英伟达订购了超过10亿美元的GPU，包括10万块A100和H800加速卡。百度、谷歌、特斯拉、亚马逊、微软等大公司今年至少都向英伟达订购了上万块GPU。但这仍无法满足需求。旷视科技CEO印奇3月底接受财新采访时表示，中国仅约4万块A100可用于大模型训练。随着AI热潮持续，英伟达上一代高端GPU A100的阉割版A800在国内一度涨至10万元一块。6月的一场非公开会议上，OpenAICEO Sam Altman再次表示，GPU严重短缺导致ChatGPT优化工作被迫推迟。据技术咨询机构TrendForce测算，OpenAI需要约3万块A100才能持续优化和商业化ChatGPT。自今年1月ChatGPT新一轮爆发以来，AI算力短缺已持续近半年。这些大公司为何仍缺GPU和算力？ChatGPT们缺的不是显卡，而是英伟达的一句广告语：不是所有GPU都是英伟达。GPU短缺实质是英伟达高端GPU的短缺。对AI大模型训练而言，要么选择英伟达A100、H100GPU，要么选择去年禁令后推出的减配版A800、H800。AI使用包括训练和推理两个环节，前者是造模型，后者是使用模型。AI大模型的预训练和微调，尤其是预训练环节需要大量算力，特别看重单卡性能和多卡间数据传输能力。目前能提供大模型预训练计算效率的AI芯片（广义指面向AI的芯片）数量虽不少，但真正高效的非常有限。大模型至少千亿级参数，训练需要巨量算力，多GPU间数据传输和同步会导致部分GPU闲置。因此单个GPU性能越高、数量越少，利用效率越高，成本越低。英伟达2020年发布的A100、H100，既具备单卡高算力，又有高带宽优势。A100FP32算力达19.5TFLOPS，H100更是高达134TFLOPS。NVLink和NVSwitch等技术投入也构筑了深厚护城河。到H100，第四代NVLink支持多达18个链路，总带宽900GB/s，是PCIe5.0的7倍。面向中国市场的A800和H800，算力几乎不变，但带宽分别削减了四分之一和一半，按彭博社说法，同等AI任务H800需比H100多花10%-30%时间。即便如此，A800和H800的计算效率仍超过其他GPU和AI芯片。这也是AI推理市场「百花齐放」而AI训练市场英伟达「一家独大」的原因。软件生态是英伟达核心护城河，其2007推出的CUDA统一计算平台已成为AI基础设施，绝大多数开发者基于CUDA开发，如同Android、iOS之于移动应用。英伟达也明白高端GPU抢手，春节后追加晶圆代工订单，但问题恰恰出在代工环节。英伟达高端GPU离不开台积电，消费电子低潮导致晶圆代工产能普遍下滑，但台积电先进制程例外。ChatGPT引发AI热潮，基于台积电7nm的A100、4nm的H100紧急追加订单，5/4nm产线已近满载。供应链预估英伟达SHR订单将持续1年，台积电产能不足。分析师认为英伟达应考虑三星或英特尔代工，但英伟达短期内无法离开台积电。黄仁勋在COMPUTEX上表示下一代芯片仍交由台积电代工。技术核心原因在于英伟达高端加速卡采用台积电CoWoS先进封装技术解决存算一体问题，而CoWoS核心技术离不开台积电。2012年台积电推出CoWoS技术，实现晶圆代工到终端封装一条龙服务，客户包括英伟达、苹果等。为满足英伟达需求，台积电采用部分委外转包，但不包括CoWoS制程。野村证券预估台积电CoWoS年化产能2022年底约7-8万片，2023年底增至14-15万片，2024年底挑战20万片，但先进CoWoS封装产能严重供不应求，去年起订单翻番，今年谷歌、AMD需求同样强劲。即便是英伟达，也要通过黄仁勋与张忠谋的私人关系争取更高优先级。写在最后过去几年疫情和地缘政治让所有人意识到芯片的重要性。ChatGPT后AI再度举世瞩目，对AI加速算力的渴望带来芯片订单激增。高端GPU设计和制造需要长期研发投入，面临难以逾越的硬件和软件壁垒，导致英伟达和台积电在这场「算力盛宴」中占据主导地位。中国公司在AI软件能力上追赶迅速，但在AI加速底层硬件上却鲜有投入。目前最重要的四款GPU已有两款受限，阉割的A800、H800不仅拖慢中国公司追赶速度，也存在受限风险。比起大模型角逐，中国公司更需要关注底层硬件竞争。