高端GPU市场持续供不应求之际,一家挑战英伟达地位的新兴芯片初创公司成为行业焦点。独角兽企业SambaNova最新发布的AI芯片SN40L,仅凭8枚芯片即可支持高达5万亿参数的大模型——这一规模是GPT-4的三倍。型号中的”40″代表第四代产品,”L”则专指针对大语言模型(LLM)的深度优化:配备1.5TB内存,支持25.6万个token的序列长度。CEO Rodrigo Liang强调,采用他们方案运行万亿参数大模型的总拥有成本仅为行业标准的1/25。
SambaNova目前估值50亿美元(约365亿人民币),累计完成6轮总计11亿美元的融资,投资方阵容堪称豪华,包括英特尔、软银、三星、GV等业界巨头。这家公司不仅在芯片技术层面要挑战英伟达,其业务模式更计划超越竞争对手:直接参与企业私有大模型的训练服务。其目标客户群雄心勃勃——瞄准全球前2000家企业。
最新产品SN40L采用台积电5纳米工艺制造,集成1020亿晶体管,峰值速度达638TeraFLOPS。与英伟达H100(80GB HBM3)和AMD MI300(192GB HBM3)等竞品不同,SN40L创新性地采用了三层Dataflow内存系统:520MB片上SRAM、65GB高带宽HBM3内存,以及高达1.5TB的外部DRAM内存。虽然HBM3容量不及对手,但SambaNova通过专用软件编译器智能分配三层内存负载,并可将8个芯片虚拟为单一系统。
在硬件层面,SN40L还针对大模型特性开发了混合计算加速方案。团队发现大模型中大量权重参数为0,将计算资源用于这些无效操作效率极低。为此,他们研发了软件层面的加速技术,优化调度与数据传输流程,但具体实现细节尚未公开。Gartner分析师Chirag Dekate指出,SN40L可能在大模型多模态应用上具有优势,其硬件架构比传统GPU更灵活,能更好地处理图像、视频、文本等多样化数据。
目前SambaNova已获得多家重量级客户,包括日本富岳、美国阿贡与劳伦斯国家实验室等顶尖超算中心,以及埃森哲等咨询巨头。其商业模式颇具特色——不单独销售芯片,而是提供从芯片到服务器系统的定制技术栈,甚至包括大模型部署服务。为此,公司与TogetherML合作开发了BloomChat,一个基于BigScience开源模型Bloom的1760亿参数多语言聊天大模型,该模型在OpenChatKit、Dolly2.0和OASST1数据集上进行了微调,训练过程全程使用SambaNova独特的数据流架构。
在与The Next Platform的交流中,Rodrigo Liang表示当前公开数据集已接近枯竭,但企业对参数规模的需求仍在持续增长。他认为大模型性能差异已缩小至个位数,未来商业化关键在于企业私有大模型。SambaNova提出颠覆性观点:大型企业内部不会运行单一超大模型,而是根据不同业务场景创建150个参数超万亿的专家模型,形成”专家合成”架构。每个模型专注于特定领域(如法律、制造、风险管理等),通过软件路由器协同工作,这种分布式架构比GPT-4等集中式模型对企业更具实用价值。
SambaNova核心团队堪称学术界的明星阵容。三位创始人皆出身斯坦福:CEO Rodrigo Liang曾任职Sun/甲骨文工程部,CTO Kunle Olukotun是电气工程教授,开发出首批支持线程级推测的芯片;Christopher Ré是计算机科学副教授,专攻机器学习加速。团队中华人工程师占比极高,包括Jonathan Chang(特斯拉前员工)、Marshall Choy(甲骨文前高管)和Penny Li(IBM/甲骨文资深设计专家)等。从官网信息显示,至少3名华人高管在领导层。
SambaNova的AI引擎已正式上市,但具体定价尚未公布。Rodrigo Liang透露,8个SN40L组成的集群可处理5万亿参数,相当于70个700亿参数大模型,全球2000强企业只需两个这样的集群即可满足全部大模型需求。