高端GPU市场持续供不应求之际，一家挑战英伟达地位的新兴芯片初创公司成为行业焦点。独角兽企业SambaNova最新发布的AI芯片SN40L，仅凭8枚芯片即可支持高达5万亿参数的大模型——这一规模是GPT-4的三倍。型号中的”40″代表第四代产品，”L”则专指针对大语言模型（LLM）的深度优化：配备1.5TB内存，支持25.6万个token的序列长度。CEO Rodrigo Liang强调，采用他们方案运行万亿参数大模型的总拥有成本仅为行业标准的1/25。
SambaNova目前估值50亿美元（约365亿人民币），累计完成6轮总计11亿美元的融资，投资方阵容堪称豪华，包括英特尔、软银、三星、GV等业界巨头。这家公司不仅在芯片技术层面要挑战英伟达，其业务模式更计划超越竞争对手：直接参与企业私有大模型的训练服务。其目标客户群雄心勃勃——瞄准全球前2000家企业。
最新产品SN40L采用台积电5纳米工艺制造，集成1020亿晶体管，峰值速度达638TeraFLOPS。与英伟达H100（80GB HBM3）和AMD MI300（192GB HBM3）等竞品不同，SN40L创新性地采用了三层Dataflow内存系统：520MB片上SRAM、65GB高带宽HBM3内存，以及高达1.5TB的外部DRAM内存。虽然HBM3容量不及对手，但SambaNova通过专用软件编译器智能分配三层内存负载，并可将8个芯片虚拟为单一系统。
在硬件层面，SN40L还针对大模型特性开发了混合计算加速方案。团队发现大模型中大量权重参数为0，将计算资源用于这些无效操作效率极低。为此，他们研发了软件层面的加速技术，优化调度与数据传输流程，但具体实现细节尚未公开。Gartner分析师Chirag Dekate指出，SN40L可能在大模型多模态应用上具有优势，其硬件架构比传统GPU更灵活，能更好地处理图像、视频、文本等多样化数据。
目前SambaNova已获得多家重量级客户，包括日本富岳、美国阿贡与劳伦斯国家实验室等顶尖超算中心，以及埃森哲等咨询巨头。其商业模式颇具特色——不单独销售芯片，而是提供从芯片到服务器系统的定制技术栈，甚至包括大模型部署服务。为此，公司与TogetherML合作开发了BloomChat，一个基于BigScience开源模型Bloom的1760亿参数多语言聊天大模型，该模型在OpenChatKit、Dolly2.0和OASST1数据集上进行了微调，训练过程全程使用SambaNova独特的数据流架构。
在与The Next Platform的交流中，Rodrigo Liang表示当前公开数据集已接近枯竭，但企业对参数规模的需求仍在持续增长。他认为大模型性能差异已缩小至个位数，未来商业化关键在于企业私有大模型。SambaNova提出颠覆性观点：大型企业内部不会运行单一超大模型，而是根据不同业务场景创建150个参数超万亿的专家模型，形成”专家合成”架构。每个模型专注于特定领域（如法律、制造、风险管理等），通过软件路由器协同工作，这种分布式架构比GPT-4等集中式模型对企业更具实用价值。
SambaNova核心团队堪称学术界的明星阵容。三位创始人皆出身斯坦福：CEO Rodrigo Liang曾任职Sun/甲骨文工程部，CTO Kunle Olukotun是电气工程教授，开发出首批支持线程级推测的芯片；Christopher Ré是计算机科学副教授，专攻机器学习加速。团队中华人工程师占比极高，包括Jonathan Chang（特斯拉前员工）、Marshall Choy（甲骨文前高管）和Penny Li（IBM/甲骨文资深设计专家）等。从官网信息显示，至少3名华人高管在领导层。
SambaNova的AI引擎已正式上市，但具体定价尚未公布。Rodrigo Liang透露，8个SN40L组成的集群可处理5万亿参数，相当于70个700亿参数大模型，全球2000强企业只需两个这样的集群即可满足全部大模型需求。