编者按：本文源自微信公众号 偲睿洞察（ID：siruidongcha），作者Renee，编辑孙越，经微新创想授权转载。2023年，投资机构与股民们纷纷向AI芯片领域的上市公司发起了连珠炮般的追问：你做存算一体芯片了吗？存算一体芯片的进展如何？存算一体芯片的市场前景怎样？这一系列发问标志着存算一体技术已从学术研究与产业探索阶段，正式跃升至资本市场的高度关注。股民与券商机构纷纷加紧学习存算一体的相关知识，传统芯片巨头自2023年初至今，一直被持续追问其存算一体技术的布局情况。这一现象不禁让人思考：存算一体技术为何突然备受瞩目？华为在7月14日发布新存储产品OceanStor A310时，给出了自己的答案。华为数据存储产品线总裁周跃峰指出，通用大模型与行业大模型在训练推理过程中面临海量数据跨域归集缓慢、预处理与训练中数据交互效率低下、数据安全流动困难等难题。AI大模型对存储系统提出了全新挑战，其稳定性要求远高于传统AI系统，同时需要大量数据预处理和准备工作，近存计算（存算一体的一种形式）成为系统性解决这一问题的关键方案。那么，这里所说的“大量数据”究竟有多大？据偲睿洞察测算，现阶段ChatGPT日活跃用户达1亿，若每日有5%的用户每秒同时提问，其计算量将相当于三峡大坝近一年的发电量。换言之，大模型正对算力资源产生爆炸式需求，而以存算一体为代表的新兴解决方案正成为解决这一挑战的重要途径。事实上，大模型不仅对算力提出严苛要求，也为AI芯片厂商带来了前所未有的机遇。本文将深入探讨大模型背景下，AI芯片厂商所面临的机遇与挑战，以及被ChatGPT“带火”的存算一体厂商未来将如何构建竞争格局。PART-01“福祸相依”的AI芯片厂商大模型浪潮仍在持续，相关讨论热度不减。8月初，在中国计算机学会（CCF）人工智能会议分论坛——“见疆见昆仑·AI大模型算力前沿”上，专家学者们一致认为，大模型时代，智能算力已成为稀缺资源，如何高效利用算力资源，发挥其最大效益，已成为所有参与者必须面对的课题。仅以GPT-3为例，其推理阶段所需的算力规模令人咋舌：假设有1亿人同时在线，每日有5%的人每秒同时提问，每个prompt平均包含30个token，便需要1530万颗H100芯片提供推理算力；而每颗H100芯片的功耗约为750W，若每天运行10小时，这些芯片所在的数据中心一年的耗电量将达到840亿kW*h，而三峡大坝一年的发电量仅为882亿kW*h。更为AI芯片厂商担忧的是，这还只是ChatGPT一个大模型在推理阶段的耗电量，若考虑百家大模型全阶段、全部运作的耗电量，其规模更是难以估量。面对这一挑战，一系列新兴解决方案应运而生：存算一体、Chiplet、HBM等。其中，存算一体技术凭借其突破传统冯诺依曼架构下存储墙的优势，实现降本增效，成为2023年的“明星技术”。（图源：偲睿洞察《AI大算力芯片行业报告-百舸争流，创新者先》）除了新兴解决方案为AI芯片厂商带来喘息之机外，大模型也为芯片厂商，尤其是初创企业，带来了利好消息：软件生态的重要性正在下降。在技术尚不成熟时，研究者们只能从解决特定问题入手，参数量低于百万的小模型由此诞生。例如谷歌旗下的AI公司DeepMind，让AlphaGO对上百万种人类专业选手的下棋步骤进行专项“学习”。随着小模型数量增多，硬件适配问题日益凸显。英伟达推出的统一生态CUDA迅速获得计算机科学界认可，成为人工智能开发的标准配置。如今，大模型具备多模态能力，能够处理文本、图片、编程等问题，并覆盖办公、教育、医疗等多个垂直领域。这意味着，适应主流生态不再是唯一选择：在大模型对芯片需求量激增的背景下，芯片厂商只需适配1-2个大模型，便能完成以往多个小模型的订单。ChatGPT的出现，为初创芯片厂商提供了弯道超车的机会。这意味着，AI芯片市场格局将发生巨变：不再是少数厂商的独角戏，而是多个创新者的群像。当算力成为稀缺资源，同时适应主流生态不再是必选项时，存算一体技术难掩光芒。此时，是否投入，如何投入，成为摆在AI芯片厂商面前的关键抉择。对此，芯片巨头NVIDIA给出了自己的答案：勇于创新，重金投入。每一个新兴技术的研发厂商，在前期无疑要面临技术探索碰壁、下游厂商不认同等问题。而在早期，谁先预判到未来的发展趋势，并勇于迈出探索的脚步，铺下合理的资源去尝试，就会抢到先机。当数据中心浪潮尚未铺天盖地袭来、人工智能训练还是小众领域之时，英伟达已投入重金，研发通用计算GPU和统一编程软件CUDA，为英伟达构建了一个强大的计算平台。而在当时，让GPU可编程被认为是“无用且亏本”的：不知道其性能是否能够翻倍，但产品研发成本会翻倍。为此，没有客户愿意为此买单。但英伟达预判到单一功能图形处理器不是长远之计，毅然决定在所有产品线上应用CUDA。在芯东西与英伟达中国区工程和解决方案高级总监赖俊杰博士的采访中，赖俊杰表示：“为了计算平台这一愿景，早期黄仁勋快速调动了英伟达上上下下非常多的资源。”远见+重金投入，在2012年，英伟达获得了创新者的奖励：2012年，深度学习算法的计算表现轰动学术圈，作为高算力且更为通用、易用的生产力工具，GPU+CUDA迅速风靡计算机科学界，成为人工智能开发的“标配”。在AI大算力芯片的征途上，存算一体芯片迎来了自己的“黄金期”，超前投入，是为正解。PART-02非技术、资金雄厚者，勿进窥见到存算一体的种种好处，现阶段，存算一体芯片玩家阵营日益壮大。（图源：偲睿洞察《AI大算力芯片行业报告-百舸争流，创新者先》）据偲睿洞察不完全统计，自2019年起，新增的AI芯片厂商，多数在布局存算一体：在2019-2021年新增的AI芯片厂商有20家，其中10家选择存算一体路线。这无不说明着，存算一体将成为继GPGPU、ASIC等架构后的，一颗冉冉升起的新星。而这颗新星，并不是谁都可以摘。在学界、产界、资本一致看好存算一体的境况下，强劲的技术实力、扎实的人才储备以及对迁移成本接受度的精准把控，是初创公司在业内保持竞争力的关键，也是挡在新玩家面前的三大门槛。强劲的技术实力，永远是芯片领域的最高山。首先是存算一体“涉猎广泛”，涉及到芯片制造的全环节：从最底层的器件，到电路设计，架构设计，工具链，再到软件层的研发；其次是其“牵一发而动全身”：在每一层做相应改变的同时，还要考虑各层级之间的适配度。我们一层一层来看，一颗存算一体芯片被造出来，有怎样的技术难题。首先，在器件选择上，厂商就“如履薄冰”：存储器设计决定芯片的良率，一旦方向错误将可能导致芯片无法量产。其次是电路设计层面。电路层面有了器件之后，需要用其做存储阵列的电路设计。而目前在电路设计上，存内计算没有EDA工具指导，需要靠手动完成，无疑又大大增加了操作难度。紧接着，架构层面有电路之后，需要做架构层的设计。每一个电路是一个基本的计算模块，整个架构由不同模块组成，存算一体模块的设计决定了芯片的能效比。模拟电路会受到噪声干扰，芯片受到噪声影响后运转起来会遇到很多问题。这种情况下，需要芯片架构师足够了解模拟存内计算的工艺特点，同时针对这些特点去设计架构，在此基础上，还要考虑到架构与软件开发的适配度。软件层面架构设计完成后，还需要开发相应的工具链。（图源：偲睿洞察《AI大算力芯片行业报告-百舸争流，创新者先》）而由于存算一体的原始模型与传统架构下的模型不同，编译器要适配完全不同的存算一体架构，确保所有计算单元能够映射到硬件上，并且顺利运行。一条完整的技术链条下来，考验着器件、电路设计、架构设计、工具链、软件层开发各个环节的能力，与协调各个环节的适配能力，是耗时耗力耗钱的持久战。同时，根据以上环节操作流程可以看到，存算一体芯片亟需经验丰富的电路设计师、芯片架构师。鉴于存算一体的特殊性，能够做成存算一体的公司在人员储备上需要有以下两点特征：1、带头人需有足够魄力。在器件选择（RRAM、SRAM等）、计算模式（传统冯诺依曼、存算一体等）的选择上要有清晰的思路。这是因为，存算一体作为一项颠覆、创新技术，无人引领，试错成本极高。能够实现商业化的企业，创始人往往具备丰富的产业界、大厂经验和学术背景，能够带领团队快速完成产品迭代。2、在核心团队中，需要在技术的各个层级中配备经验丰富的人才。例如架构师，其是团队的核心。架构师需要对底层硬件，软件工具有深厚的理解和认知，能够把构想中的存算架构通过技术实现出来，最终达成产品落地；3、此外，据量子位报告显示，国内缺乏电路设计的高端人才，尤其在混合电路领域。存内计算涉及大量的模拟电路设计，与强调团队协作的数字电路设计相比，模拟电路设计需要对于工艺、设计、版图、模型pdk以及封装都极度熟悉的个人设计师。而这一系列的人才与技术，都要以落地效果为终极目标——落地才是第一生产力。在交付时，客户考量的并不仅仅是存算一体技术，而是相较于以往产品而言，存算一体整体SoC的能效比、面效比和易用性等性能指标是否有足够的提升，更重要的是，迁移成本是否在承受范围内。如果选择新的芯片提升算法表现力需要重新学习一套编程体系，在模型迁移上所花的人工成本高出购买一个新GPU的成本，那么客户大概率不会选择使用新的芯片。因此，存算一体在落地过程中是否能将迁移成本降到最低，是客户在选择产品时的关键因素。在大模型背景下，存算一体芯片凭借着低功耗但高能效比的特性，正成为芯片赛道，冉冉升起的一颗新星。现如今，存算一体市场风云未定，仍处于“小荷才露尖尖角”阶段。但我们不可否认的是，存算一体玩家已然构筑了三大高墙，非技术实力雄厚，人才储备扎实者，勿进。本文为专栏作者授权微新创想发表，版权归原作者所有。文章系作者个人观点，不代表微新创想立场，转载请联系原作者。如有任何疑问，请联系http://www.idea2003.com/。
