微新创想8月13日电 华为在2025金融AI推理应用落地与发展论坛上发布了革命性AI推理创新技术UCM(推理记忆数据管理器),这一举措被业界视为将彻底重塑国内AI推理格局的关键性突破。UCM技术的核心优势在于其先进的KV Cache系统,该系统通过融合多种缓存加速算法工具与精细的分级管理策略,能够高效处理推理过程中产生的大量记忆数据。这一创新技术带来了多重显著优势:不仅有效扩大了上下文窗口,确保了推理过程的高吞吐量与低延迟,还显著降低了每个Token的推理成本。尤为关键的是,UCM技术有望缓解当前因HBM(高带宽内存)资源短缺导致的任务停滞与响应延迟问题,为AI应用提供更流畅的体验,从而减少行业对HBM的过度依赖。
此次论坛不仅是UCM技术的首次亮相,华为还宣布将携手中国银联,共同发布双方在AI推理领域的最新应用成果。论坛还邀请了来自信通院、清华大学、科大讯飞等机构的专家,分享他们在优化大模型推理速度及提升用户体验方面的前沿经验。华为数据存储产品线副总裁樊杰在演讲中强调了高质量行业数据与高性能存储对AI发展的重要性。他指出,未来的AI飞跃将极大依赖于此,高性能AI存储系统能将数据加载时间从数小时压缩至几分钟,同时使算力集群的效率实现倍增。
华为计划于2025年9月正式开源UCM技术,首发平台为魔擎社区。后续,华为将逐步将该技术贡献给业界主流的推理引擎社区,并向所有采用”共享一切”(Share Everything) 架构的存储厂商及生态伙伴开放共享。这一开放策略将极大地推动AI推理技术的普及与发展,为整个行业带来更多创新与机遇。