智源研究院于9月28日正式发布了FlagPerf v1.0开源项目，这一创新性的AI硬件评测引擎旨在为业界提供全面客观的芯片性能评估标准。作为业内首个集功能验证、性能测试、资源分析和生态适配于一体的综合性评测平台，FlagPerf通过四大核心指标体系构建了完整的芯片评估框架。
在功能正确性验证方面，FlagPerf采用严格的标准测试集，确保芯片对各类AI模型的兼容性；性能指标体系则通过精准的训练时间和计算吞吐量测试，全面衡量芯片的计算效率；资源使用指标能够客观反映芯片与服务器其他组件的协同效率；而生态适配指标则重点考察芯片对不同框架和软件生态的支持程度。这一全方位的评测体系为AI芯片的性能评估提供了科学依据。
目前FlagPerf已覆盖自然语言处理、计算机视觉、语音识别和多模态等领域的20余个经典模型，包含50余个训练样例，并与百度、华为、寒武纪等多家AI软硬件厂商达成深度合作。通过广泛的适配测试，FlagPerf已建立起完善的芯片评测数据库，为业界提供权威参考。
值得一提的是，FlagPerf不仅支持大模型训练推理等复杂场景，还具备高度的灵活性，兼容多种训练框架和推理引擎。其测试环境设计科学，涵盖单卡、单机和多机等多样化配置，能够全面评估芯片在不同环境下的性能表现。在评测过程中，项目团队严格执行代码审核机制，确保测试结果的公平公正。
所有测试代码均已完全开源，测试过程和数据均可复现，充分体现了项目的透明性和科学性。这一开放平台为AI芯片厂商提供了客观公正的评测工具，也为学术界和产业界搭建了交流合作的桥梁。FlagPerf开源项目官网：https://github.com/FlagOpen/FlagPerf