微新创想:3月9日,上海人工智能实验室正式推出DeepLink多元算力混合推理加速方案。该方案由实验室主导研发,联合海光DCU开展混合调度与协同推理测试,旨在提升异构硬件(如GPU、DCU等)协同推理效率。
微新创想:方案聚焦大模型推理场景,通过统一接口与动态负载分配,降低时延并提高资源利用率。这不仅优化了计算资源的使用效率,也为复杂模型的部署提供了更灵活的技术支持。
微新创想:此举意在夯实国产AI算力底座,支撑通用人工智能(AGI)发展。随着人工智能技术的不断进步,算力成为制约大模型应用的重要因素,而DeepLink方案的推出,为国产算力生态的构建提供了新的方向。
微新创想:目前测试已初步验证其跨架构兼容性与性能增益。实验结果显示,该方案在不同硬件架构之间实现了高效的协同工作,显著提升了整体推理速度与稳定性。
微新创想:未来,上海人工智能实验室将继续深化与行业伙伴的合作,推动更多创新技术落地,助力人工智能产业迈向更高水平。
