微新创想(idea2003.com) 8月8日 消息：微软于本周一正式披露，自2018年起便组建专项团队，系统性地研究如何攻击AI平台，以全面揭示AI系统的潜在弱点。经过五年的发展，微软的AI红队已从一项实验性项目成长为具备高度专业性的跨学科团队，成员涵盖机器学习专家、网络安全研究员乃至社会工程师等多元人才。该团队的核心使命在于，通过运用传统数字安全领域的术语体系，在微软内部及整个科技行业传播其研究成果，从而降低理解门槛，避免因缺乏AI专业知识而造成的沟通障碍。
然而，经过深入实践，该团队发现AI安全与传统数字防御在概念层面存在本质差异，这要求AI红队在方法论上必须进行创新性调整。微软AI红队创始人Ram Shankar Siva Kumar指出：”当我们最初组建团队时，面临的核心问题是，’我们究竟要探索什么独特领域？为何需要专门针对AI的红队？’但若将AI红队简单视为传统红队的延伸，仅从安全角度出发，显然无法满足实际需求。如今我们必须深刻认识到负责任的AI理念，即AI系统在失效时所需承担的责任——例如生成攻击性内容或传播虚假信息。这已成为AI红队的核心目标，我们的使命不仅在于发现安全漏洞，更在于揭示负责任的AI层面的失败。”
Shankar Siva Kumar表示，团队曾花费大量时间来明确这种双重使命的必要性，并成功向外界传递了AI红队的独特价值。早期阶段，团队主要致力于开发传统安全工具，例如2020年与MITRE等机构联合推出的对抗性机器学习威胁矩阵，以及同年开源的AI安全测试自动化工具微软Counterfit。2021年，团队进一步发布了AI安全风险评估框架，为行业提供了重要参考。
随着机器学习缺陷与系统失效问题的日益凸显，AI红队不断拓展其研究范畴。该团队不仅关注当前实际应用中的攻击手段，更前瞻性地预测攻击趋势的发展方向，这一工作重点往往凸显AI问责性的重要意义。当团队发现传统安全漏洞时，通常会与微软内部其他技术团队协作进行修复，而非独立开发解决方案。”微软内部拥有其他专业的红队团队及Windows基础设施专家，我们可以随时获取所需支持。”Shankar Siva Kumar强调。
当前，AI红队的核心洞察力在于，其工作范围已从单纯的安全防护扩展至负责任的AI领域，这一转变标志着AI安全防护理念的全面升级。通过这种创新性探索，微软正引领着AI安全防护的新范式，为构建更可靠、更负责任的AI生态系统奠定坚实基础。
