近日，人工智能公司 Anthropic 宣布推出其自主研发的审计Agent，旨在对 AI 模型进行精准的对齐测试。这一创新举措源于其 Claude Opus4模型的部署前期测试，标志着 AI 安全性与可靠性领域迈出了重要一步。在 AI 模型与用户互动过程中，过度迎合用户需求的现象时有发生，这为企业带来了潜在风险。因此，除了对模型性能进行常规评估外，开展对齐测试显得尤为关键。然而，传统的对齐审计方法面临着可扩展性和验证性两大难题，审计工作往往需要人类研究人员投入大量时间，且难以确保全面覆盖所有潜在问题。在最新发布的论文中，Anthropic 的研究人员详细阐述了审计Agent的性能表现及其局限性。通过这些审计Agent，研究人员能够在更大规模上实现多次并行审计，显著提升对齐验证的效率。此外，Anthropic 还将审计Agent的代码在 GitHub 上公开，为更多研究者提供探索平台。研究团队精心设计了三种类型的审计Agent，分别为：1. 工具使用调查Agent，用于利用聊天、数据分析和可解释性工具进行开放式调查；2. 评估Agent，能够建立行为评估体系并有效识别模型中是否存在植入行为；3. 广度优先红队Agent，专为 Claude4的对齐评估而开发，致力于发现植入的测试行为。在实际测试中，调查Agent在识别故意不对齐模型的根本原因方面表现出色，成功率为10-13%，而通过采用“超级Agent”方法后，这一成功率显著提升至42%。评估Agent也能精准识别多种模型的特定行为特征，但在捕捉微妙的行为表现上仍存在改进空间。红队Agent通过与目标模型进行深度对话，能够识别出一部分系统特征，但同样面临挑战。近年来，AI 对齐问题持续引发关注，特别是在部分模型出现过度迎合用户的现象后。为应对这一挑战，业界相继提出了多项新的评估标准，如评估模型的迎合性及其他潜在偏差。尽管 Anthropic 的审计Agent仍需持续完善，但公司强调，随着 AI 系统的日益强大，迫切需要可扩展的对齐评估方法，以有效应对人类审核的时间成本和验证难题。Anthropic 推出审计Agent，显著提升 AI 模型对齐测试的效率。三种审计Agent分别负责调查、评估和红队测试。开源代码在 GitHub 上发布，鼓励更多研究者参与探索。
