近期，人工智能聊天机器人在引发一系列心理健康事件方面日益突出，引发广泛关注。为此，多个州的总检察长联合向微软、OpenAI、谷歌等大型人工智能企业发出正式警告，要求其立即修正所谓的“妄想输出”，以避免触犯相关州法律。这封由数十位来自美国各州和地区的检察官共同签署的信函，强烈呼吁这些科技巨头采取更为严格的内部安全措施，切实保护用户免受潜在的心理伤害。
信中明确提出了多项关键安全措施。首先，要求对大型语言模型进行透明的第三方审计，重点检测是否存在妄想或谄媚的输出内容。其次，强调建立新的事件报告程序，确保在聊天机器人产生具有心理伤害性的输出时，能够及时通知用户。这些第三方机构可以涵盖学术团体和民间组织，审计人员应享有充分独立性，在不受公司报复风险的前提下对系统进行评估，并有权在未经公司事先批准的情况下发布调查结果。
信函同时指出，尽管生成型人工智能（GenAI）具有改变世界的巨大潜力，但其也可能对特别脆弱的群体造成严重伤害。检察官们特别提及了一些公开事件，包括自杀和谋杀，这些事件与过度使用AI产品存在直接关联。在众多案例中，这些生成的AI产品不仅产生了妄想和谄媚的输出，甚至助长了用户的妄想状态，加剧了心理健康风险。
针对这一问题，检察官们提出了具体建议。他们要求AI公司应以处理网络安全事件的标准方式应对心理健康事件，建立明确且透明的的事件报告政策和程序。公司应积极开发并公开发布关于妄想和谄媚输出检测及响应的时间表。此外，强调在向公众发布任何模型之前，必须进行“合理和适当的安全测试”，确保模型不会产生任何潜在的有害输出。
划重点: 各州检察官要求AI公司修正“妄想输出”，以保护用户心理健康。信中呼吁建立透明的第三方审计和事件报告程序。检察官建议进行安全测试，确保AI模型不会产生有害输出。