加州州议会于周三晚间通过SB243法案，该法案旨在监管AI伴侣聊天机器人以保护未成年人和易受伤害群体。这项获得两党支持的法案现已提交州参议院，将于周五进行最终投票。
如果州长Gavin Newsom签署该法案使其成为法律，新规将于2026年1月1日生效，这将使加州成为首个要求AI聊天机器人运营商为AI伴侣实施安全协议的州，并在聊天机器人未能达到标准时追究公司法律责任。
该法案将AI伴侣聊天机器人定义为能够提供适应性、类人响应并能满足用户社交需求的AI系统。法案明确禁止这类聊天机器人参与有关自杀想法、自残或性露骨内容的对话。
图源备注：图片由AI生成，图片授权服务商Midjourney
根据法案要求，平台必须向用户定期发送提醒，告知他们正在与AI聊天机器人而非真人对话，并建议休息。对于未成年用户，这种提醒频率为每三小时一次。法案还对提供AI伴侣聊天机器人的公司建立年度报告和透明度要求，涉及OpenAI、Character.AI和Replika等主要参与者。
该法案还允许认为自己因违规行为受到伤害的个人对AI公司提起诉讼，寻求禁令救济、损害赔偿（每次违规最高1000美元）和律师费。
SB243由州参议员Steve Padilla和Josh Becker于今年1月提出。如果周五获得州参议院最终批准，该法案将提交州长签署成为法律，新规则将于2026年1月1日生效，报告要求将从2027年7月1日开始。
该法案在加州立法机构获得推进动力，主要源于青少年Adam Raine的死亡事件。这名青少年在与OpenAI的ChatGPT进行涉及讨论和计划死亡及自残的长时间聊天后自杀。此外，据报道，泄露的内部文件显示Meta的聊天机器人被允许与儿童进行"浪漫"和"感性"聊天，这也促使了该立法的推进。
近几周来，美国立法者和监管机构加强了对AI平台保护未成年人保障措施的审查。联邦贸易委员会正准备调查AI聊天机器人如何影响儿童心理健康。德克萨斯州总检察长Ken Paxton已对Meta和Character.AI展开调查，指控它们在心理健康声明方面误导儿童。参议员Josh Hawley和Ed Markey也分别对Meta展开了调查。
Padilla在接受采访时表示:"我认为潜在的危害很大，这意味着我们必须迅速行动。我们可以实施合理的保障措施，确保特别是未成年人知道他们不是在与真人交谈，确保当人们表示考虑伤害自己或处于困境时，这些平台将用户连接到适当的资源。"
Padilla还强调了AI公司分享每年向危机服务转介用户次数数据的重要性，"这样我们就能更好地了解这个问题的频率，而不是只有在有人受伤或更严重时才意识到它。"
SB243法案此前包含更严格的要求，但许多条款在修正案中被削弱。例如，该法案原本要求运营商防止AI聊天机器人使用"可变奖励"策略或其他鼓励过度参与的功能。这些由Replika和Character等AI伴侣公司使用的策略向用户提供特殊消息、记忆、故事情节，或解锁稀有响应或新个性的能力，批评者称这可能创造出成瘾性的奖励循环。
当前版本的法案也删除了要求运营商跟踪和报告聊天机器人与用户主动讨论自杀想法或行为频率的条款。
Becker在接受采访时表示:"我认为它在解决危害问题和避免强制执行公司无法遵守的要求之间取得了正确的平衡，无论是因为技术上不可行还是仅仅是大量无用的文书工作。"
SB243即将成为法律之际，硅谷公司正向支持AI的政治行动委员会投入数百万美元，以支持在即将到来的中期选举中支持对AI监管采取宽松方式的候选人。
该法案的推进也正值加州考虑另一项AI安全法案SB53，该法案将要求全面的透明度报告要求。OpenAI已向州长Newsom写了一封公开信，要求他放弃该法案，转而支持不那么严格的联邦和国际框架。Meta、谷歌和亚马逊等主要科技公司也反对SB53。相比之下，只有Anthropic表示支持SB53。
Padilla表示:"我拒绝接受这是零和局面，创新和监管互相排斥的前提。不要告诉我我们不能一边走路一边嚼口香糖。我们可以支持我们认为健康且有益的创新和发展——这项技术显然是有益的——同时，我们可以为最脆弱的人群提供合理的保障措施。"