上海市网信办近期启动了名为“AI 滥用”的专项执法行动，聚焦生成式人工智能技术的违规应用。这一新兴技术虽为各行各业注入了创新活力，但其快速发展也伴随着一系列滥用问题，如 AI 换脸、AI 变声等侵权行为频发。这些现象不仅严重威胁个人隐私安全，更对健康的网络生态构成潜在威胁。
执法人员在调查中发现，部分企业在开发和使用生成式人工智能产品时，存在明显的合规漏洞。这些企业或未按规定进行安全评估，或未落实必要的安全防护措施，导致技术被滥用于侵权行为。具体表现为生成违法内容，包括“开盒”攻击、洗钱工具以及低俗色情图片等。为遏制此类乱象，网信办将整治 AI 滥用作为专项行动的核心目标，旨在推动新兴产业的规范发展。
在监管措施方面，网信办指导属地应用商店下架了54款存在违规行为的生成式人工智能应用，从源头上净化市场环境。同时，依据《人工智能生成合成内容标识办法》，专家团队为企业提供实务培训，帮助解答合规难题。在处罚环节，网信办对26家此前被要求下线功能的生成式人工智能服务网站展开复查，确保整改到位。对于3家拒不配合的网站，网信办首次依据《生成式人工智能服务管理暂行办法》实施立案处罚，彰显了监管的严肃性。
值得注意的是，此次行动也为企业提供了合规缓冲期。首次违规的企业获得免罚机会，但需下线违法功能并完成备案程序。这一举措既体现了监管的包容性，也强化了企业的合规意识。通过多维度监管，网信办正引导生成式人工智能技术走向健康有序的发展轨道，在保障安全的前提下释放技术红利。
