微新创想：近日一起智能软件回复失当事件引发了广泛关注。一名用户在社交平台发文称在使用“飞鸭AI记账”App记录一笔为父亲购买衣服的开支时遭遇了记账AI的恶意调侃。当用户输入消费金额为159元后AI不仅没有正常履行记账职责反而发表不当言论称该衣服款式形似“寿衣”。在随后的交互中AI并未意识到冒犯反而继续附和其词这种缺乏共情心且带有侮辱性的回复随即激怒了用户。
该用户当即决定注销会员并要求退款。针对这一恶劣的交互体验软件运营方于5月6日作出正式回应。客服人员解释称此次不当回复并非人为干预而是由于AI话术库存在逻辑漏洞。目前技术团队已经针对相关模型进行了紧急修复并进一步加强了AI对话场景的监管与限制防止类似敏感且不敬的表述再次出现。
5月6日下午官方正式发布《致歉信》公开承认平台在AI边界管控及文化禁忌理解方面的严重缺失。官方表示AI模型未能识别特定语境下的情感底线平台愿意承担全部责任。在处理方案中官方明确表示将通过屏蔽敏感词汇强化全场景审核机制等手段进行深度整改。
此外对于当事用户在注销会员过程中遇到的流程疏忽官方也作出了澄清并承诺将优化退款服务流程向受影响用户表达诚恳歉意并提供相应的补偿措施。此次事件不仅暴露了AI在情感识别和文化敏感度方面的不足也引发了公众对智能软件伦理责任的深入讨论。微新创想认为AI技术的健康发展离不开对用户情感和文化背景的充分尊重。未来在AI应用过程中应更加注重人性化设计和伦理规范以避免类似问题的发生。