微新创想(Idea2003.com) 7月11日 消息：一项发表于《Patterns》杂志的最新研究揭示了一个令人担忧的现象——AI检测器在超过一半的情况下错误地将非英语母语者的写作判定为机器生成。这种误判不仅可能给求职者、学生等群体带来困扰，还可能让教师、教授及招聘经理在评估作品真实性时陷入困境。
随着AI技术的快速发展，多家公司已着手开发专门用于区分人类写作与机器生成内容的检测软件。然而，现实情况是，这些工具大多效果不尽如人意，且适用场景受限。研究人员通过运用七个主流GPT检测器，对91篇非英语母语者的TOEFL文章进行了全面评估。尽管这些检测器能够准确识别超过90%的八年级学生文章为人类写作，但在面对非英语母语者的TOEFL文章时，其表现却大打折扣。
数据显示，在所有七个GPT检测器中，非英语母语者TOEFL文章的平均误检率高达61.3%。其中，一款检测器甚至将近98%的TOEFL文章错误地归为机器生成。值得注意的是，所有检测器均一致地将约20%的人类TOEFL文章误判为机器内容。
AI检测器的工作原理主要基于对文本“困惑度”的衡量。困惑度作为衡量文本中词汇预测难度的指标，在非英语母语者的写作中往往呈现出较低值。由于这些作者在特定语言中的词汇量和语法结构相对有限，其写作内容通常具有更高的可预测性，从而被AI检测器误认为机器生成。
研究进一步发现，通过减少TOEFL样本文章中的词重复，可以有效降低AI检测软件的误判率。相反，若简化八年级学生的文章语言，反而会导致更多作品被错误地判定为机器生成。
这项研究警示我们，当前AI检测工具在识别非英语母语者写作方面存在明显缺陷，可能对他们在求职市场、学术领域及网络空间中的发展造成严重影响。因此，在评估或教育环境中，不建议使用现有AI检测工具，尤其是在评判非英语母语者作品时。
尽管如此，要彻底解决这一问题，仍需更深入的研究和技术创新。毕竟，AI检测器本身往往基于相似的AI模型，要超越自身局限并非易事。这一挑战的破解，将依赖于未来科研人员的不懈努力和突破性进展。