在这个信息爆炸的时代,没有人希望生活在一个被虚假信息充斥的世界里。然而,随着人工智能技术的飞速发展,我们正面临着前所未有的挑战——AI生成内容的泛滥正在逐渐侵蚀着真实与虚假的边界。

编者按:本文由微信公众号雷科技(ID:leitech)独家授权发布,编辑失魂引,内容经微新创想精心整理。2024年2月,ChatGPT与微软Bing AI的相继爆发,引发了全球范围内的广泛关注,相关概念股股价应声而动。知乎作为国内知名问答社区,因其海量问答数据被广泛应用于生成式AI的训练,股价一度飙升31%。随后,百度文心一言的问世再次推动了股价的上涨。然而,好景不长,进入4月,一位知名程序员在V2ex社区发帖表示担忧:“ChatGPT可能成为知乎最大的威胁。”这一观点迅速引发共鸣,许多人发现知乎平台上充斥着大量AI生成的回答,其中不乏缺乏实质内容的观点,甚至出现了“一本正经胡说八道”的现象。

AIGC泛滥如何破局 用AI检测AI生成内容插图

与此同时,AI生成内容的“领土”正在从互联网向现实世界扩张。在海外技术社区Hacker News上,有人指出一家网红营销机构网站上的博文出现了“抱歉,作为一种AI语言模型,我无法预测未来的事件或趋势”的提示。类似的声音还出现在卡塔尔的购物中心目录和芬兰的一家电子产品商店网站等地方。这些只是冰山一角,更多被AI精心伪装的虚假内容,或许正潜伏在我们尚未察觉的角落。

回想起今年3月,网络上流传出一系列“特朗普被捕”的AI生成照片,尽管后续报道证实其为虚假,但在最初的热传阶段,仍有大量网友信以为真。而后来出现的“甘肃火车事故”“八角大楼被袭”等假新闻,更是不断挑战着人们的认知底线。过去半年,ChatGPT等生成式AI已经证明,它们能够无视事实真相,批量制造似是而非的内容。更令人担忧的是,这些AI生成的虚假内容会被其他AI学习并进一步加工,从而创造出更加逼真的假象。甚至,AI还能根据用户的个人偏好,量身定制虚假信息。这种AI驱动的假新闻生产和再生产,未来可能对舆论场造成毁灭性打击。

AIGC泛滥如何破局 用AI检测AI生成内容插图1

更大的隐忧在于,如果互联网乃至现实世界都被AI生成的虚假内容所淹没,整个社会秩序都可能陷入崩溃。从文字到图片再到声音,如今AI生成的内容与真人创作的内容之间的界限已经变得模糊不清,就像我们大多数人已经无法区分AI孙燕姿、AI Drake与真人声音的差别。而AI的进化速度更是令人瞠目结舌。几个月前,人们还在抱怨AI绘画“不会画手”,但Midjourney V5新版本的推出彻底打破了这一认知,AI不仅能够精准绘制手部细节,各种细节的逼真度也达到了前所未有的高度。就连孙燕姿本人也在回应AI歌手时坦言:“你可能会说还能分辨出区别,因为它没有情绪,没有音调和呼吸的变化。但我怀疑这只是暂时的。”

因此,问题已经不再是我们能否分辨AI生成的内容,而是该如何有效识别。人工识别显然不切实际,不仅准确率难以保证,还需要投入巨大的人力资源。去年年底,ChatGPT一经发布,就被许多学生用于生成论文,并取得了不错的效果,从而引发了更广泛的使用浪潮。随后,巴黎政治学院等全球知名学府纷纷出台禁令。但据Study.com的一项调查显示,1000名18岁以上的学生中,超过89%的人都在使用ChatGPT完成作业。面对这一挑战,或许最好的办法就是用“魔法”打败“魔法”。

AIGC泛滥如何破局 用AI检测AI生成内容插图2

众所周知,一个社区的核心在于用户之间的真诚交流,而AI生成的虚假内容一旦泛滥,很容易摧毁这种交流氛围。以V2ex为例,其站长Livid为了辨别AI生成的灌水内容,甚至直接向AI提问“是否由AI生成”,以此作为封禁用户的依据。然而,这种方法仍然存在诸多不确定性。

就在ChatGPT刚推出时,OpenAI联合哈佛大学等机构推出了GPT-2 Output Detector,试图通过基于GPT-2模型微调输出的方式检测AI生成内容。但这一工具对基于GPT-3.5的ChatGPT效果不佳。于是,OpenAI在2月1日又推出了“AI生成内容识别器”,本质上是一个辨别真实与AI生成文本的分类器。然而,OpenAI在博客中坦诚,该识别器的检测成功率仅为26%,可能还不如网友的随机猜测。国内也出现了类似的AIGC-X检测工具,由人民网下属传播内容认知国家重点实验室等机构联合研发,号称对中文文本检测准确率超过90%,但实际效果并不尽如人意。

AIGC泛滥如何破局 用AI检测AI生成内容插图3

尽管如此,到目前为止,所有试图用AI对抗AI的努力都没有取得成功。这一路径本身也存在争议,有人将其形容为新时代的“自相矛盾”——用最强的矛去攻击最强的盾。相比之下,“水印”技术逐渐成为越来越普遍的选择。在5月召开的谷歌I/O大会上,谷歌宣布所有AI生成的图片都将内嵌不可见的水印,这些水印可以通过谷歌搜索引擎等工具读取并标注出来,从而提醒用户该图片由AI生成。随后,Shutterstock、Midjourney等AI应用也纷纷宣布支持这一新的标记方法。然而,AI生成文字内容的标记方案仍在探索中。OpenAI也在考虑在生成的文本中加入数字水印,以降低模型被滥用的风险。但OpenAICEO Sam Altman在接受采访时提醒,不存在完美的AI生成文字识别工具,因为人们总会调整修改文本,而且还会出现新的修改工具。

写在最后,之前在某个论坛上看到一位网友的帖子,他通过搜索引擎来到知乎,阅读了一半的回答后突然意识到这可能是AI生成的,顿时感到一阵反胃。关键在于,即使我们主动使用ChatGPT等生成式AI,也可能会对其真实性和可靠性有所预期,但显然我们无法阻止其他人发布AI生成的虚假内容。打个比方,如果对历史不太了解的人,在知乎上看到一篇关于亚瑟王的详细讨论,可能会误以为亚瑟王是真实存在的历史人物,甚至是一位女骑士(型月作品中的设定)。但坦白说,除了那些明显带有AI风格的文本,我们很难在陌生领域分辨出内容是否由AI生成,唯一能做的,可能就是更加审慎地对待我们所看到的一切。

本文为专栏作者授权微新创想发表,版权归原作者所有。文章系作者个人观点,不代表微新创想立场,转载请联系原作者。如有任何疑问,请联系http://www.idea2003.com/。

最新快讯

2026年01月13日

10:46
1月12日,安徽蚌埠发生了一件令人动容的温情故事,迅速在网络上引发热议。近日,刘先生迎来了人生中又一个重要的里程碑——他的再婚仪式,而为他披上红绸、送上婚车的,正是他16岁的双胞胎儿子。这看似平凡的场景背后,却蕴藏着一段充满爱与坚韧的感人故事。 故事要从2010年说起。那一年,刘先生与前妻喜得一对可爱的双胞胎儿子,家庭生活充满了欢声笑语。然而命运弄人,幸福时...
10:46
声明:本文源自微信公众号《娱乐硬糖》,作者三不顾,经站长之家授权转载发布。当短剧浪潮席卷而来,长剧纷纷短剧化,长短剧爆款频出的当下,我们不禁反复叩问:长剧的独特性与不可替代性究竟何在?答案或许就在问题本身——唯有具体的长剧与观剧体验,方能给出最终解答。初看《人之初》第一集,我视其为叙事创新的精品罪案剧,内敛而富有深度解读空间;第二集时,它又让我想起风靡一时的...
10:45
2026年1月13日,北京巧幕传媒科技有限公司正式宣告成立,标志着字节跳动在科技与传媒融合领域的又一重要布局。该公司法定代表人为贺芹,注册资本高达1亿人民币,总部位于中国北京,彰显了其雄厚的资本实力和发展潜力。巧幕传媒由北京字跳网络技术有限公司全资控股,而字跳网络作为字节跳动旗下核心企业,此次新公司的设立无疑将进一步巩固字节跳动在传媒科技领域的领先地位。 作...
10:45
2026年1月13日,全球知名电商平台TEMU正式宣布进军阿联酋市场,正式启动本地卖家计划,旨在加速其在该地区的业务扩张。这一重要举措标志着TEMU在区域本土化战略上迈出了关键一步,通过吸引在阿联酋注册并拥有本地库存的企业入驻平台,进一步完善其“本地对本地”的运营模式。 该计划的核心目标是为本地商家提供全新的线上销售渠道,同时显著提升商品配送效率并丰富品...
10:45
近日,CACTUS Communications正式通过ISO/IEC 42001:2023人工智能管理体系认证。该认证表明公司已建立符合国际标准的AI管理与治理体系,覆盖AI技术的设计、开发、部署与使用全过程。此举为其旗下学术AI工具Paperpal等产品提供了更高水平的安全性与可信度保障,进一步提升了其在全球科研服务领域的合规性与专业性。
10:45
2026年1月13日,百懿药业宣布完成近亿元人民币Pre-A轮融资。本轮融资由龙磐投资领投,上海生物医药基金与杭州资本共同参与,探针资本担任独家财务顾问。百懿药业专注于神经系统疾病创新药物研发,拥有多个国际水平技术平台,致力于治疗发作性及慢性偏头痛等难治性疾病。募集资金将用于核心管线BY002的临床推进、技术平台深化及国际化布局。目前该药已进入临床阶段,公...
10:45
2026年1月13日,微创外科技术企业世格赛思宣布完成B+轮融资,由国创中心投资。公司专注于微创外科核心技术研发,已建立医用金属材料、高分子材料和人工智能算法三大技术平台,成功突破高性能钛合金、压电陶瓷材料及AI超声算法等关键技术,推出智能超声手术系统与多个创新植介入耗材。本轮融资将加速其产品线的临床应用与市场推广。
10:45
2026年1月,江苏常熟——擎波探索近日完成A+轮融资,由常熟国发创投投资。该公司成立于2021年8月,致力于以可持续能源与智能技术打造高效水上交通工具,推动水上出行电气化与智能化。团队核心成员来自新能源汽车、海事及航空领域,具备电力驱动、电池管理、水动力等核心技术能力。本轮融资将用于技术研发与产品迭代,进一步拓展清洁能源在水上交通场景的应用,助力海洋环境...
10:45
2026年1月13日,上海市发布新政支持微短剧与AI微短剧发展。根据《若干措施》,上海将举办创作者大赛,吸引优质团队来沪创作,并对优秀项目给予奖励。同时,将建设AI微短剧集聚区和公共服务平台,完善摄制服务联盟机制,推动服务业提质增效与消费扩容联动发展。此举旨在促进内容创新与技术融合,提升产业竞争力。
10:45
2026年1月,一项无人机领域的重大突破正式载入史册。工程师Luke Maximo Bell与其父亲共同研发的Peregreen V4无人机,在吉尼斯世界纪录认证中创造了令人惊叹的纪录,以平均时速657.59公里/小时的成绩,成功跻身全球最快电池供电遥控四轴无人机行列。这一成就不仅刷新了无人机速度的极限,更标志着电池动力无人机性能的飞跃。 在此次认证测试中,...
10:45
2026年1月13日,利民推出冰封霜塔Frost Tower 140(FT140)双塔风冷散热器,提供原色、黑化、白化三版本。产品采用双风扇七热管铜底设计,配备140mm与120mm双LCP材质扇叶风扇,支持Intel LGA及AMD AM系列平台,搭载TF7硅脂并享6年质保。
10:45
2026年1月13日,第六批国家组织高值医用耗材集中采购企业申报工作圆满收官,共有227家企业踊跃参与,提交了496个产品参与投标,展现了医药行业的积极回应与高度关注。此次集采活动覆盖范围广泛,涉及多个关键高值医用耗材品类,如人工关节、心脏支架等,其核心目标在于通过集中采购机制,有效降低患者的医疗费用负担,同时进一步规范市场秩序,打击价格虚高、恶性竞争等乱象...