人类创作的文本始终比AI生成的文本更具价值。随着GPT-4、Stable Diffusion和Midjourney等生成式AI技术的迅速崛起，越来越多的人开始将其融入工作和生活。甚至有研究者尝试利用AI生成的数据来训练新的AI模型，试图打造所谓的「数据永动机」。然而，牛津大学、剑桥大学和帝国理工学院等顶尖机构的研究人员发现，如果在训练过程中过度依赖AI内容，会导致模型出现灾难性的「模型崩溃」，造成不可逆转的缺陷。这意味着，随着时间的推移，AI模型会逐渐遗忘真实的基础数据。即使在理想的长期学习环境下，这一问题也无法避免。因此，研究人员强烈呼吁，为了维持大规模数据训练带来的模型优势，必须重视人类原创文本的价值。相关研究论文可查阅：https://arxiv.org/abs/2305.17493v2
然而，现实情况更为复杂——你以为的「人类数据」，可能并非完全由人类创作。洛桑联邦理工学院（EPFL）的最新研究表明，高达33%-46%的人类数据实际上是由AI生成的。这意味着，当前训练AI模型所依赖的数据中，相当一部分是「垃圾数据」。尽管GPT-4等大语言模型已展现出惊人的文本生成能力，能够模仿人类写作风格，但它们的训练数据主要源自过去几十年互联网上的公开交流。如果未来模型继续依赖网络爬取，不可避免地会纳入自身生成的文本，从而加剧模型崩溃的风险。研究人员预测，随着GPT系列的迭代发展，这一问题将日益严重。
在这种背景下，为AI模型准备高质量的人类原创数据变得至关重要。亚马逊的Mechanical Turk（MTurk）自2005年上线以来，已成为许多人的兼职选择。科研人员通过MTurk发布各种需要人类智能的任务，如图像标注、问卷调查等，这些任务往往难以通过计算机算法完成。MTurk也因此成为预算有限的科研人员和企业的「优选方案」，就连贝佐斯曾戏称其为「人工人工智能」。除了MTurk，Prolific等众包平台也已成为研究者和行业实践者的核心数据来源，提供创建、标注和总结各类数据的方法。
但EPFL的研究揭示了一个令人担忧的事实：在这些关键的人类数据来源中，近半数内容是由标注员使用AI工具生成的。相关论文链接：https://arxiv.org/abs/2306.07899v1
「模型崩溃」是指当AI模型被大量AI生成数据「喂养」后，会出现的跨代退化现象。具体来说，新一代模型的训练数据会被前代模型的生成内容污染，导致对现实世界的认知产生偏差。更严重的是，这种崩溃可能引发基于性别、种族等敏感属性的歧视问题。例如，如果AI逐渐只生成某个种族的描述而忽略其他种族，模型最终会「忘记」这些种族的存在。值得注意的是，模型崩溃与灾难性遗忘（catastrophic forgetting）不同——模型不会完全遗忘已学数据，而是会扭曲错误认知并将其误认为现实，并不断强化这种错误信念。
以一个包含100张猫图片的数据集为例：其中10张是蓝毛猫，90张是黄毛猫。模型可能得出「黄毛猫更普遍」的结论，并在生成新数据时将蓝毛猫「想象」成偏黄的版本。随着训练的持续，蓝毛猫的特征会逐渐被侵蚀，从蓝色演变为绿色甚至黄色。模型崩溃可分为两种类型：早期模型崩溃（模型丢失分布尾部信息）和后期模型崩溃（模型与原始分布模式混淆，最终收敛到与原始分布差异巨大的状态）。造成模型崩溃的两大主因是统计近似误差和函数近似误差。统计近似误差源于重采样过程中信息的丢失，而函数近似误差则与模型表达能力不足或超出原始分布支持范围有关。研究人员Ilia Shumailov指出：「生成数据中的错误会不断累积，最终导致模型对现实产生更严重的误解。模型崩溃的发生速度惊人，模型会迅速遗忘最初学习的真实数据。」
幸运的是，研究人员提出了两种避免模型崩溃的方法。第一种是保留高质量的人类原创数据集副本，避免与AI生成数据混合，并定期使用这些原始数据重新训练或从头训练模型。第二种方法是持续引入全新的、干净的人类原创数据，确保少数派群体在后续数据中得到公正表征。为了实现这一目标，开发者需要建立大规模的标记机制来区分AI生成内容与人类创作内容。目前已有GPTZero、OpenAI Detector等工具，但它们在特殊文本中效果有限。例如，在EPFL研究中，ChatGPT生成的10个总结中，GPTZero仅检测出6个是AI合成的。研究人员通过微调模型开发了定制的「合成-真实分类器」，在真实MTurk回应中实现了高达99%的准确率。实验表明，AI生成的文本通常与原始内容差异巨大，表明其正在生成新文本而非简单复制粘贴。
「人类数据」的价值在AI时代愈发凸显。随着LLM塑造人类「信息生态系统」，依赖合成数据训练的模型性能会显著下降，甚至出现「痴呆症」现象。虽然众包工作者使用ChatGPT等工具能提高效率，但拯救LLM免于崩溃的关键仍在于真实的人类原创数据。人类数据在科学研究中始终不可或缺，过度依赖合成数据可能导致偏见固化。随着AI模型的普及，人类创作的内容作为原始训练数据的价值将不断提升——尽管人类数据可能包含低概率劣质内容，但生成式AI往往过度拟合流行数据而忽略边缘案例。在生成式AI泛滥的未来，人类创作的内容将成为稀缺资源，其价值将远超以往。参考资料：https://arxiv.org/abs/2306.07899v1https://arxiv.org/abs/2305.17493v2
