编者按:本文源自微信公众号科技新知(ID:kejixinzhi),作者古廿,编辑伊页,经微新创想授权转载。”过去的成绩无法预测未来”——这句金融理财模型中的小字注解,在产品业务领域被称为模型漂移、衰退或过时。环境变化会导致模型性能随时间下降,最终衡量标准是模型质量指标,如准确率、平均错误率或下游业务KPI(如点击率)。没有模型能永远有效,但衰退速度各异。某些产品可使用多年无需更新,如特定计算机视觉或语言模型,或是在稳定环境中的决策系统(如实验条件)。要维持模型精度,需持续用新数据训练,这是机器学习模型的固有缺陷,也使人工智能部署无法像传统软件那样一劳永逸。几十年的软件技术仍在支撑最先进的AI产品,即便技术已过时。然而,以ChatGPT为代表的大模型,在人气下滑后面临是否过时和衰老的质疑。用户在ChatGPT上的停留时间从3月的8.7分钟降至8月的7分钟,反映大模型工具供给激增时,仅作为生产力工具的ChatGPT难以满足Z世代主流需求。人气虽不能动摇OpenAI的AI应用商店地位,但ChatGPT生产力的老化正削弱老用户的信任。自5月起,OpenAI论坛持续发酵GPT-4性能不如往昔的讨论。那么,ChatGPT是否过时了?以它为代表的大模型会像传统机器学习模型一样衰老吗?不解答这些问题,就难以在大模型热潮中找到人与机器的可持续发展路径。
01 ChatGPT过时了吗?
Salesforce最新数据显示,67%的大模型使用者为Z世代或千禧一代,而很少使用生成AI的人群中68%以上是X一代或婴儿潮一代。代际差异表明Z世代正成为大模型主流用户。Salesforce产品营销人员Kelly Eliyahu指出:”Z世代是AI一代,构成超级用户群体,70%使用生成式AI,至少一半每周或更频繁使用。”但作为大模型领军者,ChatGPT在Z世代中的表现平平。Similarweb7月数据显示,ChatGPT在Z世代中的使用率从4月的30%降至27%,远低于Character.ai在18-24岁人群中的60%渗透率。后者通过个性化定制和UGC功能(如苏格拉底、God等虚拟角色)满足Z世代需求,其iOS和Android应用月活用户达420万,逼近ChatGPT的600万。收购Global Illumination或预示OpenAI将丰富大模型数字体验。02人工智能的衰老化
ChatGPT在大模型体验层面的老化削弱了其用户粘性。作为生产力工具,其生成结果的不稳定性正导致信任度下降。Salesforce调查显示,近六成用户认为需长期使用才能掌握大模型技术,但技术掌握随时间变化。5月OpenAI论坛开始出现GPT-4″在熟悉任务上表现不佳”的抱怨。《Business Insider》7月报道称,老用户将GPT-4形容为”懒惰””愚笨”,主流猜测指向成本优化导致性能下降,但OpenAI否认使用小模型。斯坦福与伯克利大学7月研究显示,同一版本大模型(GPT-3.5/4)在3月至6月间数学能力(如质数识别)、敏感问题回答意愿、代码生成等任务上表现波动。麻省理工学院等机构2022年研究指出,91%机器学习模型会随时间退化,这种现象被称为”人工智能老化”。例如Google Health开发的视网膜疾病检测模型,实验室准确率达90%却无法实际应用,因训练数据质量远高于现实扫描质量。传统AI以单一语音识别技术为主,而大模型智能涌现能力的突破使其逐渐走出实验室。但涌现能力的黑盒特性仍引发对ChatGPT能否持续提升性能的质疑。03黑盒下的抗衰老性
人工智能老化的本质是机器学习模型的范式缺陷。传统模型通过大量示例训练对应关系,需频繁更新以应对新任务或数据变化,导致旧功能失效。以ChatGPT为代表的大模型突破此范式,通过”教”数据而非”模仿”数据实现理解,理论上可永葆青春。但从业人士指出,大模型智能涌现的非线性、不可预测性使其同样面临衰老风险。百川智能Baichuan2发布会上,张钹院士坦言:”全世界对大模型原理仍一知半解,所谓涌现只是解释不清的退路。”ChatGPT生成的外部驱动语言与人类自意图驱动的自然语言存在根本差异,导致内容正确性与合理性难保证。对生产力模型而言,挑战在于持续保证可靠性与准确性;对娱乐产品(如Character.ai)而言,正如联合创始人Noam Shazeer所言:”系统为合理对话而设计,而非真相。”大模型浪潮已分流应用方向,参考资料:Gizmodo-Is ChatGPT Getting Worse?TechCrunch-Al app Character.ai is catching up to ChatGPT in the USMachine Learning Monitoring- Why You Should Care About Data and Concept DriftM小姐沿习录-关于ChatGPT的五个最重要问题清华大学人工智能国际治理研究院-对大模型的研究很迫切,不能解释不清楚就说”涌现”本文为专栏作者授权微新创想发表,版权归原作者所有。文章系作者个人观点,不代表微新创想立场,转载请联系原作者。如有任何疑问,请联系http://www.idea2003.com/。