国内AI市场正掀起一场激烈的”百模大战”，从BAT等传统巨头到美团、字节跳动等新兴势力，再到科大讯飞等AI老牌玩家，无不纷纷入局。然而有趣的是，尽管国内厂商动作频频，但提到AI大模型，公众的普遍认知仍是ChatGPT、Bing Chat、Bard等海外产品更胜一筹。这一现象并非错觉，最近牛津大学的一项研究揭示了语言与大型语言模型训练成本之间的微妙关系。
该研究显示，按照OpenAI的服务器成本标准衡量，处理一句缅甸掸语需要198个词元，而相同句子的英语版本仅需17个词元。这一差异在多种语言中呈现规律性：简体中文的训练成本约是英语的两倍，西班牙语为1.5倍，而缅甸掸语更是高达英语的15倍。词元作为语料中最小的计算单位，其定义灵活多变，可以是单个汉字或分词后的词汇。由于AI行业普遍采用词元来衡量大模型API访问的计算成本，牛津大学的研究明确指出，英语是目前训练大模型最经济的语言，其他语言则面临显著更高的经济负担。
那么为何会出现这种现象？表面上看，中文的复杂性似乎是一个合理解释。毕竟现代语言学源于欧洲，汉语语法分析体系也脱胎于西方理论。与印欧语系的屈折型语法相比，汉藏语系孤立型语法确实显得更为复杂。然而，词元计算并非基于字符划分，而是以OpenAI视角下的训练成本为基准。更关键的是，英文单词间存在空格便于切分，而中文缺乏天然分隔符，需要先进行分词处理。真正导致英文训练成本更低的核心原因，实则是OpenAI等厂商在非英语语言的分词算法和语义理解技术上存在不足。
以OpenAI为例，作为美国公司，其团队在训练大模型时天然倾向于以英语语料为起点。人工标注的投入也主要集中于英语系，毕竟这直接影响大模型训练强度和产出质量。这也是为何他们选择在肯尼亚建立人工标注团队——作为英联邦国家，肯尼亚拥有以英语为官方语言且教育水平较高的劳动力资源。AI理解不同语言并非通过翻译，而是直接学习相关语言的文本数据。
AI大模型在不同语言上的能力差异，根源在于语料的丰富程度。百度”文心一言”内测时出现的文生图不符实际问题，就曾引发主流观点认为中文自然语言处理领域缺乏高质量语料。事实上，生成式AI的原理正是通过海量语料库训练，从各类反馈中学习并优化模型，使AI能够理解人类问题并做出相应回答。大模型之所以表现更”聪明”，单纯是因为语料规模更大——OpenAI的GPT-3就拥有1750亿参数量。”力大砖飞”正是当下大模型的底层逻辑，语料规模基本决定了其上限。
语料越多越好，但现实是英语作为互联网世界使用人群规模最大、使用频率最高的语言，占据主导地位。去年6月W3Techs发布的全球互联网网页统计报告显示，英语占比高达63.6%以上，俄语居次(7%)，中文仅占1.3%排名第八。这一数据反映中文互联网的独特生态：虽然中文网民占全球五分之一，但网站数量却远低于预期。这主要源于国内发达的移动互联网生态，信息大量聚集在各类App中，而这些App数据难以通过爬虫获取，导致统计困难。
这种状态直接导致了汉语语料库的匮乏。AI行业惯例是使用互联网公开数据，而App数据属于运营方，违规抓取构成违法行为。国内互联网巨头将信息控制在自家App内，反而导致公开中文语料不增反减。与海外Reddit、Twitter等愿意卖数据的平台不同，国内巨头更倾向于”敝帚自珍”，这种封闭生态进一步加剧了问题。
既然互联网公开信息以英文为主，国内AI大模型训练自然也以英文为起点，”文心一言”出现”英翻中”现象也就不足为奇。归根结底，AI大模型使用不同语言的训练成本，与该语言构筑的互联网生态繁荣程度呈正相关。丹麦语、荷兰语等小语种因互联网内容匮乏，训练成本高且效果差。更令人担忧的是，马太效应将使英语在AI领域的强势地位持续增强。
因此，国内AI大模型要实现突破，关键在于获取足够且高质量的语料库。只有当”互联互通”这一概念真正落地，中文AI大模型才有望比肩ChatGPT等国际顶尖产品。
