揭秘大模型背后的数据标注“流水线”工作

编者按：本文由微信公众号 财经十一人（ID：lcaijingEleven）授权转载，作者 刘以秦，编辑 谢丽容。海南设计师阿黄在经历五年设计工作后，因公司倒闭转而从事AI大模型数据标注工作。尽管他熟悉ChatGPT和文心一言等前沿技术，并见证着”大模型前景广阔”的呼声，但他始终认为自己的工作并非”参与未来”。他的日常任务是为AI大模型寻找错误、修正偏差并打分，机械的点鼠标操作让他感叹”大模型挺傻的”。中国上一波AI浪潮始于2017年，如今服务于自动驾驶和人脸识别的数据标注产业已趋于成熟。传统标注工作以”打点”和”画框”为主，教会机器识别”人脸”与”障碍物”；而大模型时代的标注则更像是阅读理解，帮助AIGC学习生成优质内容。阿黄每天面对电脑屏幕，等待系统分配包含问题与五个答案的数据组，需标注问题类型并为答案打分排序，分数区间为0-5分，低分需注明具体原因。新技术催生大模型热潮，数据标注行业迎来新机遇。业内人士透露，近期数据标注公司订单量激增，均来自大模型需求。大模型依赖海量数据与算力，通过”预训练”掌握逻辑思维与通识能力，但原始数据中充斥着诱导性内容、错误信息等，需持续调优。标注师的工作正是”调优”的关键，通过挑错、修改、打分给予机器反馈，低分”惩罚”高分”奖励”，促使模型进化。数据是机器的”养料”，理想状态下需持续获得高质量数据。但当前大模型数据标注仍存在不足，此前中国大模型与GPT4差距较大的原因之一便在于数据质量。1、本科生构成的标注流水线阿黄通过招聘网站加入某标注基地，发现工作环境已从过去的简陋工坊升级为窗明几净的写字楼，同事多为本科生。尽管如此，他仍视自己为流水线工人。数据标注行业有言”有多少智能，就有多少人工”，这句话在大模型时代依然适用。曾有报道指出，OpenAI早期标注员主要来自肯尼亚，月薪200-300美元，而阿黄与同事月薪约5000元，按题目数量计费。工作节奏不快，基本无加班，收入在当地属中上水平。唯一困扰他的是工作的枯燥和对未来方向的迷茫，学历专业对这份工作毫无加成，职业发展路径也并不清晰。他偏爱标注文案撰写类问答，因AI生成答案质量高；较难的是事实核查类问答，需搜索权威资料；而”扭蛋和鸡蛋哪个更好吃”这类刁钻问题则暴露了机器的局限性。大模型标注与过去不同，”画框”有标准答案，但大模型内容往往无标准答案，标注师只需提交争议内容给经验更丰富的”老师”或接受审核抽查。这条流水线目前由标注师与审核员组成，未来或将出现模型评估师、指令工程师等细分岗位。2、需要更多高质量数据阿黄供职的百度智能云是国内通用大模型领域的佼佼者，其文心一言发布后，他于今年4月加入，经一周培训后上岗。初期数据量稀少，后期工作逐渐繁忙。数据标注行业波动性大，AI繁荣时需求上涨，稍有回落则首当其冲。阿黄一天能完成约80道题，所在基地200名标注师每日可标注约16000道题。一位AI大模型人士认为，当前量级与理想状态差距巨大。大模型参数量动辄千亿，缺乏匹配的标注量难以优化。百度智能云主要承担基础通识能力训练，专业领域需与专家合作。全球领先者OpenAI采用多公司协作与博士团队质检的方式，通过RLHF（强化学习与人类反馈）持续调优。科技公司认为数据质量是OpenAI的核心竞争力，谷歌等纷纷效仿。中文大模型表现不佳主因之一是互联网数据质量，专业人士更倾向于使用专业数据库。大模型新趋势是垂直领域，医疗数据标注需重金聘请专家。国内一线大模型产品也在优化阶段，部分上线产品仍存在问题。相比算力，数据投入回报周期长且易被复制，但数据能力是商业化的第一步。3、”人工”会越来越少数据标注市场主要参与者为第三方公司与科技公司自建团队。百度智能云已与多地政府合作共建10余个基地，提供超1.1万个就业岗位。短期内数据标注师需求旺盛，但长期看，随着大模型自学习能力增强，这个职业可能重蹈上一轮AI标注员的覆辙。OpenAI在东欧等地招募远程员工，若编程能力达标，程序员或将失业。AI技术已辅助人工标注，未来大模型本身将更适合数据标注场景。商汤、海康威视等公司已应用大模型自动标注技术，谷歌、微软等也发布相关产品。百度智能云自研标注系统亦含辅助功能，但机器仍无法完全自主训练。人工智能发展依赖数据、算法与算力，数据是燃料。大模型热潮后，投资人和从业者趋于冷静，开源大模型增多，单纯复制产品难获资本青睐。建立数据能力是商业化的关键，但需平衡投入与回报。本文为专栏作者授权微新创想发表，版权归原作者所有。文章系作者个人观点，不代表微新创想立场，转载请联系原作者。如有任何疑问，请联系http://www.idea2003.com/。