ChatGPT的横空出世让RLHF成为研究领域的热点焦点。谷歌最新研究突破性提出，无需人类标注，仅通过AI标注偏好也能实现与RLHF相当的效果。如果RLHF中的”人类”被AI取代，是否可行？谷歌团队创新性地提出AI反馈强化学习（RLAIF），用大模型替代人类进行偏好标注。论文已发布于arxiv，链接为https://arxiv.org/abs/2309.00267。
实验结果显示，RLAIF在不依赖人类标注的情况下，仍能产生与RLHF相当的50%胜率改进。同时，谷歌研究再次证明RLAIF和RLHF相比监督微调（SFT）胜率均超过70%。当前大语言模型训练中，RLHF已成为核心方法，包括ChatGPT、Bard等模型均采用此范式。RLHF通过三步实现：预训练监督微调LLM、收集数据训练奖励模型、用强化学习微调模型。这使得大模型能针对复杂序列级目标优化，而传统SFT难以胜任。
然而RLHF面临现实挑战：需要大规模高质量人类标注数据，且数据获取存在不确定性。此前Anthropic研究人员率先探索使用AI偏好训练RL微调的奖励模型，在”Constitutional AI”中提出的RLAIF发现LLM与人类判断高度一致，甚至在某些任务上表现更优。但该研究未对比人类与AI反馈，因此RLAIF能否替代RLHF仍待验证。谷歌最新研究正是为解决这一问题展开。
谷歌与Anthropic的RLAIF方法存在差异：谷歌通过AI标注偏好训练奖励模型再进行RL微调；Anthropic则通过迭代要求LLM根据宪法生成更优响应来改进监督学习模型。谷歌的RLAIF过程包括：大语言模型进行偏好标注、训练奖励模型、AI反馈强化学习。
大语言模型偏好标注采用现成LLM对两个候选项进行评价。输入结构包括：任务说明、样本实例、待标注样本、结尾提示。研究人员通过计算LLM生成token概率的softmax获得偏好分布。为解决位置偏差问题，对每对候选项进行两次顺序相反的推理后取平均值。思维链推理通过替换结尾提示引导LLM进行COT推理，并采用零样本和少量样本提示。自洽性技术通过对多个推理路径采样并聚合结果来提升思维链推理质量。
AI反馈强化学习阶段，首先用LLM标注数据训练奖励模型RM，然后通过A2C算法进行强化学习。评估指标包括AI标注器对齐、配对准确度和胜率。实验采用OpenAI管理的经过过滤的Reddit TL;DR数据集，包含约300万个帖子摘要。人类评估显示，RLAIF与RLHF胜率均为50%，与基线SFT相比胜率分别达71%和73%。定性比较发现，RLAIF和RLHF生成的摘要与人工摘要胜率仅差1%，且RLAIF幻觉频率更低。
提示技巧实验表明，详细OpenAI序言配合CoT推理可使AI标注器达到78%一致性，而少样本上下文学习效果反而不佳。自洽性实验中，解码温度为1时多个思维链采样效果不佳。大模型标注器规模研究发现，扩大参数规模能提升偏好标注质量。奖励模型训练需要数千个示例才能接近完整数据集性能。
研究结论证实RLAIF可在无人类标注情况下实现与RLHF相当的效果。尽管存在仅针对总结任务的局限性，但该成果为AI自我改进开辟新路径。未来研究方向包括：跨任务泛化性、经济成本效益、混合方法优化、直接奖励分配效果等。
网友热议中，有观点认为谷歌ReST与RLAIF结合可满足数据需求，Anthropic Claude可能因RLHF/RLAIF方法弱于GPT-4。多数网友肯定论文突破性意义，但部分指出与AnthropicConstitutional AI中的RLAIF本质相似。人工标注仍具泛化重要性，RLHF+RLAIF混合方法或更优。参考资料：https://arxiv.org/abs/2309.00267