大型语言模型（LLM）如GPT-3在理解和回答人类问题时展现出卓越能力，但在生成内容时往往与人类偏好存在偏差。传统方法需要收集人类偏好数据，通过强化学习或指令调整进行模型微调，这既耗时又依赖额外数据。最近，研究人员发现一种创新解决方案——可回滚自动回归推理（RAIN），它使未微调的LLM能够通过自我评估和改进机制直接生成符合人类期望的回复。
RAIN技术通过独特的自我评估和回溯机制，让预训练LLM能够评估其生成的文本，并基于评估结果进行自我修正。这一过程无需额外数据或训练，仅通过固定模板提示即可指导模型调整，彻底改变了LLM对齐的传统方式。实验证明，使用GPT-4模型和人工评估，RAIN在保持LLaMA30B有用性率稳定的前提下，将无害性率从82%提升至97%。更令人瞩目的是，当Vicuna33B遭遇敌对攻击时，RAIN成功将攻击成功率从94%降至19%，开创了LLM防御的新基准。
RAIN方法具备三大核心优势。首先，它具有广泛的适用性，可无缝融入各种语言生成任务，与自回归推理范式高度兼容，实现快速定制和集成。其次，RAIN无需维护额外模型或存储梯度数据，内存开销与简单自回归推理相当，是冻结权重LLM对齐的理想选择，避免了资源密集型的微调过程。最后，RAIN完全独立于标记数据或人工标注，通过无需学习的机制显著提升对齐性能，同时增强LLM对敌对提示攻击的抵抗力。
这项研究为LLM对齐领域带来突破性进展，证明预训练模型无需额外信息或复杂微调即可满足人类偏好。RAIN通过让LLM自我评估和改进输出，最终实现更协调、更安全的AI生成响应。这一技术不仅简化了LLM对齐流程，更在防御敌对攻击方面展现出巨大潜力，为构建更可靠、更符合人类需求的AI系统提供了新思路。论文详情可访问https://arxiv.org/abs/2309.07124。
