近日，AI领域新锐团队Thinking Machine震撼发布一项突破性训练方法——在线策略蒸馏（On-Policy Distillation），这一创新技术让小模型在特定任务上的训练效率实现了惊人的50至100倍提升。该成果一经公布，便迅速引发学界与工业界的广泛关注，前OpenAI首席技术官Mira Murati更是亲自转发，足见其影响力。
传统AI训练长期面临强化学习与监督学习的两难困境：强化学习虽能自主探索，灵活性强，但效率低下；而监督微调则直接提供标准答案，高效却容易导致模型僵化。在线策略蒸馏巧妙地融合了这两种学习方式，打造出一种全新的“AI教练”模式。它如同为学生模型配备了一位“实时教练”，在学生自主生成内容的同时，由强大的教师模型对其每一步输出进行动态评分与引导，通过最小化两者之间的KL散度，实现精准、稳定的知识迁移。这一机制不仅避免了传统蒸馏中“只学结果、不学过程”的弊端，还有效防止模型“走捷径”或过拟合，显著提升了泛化能力。
实测效果令人惊叹：在数学推理任务中，研究团队仅用原强化学习方法1/7到1/10的训练步数，就让8B小模型达到了接近32B大模型的性能水平，整体计算成本降低了两个数量级。这意味着，资源有限的中小企业或研究团队，也能高效训练出媲美巨头的专业模型。更关键的是，该方法成功破解了企业AI落地中的“灾难性遗忘”难题。在一项企业助理实验中，模型在学习新业务知识的同时，完整保留了原有对话与工具调用能力——这为持续迭代的行业AI系统提供了可行路径。
该研究由Kevin Lu主导，他曾在OpenAI领导多个关键项目，如今作为Thinking Machine核心成员，将大模型训练的前沿经验反哺于高效小模型生态。其团队认为，在AI走向垂直化、场景化的今天，“小而专”的模型才是商业落地的主力，而在线策略蒸馏正是打通这一路径的关键引擎。随着算力瓶颈日益凸显，行业正从“唯大模型论”转向“高效智能”新范式。Thinking Machine的这项突破，不仅大幅降低AI开发门槛，更预示着一个属于高性价比专业模型的时代正在加速到来。
论文链接：https://thinkingmachines.ai/blog/on-policy-distillation/
