最新研究揭示阿里巴巴Qwen2.5模型数学能力背后的真相
据国际媒体报道，一项突破性研究对阿里巴巴Qwen2.5模型在数学测试中取得的惊人成绩提出了深刻质疑。该研究指出，尽管该模型展现出令人惊叹的数学推理能力，但其卓越表现可能主要源于对训练数据的记忆而非真正的逻辑推理能力。研究人员通过一系列严谨的实验验证，发现数据污染可能是导致Qwen2.5在基准测试中表现突出的关键因素。
干净基准测试暴露性能真相
该研究的核心发现令人震惊：当Qwen2.5模型在训练期间从未接触过的”干净”基准测试中表现时，其性能出现断崖式下跌。这一现象表明，模型在”污染”基准测试中取得的优异成绩，很大程度上是因为训练过程中已经熟悉这些题目。为了验证这一假设，研究团队设计了一项创新实验：仅向Qwen2.5-Math-7B模型展示MATH500基准测试的前60%题目，要求其预测剩余40%的答案。结果令人瞠目结舌：该模型竟能以高达54.6%的准确率成功重建缺失部分，而Llama3.1-8B的准确率仅为3.8%。这一显著差异强烈暗示Qwen2.5在训练过程中已经”见过”这些问题。
全新基准测试显示真实水平
研究人员随后使用LiveMathBench（版本202505）对Qwen2.5进行测试。作为Qwen2.5发布后才出现的全新基准测试，该数据集意味着模型不可能在训练过程中接触过这些题目。在这一完全陌生的数据集上，Qwen2.5的完成率骤降至零，与Llama模型表现相当，答案准确率也仅剩2%。研究指出，Qwen2.5可能已在大型在线数据集上进行了预训练，包括包含基准问题及其解决方案的GitHub代码库。因此，即使在训练期间接收到随机或错误的奖励信号，模型也能因为事先接触过这些数据而提升其在MATH-500上的表现。
响应模板变化揭示依赖性
进一步的实验表明，当响应模板发生变化时，Qwen2.5模型在MATH-500上的性能会急剧下降，而Llama-3.1-8B几乎不受影响。这进一步支持了Qwen2.5对特定数据模式的依赖性。为彻底排除记忆效应，研究团队创建了RandomCalculation数据集，其中包含Qwen2.5发布后生成的完全合成的算术问题。在这些新问题上，Qwen2.5的准确率随着问题复杂度的增加而下降，只有正确的奖励信号才能提高模型表现，而随机奖励会导致训练不稳定，反向奖励甚至会降低其数学技能。
可验证奖励实验证实结果
受控的RLVR（可验证奖励的强化学习）实验也证实了这些结果：只有正确的奖励才能带来稳定的性能提升，随机或反向奖励则无法提高或主动降低性能。这些发现对Qwen2.5的数学能力是否反映真实推理能力提出了严重质疑，反而表明该模型严重依赖于记忆数据。阿里巴巴于2024年9月推出了Qwen2.5，随后又推出了Qwen3系列。这项研究的发现是否适用于Qwen3系列，仍有待观察。
对AI研究的警示与启示
该研究的作者警告称，受污染的基准测试可能导致关于人工智能进展的误导性结论。他们强调，未来的研究应依赖于干净、未受污染的基准，并评估多个模型系列以获得更可靠的结果。这些研究结果再次凸显了在大型语言模型中区分真实推理与记忆的难度，以及为何严谨、清晰的评估方法对于可靠的人工智能研究至关重要。
基准测试的”游戏规则”问题
此前已有研究表明，基准测试可能被操纵或”玩弄”。例如，Meta曾提交一个经过专门调优的Llama4版本，通过使用自定义响应格式在LMArena基准测试中表现优异。其他研究也显示，Gemini2.5Pro和Claude3.5Sonnet等模型能够以高达95%的准确率识别测试场景并调整其响应，这引发了对当前评估方法有效性的更广泛质疑。这些发现不仅对阿里巴巴的Qwen2.5模型提出了挑战，也对整个AI研究领域的评估标准构成了重要反思。