在人工智能技术的飞速发展中，大型语言模型（LLM）凭借其卓越的自然语言处理能力成为研究热点，然而高昂的计算和内存需求限制了其在实际场景中的应用。为了破解这一技术瓶颈，谷歌 DeepMind 创新性地提出了 Mixture-of-Recursions（MoR）架构，这一突破性设计有望颠覆传统 Transformer 模型的主导地位。MoR 架构在递归 Transformer 的基础上实现了革命性升级，通过参数共享与自适应计算的双重优化，在保持高性能的同时大幅降低资源消耗。其核心创新在于将动态 token 级路由机制无缝集成到递归 Transformer 中，使每个语言单元都能获得与其复杂度相匹配的计算资源，从而在不增加模型参数的前提下，实现与巨型模型相当的处理能力。
MoR 架构的轻量级路由系统堪称智能计算典范，该系统能够实时评估每个 token 的语义需求，为其分配最合适的递归深度，这种动态计算分配机制显著提升了资源利用率。在技术实现层面，MoR 采用了一种突破性的缓存策略，通过智能识别 token 的递归层级，选择性存储和调用相关的键值对信息。这一设计不仅有效缓解了内存带宽压力，更大幅提升了推理效率。通过参数共享、计算路由和递归级缓存等协同优化措施，MoR 模型在保持高性能的同时，参数数量大幅缩减，计算成本显著降低。
实验结果表明，MoR 架构在相同计算预算下展现出惊人的性能优势。与原始 Transformer 和递归 Transformer 相比，MoR 在参数量减少近50%的情况下，依然实现了更出色的表现。特别是在少样本学习任务中，MoR 模型的平均准确率超越了所有基线模型，这一成就充分证明其高效的计算策略能够处理更多训练数据。值得注意的是，MoR 在不同计算预算下的持续优异表现令人瞩目，当模型规模超过360M参数时，MoR 不仅能够与原始 Transformer 并驾齐驱，在低至中等预算条件下甚至能实现超越。这些实验结果充分验证了 MoR 架构的可扩展性和高效性，使其成为大规模预训练和部署的理想选择。
MoR 架构的推出为人工智能领域带来了突破性进展，其创新的计算范式预示着大型语言模型高效化发展新方向。这一技术突破不仅解决了传统模型的资源瓶颈问题，更为 AI 研究开辟了新的可能性。随着人工智能技术的不断演进，MoR 架构有望成为未来大型语言模型发展的新标杆，为自然语言处理技术的广泛应用奠定坚实基础。论文链接: alphaxiv.org/abs/2507.10524
? MoR 架构通过动态分配计算资源和缓存机制，有效提高大型语言模型的效率
? 在相同计算预算下，MoR 以更少参数超越传统 Transformer，性能更优
? MoR 被视为 AI 研究中的新突破，适合大规模预训练与部署