在人工智能技术的飞速发展中,大型语言模型(LLM)凭借其卓越的自然语言处理能力成为研究热点,然而高昂的计算和内存需求限制了其在实际场景中的应用。为了破解这一技术瓶颈,谷歌 DeepMind 创新性地提出了 Mixture-of-Recursions(MoR)架构,这一突破性设计有望颠覆传统 Transformer 模型的主导地位。MoR 架构在递归 Transformer 的基础上实现了革命性升级,通过参数共享与自适应计算的双重优化,在保持高性能的同时大幅降低资源消耗。其核心创新在于将动态 token 级路由机制无缝集成到递归 Transformer 中,使每个语言单元都能获得与其复杂度相匹配的计算资源,从而在不增加模型参数的前提下,实现与巨型模型相当的处理能力。

MoR 架构的轻量级路由系统堪称智能计算典范,该系统能够实时评估每个 token 的语义需求,为其分配最合适的递归深度,这种动态计算分配机制显著提升了资源利用率。在技术实现层面,MoR 采用了一种突破性的缓存策略,通过智能识别 token 的递归层级,选择性存储和调用相关的键值对信息。这一设计不仅有效缓解了内存带宽压力,更大幅提升了推理效率。通过参数共享、计算路由和递归级缓存等协同优化措施,MoR 模型在保持高性能的同时,参数数量大幅缩减,计算成本显著降低。

实验结果表明,MoR 架构在相同计算预算下展现出惊人的性能优势。与原始 Transformer 和递归 Transformer 相比,MoR 在参数量减少近50%的情况下,依然实现了更出色的表现。特别是在少样本学习任务中,MoR 模型的平均准确率超越了所有基线模型,这一成就充分证明其高效的计算策略能够处理更多训练数据。值得注意的是,MoR 在不同计算预算下的持续优异表现令人瞩目,当模型规模超过360M参数时,MoR 不仅能够与原始 Transformer 并驾齐驱,在低至中等预算条件下甚至能实现超越。这些实验结果充分验证了 MoR 架构的可扩展性和高效性,使其成为大规模预训练和部署的理想选择。

谷歌DeepMind MoR架构创新:大幅提升大型语言模型效率插图

MoR 架构的推出为人工智能领域带来了突破性进展,其创新的计算范式预示着大型语言模型高效化发展新方向。这一技术突破不仅解决了传统模型的资源瓶颈问题,更为 AI 研究开辟了新的可能性。随着人工智能技术的不断演进,MoR 架构有望成为未来大型语言模型发展的新标杆,为自然语言处理技术的广泛应用奠定坚实基础。论文链接: alphaxiv.org/abs/2507.10524

🌟 MoR 架构通过动态分配计算资源和缓存机制,有效提高大型语言模型的效率
📉 在相同计算预算下,MoR 以更少参数超越传统 Transformer,性能更优
🚀 MoR 被视为 AI 研究中的新突破,适合大规模预训练与部署

最新快讯

2025年08月10日

03:25
8月9日,俄罗斯索契机场突发紧急状况,所有航班起降业务被全面暂停。这一决定由俄罗斯联邦航空运输署紧急发布,核心目标在于确保航空运行安全。受影响旅客已陆续被安排改降莫斯科、圣彼得堡等其他邻近机场,并得到临时住宿保障。目前,相关部门尚未公布航班全面恢复的具体时间表,但已启动全面调查程序,旨在查明此次事件背后的确切原因。据初步消息透露,此次航班暂停可能与突发技术故...
03:25
北京时间8月10日,备受全球瞩目的航天任务圆满落幕。四名在国际空间站执行了近五个月任务的宇航员,乘坐美国太空探索技术公司(SpaceX)的“龙”飞船成功返回地球,并在美国加利福尼亚海岸附近的太平洋预定区域实现精准着陆。这一壮丽时刻标志着人类探索太空的又一重要里程碑。 此次返回地球的宇航员团队由国际成员组成,包括美国宇航员安妮·麦克莱恩和尼科尔·艾尔斯,日本宇...

2025年08月09日

23:59
本周(8月5日至8月9日)A股市场换手率呈现异常活跃态势,共有77只个股换手率突破100%大关,显示出市场资金流动的显著特征。其中,北方长龙以惊人的302.24%周换手率独占鳌头,成为市场关注焦点。万里马、唯万密封、新恒汇等个股也表现抢眼,换手率均超过200%,展现出强烈的资金博弈迹象。 从行业分布来看,国防军工、机械设备、电子、计算机等板块成为换手率高地,...
23:59
2025年8月9日,中芯国际正式发布了其2025年第二季度的财务报告,数据显示公司当季实现营收22.09亿美元,相较于去年同期增长了16.2%。这一成绩不仅体现了中芯国际在半导体行业的持续发展,也彰显了其在全球市场中的竞争力进一步增强。 招商证券在一份深度分析报告中指出,预计中芯国际在2025年第三季度(25Q3)的收入将环比增长5-7%,展现出一定的增长潜...
23:59
2025年8月9日,加利福尼亚州两大重要退休基金之一的教师退休基金(Calstrs)发布了其最新财年的投资回报报告,显示整体回报率达到8.5%。这一成绩虽然高于基金原定的7%年度目标,但值得注意的是,这已是Calstrs连续第二年未能超越其竞争对手——加州公务员退休基金(Calpers)的表现。同期,Calpers的投资回报率高达11.6%,不仅远超其6.8...
22:56
微新创想8月9日重磅消息,realme副总裁王伟在公开互动中明确透露,备受瞩目的真我GT8系列将于今年10月正式发售。据悉,真我此次将同步推出两款旗舰机型——真我GT8与真我GT8 Pro,其中真我GT8 Pro更是被定义为真我品牌发展史上最强悍的高端旗舰力作。 据博主数码闲聊站最新爆料,真我GT8 Pro作为品牌七周年献礼旗舰,将迎来史诗级全面升级,在性能...
22:56
真我科技8月9日迎来重磅消息,知名数码博主数码闲聊站率先曝光了真我旗下最新旗舰的详细配置,引发行业广泛关注。据博主透露,这款真我新机采用了极具视觉冲击力的横向大矩阵DECO设计,其前置摄像头布局与苹果即将发布的iPhone 17 Pro系列如出一辙,这一设计细节预示着真我可能将打破常规,率先推出同类配置的新产品。 从曝光的渲染图来看,真我新机的三摄布局与iP...
22:56
8月9日最新消息,爱情是人类永恒的主题,热恋中的情侣渴望亲密接触本无可厚非,但任何行为都应以安全为前提。近日,巴西发生一起令人痛心的车辆坠崖事故,一对年轻情侣在追求浪漫的过程中不幸香消玉殒。经过警方深入调查,最终认定此次悲剧系两人车内动作幅度过大导致车辆失控,最终冲下悬崖酿成惨剧。 据悉,遇难者分别为42岁的阿德瑞娜·马查多里贝罗和26岁的马康尼达·席尔瓦·...
22:56
微新创想8月9日重磅报道,一位行业博主有幸参与了下一代REDMI K系列的深度讨论会。与会者围绕新系列提出了三大核心诉求:一是进一步提升影像系统表现,二是强化处理器性能与电池续航能力,三是优化外观设计并升级操作系统体验。对此,REDMI官方美女产品经理胡馨心自信回应,即将推出的REDMI K90系列将完美解答所有期待。 据多方消息透露,REDMI K90系列...
22:56
8月9日,令人痛心的消息传来,云南知名网红“包公”不幸离世,年仅44岁。这位深受当地粉丝喜爱的网红,生前在云南楚雄州经营着一家颇具人气的自助烧烤店,凭借其敦实的身材和豪爽的性格,被粉丝们亲切地称为“包公”。他的烧烤店在当地小有名气,成为许多人聚餐休闲的热门选择。 几天前,一场意外降临了这家充满欢声笑语的烧烤店。当时,店内的冰箱突然发生故障,为了不影响顾客的用...
22:56
8月9日最新消息,江苏某彩票销售网点惊现体彩大乐透一等奖,奖金高达1000万元,然而中奖者却迟迟未现身。根据相关规定,彩票逾期未兑奖将被视为自动弃奖。为尽快联系到这位幸运儿,彩票网点工作人员精心制作了一则寻人启事,希望通过媒体传播让中奖者看到并主动前来兑奖。经过多方努力,幸运王先生最终看到了寻人启事,顺利完成了兑奖手续。 彩票作为通往财富梦想的钥匙,其重要性...
22:56
微新创想8月9日重磅消息,今年9月苹果将正式发布备受瞩目的iPhone 17系列,不仅包含经典的iPhone 17、iPhone 17 Pro和iPhone 17 Pro Max,更将推出全新旗舰——iPhone 17 Air。这款手机将彻底颠覆苹果产品线,以极致轻薄重新定义高端智能手机标准,正式接替Plus系列成为苹果新一代轻薄机型,更创下苹果史上最薄手机...