字节跳动Seed团队重磅发布其最新研发成果——Seed LiveInterpret 2.0端到端同声传译大模型,这一突破性进展标志着机器同声传译技术迈入全新纪元。该模型不仅实现了接近专业同传译员水平的翻译准确率,更将延迟时间压缩至惊人的3秒,同时具备实时声音复刻功能,能够精准还原说话者的音色特质,极大地提升了跨语言交流的自然度和沉浸感。
同声传译作为翻译领域的巅峰技能,要求译者在极短的时间内完成语言转换,边听边说,这对翻译技术研究者而言始终是一项巨大挑战。Seed LiveInterpret 2.0的出现,不仅在中英同传翻译质量上达到了业界顶尖水平(SOTA),更实现了前所未有的低语音延迟,为同声传译领域树立了新的技术标杆。该模型基于全双工端到端语音生成理解框架,支持中英互译,并能实时处理多人语音输入,如同人类同传译员一般以极低的延迟“边听边说”,一边接收源语言语音输入,一边直接输出目标语言的翻译语音。此外,该模型还支持零样本声音复刻,无需提前采集声音样本,仅通过实时对话即可合成“原声”语音翻译,让沟通更加流畅自然。
在测试中,Seed LiveInterpret 2.0展现了惊人的能力。面对40秒的大段中文表达,该模型能够低延迟地丝滑输出同款音色的英语翻译。不仅如此,它还能快速学习音色,无论是《西游记》里的猪八戒,还是《红楼梦》中的林黛玉,即便此前未“听”过角色的声音,依然能通过实时交互进行现场演绎,令人惊叹。
相比传统机器同传系统,Seed LiveInterpret 2.0在多个方面展现出显著优势。首先,它具备接近真人同传的翻译准确率,精准的语音理解能力保障了翻译准确度,在多人会议等复杂场景中英双向翻译准确率超70%,单人演讲翻译准确率超80%,接近真人专业同传水平。其次,其极低延迟的“边听边说”能力采用全双工语音理解生成框架,翻译延迟可低至2-3秒,较传统机器同传系统降低超60%,实现了真正的“边听边说”翻译。此外,零样本声音复刻功能让模型能够以说话人的音色特质实时“说出”外语,提升交流的沉浸感和亲和力。最后,该模型还能智能平衡翻译质量、延迟和语音输出节奏,根据语音清晰度、流畅度、复杂程度,调整输出节奏,并适配不同语言特性,即使面对超长信息,也能保证传译语音节奏的自然流畅。
在专业人工评测中,Seed LiveInterpret 2.0的表现尤为突出。评测基于RealSI数据集,这是一个包含中英双向各10个领域的公开测试集。人工评测团队以传达有效信息的占比(Valid Information Proportion)为指标,在中英方向上测试了包括Seed LiveInterpret 2.0在内的多个业界领先的同传系统。评测结果显示,在语音到文本的同传任务中,Seed LiveInterpret 2.0中英互译平均翻译质量的人类评分达到74.8(满分100,评估译文准确率),较排名第二的基准系统(47.3分)超出58%。在语音到语音中英同传任务中,仅3个测评的翻译系统支持该能力,其中Seed LiveInterpret 2.0中英互译平均翻译质量达到66.3分(满分100,除评估译文准确率,还评估语音输出时延、语速、发音、流畅性等指标),远超其他基准系统,达到接近专业真人同传的水平。同时,大部分基准系统也不支持声音复刻功能。在延迟表现上,Seed LiveInterpret 2.0在语音到文本场景中,输出首字平均延迟仅2.21秒,在语音到语音场景中,输出延时仅2.53秒,做到了对翻译质量以及时延的均衡。
Seed LiveInterpret 2.0的技术突破不仅为跨语言交流带来了革命性变化,更展现了字节跳动在人工智能领域的深厚实力。该模型的技术报告已发布于https://arxiv.org/pdf/2507.17527,项目主页位于https://seed.bytedance.com/seed_liveinterpret,欢迎业界人士进一步了解和探索这一创新成果。