声明:本文源自微信公众号 AI新智能(ID:alpAIworks),作者 Stars,经微新创想授权转载发布。人类与机器的交互方式主要分为视觉、触觉和听觉三大类。大语言模型在视觉文字交互方面已取得显著进展,而听觉交互则需语音模型来弥补这一空白。
随着大语言模型技术的日益成熟,探索新的增长点、开拓未充分开发的AI市场已成为行业必然趋势。其中,人类与机器的交互领域备受关注。目前国内部分主流大语言模型列表如下(图1):
人类与机器最直接的交互方式包括视觉、触觉和听觉。大语言模型在文字交互方面表现优异,而听觉交互则依赖其他AI技术实现。在声音领域,声音创作类AI作为语音领域的细分方向,近年来发展迅猛,不断涌现新的应用场景。声音AI的研究可追溯至20世纪90年代,早期主要集中于语音识别和语音合成等基础技术。进入21世纪后,深度学习技术的应用极大提升了声音AI的能力,不仅实现了精准的语音转文字和文字转语音,还能模拟特定人物的声音特征,显著拓宽了AI的应用范围。
### 一款声音类AI的创业实践
在语音创作工具领域,大饼AI变声是典型的声音AI探索案例。2021年,毕业于卡内基梅隆大学的凌天格创立了上海格子互动信息技术有限公司(简称格子互动),同年推出首款应用“HALO剧本杀”。这款应用专注于线上剧本杀,通过整合优质剧本和DM(剧本杀主持人)资源,迅速积累了大量忠实用户,并获得了源码资本种子轮投资“源码一粟”的注资(图2)。
在稳定收入和声音数据积累的基础上,格子互动启动了“大饼AI变声”项目,正式进军声音AI赛道。通过前期剧本杀应用积累的大量DM干声(仅含人声的纯净音频),格子互动将这些数字资源转化为可用的AI模型,成功训练出多个语音模型,并推出大饼AI变声工具。该工具能实时将输入人声转换为不同风格的语音,实现高效变声,极大提升了内容创作者的产出效率。未来,大饼AI变声可通过定制化声音模型训练提供个性化服务,降低模型定制成本,加速商业化进程。
### 拓宽声音AI的应用边界
语音转换或变声仅是声音AI的冰山一角。突破单一方向后,语音生成类AI将拥有更广阔的发展空间,赋能多个与人声相关的行业,大幅提升效率。
#### 1. 有声书
传统有声书依赖人工配音,优势在于情感丰富、角色多样、音色多变。但人工录制仍需成本高昂的朗读与校对环节。AI配音则能快速生成海量内容(日产量可达500万字),喜马拉雅等平台已布局该业务。
#### 2. 网络视频快速配音
短视频时代,AI配音工具(如魔音工坊)提供完整方案,提升视频产出效率。创作者只需提供文案即可快速生成内容,避免观众对单一声音的依赖,实现长期稳定运营。
#### 3. 虚拟主播
虚拟主播以二次元形象为主,视觉效果已成熟,但声音因素常被忽视。AI变声结合AI语音生成可完美填补这一空白,增强主播娱乐性。
#### 4. 游戏内配音
与虚拟主播类似,游戏行业对声音的精细度要求更高。AI配音不仅能提供专属音源,还能提升沉浸感,降低因配音不确定性(如演员更替)带来的风险(图3)。
总体而言,声音AI已从单一变声扩展至内容创作全领域,极大提升效率并创造更多可能性。但当前AI语音生成仍存在情感缺失、多音字处理等问题。微软Azure、阿里云、腾讯云等已提供云上TTS服务,开源方案和论文也日益完善。后入局者需双管齐下,强化技术壁垒,构建数字资源护城河。
### 声音类AI的风险管控
在探索商业方向的同时,风险控制至关重要。当前声音AI存在以下风险:
1. **误导信息传播**:逼真的人声可能被用于制造假新闻或深度伪造,传播虚假信息。
2. **侵犯隐私**:训练数据若未妥善处理,可能泄露个人隐私。
3. **冒名行骗**:高级AI可模仿特定声音,用于欺诈。
4. **就业影响**:广播、旁白等职业可能因AI替代而减少就业机会。
5. **伦理与道德问题**:未经授权使用他人声音可能涉及侵权。
6. **安全问题**:语音驱动的身份验证系统可能被攻击。
国内需重点防控诈骗风险,及时调整应用以符合法律法规,结合语音内容审核机制,确保用户生成内容安全发布。
### 结语
在“互联网+”生态逐渐成熟后,“AI+”或将成为下一个增长点。企业应积极布局AI赋能业务,把握发展机遇。声音AI结合游戏、影视、阅读、直播等领域,可极大提升效率、降低成本。通过AI赋能,大量产业将迎来效能提升,推动语音AI技术深入应用。