微新创想(idea2003.com)10月13日 消息:AI视频编辑领域的创新先锋Captions公司正式推出了一款名为”Lipdub”的革命性应用,该应用能够将视频片段精准翻译成28种语言,为全球内容创作者提供前所未有的跨文化传播工具。这款应用不仅支持主流语言如法语、印地语、西班牙语、意大利语、葡萄牙语和日语,更独具匠心地将特色语言纳入其中,包括充满地域特色的德克萨斯俚语、引领潮流的Z世代用语、充满神秘色彩的海盗语以及充满童趣的婴儿语,极大地拓宽了视频内容的受众范围。官方地址:https://apps.apple.com/us/app/lipdub/id6455155615
演示视频直观展示了Lipdub应用的神奇之处,不仅能实现语音翻译,还能根据目标语言智能调整演员的嘴唇动作,虽然偶尔会出现音频与唇形同步的细微延迟,但整体效果令人惊艳。用户可以轻松翻译长达一分钟的单人讲话视频,并将翻译后的作品无缝分享至各大社交媒体平台,助力内容全球化传播。Captions公司自豪地宣布,其AI视频编辑应用已累计服务超过300万创作者,拥有超过10万名活跃的日常用户,成为行业领先的视频处理解决方案。
这款应用不仅提供强大的翻译功能,还整合了多种基于AI的视频编辑技术,包括智能去除口误、高效降低背景噪音以及专业增强语音清晰度等实用功能。特别值得一提的是其”AI Lipdub”特色功能,可在后期编辑阶段自动同步字幕与嘴唇动作,实现完美视觉效果。Captions公司成立于2021年,由前Snap设计工程部门负责人Gaurav Misra创立,凭借卓越的技术实力迅速崛起。今年6月,该公司成功完成B轮融资,由知名风投Kleiner Perkins领投,Sequoia Capital、Andreessen Horowitz(a16z)和SV Angel等顶级投资机构跟投,融资总额高达2500万美元。截至目前,Captions公司累计筹集资金已达4000万美元,彰显了资本市场对其创新技术的的高度认可。
当前,利用翻译和AI配音技术拓展受众已成为内容创作领域的重要趋势。今年6月,全球最大的视频平台YouTube宣布正在测试一项AI工具,允许用户自动为其视频添加多语言配音,并持续优化配音与嘴唇同步的精准度。上个月,YouTube进一步宣布将这项AI配音功能直接集成到YouTube Studio中,让创作者能够更便捷地实现视频的多语言转换。随着AI配音技术的快速发展,众多创新初创公司如英国的Papercup和以色列的Deepdub等纷纷获得数百万美元的投资,显示出该领域巨大的商业潜力。Captions推出的Lipdub应用正是这一趋势的杰出代表,为全球内容创作者提供了强大的跨文化传播利器。