两秒延迟!AI语言翻译系统Seamless实现跨语言交流突破

站长之家 2023-12-01 10:28:57新闻资讯
20

在我们日益互联的世界中,语言差异可能成为沟通的障碍。Seamless作为新一代AI语言翻译系统,通过SeamlessExpressive和SeamlessStreaming模型的首次发布,为实时、跨语言交流带来了全新的突破。

Seamless.png

SeamlessExpressive是专注于语音到语音翻译的表达保留模型,而SeamlessStreaming则是一种流式翻译模型,以约两秒的延迟提供最先进的结果。这两个模型都基于SeamlessM4T v2,这是在8月份发布的基础模型的最新版本,展现了在自动语音识别、语音到文本、文本到语音等方面的性能提升。

Seamless2.png

与以往在表达性语音研究方面的努力相比,SeamlessExpressive更加关注韵律的某些未被充分探索的方面,例如语速和节奏停顿,同时保留情感和风格。该模型目前在英语、西班牙语、德语、法语、意大利语和中文之间的语音到语音翻译中保留了这些元素。

SeamlessStreaming的突破性在于实现了与说不同语言的人实时对话。与传统系统在说话者完成句子后进行翻译不同,SeamlessStreaming在说话者仍在说话时进行翻译,使得对话更接近实时。该模型支持近100种输入输出语言的自动语音识别和语音转文本,以及近100种输入语言和36种输出语言的语音到语音翻译。

除了模型本身,Seamless还在今天发布了metadata、数据和数据对齐工具,旨在帮助研究社区收集更多的翻译数据。这包括SeamlessAlign的扩展元数据,涵盖额外115,000小时的语音和文本对齐,以及SeamlessAlignExpressive的元数据,作为表达性焦点版本的数据集。此外,还提供了mExpresso的翻译文本数据,这是Expresso的多语言平行扩展,以及用于收集更多翻译数据的工具。

Seamless作为新一代AI语言翻译系统,在实现表达保留和流式处理方面取得了重要进展,为跨语言交流提供了更加自然和真实的体验。

ai
THE END
tom
不图事事圆满 但图事事甘心。

相关推荐

百度文心智能体平台免费开放文心大模型4.0,引领AI新浪潮
百度今日宣布,其文心智能体平台(AgentBuilder)正式向广大开发者免费开放文心大模型4.0版本。文心大模型4.0自2023年10月发布以来,以其卓越的理解、生成、逻辑和记忆能力,被...
2024-07-05 新闻资讯
97

AI编程软件哪个好:10个开发者常用的AI编程工具推荐
随着人工智能技术的迅猛发展,AI编程工具已经成为现代开发者不可或缺的助手。这些工具不仅能提高编程效率,还能减少错误,提升代码质量。本文ZHANID将介绍10个备受开发者青睐...
2024-07-01 编程技术
128

搜狗输入法全新升级:AI帮写、对话、宠物,打造智能输入新体验
腾讯搜狗输入法近日推出了全新版本,集成了多项AI功能,包括AI帮写、AI对话、AI宠物等,旨在为用户提供更智能、更高效、更有温度的输入体验。自2019年推出行业内首个AI助手“...
2024-07-01 新闻资讯
87

夸克ai写作在哪里? 夸克ai智能写作的使用方法
夸克使用的用户有很多,这款软件可以帮助你简化写作流程,提升写作产出和质量,下面小编为各位介绍一下ai写作,详细请看下文介绍
2024-06-30 电脑知识
66

夸克ai搜索怎么关? 夸克APP关闭搜索发现功能的教程
夸克AI搜索是夸克APP提供的一项智能搜索功能,旨在通过AI技术帮助用户更快更准确地找到所需信息,该怎么关闭这个功能呢?详细请看下文介绍
2024-06-30 电脑知识
302

思维导图ai生成工具有哪些:九款在线AI自动生成思维导图网站推荐
随着人工智能技术的发展,在线生成思维导图的工具越来越多,它们可以帮助我们更高效地整理思路、规划项目和进行学习。本文zhanid将为大家推荐九款优秀的在线AI自动生成思维导...
2024-06-30 电脑知识
115