ai音乐生成器(StemGen):听取音乐上下文生成音乐作品

站长之家 2023-12-19 11:43:35新闻资讯
18

字节跳动AI研究团队最近推出了一项名为StemGen的音乐生成项目,该项目采用了一种创新的深度学习方法,旨在让模型能够模仿现有音乐中的模式和结构,并以一种非常前卫的方式回应音乐背景。与常用的深度学习技术(如RNN、LSTM网络和Transformer模型)不同,StemGen采用了一种非自回归、基于Transformer的模型,强调对音乐背景的听取和响应,而不是依赖于抽象的条件。

StemGen.png

研究中,来自SAMI和字节跳动公司的研究人员引入了一种非自回归、基于Transformer的模型,该模型通过利用MusicGen模型的公开可用的Encodec检查点来监听和响应音乐背景。通过使用标准度量和音乐信息检索描述符方法,包括Frechet Audio Distance(FAD)和Music Information Retrieval Descriptor Distance(MIRDD),研究团队评估了模型的性能。结果显示,该模型在音频质量和与音乐背景的稳健对齐方面表现出竞争性,经过客观度量和主观MOS测试的验证。

这项研究强调了最新在端到端音乐生成方面的进展,借鉴了图像和语言处理的技术。它强调了在音乐创作中对音频片段进行对齐的挑战,并对现有依赖于抽象条件的模型提出了批评。研究提出了一种训练范式,使用了一种非自回归、基于Transformer的架构,使模型能够对音乐背景做出响应。该方法引入了两个条件源,并将问题框架构建为条件生成。

该方法利用了一种非自回归、基于Transformer的音乐生成模型,通过在单独的音频编码模型中引入残差向量量化器。通过将多个音频通道组合成一个单一的序列元素,采用了嵌套的方法。训练过程中采用了掩码程序,并在进行令牌采样期间使用了无分类器的指导,以增强音频背景的对齐。客观度量包括Fr'echet Audio Distance和音乐信息检索描述符距离等,用于评估模型的性能。

研究团队通过使用标准度量和音乐信息检索描述符方法进行生成模型的评估,包括FAD和MIRDD。与真实音频片段的比较表明,该模型在音频质量上达到了与最先进的文本条件模型相媲美的水平,并展现出与音乐背景的强大音乐连贯性。通过参与音乐培训的参与者进行的Mean Opinion Score测试进一步验证了该模型生成逼真音乐结果的能力。MIRDD对生成和真实音频片段的分布对齐进行评估,提供了音乐连贯性和对齐的度量。

总的来说,这项研究提出了一种新的训练方法,使生成模型能够对音乐背景做出响应。该方法引入了一种非自回归语言模型,具有Transformer骨干和两个未经测试的改进:多源无分类器的指导和迭代解码过程中的因果偏差。通过在开源和专有数据集上进行训练,这些模型实现了最先进的音频质量。标准度量和音乐信息检索描述符方法验证了其音频质量。通过Mean Opinion Score测试确认了该模型生成逼真音乐结果的能力。

项目网址:https://julian-parker.github.io/stemgen/

论文网址:https://arxiv.org/abs/2312.08723

ai
THE END
zhanid
勇气也许不能所向披靡,但胆怯根本无济于事

相关推荐

站长必备:几款能够快速提升网站SEO优化效果的AI工具推荐
在当今数字化时代,网站的搜索引擎优化(SEO)已经成为每个站长必须面对的重要课题。随着人工智能(AI)技术的发展,越来越多的AI工具开始应用于SEO领域,极大地提升了优化效...
2024-07-24 站长之家
113

站长工具网:如何使用AI分析竞争对手SEO策略
随着人工智能(AI)技术的不断发展,利用AI来分析竞争对手的SEO策略变得越来越可行和必要。本文站长工具网将详细介绍如何使用AI工具和技术来深入分析竞争对手的SEO策略,从而...
2024-07-24 站长之家
109

让 AI 帮你写代码:11款提升前端开发效率的AI编程工具推荐!
为了提高开发效率,越来越多的团队开始借助人工智能(AI)技术。AI编程工具不仅能自动化重复任务,还能提供智能建议,显著提升代码质量和开发速度。本文将为您介绍11款优秀的AI...
2024-07-20 编程技术
131

GPT-4o mini是什么?GPT-4o mini和GPT-4o的区别对比
GPT-4o mini是OpenAI于2024年7月18日推出的迷你AI模型,它是GPT-4o的一个分支。本文ZHANID将深入探讨GPT-4o mini的核心特点、应用场景以及与完整版GPT-4o的主要区别。我们将从...
2024-07-20 电脑知识
115

微软Azure AI上线GPT-4o mini模型:更智能、成本更低、更安全
微软Azure AI在其官方博客上宣布,OpenAI的最新一代模型GPT-4o mini现已在Azure AI平台上上线。这一模型的推出标志着自然语言处理技术的又一重大进步,为开发者和企业用户提供...
2024-07-20 新闻资讯
100

百度文心智能体平台免费开放文心大模型4.0,引领AI新浪潮
百度今日宣布,其文心智能体平台(AgentBuilder)正式向广大开发者免费开放文心大模型4.0版本。文心大模型4.0自2023年10月发布以来,以其卓越的理解、生成、逻辑和记忆能力,被...
2024-07-05 新闻资讯
106