每日快看:Google:我能把文本变成音乐,但这个 AI 模型不能对外发布!

2023-01-30 13:22:08   来源:商业新知网

大数据文摘转载AI科技大本营

整理:屠敏

出品:CSDN


(资料图片仅供参考)

人工智能的春天已至,未来属于 AIGC。

继业界出现 ChatGPT、Stable Diffusion 2.0、VALL-E 等聊天、图像、文本生成声音等模型之后,Google 最新带来了一种新的人工智能系统,让 AI 发力音乐圈,该系统可以在给定文本描述的情况下自动生成任何类型的音乐,为此,Google 还取了一个言简意赅的名字——MusicLM。

不过,值得注意的是,因为担心该系统存在一些潜在风险,Google 当前虽然已经研发了该系统,但暂时还没有对外公开发布它的计划。

MusicLM 的神奇之处

只闻其声不见其人,也为 MusicLM 带来了一些神秘感。不过,近日,Google 发布了一篇《MusicLM: Generating Music From Text》学术论文,揭开了 MusicLM 的面纱。

据论文介绍,MusicLM 是一个从文本描述中生成高保真音乐的模型,它将有条件的音乐生成过程描述为一个层次化的序列到序列的建模任务,其生成的音乐频率为 24kHz,在几分钟内保持一致。

层次化的序列到序列的建模任务

在业界,MusicLM 并不是第一个 AI 音乐生成器,也正如外媒 TechCrunch 指出的那样,此前 Google 推出的 AudioML 和 OpenAI 的 Jukebox 等项目都已经实现了音乐生成功能,那么,MusicLM 到底特别在哪里?

其实,MusicLM 的与众不同主要体现在以下几点:

一、MusicLM的训练数据无可比拟

上述提到的几种模型往往由于技术限制和有限的训练数据,无法制作出作曲特别复杂或高保真度的歌曲。

相比之下,MusicLM 是在 280,000 小时的音乐数据集上进行了训练而成,由此可以帮助模型本身创造出令人称奇的多样性、深度的音乐。

二、MusicLM 可以直接根据文本提示生成长达几分钟的音乐片段

只要提供一段描述,MusicLM 模型可以文本自动生成符合场景的音乐,譬如提供的描述如下:

雷鬼舞曲和电子舞曲的融合,具有太空般的、另一个世界的声音。诱发在太空中迷失的体验,音乐将被设计为唤起一种奇迹和敬畏感,同时又是可舞蹈的。

三、MusicLM 模型还可以基于已有的旋律转换为其他乐器,甚至模拟人声

除了以上,Google 研究人员表明,MusicLM 还可以建立在现有的旋律之上,即无论是哼唱、演唱、吹口哨还是在乐器上,MusicLM 都可以继续创建音乐。

与此同时,根据官方提供的示例显示,MusicLM 模型能够按顺序编写多个描述(例如“冥想时间”,“醒来时间”,“跑步时间”,“100% 给予时间”),并创建一种以“故事”或长达几分钟的叙事为背景的旋律,这种非常适合电影配乐。

譬如,想要一个以下叙事内容的背景音乐:

电子游戏中播放的歌曲 (0:00-0:15)

在河边播放的冥想歌曲(0:15-0:30)

火 (0:30-0:45)

烟花 (0:45-0:60)

MusicLM 在理解了文本内容之后,生成的旋律如下所示:

MusicLM 也能通过图片和文本描述的组合进行指导,或生成由特定类型的乐器“播放”的音频。甚至可以设置 AI “音乐家”的经验水平,系统可以创作受地点、时代或要求启发的音乐(例如锻炼的励志音乐)等等。

基于以上,很多网友在了解论文以及通过示例观摩之后,给予了高度评价:

哇,这对我来说比 ChatGPT 还有吸引力。

我会说,谷歌几乎解决了音乐生成问题。

Google 研究员表示,「实验表明,MusicLM 在音频质量和对文本描述的遵守方面都优于以前的系统。」

MusicLM 的不足

不容忽视的是,MusicLM 还有一个强大之处就是可以模拟人声。

不过,MusicLM 当前还并不是一个成熟的模型,就以模拟人声为例,虽然它可以正确处理声音的音调,但是质感还存在一个问题。此外,很多自动生成的“歌词”有些含糊不清,也许有点像某人在哼歌,也许好像在听英文歌,但实际上或许并非如此,听众甚至会一度怀疑自己的耳朵听到的究竟是什么。

Google的担忧

整体而言,这些由 AI 生成的歌曲听起来像是人类艺术家可能创作出来的,普通听众往往难以分辨到底是 AI 创作还是人类创作。

或也正是基于这一方面的考虑,Google 在开发这款模型之际也犹豫了,在论文中,其表示,“我们目前没有发布该模型的计划”。

具体原因和此前面对 ChatGPT 强大的竞争压力时,Google 谨慎的态度一样,其担心像 MusicLM 这样的模型将会带来许多道德挑战,包括将训练数据中的受版权保护的材料合并到生成的歌曲中。

在一项实验中,Google 研究人员发现系统生成的音乐中约有 1%是直接从其训练的歌曲中复制的,这个阈值显然足以阻止他们以当前状态发布 MusicLM 这款模型。

“我们承认与用例相关的创意内容可能有会被盗用的风险,”该论文的共同作者写道,“我们强烈强调,未来需要开展更多工作,以应对与音乐创作相关的这些风险。

不过,Google 也表示,它正在公开发布一个包含 5500 个音乐文本组成的数据集 MusicCaps,其中有人类专家顾问提供丰富的文本描述,有助于训练和评估其他音乐 AI。也许在不久的将来,待 Google 摸出合适的道路,我们可以真正地一见 MusicLM 的风采。

关键词: 研究人员 还有一个

上一篇:
下一篇:
精彩阅读

RPA是否已过时?“RPA+什么”才能变得更强?

热点

作为全球企业软件市场中增长最快的细分领域之一,RPA(机器人流程自动化)近两年风头无两。

环球新消息丨请回答2023,容联云能否反弹?

热点

未来也许会出现更多的“点”,这些点也会成为公司的新增长点。但公司能否驾驭好“全都要”的业务布局,还需要时间去证明。

全球时讯:雄安新区产业互联网平台如何助力企业发展?

热点

在河北雄安新区,借助区块链技术建设的产业互联网平台愈加受到企业青睐。

世界热议:云游戏的证道之路,还在继续?

热点

玩法与内容这类软实力难以提升,便只能从硬实力入手,通过叠加技术,释放游戏作为感官消费品对受众的吸引力。

天天快看点丨广电“搅局”,专属APP会不会成运营商争夺的下一块“蛋糕”

热点

广电不搞“硬碰硬”,要走自己的路,依托自家丰富的传媒、视频内容资源,搭建“有线+5G”的新赛道。

浅谈NFT项目和公链生态的关系

热点

如果其项目离开以太坊生态,则可能就丧失了和其它NFT联动、组合的可能,就只能靠自己单打独斗。

天天快播:Hashrate Index:介绍瑞典比特币挖矿业

热点

得益于闲置的水电资源,瑞典已经成为欧洲比特币挖矿最后的庇护所之一。

【全球新要闻】云盘在云端,互相摸着对方过河,运营看资源!

热点

在互联网应用服务大浪淘沙的年代,可谓已经是“元老级”的成熟应用了。

动态焦点:腾讯最大股东Naspers宣布将裁员30%

热点

腾讯集团最大股东,荷兰科技投资公司Prosus及其南非母公司Naspers宣布将裁员30%。

财富

环球今头条!融资丨「赣锋锂电」完成新一轮融资,国投招商等投资

资讯

融资丨「赣锋锂电」完成新一轮融资,国投招商等投资,资金用于支持公司加大对固态电池的研发投入和产业化步伐,力争突破锂电子动力电池安全性的

上瘾:让用户养成使用习惯的四大产品逻辑

资讯

上瘾:让用户养成使用习惯的四大产品逻辑,“除非造就这些产品的技术进步的形式受制于法律,而不是技术进步本身,否则在未来40年里,人们对产品

电脑上的临时文件在哪里找?手机的临时文件在哪个文件夹?

资讯

1、首先在桌面上双击计算机。2、然后在弹出窗口左侧导航栏,点击C盘,临时文件夹在C盘。3、进入到C盘后,点击右上角的搜索框中。4、然后输

电脑时间同步怎么设置?电脑在哪设置时间同步?

资讯

1、首先右键右下角的时间,打开调整日期和时间2、然后勾选开启自动设置时间功能。3、在下面还可以修改不同的时区,我们同步时间就是根据这

电脑找不到网络路径是什么原因?如何更改共享网络路径?

资讯

第一步:按win+R键打开运行,在运行输入cmd ,第二步 :点击确定,在命令提示符输入 ping ip地址 ,按回车键,如果出现界面,表示网络连

融资丨「华鹊景医疗」完成数千万元A轮融资,深创投独家投资

资讯

融资丨「华鹊景医疗」完成数千万元A轮融资,深创投独家投资,所募集资金将用于产品规模化量产、市场营销与品牌建设以及巩固产品技术的地位。

世界滚动:融资丨「上海碳际」完成数千万元A轮融资,武岳峰资本独家投资

资讯

融资丨「上海碳际」完成数千万元A轮融资,武岳峰资本独家投资,公司A轮融资资金主要用于制造工厂能力与质量提升、新产品开发、团队建设和市场营

【全球时快讯】融资丨「庭宇科技」完成A1及A2轮近亿元融资,基石创投领投

资讯

融资丨「庭宇科技」完成A1及A2轮近亿元融资,基石创投领投,资金将用于公司边缘计算核心产品的技术研发,以及多行业实时互动场景解决方案的迭代

字体安装详细步骤是什么?cad钢筋字体怎么替换?

资讯

网上搜索并下载钢筋符号SJQY字体。双击打开钢筋符号SJQY字体文件夹,复制钢筋符号SJQY字体将钢筋符号SJQY字体粘贴至C windows Fants文件夹

文件修复不了怎么处理?文件存取错误怎么解决?

资讯

1、右击左下角开始,点击 windows powershell(管理员 ) 。2、复制并输入代码:Get-AppXPackage | Foreach {Add-AppxPackage -Disab

RPA是否已过时?“RPA+什么”才能变得更强?

作为全球企业软件市场中增长最快的细分领域之一,RPA(机器人流程自动化)近两年风头无两。

环球新消息丨请回答2023,容联云能否反弹?

未来也许会出现更多的“点”,这些点也会成为公司的新增长点。但公司能否驾驭好“全都要”的业务布局,还需要时间去证明。

全球时讯:雄安新区产业互联网平台如何助力企业发展?

在河北雄安新区,借助区块链技术建设的产业互联网平台愈加受到企业青睐。

世界热议:云游戏的证道之路,还在继续?

玩法与内容这类软实力难以提升,便只能从硬实力入手,通过叠加技术,释放游戏作为感官消费品对受众的吸引力。

天天快看点丨广电“搅局”,专属APP会不会成运营商争夺的下一块“蛋糕”

广电不搞“硬碰硬”,要走自己的路,依托自家丰富的传媒、视频内容资源,搭建“有线+5G”的新赛道。

苹果举行主题为超前瞻秋季新品发布会 AirPodsPro2正式登场

北京时间9月8日凌晨,苹果举行主题为超前瞻的秋季新品发布会,在此次发布会上,备受关注的iPhone 14系列新机、新款Apple Watch Ultra以

微软正为Windows12开发新驱动框架 提升新老显卡性能

Windows 12系统可能会在2024年到来,按照正常的节奏,其开发工作应该早已秘密进行。日前,有开发者从Windows 11最新预览版Build 25188中

华盛顿地铁站首次亮相为视障人士扩展旅行路线

5月25日消息,一款旨在帮助视障人士或盲人行人使用公共交通工具的应用程序在华盛顿地铁站首次亮相。该应用程序名为Waymap,旨在为盲人和视

2022年情况又要变了!华硕高管:今年PC恐怕要供过于求

这两年来,由于疫情导致的居家办公及远程教育需求爆发,一直在下跌的PC市场枯木逢春,2021年更是创下了2012年以来的最快增长,然而2022年情

垃圾佬的心头好!西数新款固态盘SN740曝光

对于DIY垃圾佬来说,散片、拆机件、工包……这些名词怕是并不陌生。本周,西数推出了主要供应OEM厂商的新款固态盘SN740。SN740升级到了第五

虚假宣传、误导消费者 倍至冲牙器关联公司被处罚

后来者要想在激烈的市场竞争中立足,如果可以背靠巨头享受大树底下好乘凉的红利,那自然是皆大欢喜,没有这个福气,也大可凭借自己一步一个