首页 > 解决方案

Stability AI发布音频大模型20生成音乐成下个技术竞逐热点

发布时间:2024-04-06 11:31:19   来源:火狐体育官网

  原标题:Stability AI发布音频大模型2.0,生成音乐成下个技术竞逐热点

  还在为想听音乐时,没办法找到喜欢的歌而烦恼?现在你可以在几分钟内做一首自己的专属歌曲。

  最近,由于生成式 AI 技术的显著进步,生成音乐成为下一个追逐的热点。前有广受好评的 Suno,国内大模型厂商也有跟进。北京时间 4 月 3 日,开源生成式 AI 公司 Stability AI 宣布推出音频生成模型 Stable Audio 2.0。此前的 1.0 版本于 2023 年 9 月首次亮相,被《时代》杂志评为 2023 年最佳发明之一。

  当前 AI 生成音乐的实现主要依赖于深度学习技术,就像语言模型是在大量文本上训练一样,音频模型通过训练大量的音乐数据来使 AI 能够理解音乐的结构、风格和创作规律,进而生成新的音乐。

  根据 Stability AI 的官方博文,Stable Audio 2.0 使用了 AudioSparx 的数据来进行训练,这一些数据包含了超过 80 万个音频文件,涵盖了音乐、声效和单独乐器的声音素材,及相应的文字描述信息。

  Stable Audio 2.0 能够仅凭自然语言描述,生成长达三分钟的完整音乐,而且是高质量的 44.1 kHz 立体声。这一个数字表示的是音频信号的采样频率,采样率越高,越能够捕捉更细微的声波变化,录制的声音也就越接近原始声音。44.1 kHz 是 CD 音质标准的采样率,可提供较高的音频质量。

  除了用文本直接生成音乐,用户也可以先上传一段音频,再用文字描述想要的效果,Stable Audio 2.0 就能按指示改造该音频,也就是拥有音频到音频的转换能力。此外,它还能生成特定的音效,创作形式十分灵活。

  具体使用上,在提示词 (Prompt)部分输入想要生成音乐的关键词,然后点击下方的“Generate”即可开始生成。免费版用户每月可以生成 10 次,再想多用每月需要至少付费 11.99 美元。

  值得注意的是,Stable Audio 2.0 暂时还不支持歌词。为了全面测试 AI 生成音乐的水平,这里需要提及另一款 AI 音乐产品 Suno。

  Suno 在今年 3 月底迎来一次重要升级,最新的 V3 版本被广泛认为是音乐届的“ChatGPT 时刻”。它能够在几秒钟内制作不一样的风格和流派的歌曲,效果几乎能和人类创作的音乐相媲美。Suno 在此前公告中还提到,V4 版已经在开发中,会有一些令人兴奋的新功能。

  Suno 对用户相对更友好,每天可以免费使用 5 次。一次生成两首歌。歌曲时长为 2 分钟。有两种使用方法,一种是输入歌词后,再输入音乐类型、主题就能生成歌曲,另一种是生成纯音乐,只需要用文字描述你想要的歌曲即可。

  时至清明,笔者试以清明节必读诗词《清明》为蓝本,进行实际测试,看下效果,并与不久前同样迎来升级的 AI 音乐产品 Suno 做个对比。如果之前没有接触过 AI 音乐,你一定会为它的表现而惊讶。首先我用 ChatGPT 将唐诗《清明》进行了改编,以生成歌词。将歌词输入 Suno,短暂等待后,即可生成歌曲。效果如下:

  实际效果还是十分好的。接下来,用相近的提示词使用 Stable Audio 2.0 来生成音乐。效果如下:

  Stable Audio 2.0 的效果,个人不太满意。不过在音乐上见仁见智,也可以实际上手测试下效果。

  值得一提的是,除了以上两款产品,近日,国内也出了一款音乐大模型工具天工 SkyMusic,可以在天工 APP 进行试用(目前需要加微信群获取邀请码,在软件界面即可操作)。其用户界面如下:

  输入歌词后可以直接生成音乐,也可以再一次进行选择一首现有歌曲作为参考来生成,一次生成 3 首歌,时长在 90 秒左右。这里先用刚才生成的《清明雨纷飞》歌词直接生成,其中一首相对较好的效果如下:

  然后,搭配参考音乐后再次生成。参考音乐为上面 Suno 生成的歌曲。效果如下:

  有了参考音乐后,新生成的音乐个人感觉是上了一个档次,3 首效果都还可以。

  总的来说,以上三款产品,Suno 的效果无疑是最好的,能做到以假乱真的地步(歌词写得再好点,效果应该会更进一步)。不过,Suno 当前仍有一个问题,就是生成的音乐不完整,在两分钟时总会戛然而止,结束得很突然。

  不管怎么说,能预见不远的将来,AI 音乐定会蔚然成风,可以大规模商用。比如,影视剧中的背景音乐能够最终靠 AI 快速、高效地制作,以满足特定场景的情绪需求。而在音乐市场,按照每个用户的听歌历史和偏好,AI 可以创作个性化音乐,为咱们提供更加定制化的听歌体验。音乐市场的消费模式或迎来转变。

  随着 AI 在内容生成上不断地“攻城略地”,从文本到视频,AI 可以极大丰富人类的创造力,让每一个人都能成为创作者。这不但可以让艺术家发现新的创作方法,也让普通人有了成为艺术家的可能性。

  人工智能在当下毫无疑问慢慢的变成了创新的前沿。技术的进步让 AI 能够接近理解和模拟人类的创造过程。AI 可当作工具,帮助人们实现创意的无限扩展。这种应用挑战了我们对艺术创作的传统认知,也引发了关于创造力、艺术价值和作者身份的深刻讨论。但毋庸置疑的是,AI 在内容生成领域的应用开启了人类创造力的新篇章。