大家好!这里是炜娓道来程序人生。今天带给大家一个Text2Music的开源项目 - Audiocraft。
近日,Meta公司在开源网站Github上,发布了一个PyTorch库——Audiocraft。它是一个基于深度学习音频处理和生成库。同时,Meta公司还发布了一款基于Audiocraft名为MusicGen的人工智能音乐模型。
MusicGen被描述为“一个简单且可控的音乐生成语言模型”。你不仅可以通过给它提供你希望创作的音乐的文本描述,也可以提供给它一个参考的音频内容作为依据提交给它,它就会生成一个12秒的音乐样本作为响应。
MusicGen是一个单级自回归Transformer模型。MusicGen的训练数据来自20,000小时的授权音乐。它依赖于一个内部数据集,包含10,000首高质量的音乐曲目,以及ShutterStock和Pond5音乐库的数据。
由于产品刚刚推出,使用用户较多,音频生成排队及时间较长,Demo服务的稳定性也不是特别好,需要小伙伴们耐心多尝试几次。
MusicGen 示例演示
示例一:提示词 + 参考音频
An 80s driving pop song with heavy drums and synth pads in the background
参考音频:参考音频
生成音频:
tmprvz9wf9l
示例二:提示词
90s rock song with electric guitar and heavy drums
生成音频
tmpyjal70ix
项目地址:https://github.com/facebookresearch/audiocraft
演示地址:https://huggingface.co/spaces/facebook/MusicGen
如果我的文章对您有帮助,希望您能分享给更多用户查看。您的每个一点赞、收藏都是我不断创作的源泉。如果在使用中遇到什么问题,随时跟我联系。感谢您的观看,谢谢!!