“ 想象一下，您可以随心所欲地创作轻快的乡村曲风,缠绵的蓝调,史诗般的管弦乐......视频BGM创作之路上,再也不会有任何阻碍!。”
01
—
什么是MusicGen
Meta MusicGen建立在强大的Transformer模型的基础上，追随ChatGPT等语言模型的脚步，采用尖端的AI技术来预测和生成音乐片段。就像语言模型预测句子中的下一个字母一样，MusicGen 根据给定的音乐片段预测下一个音乐片段。
为了完成这一壮举，Meta 的研究人员利用 EnCodec 音频标记器，将音频数据分解为更小的单元以实现高效处理。MusicGen的辉煌之处在于它能够同时处理文本描述和音乐提示，从而实现艺术表达的无缝融合。
培训MusicGen涉及使用由20，000小时授权音乐组成的庞大数据集。该团队利用了 10，000 份高质量录音的内部收藏，并辅以来自 Shutterstock 和 Pond5 等知名来源的音乐数据。这种细致的培训过程确保了MusicGen拥有创作与听众产生共鸣的音乐的能力。
试用地址：MusicGen - a Hugging Face Space by facebook
02
—
MusicGen在线体验
首先我们准备好一些BGM，比如一些激情澎湃的，忧郁的，安静的音乐都可以，然后我们打开上面的链接
然后把自己的音乐拖进去，转换成激情澎湃的风格
听上去效果还是蛮震撼的，有一点原始音乐的味道，但是生成的音乐更加的有力量，更加的激情澎湃
03
—
MusicGen本地部署
如果你不满足于huggingface链接的15秒时长，可以试试本地部署。当然本地部署对显卡的要求还是比较高的，官方要求是16GB的显存
首先我们打开git仓库facebookresearch/audiocraft: Audiocraft is a library for audio processing and generation with deep learning. It features the state-of-the-art EnCodec audio compressor / tokenizer, along with MusicGen, a simple and controllable music generation LM with textual and melodic conditioning. (github.com)
然后按照安装指引，安装好对应的环境和依赖包
# Best to make sure you have torch installed first, in particular before installing xformers.
# Don't run this if you already have PyTorch installed.
pip install 'torch>=2.0'
# Then proceed to one of the following
pip install -U audiocraft # stable release
pip install -U git+https://[email protected]/facebookresearch/audiocraft#egg=audiocraft # bleeding edge
pip install -e . # or if you cloned the repo locally启动后进入如下界面，可以调节时长以及风格
然后我们用同样的音源，生成一首despired风格的音乐
显卡有点拉，时间比较长，这效果，反正生成后的音乐我是没有勇气听完，听着听着感觉真的会抑郁
MusicGen拥有强大的音乐学习能力,它研习了上万种乐器演奏方式,并深谙音乐理论与曲式。所产出的音乐作品,如出人类音乐家之手。还在等什么?赶快体验MusicGen,让创作的乐趣重回心间!
如果环境配置有问题，可以关注公众号回复AudioCraft获取本地一键启动整合包