8月3日,全球社交、科技巨头Meta(Facebook、Instagram等母公司)宣布开源文本生成音乐模型Audiocraft(开源地址:https://github.com/facebookresearch/audiocraft)。
据悉,Audiocraft是一个混合模型,由MusicGen、AudioGen和EnCodec组合而成。仅用文本就能生成鸟叫、汽车喇叭声、脚步等背景音频,或更复杂的音乐,适用于游戏开发、社交、视频配音等业务场景。
MusicGen论文:https://arxiv.org/abs/2306.05284
AudioGen论文:https://arxiv.org/abs/2209.15352
高保真解码器论文:https://arxiv.org/abs/2210.13438