智源研究院发布 Emu2 —— 开源生成式多模态模型

2023年12月21日，智源研究院开源发布新一代多模态基础模型Emu2。

据介绍，Emu2是目前最大的开源生成式多模态模型，基于Emu2微调的Emu2-Chat和Emu2-Gen模型分别是目前开源的性能最强的视觉理解模型和能力最广的视觉生成模型。Emu2-Chat可以精准理解图文指令，实现更好的信息感知、意图理解和决策规划。Emu2-Gen可接受图像、文本、位置交错的序列作为输入，实现灵活、可控、高质量的图像和视频生成。

通过大规模自回归生成式多模态预训练，显著推动多模态上下文学习能力的突破。Emu2在少样本多模态理解任务上大幅超越Flamingo-80B、IDEFICS-80B等主流多模态预训练大模型，在包括VQAv2、OKVQA、MSVD、MM-Vet、TouchStone在内的多项少样本理解、视觉问答、主体驱动图像生成等任务上取得最优性能。

Emu2的模型、代码均已开源，并提供Demo试用。了解更多技术细节，参考Emu2论文。

• 项目：https://baaivision.github.io/emu2/

• 模型：https://huggingface.co/BAAI/Emu2

• 代码：https://github.com/baaivision/Emu/tree/main/Emu2

• Demo：https://huggingface.co/spaces/BAAI/Emu2

• 论文：https://arxiv.org/abs/2312.13286