引言
相比ChatGPT,GPT-4展示出了非凡的多模态能力,它可以利用手写文本生成网站并且还能够识别出图片中的幽默元素。这些优秀的能力在以前的视觉语言模型中很难实现。对于GPT-4惊人的多模态生成能力,其主要原因是使用了更先进的大型语言模型 (LLM)。
地址: https://minigpt-4.github.io/
背景介绍
近年来,大型语言模型 (LLM) 经历了快速发展。 凭借出色的语言理解能力,这些模型可以通过零样本学习的方式执行各种复杂的语言任务。 值得注意的是,最近推出的 GPT-4,它是一种大型多模态模型,并向我们展示了许多令人印象深刻的功能。
为了证实以上猜想,作者提出了一个名为 MiniGPT-4 的新模型:它使用先进的大型语言模型 (LLM)–Vicuna(其中 Vicuna 是基于 LLaMA 构建的)进行调优,在文本语言方面可以达到 ChatGPT 能力的90%。在视觉感知方面,作者采用了与BLIP-2相同的预训练视觉组件,其中该组件由EVA-CLIP的ViT-G/14和Q-Former组成。
MiniGPT-4
MiniGPT-4 旨在将来自预训练视觉编码器的视觉信息与先进的大型语言模型 (LLM) 对齐。 具体来说,在文本方面,作者利用 Vicuna 作为语言解码器,在视觉感知方面,使用了与BLIP-2相同的视觉编码器,并且语言和视觉模型都是开源的。
在MiniGPT-4训练阶段,作者提出了一种两阶段训练方法。在第一阶段,因为在大量对齐的图像-文本对上对进行模型预训练,以获取视觉语言知识。在第二阶段,使用较小但高质量的图像文本数据集对预训练模型进行微调,以增强模型的生成可靠性和可用性。
实验结果
实验结果,发现 MiniGPT-4 拥有许多类似于 GPT-4 所展示的功能。例如,MiniGPT-4 可以生成复杂的图像描述,根据手写文本指令创建网站,以及解释不寻常的视觉现象。
例如,MiniGPT-4可以通过观察令人垂涎欲滴的食物照片、工艺故事或受图像启发的说唱歌曲直接生成详细的食谱,为图像中的产品撰写广告,区分照片中显示的问题并提供相应的解决方案,并检索关于人的丰富事实,电影或直接来自图像的艺术,以及其他功能。