深度解析内容生成式AI背后的大语言模型,探寻智能浪潮下的存储机遇

几个月前以ChatGPT为首的内容生成式AI就已经火得不能再火了,然而,随着本周GPT-4和文心一言的发布,AI在国内外又“火上加火”了一次。

2023年3月14日,OpenAI发布了大型的多模态模型GPT-4。“GPT-4比以往任何版本更具创造性和协作性”,并且“有更广泛的常识和解决问题的能力,可以更准确地解决难题”。OpenAI的CEO山姆·阿尔特曼说:“这是我们迄今为止功能最强大的模型。”为了证明GPT-4的强大能力,演示者直接在纸上画了一个潦草的网页示意图,拍照发给GPT,并要求其按照这个布局写网页代码。几乎只需要数秒钟的时间,相应的代码就完成了生成。发布会还展示了一个GPT-4的使用场景,把程序运行出错的信息甚至错误信息截图提交给GPT-4,仅凭这部分图片信息,GPT-4都能自动查出错误。

2023年3月16日,百度发布了最新的大语言模型AI产品文心一言。首席技术官王海峰介绍,文心一言是新一代知识增强大语言模型,是在ERNIE及PLATO系列模型的基础上研发的。它使用有监督精调、人类反馈的强化学习、提示、知识增强、检索增强和对话增强六个模块来增强模型能力。其深度学习平台主要分为核心框架、基础模型库、端到端开发套件、工具与组件四个部分。文心语言大模型的基础层分为NLP大模型、CV大模型、跨模态大模型、生物计算大模型。但可惜的是,发布会上并没有现场演示环节,大众也不能直接使用该产品。

文心一言的发布会固然很多地方准备的还不完善,但确实是形势所迫。很多观点都认为,我们当前正处于一个AI爆发的前夜,无论是个人还是企业,似乎没有跟上这波AI浪潮就会被时代的步伐甩在身后。而很多硬件、云服务等产业链相关人士也急于了解AI这股浪潮,但却被复杂的技术术语、层出不穷的行业应用看花了双眼。在面对海量且无时无刻不在update的信息时,光凭人类大脑当然不能有AI那般的信息吸收和处理效率。如何能抽丝剥茧形成认知框架,辨别有用的信息,真正形成自己的洞见和判断是最重要的。

在笔者看来,这次的AI浪潮和之前的围棋对战、图像识别一样,都是底层模型出现了创新,与现实生活产生交集,引发广泛社会反应。这次的大语言模型与现实生活的交集是直接的一对一对话,人们体验感更强,引发的反响更加强烈。因此,想看清AI爆火背后的机会,真正形成自己的洞见和判断,最好的方法就是先牢牢抓住本次AI浪潮的核心:大语言模型。

大语言模型领域内的名词术语很多,看分析文字时,各概念间的逻辑关系也容易混淆。NLP领域在2013年主要采用的还是深度学习模型,其中的关键技术主要有二,一是大量的改进LSTM模型以及少量改进CNN模型为典型的特征抽取器,二是以encoder-decoder+Attention作为具体典型的总体技术框架。当时的主要目标是如何有效增加模型层或模型参数容量,也就是怎么在encoder decoder不断叠加更深的LSTM或CNN层。但之所以没有再延续,是因为具体任务的训练数据量有限和LSTM/CNN特征抽取器吸收和表达知识能力有限。2020年Transformer模型问世后,便逐步渗透到了NLP领域的方方面面。

Transformer问世后,让深度学习模型可以“自由吸收”数据中的知识。大语言模型突破了参数和算力限制,从此语言模型也进入参数越多,数据越大,模型效果越好的时代。Transformer分为两派:GPT和Bert。Bert模型和GPT模型都是预训练模型。预训练模型会预先接受海量的文本语料进行学习。学习的成果以模型参数的形式沉淀。模型参数的沉淀会对预训练模型关于词性、句法等方面的理解能力进行改进。简单来说,GPT,就是在一个超大语料基础上预训练出的大语言模型(LLM),采用从左到右进行填字概率预测的自回归语言模型,并基于prompting(提示)来适应不同领域的任务。在GPT2的时代,Bert表现更好,但是GPT通过“自然语言生成任务”,兼容了几乎所有NLP问题,等到GPT3发布后,迅速占据了“江湖老大”的位置。

打一个通俗易懂的比方,如果把整个AI行业比作一座写字楼的话,各个面向最终用户的具体应用就是一个个摆放不同设备的房间,面向不同行业的AI能力与各场景的训练数据集就是大楼的水电消防系统与基础装修,底层的模型就是盖楼用的原材料。原材料在短时间经历了多次升级,由粘土(机器学习)到砖石(深度学习)到普通混凝土(Transformer)到钢筋混凝土(GPT),目前已经能把写字楼盖到几十层了。建高楼的需求旺盛,必然会带动背后的搅拌机、起重机等土木行业的兴起,这部分对应的就是AI基建层的硬件、云服务。

随着ChatGPT这种大语言模型的训练数据和参数量呈指数增长,这些操作需要更多的计算资源和存储资源,这是导致大语言模型成本增加在原因。首先,是作为训练输入的训练样本,样本的数据量是非常庞大的,尤其是Midjourney这种需要图片训练的AI,需要PB级的样本数据。其次,是作为训练输出结果的参数模型:考虑到过去5年中模型参数呈指数增长,下一代大语言模型很可能是万亿参数模型,快速增长的模型需要足够的空间来存储。这么多存储空间从哪来?目前主流的解决方法是硬件存储阵列或分布式存储。传统硬件存储阵列可以保障每个逻辑卷的低延迟和高可用性,但存在水平可伸缩性差、成本高、可能形成许多“孤立的数据岛”的问题,从而使存储成本高,存储资源利用率低。一些传统分布式存储看起来可以解决上述问题,但通常部署复杂,且难以保证性能和稳定性。这个时候,就需要存储资源盘活系统(Storage Resource Reutilization System,SRRS)。

存储资源盘活系统是一个ZIP包。它可以轻松地安装在装有Linux操作系统的任何品牌、配置的物理服务器、裸金属服务器、虚拟机甚至容器实例上,向上层提供块存储服务。存储资源盘活系统与硬件驱动完全解耦,且支持硬件异构。存储资源盘活系统允许集群中的每个Linux操作系统实例具有不同的硬件配置,例如不同的CPU数量、不同的内存大小、不同的本地硬盘驱动器容量等。存储资源盘活系统会充分利用用户的全部资源来提供最好的性能,帮助用户进一步提高现有硬件资源的利用率。这对于硬件更新换代频率很快的AI领域来说是好消息:再也不用担心被淘汰的设备闲置了。

存储资源盘活系统作为一组用户态进程来运行,不依赖于任何特定版本的Linux内核或Linux发行版,不依赖或修改操作系统环境,不垄断整个硬盘驱动器,不干扰任何其他进程的执行。因此,存储资源盘活系统可以在同一个Linux操作系统实例中与其他应用程序并发运行,在不影响整体功耗的情况下大大提高了硬件利用率,也在一定程度上缓解了AI机房“耗电高”的痛点。存储资源盘活系统是高性能的。存储资源盘活系统采用分布式双控制器架构,像传统硬件存储阵列一样提供低延迟和高可用性,像传统分布式存储一样提供高可扩展性和高吞吐量。它可以轻松从3台服务器扩展到数千台服务器,并逐个从数千台服务器减少到3台服务器,上述过程中不会出现服务不可用的情况。对于AI行业中训练样本、模型参数的指数级增长,存储资源盘活系统可以自如应对。

iPhone作为开启了移动互联网的划时代产品,最大的成功之处在于它让手机成为了人类器官,并且让互联网从桌面走到了身边;其次,在于它出现的时机契合了硬件和软件技术的发展。以iPhone作类比,以GPT为首的大语言模型是调用算力和数据的终极方式,AGI(通用人工智能,也是OpenAI的终极愿景)允许AI从有限任务变成几乎能取代或协助人类的所有思考任务。可能这也是黄仁勋(NVIDIA创始人兼CEO)所说的,This is the iPhone moment of AI。面对AI的iPhone moment,我们需要更多SRRS这种基础建设来适配将来快速增长的算力与存储需求。

猜你喜欢

转载自blog.csdn.net/SDSHBlock/article/details/129592772