随着金融科技领域的不断发展，金融机构改变了传统方式，将更多服务从线下转移到线上，为了提升客户体验和效率，金融机构不断探索自然语言处理、机器学习等技术手段来优化客服服务，其中大模型技术被广泛应用，成为当前最热门的研究方向之一，是目前通往AGI的最佳实现方式。大模型最早的关注度源于NLP领域，随着多模态能力的演进，CV领域及多模态通用大模型也逐渐成为市场发展主流。
本报告主要针对当前最为热门的大模型进行研究和分析，重点关注了它们在自然语言处理领域中具有的突出表现以及客服中心未来的应用前景。同时，本报告还探讨了目前大语言模型所面临的挑战和限制，并提出了相应的优化建议，旨在为银行业客服中心大模型研究提供参考。
一、 大模型发展背景
(一) 大语言模型诞生阶段
• 2017 年谷歌推出用于处理自然语言任务的 Transformer 神经网络架构。
• 2018 年 OpenAI 发布GPT - 1 。
(二) 大语言模型探索阶段
• 2019 年 OpenAI 发布GPT - 2 部分开源模型。
• 2019 年谷歌推出BERT模型。
• 2020 年百度推出可理解语义的ERNINE2.0。
• 2021 年 OpenAI 推出能实现文本生成图像的DALL-E模型。
• FaceBooK 推出CLIP模型。
• 华为发布盘古大模型。
• OpenAI 推出Codex。
(三) 大语言模型爆发阶段
• 2022 年 OpenAI 推出 ChatGPT-3.5 。
• 2023 年 OpenAI 正式发布 GPT-4 预训练大模型， 实现图像视频。相比于GPT-3.5性能表现显著提升，在一些专业和学术领域上已经达到了人类水平。GPT-4具有一定的多模态能力，能够接收图文结合的输入，并输出文本回复，应用范围得到进一步拓展。
• 微软基于ChatGPT 发布 New Bing 。微软宣布将GPT-4接⼊Office全家桶。
• FaceBook 发布LLaMA - 13B。
• 谷歌更新Bard并推出PalM 2 模型。
• 复旦团队发布MOSS。
• 阿里发布大语言模型“通义千问”，具备多轮对话、文案创作、逻辑推理、多模态理解、多语言支持等功能，以及外部增强 API 。目前钉钉、天猫精灵等产品已率先接入通义千问测试，高德地图、饿了么、盒马、优酷、淘票票等产品也将有序接入通义千问大模型。阿里巴巴所有产品未来将接入大模型，同时将与OPPO、吉利、智己等企业展开合作。
• 商汤发布 “日日新SenseNova” 大模型体系，推出自然语言处理、内容生成、自动化数据标注、自定义模型训练等大模型及能力 ， 包括语言大模型 “商量SenseChat” 和一系列生成式AI应用。
• 华为推出的盘古大模型则聚焦AI for Industry，赋能千行百业应用落地，有望推动人工智能开发从 “作坊化” 到 “工业化”升级。自研ModelArts 2.0 AI开发平台、昇腾 910等算力芯片、兆瀚 A5900-A系列等AI 训练服务器 。昇腾AI产业生态已发展 20+家硬件合作伙伴，1000+家软件伙伴 。
• 腾讯混元AI大模型。HunYuan 协同腾讯预训练研发力量，旨在打造业界领先的AI 预训练大模型和解决方案 。腾讯大模型可接入微信、游戏、短视频、广告、TO B端等优势业务，腾讯在 SaaS 加速器、微信等业务均有大量合作伙伴 。
• 百度“文心一言”中文理解能力强，并且支持从文本生成图像、音频和视频，多模态能力。百度AI大底座可提升千卡并行加速比90%以上。目前已发布36个大模型以及 11个行业大模型，生态已凝聚500 万开发者。
二、 大模型发展历程和架构
(一) 大模型发展历程
从基于规则到基于人的意识，大型语言模型是技术进步的必然产物。自然语言处理发展到大型语言模型的历程可分为五个阶段：规则、统计机器学习、深度学习、预训练、大型语言模型。从1956年到1992年，基于规则的机器翻译系统在内部把各种功能的模块串到一起，由人先从数据中获取知识，归纳出规则后教给机器，然后由机器执行这套规则，该阶段为规则阶段；从1993年到2012年是统计机器学习阶段，机器翻译系统可拆成语言模型和翻译模型，该阶段相比上一阶段突变性较高，由人转述知识变成机器自动从数据中学习知识，当时人工标注数据量在百万级左右；从2013到2018年，进入深度学习阶段，其相比于上一阶段突变性较低，从离散匹配发展到连续匹配，模型变得更大，标注数据量提升到千万级；预训练阶段存在于2018年到2022年，跟之前比较，最大变化是加入了NLP自监督学习，将可利用数据从标注数据拓展到了非标注数据。
图-大模型发展阶段
大模型阶段在数据标注、算法、人机关系三方面的性能均有跨越式提升。从2023年起开始进入大模型阶段，该阶段的突变性很高，已经从专用任务转向通用任务或是以自然语言人机接口的方式呈现，旨在让机器遵循人的主观意志。在数据标注方面，大模型已经从原来需要大量标注数据进化到运用海量非标注数据，越来越多数据被利用起来，人的介入越来越少，未来会有更多文本数据、更多其它形态的数据被模型运用。在算法方面，大模型的表达能力越来越强、规模越来越大，自主学习能力越来越强，从专用向通用趋势显著。
(二) 大模型技术路线
大模型技术路线各有侧重，MaaS已成产业趋势。大型语言模型研究的发展有三条技术路线：Bert模式、GPT模式、混合模式。其中国内大多采用混合模式，多数主流大型语言模型走的是 GPT 技术路线，直到 2022 年底在 GPT-3.5的基础上产生了 ChatGPT。到 2019 年后，Bert路线基本没有标志性的新模型更新，而GPT技术路线则趋于繁荣。从 Bert 往 GPT 演化的过程中，模型越来越大，所实现的性能也越来越通用。
大模型未来发展将趋于通用化与专用化并行、平台化与简易化并进。同时，MaaS 模式将成为AI应用的全新形式且快速发展，重构AI产业的商业化结构生态，激发新的产业链分工和商业模式。未来，大模型将深入应用于用户生活和企业生产模式，释放创造力和生产力，活跃创造思维、重塑工作模式，助力企业的组织变革和经营效率，赋能产业变革。
(三) 大模型技术架构
以ChatGPT背后技术为代表的人工智能大语言模型正在催生新一轮人工智能浪潮，在全球范围掀起人工智能大语言模型科技竞赛，科技巨头加快布局，生成式AI领域风起云涌。AI大模型的技术架构分为基础层、技术层、能力层、应用层、用户层五大板块，基础层涉及硬件基础设施和数据、算力、算法模型三大核心要素。技术层主要涉及模型构建，目前 Transformer 架构在AI大模型领域占据主导地位，如 BERT 、GPT系列等。AI 大模型包括 NLP大模型、CV大模型、多模态大模型等。能力层拥有了文字、音频、图像、视频、代码、策略、多模态生成等能力，应用于多个领域，为客户提供产品和服务，架构图如下所示。
图-AI大模型技术架构
三、 大模型在客服中心应用
大模型在客服中心研发应用需具备数据资源、算法和模型、资金和资源三要素。当前 大模型在客服中心应用面临算力需求大、训练和推理成本高、数据质量不佳、跨场景适配效果弱，知识库构建成本高、隐私和安全问题等挑战。在客服中心应用主要存在如下问题：
-
数据问题
客服行业线上服务数据不足，数据的多样性无法保障；行业数据标注困难，限制了数据积累数量和质量。知识库知识泛化，条数和质量不高。
-
算法问题
对于客服线上服务新场景，初期存在语料少，知识库欠缺等情况。模型能力需要积累项目上的经验，行业模型需要系统性提升。大模型考验全栈大模型训练与研发能力，如数据管理经验、算力基础设施私有化建设能力及工程化运营能力、底层系统优化和算法设计能力等。
-
逻辑推理问题
复杂、严谨、灵活的逻辑推理和自学能力仍然是目前大部分大语言模型面临的核心挑战。目前所知的大语言模型的涌现能力决定了大语言模型在逻辑推理等方面的基本表现、目前大部分大语言模型可以对人类情感做出简单的判断，理解和情感需求的基础上创造内容是客服行业需求，在逻辑推理之上理解人类情感是智能客服更高思考方式。当前多数理财顾问只能提供一些基础的产品介绍和推荐，缺乏对规模庞大、维度多样、瞬息万变的金融市场数据开展全面、深入、灵活、有效的分析，投研效率不高。
-
时效性问题
以 ChatGPT 为基础模型，通常基于历史数据进行训练，并不具备实时获取和处理新数据的能力，难以即时更新模型中的知识储备。对于客户实时性较强的最新资讯或问题，模型可能会输出不准确或错误的信息，而要让训练数据囊括最新的客服信息，对训练的时间和成本消耗都非常大，更新速度会远慢于搜索引擎。
四、 大模型未来发展展望
随着客户数量的不断增加，客户对客服中心服务的期望也会不断提高，银行客户服务中心如何交付功能强大的客户服务支持变得尤为重要，需要大规模深度学习和迁移学习在一定的场景下用来提升AI助手水平，并集成客服中心现有的自然语言处理、计算机视觉、智能语音、知识图谱等多个AI核心技术能力，打造银行业客服中心AI大语言模型能力体系。并健全完善生成式AI安全应用相关制度。面对科技伦理风险，应通过建立有效的内容审核和监管机制，防止生成及传播不良和违法内容。强化大语言模型应用的技术监管和审查。探索大语言模型实际应用落地的具体风险防范措施和手段。
提升客服机器人意图理解能力。在客服中心大模型与专项数据结合，可提升客服机器人的意图理解能力，基于客服行业模型的意图解析，降低初期接入成本。利用大模型的知识图谱、自然语言处理技术和算法模型，将复杂的问题转化为简单易懂的指令，提供更准确的答案。
提升视频/虚拟人交互能力。随着生成式AI与大语言模型的打通，视频/虚拟人制作周期将大大缩短，创作流程简化。同时，鉴于大模型在用户语言逻辑理解上的深化，虚拟人在客服场景应用中的识别感知能力和分析决策能力将显著提高，提升沟通时的交互能力，更准确地满足用户个性化需求。