点击查看完整活动回顾：https://my.oschina.net/u/4489239/blog/11105657
点击跳转 5 月 18 日深圳源创会预告：https://www.oschina.net/event/2332004
4 月 20 日，第 102 期源创会在武汉成功举办。本期邀请来自武汉人工智能研究院、华为、MindSpore、京东云、Gitee AI 的人工智能专家，围绕【大模型竞技与性能优化】主题发表演讲。
京东云产品总监袁黎江发表了《智启未来 —— 言犀大模型平台》主题演讲。袁黎江介绍，大模型企业级落地有 5 大挑战：实时性、可解释性、安全可控、复杂决策、专业性，而落地的关键是在不确定和动态变化的环境中如何实时作出正确决策并执行。
袁黎江介绍，大模型落地的方式主要有 2 种，一种是 Copilot 的模式，交互关系以人为主导，AI 只是作为一个助手，在某些场景中由 AI 来完成工作，如比如文字内容生成、加工，文生图等。实际上对于企业而言，需要尽可能释放人力。另一种是 Agent 模式，则更适合企业中的复杂场景，这种模式下人类站在更高维的角度，作为人工智能的 “导师” 或 “教练” 角色，设定目标并监督结果，由大模型去发挥推理能力，调用合适的工具和借口，最后给到相应的结果反馈。
大模型在企业中落地所依赖的主要技术也发生了变化，最初的 Pre-train 成本最高、投入巨大；之后 SFT 模式成本降低但是落地效果欠佳；基于向量数据库的检索增强 RAG 模式，效果提升但仅能局限在知识问答场景中；最终，精通技术团队更加关注 Agent 模式，可以实现多场景支持。
在京东金融业务中，单纯靠大模型 SFT 或者 LoRA 难以提升大模型解决实际问题的能力，而是基于 Agent 技术实现机器使用工具解决业务问题。具体而言是通过 Agent 的方式去理解用户目标，拆解每一步子任务，在每一步子任务里选择合适的工具，这些工具是京东原有业务的一些接口，最后再结合大模型能力给出反馈。这样对于一些用户复杂问题的回答则会更精准。
目前，京东言犀大模型全平台已经构建了多层产品矩阵。最底层为资源支持，包括计算资源、存储资源、高速网络和资源调度。在模型资源层，提供了模型管理训练、数据集加工、模型评测部署等能力。模型资源层之上为智能体构建，关注各类工具的集成。最上层则是应用服务层，适配多个企业场景。
京东言犀大模型全平台具备 6 大功能：资源调度协同，可实现计算资源的高效管理和调度，确保大模型开发及应用的性能优化和成本控制；数据管理，针对大模型训练提供管理，支撑预训练、微调、强化学习、评测等高效开展；模型训练，通过大模型进行训练和微调让企业拥有定制化模型，提高准确性和相关性；智能体构建，助力企业创建和部署智能体 Agent，与企业现有 IT 系统结合执行复杂任务；安全合规，确保所有大模型应用都符合安全标准和法律法规要求；智能应用市场，提供一系列预构建的大模型应用，企业可以直接部署或给予插件体系快速接入。
扫码观看《智启未来 —— 言犀大模型平台》演讲回放 ⬇️
{{o.name}}
{{m.name}}