2023 年的 AI 产业可以用风起云涌来形容。ChatGPT 的横空出世让生成式 AI 技术一夜之间红遍全球，很多从未了解过人工智能的普通人也开始对大模型产生了浓厚的兴趣。媒体、调研机构纷纷推出长篇专题，论证 ChatGPT、StableDiffusion、Midjourney 等文本和图像大模型会对哪些行业产生颠覆式影响；甚至有很多员工和企业开始利用这些大模型提升日常工作中的生产力，乃至取代人类岗位。毫无疑问，2023 年将是大模型技术开始爆发的转折点，一场影响深远的技术革命正在徐徐拉开帷幕。
在 AI 行业内，虽然 OpenAI 凭借 ChatGPT 暂时处于领先地位，但巨大的市场前景已经吸引了一大批企业与科研机构加入大模型的战场。谷歌、Meta、百度、阿里、字节跳动、腾讯、京东、科大讯飞、盘古……一众互联网巨头、创业公司与院校纷纷发布了自己的大模型服务或计划。ChatGPT 掀起了一场 AI 军备竞赛，稍有实力的互联网企业都主动或被动地加入其中，希望牢牢把握住这一罕见的历史机遇。
突然爆发的大模型热潮也让业界对硬件基础设施的需求飙升。千亿甚至万亿级参数的超大模型需要庞大的算力支撑，运营一个典型的大模型服务一般需要数千台多 GPU 服务器。如此大的算力需求给企业带来了沉重的负担，而核心硬件的获取难度则让局面雪上加霜。
另一方面，像 ChatGPT 这样的超大通用模型在行业实践中的应用前景也受到了质疑。很多观点认为，在垂直行业中，专门为领域知识优化的中小模型可能有着更好的表现。这些中小模型所需的训练成本相比通用大模型大幅降低，并且也不会高度依赖昂贵、难以获取的 GPU 硬件，可以使用带有 AI 加速硬件的新一代 CPU 与专用的 AI 加速芯片等，更加适合行业特定用途与中小企业使用。
AI 生产力
GPU 并非唯一选项
在 AI 领域，GPU 经常被视为唯一的计算硬件选项。凭借庞大的并行计算资源，GPU 能够快速处理深度学习过程中的矩阵运算，大幅提升模型的训练和推理速度。
但由于 GPU 价格高昂、内存容量受限、供应链问题、扩展能力不足等问题，企业与开发人员开始意识到，他们可以使用 CPU 这样的解决方案，在一些 AI 生产力场景中获得更高的性价比。例如，Hugging Face 公司的首席 AI 布道者 Julien Simon 最近演示了的 70 亿参数语言模型 Q8-Chat 就运行在一个 32 核心的第四代英特尔® 至强® 可扩展处理器上，速度比 ChatGPT 快得多。Q8-Chat 是基于 MosaicML 公司开源的 MPT-7B 语言模型，并充分利用了第四代英特尔® 至强® 可扩展处理器的 AI 加速引擎来提升性能。由于 CPU 具有很好的串行计算能力，在更多依赖串行或混合计算的 AI 任务中，CPU 往往具有比 GPU 更好的性能表现。
此外，CPU 虽然在模型训练场景中的速度往往无法与 GPU 相提并论，但在推理场景中有能力提供类似的性能水平。与此同时，CPU 易于扩展内存、软件兼容与扩展能力优秀的特性，也让企业在选择 AI 推理系统的软件栈时有了更高的灵活度。正因如此，包括美团、阿里云、Meta 在内的互联网头部企业都在探索利用 CPU 提升 AI 推理与部分场景的训练性能、降低 AI 硬件采购成本、减小对特定 AI 软件栈依赖的路径。在 AI 行业，CPU 的重要性正在与日俱增。
从推荐系统到视觉推理
CPU 如何在 AI 领域大放异彩
谈到 AI 硬件，CPU 长期以来扮演的都是"绿叶"的角色。开发者一般只关心 CPU 能够支持多少 GPU 计算卡，是否能长期稳定运行，而基本不会考虑用 CPU 来承载 AI 应用的算力需求。原因也很简单，相比 GPU 来说，CPU 的并行算力实在太过低下了。
但这种局面在今天出现了转机。2022 年底，搭载 AMX 加速技术的第四代英特尔® 至强® 可扩展处理器上市，CPU 第一次在很多应用场景中获得了与高端 GPU 媲美的 AI 性能。AMX 可以被看作是 CPU 核心中专为 AI 计算设计的一种加速模块，其专为 INT8 与 BF16 计算优化，相比传统的 AVX 指令集可以提供高出一个数量级的单周期指令吞吐性能。在 AMX 的帮助下，第四代英特尔® 至强® 可扩展处理器的 AI 运算能力大幅提升，在部分领域中取得了相比 GPU 更高的性价比表现。
推荐系统
推荐系统是非常重要和普遍的人工智能应用，其通常包括知识库、主题模型、用户 / 视频画像、实时反馈 / 统计、推荐引擎等基础组件，能够对于海量数据进行分析，并根据用户的偏好为用户提供个性化的内容与服务，助力提升用户价值。
现代化推荐系统对于 AI 算力有着较高要求。阿里巴巴作为全球最大的电子商务巨头，其核心推荐系统需要实时处理天猫和淘宝全球庞大客群每秒数亿级别的请求。该系统需要确保 AI 推理任务的处理时间在严格的时延阈值范围内，从而保障用户体验；同时系统需要确保一定的推理精度，从而保障推荐质量。为了实现性能与成本的平衡，阿里巴巴最近开始在推荐系统中采用了 CPU 处理 AI 推理等工作负载，并选择了第四代英特尔® 至强® 可扩展处理器进行性能优化。
阿里巴巴与英特尔合作，利用英特尔 oneAPI 深度神经网络库，将 AMX 加速引擎应用到了核心推荐模型的整个堆栈上。在 AMX、BF16 混合精度、8 通道 DDR5、更大高速缓存、更多内核、高效的内核到内核通信和软件优化的配合下， 主流的 48 核第四代英特尔® 至强® 可扩展处理器可以将代理模型的吞吐量提高近 3 倍，超过主流的 32 核第三代英特尔® 至强® 可扩展处理器，同时将时延严格保持在 15 毫秒以下。这一表现已经媲美阿里巴巴采用的高端 GPU 方案，同时在成本、灵活性方面有更强优势。阿里巴巴的这一方案已经投入生产实践，经历了双十一购物节等峰值负载压力的考验。