当AI 遇上开源,开启全民超能 | 微软DeepSpeed-Chat

ebda9474ff63cff34971b9d94da58ddb.png

DeepSpeed 团队推出了 DeepSpeed-Chat,这是一个免费的开源解决方案和框架,专为使用 RLHF 训练高质量 ChatGPT 风格模型而设计。它简单(一键操作)、快速且成本极低,适用于各种客户,包括学校科研、初创公司和大规模云训练。相较于 SoTA,它的速度提升了15倍,可以在单个 GPU 上训练 10B+ 的模型大小,以及在多 GPU 系统上训练 100B+ 的模型大小。

作为一款基于 PyTorch 的稳定且高效的大规模深度学习加速系统,DeepSpeed 是业界最早和最优秀的深度学习开源框架之一。近期,许多知名的中小型 ChatGPT 风格的模型发布的后台加速平台都采用了 DeepSpeed,包括Databricks-Dolly、Huggingface-PEFT、LMFlow 等。

更多精彩内容,DeepSpeed 团队授权开源社首发于中文社区,将于北京时间 4 月 13 日早 9 点重磅发布,敬请期待!

709bdbe0277b0e7649dc49e2a216cf46.jpeg

猜你喜欢

转载自blog.csdn.net/kaiyuanshe/article/details/130120383