DLite V2:轻量级、开放式、易于定制的LLM

介绍

AI Squared 致力于使人工智能民主化,使其可供所有人使用。然而,有两个关键力量反对人工智能的民主化——高性能模型倾向于拥有大量参数,这使得它们的大规模训练、调整和部署成本极其昂贵——以及非许可性许可阻止了许多开源模型用于商业目的。

在这里插入图片描述
从较小的模型中获得高性能将大大降低使用大型语言模型构建的启动和运营成本。

为了解决当前情况的规模/成本问题,我们于 2023 年 4 月发布了DLite V1 系列模型,它们是轻量级 LLM,参数范围从 1.24 亿个参数到 15 亿个参数,表现出类似 ChatGPT 的交互性。这些模型体积小,意味着它们可以在几乎任何设备上运行,包括笔记本电脑 CPU,而不仅限于部署在专门的、昂贵的云资源上。然而,此时我们正在使用 Alpaca 数据集来调整模型,这阻止了任何 DLite v1 系列用于商业目的。

此后,我们用 DLite V2 更新了 DLite 系列,该系列还有四种不同的模型,参数范围从 1.24 亿到 15 亿个参数不等。此次更新的亮点是我们使用了Databricks 发布的“databricks-dolly-15k”数据集。我们还将这个数据集上传到我们的 HuggingFace 页面,以便任何人都可以轻松使用它。由于该训练数据集也已获得商业用途许可,因此我们也很高兴地宣布 DLite V2 系列中的所有模型也可用于商业目的,使组织能够在这些模型的基础上进行构建,而不受任何许可限制。

猜你喜欢

转载自blog.csdn.net/iCloudEnd/article/details/132709816