LLM 经济学:ChatGPT 与开源, 部署像 ChatGPT 这样的 LLM 需要多少钱?开源LLM的部署成本是否更便宜?有哪些权衡?

在这里插入图片描述
对于每天 1000 个请求范围内的较低使用量,ChatGPT 比使用部署到 AWS 的开源 LLM 更便宜。对于每天数百万个请求,部署在 AWS 中的开源模型的成本更低。(截至 2023 年 4 月 24 日撰写本文。)

大型语言模型正在席卷全球。Transformer 于 2017 年推出,随后出现了 BERT、GPT 和 BART 等突破性模型——数百个数百万个参数;能够执行多种语言任务,如情感分析、问答、分类等。

几年前,OpenAI 和谷歌的研究人员记录了多篇论文,表明具有超过数十亿个参数的大型语言模型开始显示出新兴的能力,它们似乎理解语言的复杂方面,并且它们的反应几乎与人类相似。

GPT-3 论文展示了大型语言模型令人印象深刻的学习能力
GPT-3 论文表明,参数超过 10-1000 亿的模型只需几十条提示即可显示出令人印象深刻的学习能力。

然而,这些法学硕士的资源非常密集,大规模部署在经济上具有挑战性。也就是说,直到最近 ChatGPT 的到来。ChatGPT 接口发布后不久,OpenAI 就使 ChatGPT API 变得可访问,以便开发人员可以在其应用程序中使用 ChatGPT。让我们看看这些项目的规模成本是多少以及经济可行性。

ChatGPT API 成本

ChatGPT API 按使用情况定价。其成本为 0.002 美元/1K 代币。每个令牌大约是一个单词的 3/4 — 并且单

猜你喜欢

转载自blog.csdn.net/iCloudEnd/article/details/132123245