LLM Economics: ChatGPT vs. Open Source, Wie viel kostet die Bereitstellung eines LLM wie ChatGPT? Ist die Bereitstellung von Open-Source-LLM günstiger? Was sind die Kompromisse?

Fügen Sie hier eine Bildbeschreibung ein
Bei einer geringeren Nutzung im Bereich von 1000 Anfragen pro Tag ist ChatGPT günstiger als die Verwendung von Open-Source-LLM, das auf AWS bereitgestellt wird. Bei Millionen von Anfragen pro Tag ist das in AWS bereitgestellte Open-Source-Modell kostengünstiger. (Stand: 24. April 2023.)

Große Sprachmodelle erobern die Welt im Sturm. Transformer wurde 2017 eingeführt, gefolgt von bahnbrechenden Modellen wie BERT, GPT und BART – Hunderte Millionen Parameter; fähig für mehrsprachige Aufgaben wie Stimmungsanalyse, Beantwortung von Fragen, Klassifizierung und mehr.

Vor einigen Jahren dokumentierten Forscher von OpenAI und Google mehrere Arbeiten, die zeigten, dass große Sprachmodelle mit über Milliarden Parametern allmählich die Fähigkeit zeigten, komplexe Aspekte der Sprache zu verstehen und fast so gut zu reagieren wie Menschen.

Das GPT-3-Papier demonstriert beeindruckende Lernfähigkeiten großer Sprachmodelle
Das GPT-3-Papier zeigt, dass Modelle mit über 1-100 Milliarden Parametern mit nur wenigen Dutzend Hinweisen beeindruckende Lernfähigkeiten zeigen können.

Allerdings sind diese LL.M.-Studiengänge sehr ressourcenintensiv und in großem Maßstab wirtschaftlich schwierig umzusetzen. Das heißt, bis zur jüngsten Einführung von ChatGPT. Kurz nach der Veröffentlichung der ChatGPT-Schnittstelle machte OpenAI die ChatGPT-API zugänglich, damit Entwickler ChatGPT in ihren Anwendungen verwenden können. Mal sehen, wie viel diese Projekte im großen Maßstab kosten und wirtschaftlich machbar sind.

Kosten für die ChatGPT-API

Der Preis für die ChatGPT-API wird pro Nutzung berechnet. Die Kosten betragen 0,002 $/1.000 Token. Jeder Token besteht aus etwa 3/4 eines Wortes – und einem einzelnen

Supongo que te gusta

Origin blog.csdn.net/iCloudEnd/article/details/132123245
Recomendado
Clasificación