Le 25 juin 2023, Jina AI a publié JinaChat, une API de grand modèle multimodale pour les développeurs et les utilisateurs finaux. Les modèles de langage traditionnels à grande échelle fondent souvent leur compétitivité sur la base de « nombreux paramètres » et de « scores forts ». Cependant, pour les développeurs d'applications, les API des éditeurs de modèles traditionnels ne permettent pas aux développeurs de mettre en œuvre des solutions à faible coût. En conséquence, le paradoxe de l'ère AIGC est apparu: tout le monde est développeur, mais en conséquence, les développeurs ne gagnent pas un sou et les fournisseurs de services d'API modèles gagnent beaucoup d'argent. Alors aujourd'hui, voyons comment JinaChat a cassé le jeu.
Les pièges des maquettes traditionnelles : le cycle de Sisyphe
Lors de l'utilisation d'un grand modèle dans un environnement de production réel, nous utilisons généralement de longues invites, des invites à quelques prises de vue, une chaîne de pensées ou AutoGPT pour effectuer des tâches complexes. Cependant, ces fonctionnalités nécessitent d'introduire un grand nombre de fenêtres contextuelles, ce qui est limité par le mécanisme coûteux de facturation par jeton. Le premier obstacle auquel nous sommes confrontés est son coût élevé.
Utiliser ChatGPT pour poser une seule question (zero-shot) coûte généralement entre 100 et 200 jetons. En particulier dans les scénarios de dialogue continu tels que les chatbots et le service client, afin de maintenir la mémoire de contexte, les grandes API de modèle traditionnelles exigent que les développeurs envoient des messages historiques supplémentaires à chaque fois jusqu'à ce que la fenêtre de contexte soit remplie. Pour les développeurs, la majeure partie du coût symbolique est payée pour les nouvelles historiques.
Une invite de quelques coups est une stratégie avancée de mots d'invite couramment utilisée dans les grands modèles. Elle consiste en {description de la tâche, [plusieurs échantillons d'apprentissage,...], échantillons de test} pour inciter le grand modèle à donner une meilleure réponse. Parmi eux, les deux parties "description de la tâche" et "échantillons de formation multiples" sont essentiellement des coûts fixes.Lorsque vous utilisez de petits exemples de mots d'invite, la vraie variable réside dans les échantillons de test. Cependant, les API traditionnelles de grands modèles exigent que les développeurs envoient des invites complètes contenant des échantillons de formation chaque fois qu'ils construisent une décision de petit échantillon pour "activer" la capacité d'apprentissage contextuel du modèle. C'est-à-dire que 90 % du coût de chaque décision est gaspillé sur des invites répétitives, et moins de 10 % du coût réel est réellement dépensé à la pointe de la technologie.
Vient ensuite l'AutoGPT plus cher. Quelqu'un a dit un jour que derrière l'explosion d'AutoGPT, OpenAI comptait de l'argent. En effet, chaque tâche dans AutoGPT doit être complétée par la chaîne de pensées : afin de fournir le meilleur raisonnement, chaque étape du raisonnement introduira la chaîne de pensées précédente, qui consommera plus de jetons. Peu après la sortie d'AutGPT, nous ont calculé en détail que le coût d'une tâche simple utilisant AutoGPT est aussi élevé que 102 yuans.
Xiao Han, compte officiel : Jina AI Dr. Xiao Han, fondateur de Jina AI : Dévoilement de la cruelle vérité derrière l'agitation d'Auto-GPT
Les mots d'invite à petit échantillon et AutoGPT qui semblent mener l'avenir semblent hors de portée pour la plupart des utilisateurs et des organisations du point de vue des coûts.
Bonne nouvelle pour les développeurs : JinaChat à faible coût et longue mémoire
"Combien coûte le jeton de l'autre partie ?"
"10 centimes"
"Combien coûte notre jeton ?"
"5 cents" "Réduisez-le à zéro, puis devenez multimodal au début !"
La conversation ci-dessus peut provenir des publicités de jeux que vous voyez souvent récemment. C'est aussi l'une des forces motrices de notre JinaChat : un grand modèle d'API optimisé pour les longues invites, permettant aux développeurs de garder leur portefeuille.
Avantage de coût par rapport aux grands modèles similaires
L'API grand modèle traditionnelle ne peut pas enregistrer et retracer l'historique des conversations, mais JinaChat permet aux développeurs d'appeler l'historique des conversations précédentes via le chatId, faisant passer l'API grand modèle de sans état à avec état, conservant ainsi la mémoire des longues invites. Plus important encore, les développeurs n'ont qu'à payer des coûts supplémentaires à chaque fois, sans avoir à payer à plusieurs reprises pour la mémoire, ce qui réduit considérablement le coût d'utilisation du développeur.
Par exemple, si vous concevez un agent complexe, vous devez prendre des décisions en fonction des informations de dialogue historiques. Avec l'API de grand modèle traditionnelle, vous devez envoyer tout le contenu, y compris l'agent, le CoT, la mémoire, etc. à chaque fois, ce qui équivaut à grimper du bas de la montagne à chaque fois.
Avec JinaChat, vous n'avez qu'à envoyer des informations incrémentielles, et la conversation précédente sera mémorisée par le modèle. Il vous suffit de spécifier le chatId, tout comme le chargement d'un fichier de jeu, et de continuer à grimper à partir de la hauteur existante sans paiement répété.
Vous pouvez même continuer l'historique de chat de l'interface graphique dans l'API.
En plus d'utiliser chatId pour réaliser la "lecture de fichiers", le prix de la demande unique de JinaChat est également assez bon marché. En prenant l'exemple de l'abonnement standard, les messages courts de moins de 300 jetons sont entièrement gratuits, ce qui répond aux besoins de communication quotidiens les plus simples. Quant à plus de 300 jetons, quelle que soit la durée du message, le prix est de 0,56 yuan. Si les développeurs peuvent combiner efficacement chatId, utiliser de longues invites pour créer des informations historiques et des échantillons de formation pour la première fois, et n'envoyer que des invites incrémentielles plus tard, réduisant ainsi le coût à 300 jetons, ce qui réduit considérablement le coût de développement d'applications LLM complexes.
Allez au-delà du texte et dirigez une nouvelle ère d'interaction multimodale
"Démarrer le jeu pour envoyer des vêtements divins" Dans la version 0.1 de JinaChat publiée le 26 juin, les utilisateurs peuvent non seulement interagir avec JinaChat dans une interface de type ChatGPT via une interaction textuelle, mais également réaliser une discussion en images en téléchargeant des images. JinaChat prend en charge l'interaction d'image en tant que fonctionnalité importante. Il peut appeler SceneXplain pour réaliser l'analyse d'images et la compréhension du contenu.
Par exemple, lorsque vous envoyez une photo de voyage, JinaChat peut utiliser la technologie de reconnaissance d'image pour déterminer l'emplacement sur la photo et fournir des informations pertinentes, telles que des recommandations d'attractions touristiques, des plats locaux, etc., pour vous aider à mieux planifier votre voyage.
Combiné à la capacité de mémoire continue de JinaChat, vous constaterez que le rapport prix/performance de JinaChat est le plus compétitif du marché pour les requêtes complexes avec de longues conversations et de multiples cycles d'interactions. D'autres solutions sont incomparables, et on peut dire qu'"après avoir passé ce village, il n'y aura plus un tel magasin".
Pour un autre exemple, si vous envoyez une photo d'une voiture, JinaChat peut identifier la catégorie de la voiture et donner des informations telles que la marque, le modèle et les points forts de la voiture. L'interaction d'image en profondeur peut apporter une nouvelle expérience.
Cette interaction multimodale fournit non seulement une expérience utilisateur et développeur plus riche, mais ouvre également de vastes possibilités pour les applications inter-domaines.
À un niveau plus profond, grâce à JinaChat, les capacités des grands modèles de langage peuvent être véritablement appliquées. Sur la base des puissantes capacités de JinaChat, les développeurs peuvent facilement créer des applications LLM complexes avec des structures de dialogue à plusieurs niveaux et une prise en charge de l'entrée multimodale.
Intégration transparente de l'API, élargit les horizons des développeurs
L'API de JinaChat est entièrement compatible avec l'API de chat d'OpenAI De plus, des fonctions telles que l'interaction d'images et la récupération de dialogue ont été ajoutées pour le rendre encore meilleur en termes d'interactivité. Les développeurs peuvent facilement le remplacer par l'API JinaChat pour obtenir une expérience utilisateur plus riche et plus diversifiée et répondre aux besoins de différents scénarios d'application.
import os
import openai
openai.api_type = "openai"
openai.api_base = "https://api.chat.jina.ai/v1"
openai.api_version = None
openai.api_key = os.getenv("JINA_CHAT_API_KEY")
response = openai.ChatCompletion.create(
messages=[{'role': 'user', 'content': 'Tell me a joke'}],
)
print(response)
Il s'agit de JinaChat, un service de modèle de langage à grande échelle , moins coûteux et plus modal, qui profite aux développeurs.
Que vous ayez besoin d'un assistant conversationnel IA ou que vous développiez des applications LLM complexes, JinaChat peut vous fournir une expérience puissante et abordable .
Si vous souhaitez également que votre application soit plus interactive et intelligente, alors JinaChat sera votre premier choix. À l'avenir, JinaChat continuera de se mettre à niveau, d'améliorer l'expérience utilisateur avec un dialogue intelligent et de diversifier nos méthodes de communication.
Entrez JCFIRSTCN maintenant et profitez immédiatement du premier mois d'essai gratuit !
Cliquez sur chat.jina.ai, rejoignez-nous maintenant et explorez plus de possibilités ! Les utilisateurs nationaux seront redirigés vers le nom de domaine chat.jinaai.cn pour s'adapter à l'environnement du réseau national lors de leur première visite. De plus, les utilisateurs de téléphones mobiles iOS doivent utiliser Safari ou ouvrir le lien sur l'ordinateur.
