Baidu Shen Dou : mise à niveau de « l'intégration de l'intelligence cloud » pour créer une « super usine » pour les services à grande échelle

⭐Avant-propos

Le 17 octobre, Baidu World 2023 s'est tenu au parc Shougang de Pékin. Baidu Intelligent Cloud a annoncé lors de la conférence qu'il avait entièrement mis à niveau sa stratégie « cloud-intelligence-in-one » et fourni des solutions de services complètes pour cinq types de besoins des clients pour la mise en œuvre de modèles à grande échelle ; pour le développement d'applications natives d'IA, il a publié le « Workbench de développement d'applications natives Qianfan AI », accélérant la mise en œuvre d'applications natives d'IA d'entreprise ; lançant le premier magasin d'applications natives d'IA national et le premier système de support écologique national à liaison complète à grand modèle pour permettre la croissance commerciale des partenaires et conjointement construire et partager un écosystème industriel prospère à grande échelle.
Lors de cette conférence, Shen Dou, vice-président exécutif du groupe Baidu et président du Baidu Intelligent Cloud Business Group, a déclaré que l'intégration profonde de l'intelligence artificielle et du cloud computing est la clé permettant aux entreprises de mettre en œuvre rapidement des applications d'IA natives. Intelligent Cloud a toujours préconisé et pratiqué le concept de « cloud et intelligence intégrés ».

⭐Cinq types d'exigences pour la mise en œuvre de modèles à grande échelle orientés client

Actuellement, toutes les applications et services du groupe Baidu fonctionnent sur Baidu Smart Cloud, basé sur l'architecture technologique « cloud-intelligence-in-one ». De plus, en réponse aux cinq types de besoins des clients en matière de mise en œuvre de grands modèles, la « Super usine de grands modèles » de Baidu Intelligent Cloud, basée sur la plate-forme de grands modèles Qianfan, fournit les cinq meilleures solutions de service suivantes.

1. Pour les clients qui ont uniquement besoin de puissance de calcul , la plate-forme Qianfan peut fournir des services informatiques hétérogènes extrêmement efficaces et rentables. Dans le processus de formation de grands modèles qui préoccupe le plus les clients, grâce à des stratégies de formation parallèles distribuées et des capacités d'interconnexion au niveau de la microseconde, la plate-forme Qianfan peut réaliser efficacement une expansion à grande échelle de la puissance de calcul.Le taux d'accélération de la formation en cluster à l'échelle de Wanka atteint 95. % ; grâce à une prévention préalable, découvrir, localiser et résoudre les problèmes en temps opportun pour minimiser le fonctionnement invalide du cluster en raison de pannes et d'autres raisons, et augmenter la proportion de temps de formation effectif. Le temps de formation effectif du cluster Wanka dépasse 96 %, libérant pleinement la puissance de calcul effective du cluster, et réduisant considérablement la puissance de calcul et les coûts de temps des clients. En outre, la plate-forme Qianfan est également compatible avec les puces d'IA grand public nationales et étrangères telles que Kunlun Core, Ascend, Haiguang DCU, NVIDIA et Intel, permettant aux clients de compléter l'adaptation de la puissance de calcul avec des coûts de commutation minimes.
   Face Wall Intelligence s'est associé à Zhihu pour former le grand modèle "Zhihaitu AI" et le grand modèle multimodal Luca sur la base du cluster de puissance de calcul IA fourni par Baidu Intelligent Cloud. Le temps d'entraînement effectif sur le cluster de kilocalories représentait comme élevé jusqu'à 99%.Tout en assurant la continuité de la formation sur modèle, une convergence efficace des effets de formation sur modèle peut être obtenue. En outre, Zhihu, TAL, Horizon, NetEase Youdao et d'autres sociétés utilisent également les services informatiques d'IA fournis par Baidu Smart Cloud pour réaliser une formation et une gestion de cluster à grande échelle de manière plus stable, efficace et économique.
2. Au niveau du modèle, pour les clients qui souhaitent appeler directement les grands modèles existants , la plate-forme Qianfan gère 42 grands modèles nationaux et étrangers. Les clients d'entreprise peuvent rapidement appeler les API de divers grands modèles, y compris les grands modèles Wenxin, et obtenir des capacités de grands modèles. . Pour les grands modèles tiers, la plate-forme Qianfan a également procédé à des optimisations ciblées telles que l'amélioration du chinois, l'amélioration des performances et l'amélioration du contexte. Par exemple, de grands modèles étrangers tels que Llama2, qui étaient à l'origine meilleurs dans les dialogues en anglais, ont obtenu de bons résultats en chinois après l'amélioration du chinois. À l'heure actuelle, la plate-forme Qianfan compte plus de 17 000 clients et le nombre d'appels de grands modèles continue d'augmenter au rythme de 20 % semaine après semaine.
3. Pour les clients qui souhaitent effectuer un développement secondaire basé sur de grands modèles existants , la plate-forme Qianfan fournit une chaîne d'outils de cycle de vie complet et les 41 plus grands ensembles de données industrielles de haute qualité du secteur pour le recyclage, le réglage fin, l'évaluation et le déploiement de grands modèles pour aider Les clients peuvent rapidement optimiser les effets du modèle pour leurs propres scénarios commerciaux. À l'heure actuelle, de nombreux clients leaders du secteur, notamment la Banque d'épargne postale de Chine, Du Xiaoman, Kingsoft Office et Hebei Hi-Speed ​​​​Group, ont développé de grands modèles exclusifs qui répondent aux besoins des entreprises grâce aux services de chaîne d'outils fournis par le Plateforme Qianfan.
4. Au niveau des applications, certaines entreprises ont besoin de développer des applications natives d'IA basées sur des services de grands modèles.La série de composants et de cadres de capacités fournis sur la plate-forme Qianfan peut aider les entreprises à terminer rapidement le développement d'applications et à répondre de manière flexible aux besoins des utilisateurs et du marché.
5. Un autre groupe de clients espère acheter directement et facilement des produits d’applications natives d’IA matures pour favoriser le développement commercial.

⭐ « Qianfan AI Native Application Development Workbench » accélère la mise en œuvre des applications natives d'IA d'entreprise

Afin de répondre aux besoins des entreprises en matière de développement, d'exploitation et de maintenance d'applications natives d'IA agiles et efficaces, et d'abaisser le seuil de développement d'applications natives d'IA, Baidu Smart Cloud a lancé le « Qianfan AI Native Application Development Workbench » , qui développera modèles courants pour les applications de grands modèles, les outils et les processus sont intégrés dans un atelier pour aider les développeurs à se concentrer sur leur propre activité sans impliquer d'énergie inutile dans le processus de développement. Plus précisément, l'atelier de développement d'applications natives Qianfan AI se compose principalement de deux couches de services : les composants d'application et le cadre d'application.
Le service de composants d'application se compose de deux grandes catégories de composants : les composants d'IA et les composants cloud de base. Il s'agit d'une encapsulation composée de composants des capacités de service sous-jacentes, permettant à chaque composant de remplir une fonction spécifique. Les « composants d'IA » incluent non seulement de grands composants de modèle de langage tels que les questions et réponses, la chaîne de pensée (CoT, Chain of Thought), mais également des composants multimodaux tels que les diagrammes de Vincent et la reconnaissance vocale, tandis que les « composants cloud de base » incluent des éléments vectoriels. bases de données, stockage d'objets et autres fonctionnalités de services cloud traditionnelles.
Les capacités de nombreux composants ici ont été progressivement accumulées par Baidu au cours des 10 dernières années, ce qui nous permet de développer plus facilement des applications à grande échelle. Bien entendu, si nous utilisons directement ces composants, il existe encore certains seuils et nous devons disposer d’une certaine base. Par conséquent, Baidu connecte et combine ces composants afin qu'ils puissent accomplir de manière relativement complète la tâche d'un scénario spécifique. C'est le cadre d'application .

⭐Frameworks d'applications natives d'IA couramment utilisés

Actuellement, la génération améliorée de récupération (RAG) et l'agent (agent) fournis sur la plate-forme Qianfan sont des cadres d'applications natives d'IA couramment utilisés. Dans chaque framework, nous pouvons utiliser les riches salles d'échantillons fournies par Baidu Smart Cloud pour réaliser un développement d'applications natives d'IA agile et efficace. Examinons d'abord le cadre d'application RAG.

⭐Génération d'augmentation de récupération (RAG)

Le cadre Retrieval Augmented Generation (RAG) peut utiliser plus efficacement les connaissances dans les domaines exclusifs d'une entreprise et fournir des réponses précises aux questions pertinentes à l'aide de grands modèles. Il est indispensable pour les applications natives d'IA dans le domaine des questions et réponses sur les connaissances professionnelles. Préparer les compétences de base.
Nous savons tous que dans la réalité des affaires, les utilisateurs posent souvent des questions très professionnelles ou très ciblées, et les réponses ne se trouvent pas sur Internet, mais dans les propres documents de l'entreprise. Dans ce cas, le modèle général de grand langage ne peut pas donner de réponse exacte. Il s'agit d'un scénario d'application typique de RAG, qui permet à de grands modèles d'apprendre et de comprendre ces connaissances professionnelles spécifiques et de renvoyer des réponses précises aux utilisateurs.
Sur le site de la conférence, une démonstration pratique a également été réalisée sur la façon de développer rapidement une application de questions et réponses de connaissances pour Sany Heavy Industry basée sur le framework RAG : il suffit de sélectionner le framework RAG préfabriqué dans l'atelier d'application natif Qianfan AI et d'effectuer la configuration des paramètres correspondants. et d'autres travaux Réalisez rapidement le développement et le lancement de l'application de service client intelligent sur le site officiel de Sany Heavy Industry.

La vidéo présente d'abord le scénario d'application de la démonstration, puis met en œuvre le développement d'un service client intelligent sur le site officiel de Sany Heavy Industry en quelques minutes seulement, et démontre enfin l'effet sur le site officiel.

Jetons d'abord un coup d'œil au scénario d'application de la démonstration. Il s'agit du site officiel de Sany Heavy Industry. Vous pouvez voir que Sany Heavy Industry produit une variété de machines et d'équipements de construction, y compris des excavatrices. Lorsqu'un utilisateur accède à la page d'accueil, il souhaite consulter sur ces équipements.Lorsque vous avez des questions sur les paramètres de performance, le fonctionnement et la maintenance, etc., vous devez trouver un membre du personnel qui maîtrise très bien ces équipements afin de bien servir l'utilisateur. Cependant, les documents de Sany Heavy Industry couvrent beaucoup de contenu. Par exemple, il s'agit du manuel d'exploitation et d'entretien d'une excavatrice appelée SY305H. Un document compte 48 pages et plus de 20 000 mots. Il comprend de nombreux paramètres et détails. Si vous Il est encore très difficile pour les salariés d'appréhender avec souplesse ces contenus et de répondre aux questions des utilisateurs. Le cadre d'application basé sur RAG de Baidu peut créer un grand modèle en quelques minutes, ce qui permet de le maîtriser rapidement et de répondre aux questions des utilisateurs.
La façon de mettre en œuvre cette fonction est en réalité très simple et ne nécessite que trois étapes. Tout d'abord, nous entrons dans la console de la plate-forme Qianfan, construisons une base de connaissances et entrons un nom. Après avoir obtenu la base de connaissances, nous chargeons le document du manuel d'exploitation et de maintenance du SY305H.

Entrez ensuite dans l'application de développement et cliquez sur Plug-in Orchestration. Dans la configuration, nous devons associer la base de connaissances que nous venons de créer. Cliquez maintenant sur OK pour vous connecter une fois l'association terminée.

Désormais, cet inventaire des connaissances peut être servi en ligne. Le code est généré automatiquement ici. Nous pouvons le copier et le coller dans le script sur la page d'accueil du site officiel de Sany Heavy Industry. Retournez à la page d'accueil et actualisez-le. Une petite icône de Sany les produits apparaîtront dans le coin inférieur droit. Assistant, vous pouvez maintenant lui poser des questions spécifiques sur cette pelle.

Nous pouvons voir que la réponse de l'assistant est très concise, ce qui doit être utilisé et ce qui ne doit pas être utilisé, sinon quel genre de problèmes cela va-t-il causer. Nous avons découvert le contenu de cet aspect dans le document et l'avons comparé avec les réponses de l'assistant. Nous avons constaté que l'assistant est non seulement concis, mais aussi très logique. C'est précisément parce que ce grand modèle a des capacités de compréhension et de génération du langage si puissantes, donc pour le moment, nous lui posons simplement quelques autres questions et vous pouvez toujours trier le contenu.
Un article de 20 000 mots et 48 pages de contenu peuvent se transformer en assistant en ligne en quelques minutes seulement, c'est tout le charme des grands modèles.

⭐Agent

Agent (Agent), en tant que cadre d'application populaire dans l'industrie actuelle, peut automatiquement désassembler les tâches confiées par les humains, planifier et appeler automatiquement divers composants pour accomplir des tâches en collaboration, et en même temps recevoir des commentaires basés sur les résultats de l'achèvement des tâches pour améliorer ses propres capacités. À l'heure actuelle, le framework Agent est largement utilisé dans l'industrie, les transports et d'autres domaines.
Basé sur le cadre d'agent fourni par l'atelier de développement d'applications natives Qianfan AI, Zhongtian Steel a créé un « centre de planification d'entreprise » intelligent pour réaliser la perception, la décomposition et l'exécution automatiques des instructions de tâche. Par exemple, lorsqu'on découvre que la production d'acier n'est pas conforme aux normes, l'utilisateur n'a besoin de demander qu'une seule fois, et le grand modèle peut automatiquement appeler diverses ressources et API gérées par la plateforme pour terminer la récupération des données BI, cause première tierce. analyse, etc., trouver les raisons pour lesquelles la norme n'est pas respectée et apporter des ajustements en temps opportun aux calendriers de production.

⭐Résumé

L'ère des grands modèles est là, et elle est mouvementée. Certains rivalisent pour suivre la marée, tandis que d'autres sont occupés à chasser les vagues. Baidu s'engage à construire un navire solide, en utilisant une infrastructure intellectuelle plus efficace, une infrastructure mieux utilisée. -arrêter l'éclosion des grandes plates-formes de modèles, des solutions industrielles plus riches et des applications natives d'IA.
Grâce au cas démontré de Sany Heavy Industry et à la compréhension du processus d'accès à la plateforme Qianfan, en fait, il suffit de quelques étapes pour développer rapidement une application. Pour les entreprises, cela signifie réduire les coûts et augmenter l'efficacité ; pour les techniciens, Qianfan est génial Le riche ensemble d'outils de la plate-forme modèle offre la possibilité d'un développement rapide, et nous pouvons également concentrer notre temps et notre énergie sur des choses plus créatives.