Selon certains médias , Huawei lancera un modèle multimodal à grande échelle de 100 milliards de dollars appelé "Pangu Chat" qui cible directement ChatGPT .
Selon certaines informations, le modèle Pangu a été approuvé avec succès dans Huawei Cloud en novembre 2020. Ce "Pangu Chat" devrait être publié et testé en interne lors de la Huawei Cloud Developer Conference (HDC.Cloud 2023) qui se tiendra le 7 juillet de cette année. Le produit est principalement destiné aux clients gouvernementaux et d'entreprises To B/G.
Selon un article publié par Huawei, les paramètres du grand modèle Pangu-Σ de Huawei s'élèvent au maximum à 1 085 billions de dollars, et sont développés sur la base du cadre MindSpore développé par Huawei. Dans l'ensemble, le grand modèle PanGu-Σ peut être proche du niveau de GPT-3.5 en termes de dialogue.
IT Home s'est enquis des informations publiques et a appris que le modèle Huawei Pangu a été officiellement lancé en avril 2021, puis mis à niveau vers la version 2.0 en avril 2022. À l'heure actuelle, le grand modèle PNL, le grand modèle CV et le grand modèle de calcul scientifique (grand modèle météorologique) dans le grand modèle IA ont été marqués comme étant mis en ligne.
Selon les rapports, il s'agit du premier grand modèle chinois de pré-entraînement avec 100 milliards de paramètres, et le grand modèle CV a atteint pour la première fois 3 milliards de paramètres. Grand modèle CV Pangu Le plus grand modèle CV de l'industrie, il est le premier à atteindre à la fois des capacités de discrimination et de génération, et c'est le premier de l'industrie en termes de capacité d'apprentissage de petits échantillons sur ImageNet ; le grand modèle météorologique Pangu fournit des conditions météorologiques de deuxième niveau. prévisions ; Zidong Taichu est le premier grand modèle trimodal de carte, de texte et d'audio au monde.
Pour le positionnement du grand modèle Pangu, l'équipe interne de Huawei a établi trois principes de conception fondamentaux : premièrement, le modèle doit être suffisamment grand pour absorber des quantités massives de données ; La capacité de généralisation peut véritablement être appliquée aux scénarios de travail dans tous les domaines de la vie. .
Selon les informations PPT des discours des dirigeants de Huawei Cloud, à l'heure actuelle, la couche de base du « grand modèle AI de la série Pangu » de Huawei comprend principalement le grand modèle NLP, le grand modèle CV et le grand modèle de calcul scientifique, etc., et la couche supérieure est le grand modèle industriel de Huawei développé avec des partenaires.
Le site officiel de Huawei Cloud montre que le grand modèle Pangu est composé de plusieurs grands modèles tels que le grand modèle PNL, le grand modèle CV, le grand modèle multimodal et le grand modèle de calcul scientifique. L'échelle de l'IA, les problèmes d'industrialisation, peuvent prendre en charge une variété de tâches de traitement du langage, y compris la génération de texte, la classification de texte, le système de questions-réponses, etc.
Plus précisément, le grand modèle Pangu NLP utilise pour la première fois l'architecture Encodeur-Décodeur, en tenant compte des capacités de compréhension et de génération du grand modèle NLP, garantissant la flexibilité d'intégration du modèle dans différents systèmes. Dans les applications en aval, seul un petit nombre d'échantillons et de paramètres apprenables sont nécessaires pour achever le réglage rapide et l'adaptation en aval d'un modèle à grande échelle de 100 milliards. Ce modèle a de bonnes performances en matière d'opinion publique intelligente et de marketing intelligent.
Le grand modèle Pangu CV est le plus grand modèle CV de l'industrie qui réalise pour la première fois l'extraction de modèles à la demande. Pour la première fois, il réalise à la fois des capacités de discrimination et de génération. En fonction des exigences de taille du modèle et de vitesse de fonctionnement, il extrait les modèles de manière adaptative. à différentes échelles, et le développement d’applications d’IA est rapidement mis en œuvre. Grâce à des algorithmes d'alignement sémantique hiérarchique et d'ajustement sémantique, une meilleure séparabilité des caractéristiques superficielles a été obtenue et la capacité d'apprentissage sur petits échantillons a été considérablement améliorée, se classant au premier rang de l'industrie.Bonnes performances en logistique.
Le grand modèle météorologique Pangu fournit des prévisions météorologiques de deuxième niveau. Grâce à la structure de réseau innovante 3DEST et à l'algorithme d'agrégation temporelle en couches, la précision des éléments clés des prévisions météorologiques et des plages horaires communes dépasse les méthodes de prévision les plus avancées actuelles, et la la vitesse est plus rapide que les méthodes traditionnelles.Plus de 1000 fois. Dans le même temps, le grand modèle météorologique de Pangu prend en charge un large éventail de systèmes de prévision en aval. Par exemple, dans la tâche de prévision de la trajectoire des typhons, par rapport à la méthode de prévision météorologique numérique traditionnelle, le grand modèle météorologique de Pangu peut réduire davantage l'erreur de position. que 20 %.
Les informations précédemment divulguées par Zheshang Securities montrent que Huawei a utilisé plus de 2 000 puces Shengteng 910 lors de la formation du grand modèle Pangu avec 100 milliards de paramètres et a réalisé des capacités de formation de données pendant plus de 2 mois. Selon les données internes de Huawei, plus de 4 000 cartes GPU/TPU sont nécessaires chaque année pour la formation de modèles à grande échelle, et le coût en puissance de calcul des modèles à grande échelle sur trois ans s'élève à 960 millions de yuans.
Soochow Securities a souligné dans le rapport de recherche sur la chaîne industrielle du modèle à grande échelle Pangu de Huawei que l'avantage du modèle à grande échelle Pangu de Huawei réside dans sa réserve de talents et sa puissance de calcul contrôlable indépendante. , y compris Tuowei Information, Sichuan Changhong, Kylin Software (Chine Software), Tongxin Software (ArcherMind Technology), Kylin Principal et d'autres sociétés écologiques Huawei. Guosheng Securities estime que Huawei Pangu est le premier modèle multimodal à grande échelle de 100 milliards, qui devrait responsabiliser toutes les industries.
