Récemment, la conférence Huawei sur la connectivité complète 2023 s'est tenue à Shanghai. Lors de la conférence, Zhang Yuxin, CTO de Huawei Cloud, a publié un cadre de développement d'applications à grande échelle basé sur la technologie sans serveur. Le cadre prend comme noyau le FunctionGraph 3.0 récemment mis à niveau pour le domaine de l'IA et intègre rapidement et de manière transparente le BaaS pour le backend et l'open de l'IA. plate-forme pour aider les entreprises à commercialiser facilement ses applications d'IA.
Dans le discours spécial « Global Serverless + AI Accelerates Application Innovation », Guo Wei, directeur des produits Cloud de Huawei, et Tan Kun, directeur du laboratoire de logiciels distribués et parallèles de Huawei 2012, ont partagé des concepts et des pratiques de pointe sur la façon de combiner le sans serveur et l'IA. , analyse approfondie des principaux produits de Huawei Cloud dans le domaine du sans serveur et des capacités de base distribuées basées sur l'architecture Yuanrong, créant une excellente expérience d'IA sans serveur pour les développeurs et aidant les entreprises à accélérer l'innovation des applications ; expert commercial en chef/vice-président de Glodon Technology Co., Qi Changfu a expliqué comment, dans le secteur de la construction, les produits Huawei Cloud Serverless optimisent le développement d'applications d'IA basées sur FunctionGraph et améliorent l'efficacité du travail de l'équipe de développement.
Global Serverless apporte de nouvelles expériences pour une utilisation approfondie du cloud dans des milliers de secteurs
Fang Guowei a introduit que dans le contexte de l'ère de l'IA, les méthodes de développement de logiciels sont passées d'une approche centrée sur le code à une approche centrée sur le modèle. Comment utiliser pleinement les capacités des grands modèles d'IA est actuellement quelque chose que les fournisseurs de cloud explorent activement.
Lors de la création d'applications AIGC, le personnel de R&D de l'entreprise accorde davantage d'attention à la question de savoir si le seuil de développement et de déploiement peut être abaissé et si les besoins de l'entreprise peuvent être satisfaits plus rapidement. Le personnel d'exploitation et de maintenance doit garantir que le système peut fonctionner de manière stable, atteindre une élasticité rapide pendant les heures de pointe et réduire les coûts pendant les petites heures de travail. L'entreprise peut non seulement atteindre ses objectifs commerciaux, mais également garantir une fiabilité élevée du système et de faibles coûts.
Afin de mieux prendre en charge les applications AIGC, Huawei Cloud fournit des capacités sans serveur de domaine complet, a lancé des produits sans serveur tels que CCE Autopilot, FunctionGraph et CAE, et a intégré une série de technologies natives d'IA dans des services back-end pour former BaaS pour les capacités d'IA. qui peut être appelé devoir. Combiné à une chaîne d’outils complète, il aide les entreprises à créer rapidement des applications.
Les conteneurs sans serveur CCE Autopilot et CCI permettent aux utilisateurs d'exploiter et de maintenir automatiquement sans prêter attention aux ressources sous-jacentes, aidant ainsi les utilisateurs à réduire les coûts d'exploitation et de maintenance.
Dans le scénario Cloud Bursting, Qunar.com a créé une nouvelle expérience de migration vers le cloud flexible basée sur CCI, réalisé une transformation business zéro et atteint l'élasticité ultime de 4 000 instances/30 s.
Les huit fonctionnalités clés de FunctionGraph 3.0 aident l'innovation des applications AIGC
La nouvelle version FunctionGraph 3.0 ajoute un centre d'applications sans serveur, une accélération de démarrage à froid Snapshot originale, des fonctionnalités de recommandation intelligente d'instance réservée et coopère avec une technologie de virtualisation de ressources hétérogènes pour réaliser une application AIGC à faible coût, à faible latence et à une compression de liaison complète de bout en bout. Les capacités de test et d’observabilité full-stack aident les applications AIGC à être rapidement développées et lancées au plus haut niveau.
Hangzhou Manfu Technology Co., Ltd.est un fournisseur leader de services d'infrastructure d'IA et de plateforme d'intelligence de données. Il construit une plate-forme de formation d'IA automatisée basée sur FunctionGraph et réalise une réduction des coûts de 40 % grâce à une alimentation de calcul GPU plus fine et élasticité des ressources entièrement automatique à la demande.
Huawei Cloud Serverless Event Bus Service Event Grid peut prendre en charge quatre scénarios typiques : centre d'événements unifié, moteur piloté par les événements, ouverture et intégration, et coûts de développement réduits, offrant aux entreprises des capacités d'intégration, de gouvernance et de pilotage d'événements centralisées.
Dans le scénario de l'Internet des véhicules, un grand constructeur automobile utilise EventGrid pour créer une architecture événementielle sans serveur tout en réalisant un découplage asynchrone en amont et en aval pour faciliter l'expansion et éviter les points de défaillance uniques ; en tant que centre d'événements pour l'amarrage non codé, il évite les points- amarrage vers un point entre les services cloud. , réduisant la charge de travail de développement de 50 %, obtenant une fiabilité élevée des données avec zéro perte et zéro changement dans l'ajustement des règles de données. réduire les coûts.
Hébergement d'applications sans serveur Mise à niveau du produit CAE : prend en charge la modification sans code des applications à migrer vers le cloud, sans que les utilisateurs aient à modifier les codes commerciaux ; prend en charge la sans serveur des applications Web/microservices, aidant ainsi les entreprises à réduire les coûts, à accroître l'efficacité et à améliorer la stabilité de l'entreprise.
Guangzhou Xinhechuang Technology Co., Ltd., une filiale de Hong Kong New World, utilise le modèle d'hébergement complet CAE pour augmenter l'efficacité de 50 % ; elle définira également une expansion et une contraction programmées en fonction du flux de pointe de personnes dans le centre commercial pour économiser ressources et réduire les coûts.
BaaS pour l'IA : le service Huawei Cloud BaaS DWS 3.0 fournit le mode élastique Pay By Resource et le mode élastique Pay By Query pour aider les entreprises à obtenir des services back-end sans serveur.
"Huawei Cloud offre des fonctionnalités sans serveur de domaine complet, permettant aux développeurs de développer de grands modèles industriels 5 fois plus rapidement, prenant en charge le développement d'applications d'IA dans des milliers d'industries. Le FunctionGraph 3.0 récemment mis à niveau pour le domaine de l'IA permet véritablement aux applications de grands modèles d'être allumé et éteint et répond instantanément. Infiniment évolutif.
Les avancées sans serveur dans l’IA et les alliances puissantes accélèrent l’innovation des applications d’IA
Tan Kun a donné un partage technique approfondi sur la façon dont FunctionGraph 3.0, construit sur le noyau Yuanrong innovant et indépendant, garantit un faible coût pour le développement et le déploiement d'applications d'IA et une faible latence de réponse :
Le développement et le déploiement de modèles reposent sur des ressources hétérogènes coûteuses. Dans les fonctions hétérogènes traditionnelles, les ressources CPU et XPU sont liées et allouées. Une seule fonction d'inférence contient les opérations CPU et XPU. Le XPU est inactif lors du fonctionnement du CPU et le CPU est inactif lors du fonctionnement du XPU, ce qui entraîne une faible utilisation des ressources. La fonction hétérogène XPU pure originale de Yuanrong découple la liaison et le découplage des ressources CPU et XPU.Les utilisateurs peuvent écrire les opérations de différents types de ressources dans différentes fonctions, qui sont décomposées en différents processeurs de puissance de calcul pendant l'exécution, ne laissant aucune ressource inutilisée.
Dans les scénarios de raisonnement sur grand modèle, il comprend deux étapes : le raisonnement complet et le raisonnement incrémental. La puissance de calcul requise pour l’étape d’inférence complète est bien supérieure à celle de l’étape d’inférence incrémentielle, et l’étape d’inférence incrémentielle peut prendre beaucoup plus de temps que l’étape d’inférence complète. Pour ce type de scénario, Yuanrong peut découpler l'inférence complète et l'inférence incrémentielle, s'étendre et se contracter de manière élastique à la demande, fournir avec précision la puissance de calcul, facturer réellement en fonction de l'utilisation et réduire les coûts d'utilisation.
Une réactivité plus rapide des applications signifie une meilleure expérience utilisateur. Le modèle d'IA FoldFormer, innovant de manière indépendante, de Yuanrong peut prédire en permanence les charges professionnelles des utilisateurs en ligne et préchauffer les instances à l'avance, atteignant une précision de 85 % à 95 %, réduisant ainsi considérablement la probabilité de démarrage à froid. Le trafic qui ne peut pas être prévu avec précision est accéléré grâce à une série de mesures d'optimisation pour le démarrage à froid. Lors de la phase de téléchargement du modèle utilisateur, sur la base du système de données de mémoire intégré et du cache hiérarchique construit par SSD, les fichiers de modèle sont mis en cache dans le système, ce qui réduit considérablement le temps de téléchargement. Pendant le calcul, le modèle est chargé par lots par couche, et un pipeline optimal est construit sur la base des données d'historique de retard d'inférence de SLA de l'utilisateur et de modèle afin de réduire le retard total de chargement des paramètres et d'inférence de modèle, et le démarrage à froid est optimisé au deuxième niveau.
Tan Kun a finalement conclu : « Basé sur le noyau Yuanrong, FunctionGraph 3.0 permet un démarrage à froid extrêmement rapide de fonctions hétérogènes, une gestion fine des ressources hétérogènes et une mise à l'échelle élastique à la demande, créant ainsi une IA sans serveur avec un coût extrêmement faible et des performances ultimes ; en s'appuyant sur Huawei. Les riches services BaaS du cloud et un environnement de développement entièrement géré pour créer une excellente expérience d'IA sans serveur.
L'IA favorise la numérisation du secteur de la construction
Qi Changfu, expert commercial en chef et vice-président de Glodon Technology Co., Ltd., a prononcé un discours sur l'IA qui favorise la numérisation du secteur de la construction. « En tant que fournisseur de services de plateforme de construction numérique, Glodon s'appuie sur le secteur de la construction et fournit à ses clients des solutions numériques tout au long du cycle de vie des projets d'ingénierie. L'entreprise propose le concept de « construction numérique » et espère mettre en œuvre de manière systématique, complète et approfondie "Construction numérique" grâce à la "construction numérique". Aidez le secteur de la construction à se transformer et à se moderniser.
Qi Changfu a expliqué qu'en termes de technologie, Glodon mène la transformation et la mise à niveau industrielles grâce à une recherche et un développement vigoureux dans le BIM et le cloud computing, le big data, l'Internet des objets, l'Internet mobile, l'intelligence artificielle et d'autres technologies de l'information.
Dans le domaine de l'IA, Glodon crée des applications d'IA de base autour des difficultés de l'industrie et de domaines clés tels que la conception, le coût et la construction. La conception de l'application adopte le concept Serverless et s'appuie sur les services Huawei Cloud Serverless pour créer des solutions. Le modèle d'IA est déployé dans FunctionGraph de manière miroir et fournit une API commune au monde extérieur. Il n'est pas nécessaire de gérer et de maintenir des applications hétérogènes. ressources (GPU, etc.). Les instances de modèle sont automatiquement étendues en fonction du volume d'affaires. Réduire, l'instance passe à 0 lorsqu'il n'y a aucune demande et fonctionne avec un faible coût et une haute disponibilité. L'application de couche supérieure adopte l'architecture d'application sans serveur de FaaS+BaaS et intègre des interfaces de raisonnement de modèle. Elle n'a besoin que de se concentrer sur le code de logique métier et peut être développée en parallèle au niveau de la granularité des fonctions et itérer rapidement les applications.
La technologie Huawei Cloud FunctionGraph optimise considérablement le processus de développement des applications d'IA, permettant à l'équipe d'IA de se concentrer davantage sur la mise en œuvre commerciale sans prêter attention aux détails techniques sous-jacents.
« Glodon s'engage à promouvoir la numérisation du secteur de la construction et s'efforce de créer une numérisation systématique de « numérique + connexion + algorithme ». En nous concentrant sur les points faibles du secteur, nous utilisons la technologie intelligente comme base et nous nous appuyons sur Huawei Cloud FunctionGraph Severless. " Architecture pour créer une plate-forme pour les praticiens de la construction. CoPilot aide le personnel de l'industrie à améliorer l'efficacité du travail, le niveau de gestion et la qualité de la prise de décision. "
À l'avenir, Huawei Cloud continuera à lancer des produits sans serveur dans l'ensemble du domaine et coopérera en profondeur avec Huawei 2012 Lab, en utilisant FunctionGraph 3.0 comme noyau, pour créer une IA sans serveur avec un coût extrêmement faible et des performances ultimes, répondant pleinement aux exigences agiles. exigences des applications à grande échelle et aide des milliers d'industries.Utilisez le cloud en profondeur.
Cliquez pour suivre et découvrir les nouvelles technologies de Huawei Cloud dès que possible~
L'auteur du framework open source NanUI s'est tourné vers la vente d'acier et le projet a été suspendu. La liste gratuite numéro un dans l'App Store d'Apple est le logiciel pornographique TypeScript. Il vient de devenir populaire, pourquoi les grands commencent-ils à l'abandonner ? Liste TIOBE d'octobre : Java connaît la plus forte baisse, C# se rapproche de Java Rust 1.73.0 publié Un homme a été encouragé par sa petite amie IA à assassiner la reine d'Angleterre et a été condamné à neuf ans de prison Qt 6.6 officiellement publié Reuters : RISC-V la technologie devient la clé de la guerre technologique sino-américaine Nouveau champ de bataille RISC-V : non contrôlé par une seule entreprise ou un seul pays, Lenovo prévoit de lancer un PC Android