Afin de répondre aux besoins des entreprises en outils de productivité mis à jour et itératifs dans le processus de transformation numérique, Lingqueyun a récemment lancé une solution MLOps native du cloud pour aider les entreprises à mettre en œuvre rapidement la technologie d'IA et à réaliser des applications et des services intelligents.
Pourquoi créer une solution MLOps cloud native ?
Avec le développement continu des technologies de l'information, les entreprises doivent constamment mettre à jour et itérer les outils de productivité dans le processus de transformation numérique, depuis le plus tôt pour remplacer les principales données commerciales du monde physique par les technologies de l'information, et plus tard utiliser la plate-forme de mégadonnées pour transformer données en actifs de données d'entreprise, et utilisent désormais l'intelligence artificielle et la technologie d'apprentissage automatique pour transformer davantage les actifs de données en actifs modèles afin de réaliser des applications et des services intelligents.
Dans ce processus d'évolution, en tant que DevOps à l'ère de l'IA, MLOps est devenu une capacité de plate-forme de base indispensable, offrant aux entreprises une prise en charge complète du processus, du développement de modèles, de la formation, du déploiement, de la gestion à l'optimisation, et aidant les entreprises à mettre en œuvre rapidement la mise en œuvre de l'IA et créer de la valeur.
Cependant, la plupart des outils open source MLOps actuellement sur le marché ont des problèmes tels qu'un déploiement complexe, une exploitation et une maintenance difficiles, des fonctions imparfaites et une faible convivialité.Les entreprises sont toujours confrontées à de nombreux défis et à des coûts élevés lors de la mise en œuvre de la technologie d'apprentissage automatique de l'IA. Afin de résoudre ces problèmes, Lingqueyun, en tant que société leader dans le domaine du cloud natif, a récemment lancé une solution MLOps native du cloud au niveau de l'entreprise et sa version open source kubeflow-chart, qui s'engage à minimiser le seuil pour les entreprises pour appliquer les capacités d'IA et permettre aux entreprises d'obtenir un développement d'applications d'IA à haut rendement, à faible coût, standardisé et traçable et des processus en ligne aident les entreprises à appliquer rapidement la technologie d'apprentissage automatique native du cloud et à créer une plate-forme MLOps efficace, stable et évolutive .
La version open source kubeflow-chart : résoudre les difficultés de déploiement et d'utilisation de l'outil cloud natif kubeflow
Kubeflow-chart, un outil MLOps open source développé indépendamment par Lingqueyun, vise à simplifier les étapes de déploiement de Kubeflow open source sur Kubernetes, en éliminant le coût de la recherche, du déploiement, de l'exploitation et de la maintenance de l'entreprise, de la migration et de l'adaptation des applications, et en réduisant considérablement le coût du coût de l'application d'entreprise Kubeflow.
Kubeflow-chart utilise Helm Chart pour personnaliser la méthode d'installation de Kubeflow. Exécutez simplement une commande (helm install) pour terminer facilement l'installation de Kubeflow et de ses composants dépendants (tels que dex, cert-manager, istio, knative-serving, etc.). ).
De plus, Kubeflow-chart fournit l'extraction d'éléments de configuration courants, tels que l'adresse miroir, les informations de configuration d'authentification, le compte par défaut, le commutateur d'installation de composants dépendants, etc. Vous pouvez facilement déployer Kubeflow dans différents environnements Kubernetes en modifiant le fichier values.yaml. Dans le même temps, le fichier values-cn.yaml est également fourni, ce qui résout les problèmes des développeurs nationaux lors du téléchargement de miroirs. Kubeflow-chart permet aux développeurs de déployer, apprendre, utiliser et gérer facilement et rapidement les logiciels de machine learning les plus populaires sur Kubernetes.
Alauda MLOps : meilleur, plus avancé, plus facile à utiliser, plus puissant
Dans le même temps, afin de fournir aux utilisateurs d'entreprise une expérience MLOps native du cloud plus pratique, Lingqueyun a lancé une solution MLOps plus complète, plus avancée, plus facile à utiliser et plus puissante au niveau de l'entreprise Alauda basée sur l'open source version de Kubeflow-chart MLOps (ci-après dénommé AML).
Par rapport aux solutions MLOps open source existantes, AML présente des avantages significatifs dans les aspects suivants :
1. Mode de développement non intrusif : il prend en charge un environnement de développement d'orchestration de flux de travail visuel non intrusif et peut appliquer des fonctionnalités MLOps sans modifier le code de projet d'origine.
2. Distribution visuelle : lors du développement d'un flux de travail visuel, configurez directement diverses formes de formation distribuée.
3. Multi-tenant et quota : lien avec ACP pour réaliser une gestion visuelle des quotas de ressources multi-tenant (telles que CPU, GPU, vGPU).
4. GPU virtuel : prend en charge les ressources GPU virtuelles gérées par GPUManager.
5. Planificateur : utilisez Volcano pour renforcer le planificateur de tâches de formation distribuées, prendre en charge TFJob, PytorchJob, MPIJob et le flux de travail Argo général.
6. Suivi des expériences : intégrez MLFlow pour remplacer le suivi des expériences Kubeflow et fournir une fonction de comparaison visuelle des expériences.
7. Annotation des données : intégrez Label Studio, reliez-le au stockage S3 et complétez l'annotation visuelle des données.
8. Formation SQL : intégrez SQLFlow, utilisez le langage SQL pour compléter la formation et la prédiction du modèle.
9. Grand modèle : dans les aspects clés des MLOps tels que le stockage de données, la formation distribuée et le stockage de modèles, il prend en charge le stockage et le rappel de grands modèles.
10. Interface chinoise : Fournit une prise en charge de l'interface chinoise.
11. Prise en charge du matériel domestique : prend en charge l'architecture arm64 de divers processeurs domestiques et de certains GPU domestiques.
12. Tutoriels de cas : Il existe un grand nombre de cas chinois intégrés et de cahiers de tutoriels pour vous aider à démarrer rapidement.
13. Haute performance : Intel TensorFlow intégré, NeralCompressor, GPUManager, Triton et d'autres outils pour faire jouer pleinement les performances de la formation et du raisonnement.
14. Haute disponibilité : prend en charge la haute disponibilité de la plate-forme et des services d'inférence publiés.
AML couvre quatre modules fonctionnels : la gestion des ensembles de données, le développement de l'apprentissage automatique, la formation de modèles et les services de modèle/raisonnement. Qu'il s'agisse de l'apprentissage automatique traditionnel de l'exploration de données, de l'apprentissage en profondeur, du modèle de langage à très grande échelle, de l'IA de dialogue et d'autres directions d'application, il peut donner plein jeu à ses avantages.Fonction puissante.
La solution MLOps native du cloud lancée par Lingqueyun fournira aux entreprises une plate-forme de support de processus complet pour les aider à réaliser une mise en œuvre rapide de l'IA et à créer de la valeur. Que vous souhaitiez simplifier le déploiement de Kubeflow ou poursuivre des fonctions MLOps plus complètes, avancées, faciles à utiliser et puissantes, Lingqueyun deviendra votre partenaire indispensable.