L'IA générative (Generative AI) est devenue une tendance importante dans le monde entier, attirant de plus en plus l'attention et l'application des entreprises et des instituts de recherche. Le 26 juillet, heure de New York, Swami Sivasubramanian, vice-président mondial d'Amazon Cloud Technology Database, Data Analysis and Machine Learning, a déclaré lors du sommet de New York organisé par Amazon Cloud Technology que "la technologie d'IA générative a atteint un point critique".
À l'heure actuelle, nous avons observé qu'avec l'itération continue de l'apprentissage automatique, de l'apprentissage en profondeur et d'autres technologies, la tendance des applications de l'IA générative se développe dans le sens du bout en bout. "L'innovation de l'IA générative" annoncée par Amazon Cloud Technology lors de ce sommet a également pleinement démontré le "de bout en bout" et a encore abaissé le seuil d'utilisation de l'IA générative. Les utilisateurs professionnels et les développeurs peuvent en bénéficier. Les entreprises de divers secteurs peuvent se concentrer davantage sur leur cœur de métier, améliorer l'efficacité de la production et libérer pleinement la valeur des données et le potentiel de l'IA générative.
La première priorité de l'IA générative est "d'aider les utilisateurs à résoudre les problèmes de production"
Avec le développement rapide de la technologie de l'intelligence artificielle, l'IA générative a attiré l'attention et l'application de plus en plus de producteurs et d'entreprises, et est entrée dans une période de développement rapide. La technologie de l'IA générative peut apprendre une grande quantité de données et de connaissances, puis générer de nouvelles données et contenus, tels que des images, des textes, des sons, etc. ; elle peut être appliquée dans de nombreux domaines, tels que le traitement du langage naturel, le traitement d'images, la parole reconnaissance, etc... Dans un environnement de production, les techniques d'IA générative peuvent être utilisées pour automatiser de nombreuses tâches fastidieuses telles que l'écriture de code, la conception de produits, la traduction de texte, etc. Aider les entreprises à améliorer l'efficacité de la production, réduire les coûts de production, améliorer la qualité des produits et fournir un soutien solide à l'innovation et au développement des entreprises.
Dans le développement de la technologie d'IA générative, la force motrice de l'avancement continu des fabricants de R&D technologique est les besoins commerciaux et les besoins techniques des utilisateurs qui souhaitent les deux. En termes de réponse aux besoins des utilisateurs, Amazon Cloud Technology est un très bon fabricant du secteur.Amazon Bedrock lancé il y a quelque temps est un outil puissant.Grâce à Amazon Bedrock, la génération de texte, les robots de chat, la recherche, la synthèse de texte, la génération d'images et la personnalisation Des exemples fonctionnels tels que des recommandations situationnelles de produits peuvent être parfaitement intégrés à l'application.
Du point de vue de la formation, du déploiement et de l'expansion de l'architecture, un bon modèle doit être facile à former et à déployer, améliorer l'efficacité et pouvoir s'étendre et se mettre à niveau à mesure que les besoins de l'entreprise évoluent. Amazon Bedrock fournit une API évolutive et une expérience sans serveur.Les clients peuvent utiliser leurs propres données pour personnaliser en fonction du modèle de base, et utiliser des outils et des capacités familiers pour l'intégration et le déploiement, éliminant ainsi le besoin de gérer l'infrastructure et réduisant les coûts. Les utilisateurs peuvent également utiliser des fonctions telles que SageMaker, Experiments et Pipelines pour réaliser l'intégration de modèles et la gestion et le déploiement automatiques.
En termes de sécurité des données, un bon modèle doit avoir des capacités de stockage de données sécurisées qui peuvent protéger les données des utilisateurs contre les fuites et les abus. Bedrock accorde une grande attention à la sécurité des données et à la protection de la vie privée, crypte toutes les données et ne quittera pas le réseau privé virtuel (VPC) du client. En outre, Amazon Bedrock fournit également des options de partage de données configurables, les clients peuvent contrôler le partage et l'utilisation des données et garantir l'intégrité et la confidentialité des données.
Au niveau de la sélection du modèle, un bon modèle doit disposer d'une sélection de modèles riche pouvant répondre aux besoins de différents domaines et scénarios. Les utilisateurs doivent être en mesure de choisir un modèle qui convient à leur propre entreprise et être en mesure de combiner et d'intégrer de manière flexible plusieurs modèles pour obtenir de meilleurs résultats commerciaux. Bedrock propose une riche sélection de modèles de base pour répondre aux besoins de différents domaines et scénarios, permettant aux utilisateurs de choisir et de combiner des modèles de manière plus flexible pour répondre à leurs propres besoins commerciaux :
● Jurassic-2, une grande série de modèles linguistiques multilingues développée par AI21 Labs, peut générer du contenu textuel selon des instructions en langage naturel ;
● Claude, un grand modèle de langage développé par Anthropic, peut effectuer une variété de tâches de dialogue et de traitement de texte ;
● Stable Diffusion, le modèle de graphe Vincent de base développé par Stability AI, peut générer des images uniques, réalistes et haute définition, des œuvres d'art, des marques et d'autres dessins de conception ;
● Anthropic est connecté au dernier modèle de langage d'Amazon Bedrock, Claude 2, qui peut utiliser 100 000 jetons dans chaque invite de tâche de dialogue et peut traiter des centaines de pages de texte ou même un livre entier. Par rapport à la version précédente, il est également possible d'écrire des documents longs, jusqu'à plusieurs milliers de balises de longueur ;
● Stability AI publiera la dernière version de la suite de modèles de graphes de Vincent Stable Diffusion XL 1.0, qui peut générer des vidéos de films, de télévision, de musique et d'enseignement plus réalistes avec des détails d'image et de composition plus fins.
● Cohere, un nouveau fournisseur de modèle de base d'Amazon Cloud Technology, fournira des services de modèle de base qui génèrent, récupèrent et résument les informations de manière plus intuitive.
Lors de ce sommet, Amazon Cloud Technology a annoncé l'expansion complète de son service de modèle de base entièrement géré Amazon Bedrock et a lancé la nouvelle fonctionnalité révolutionnaire Amazon Bedrock Agents, qui aidera les développeurs à créer facilement des agents IA entièrement gérés et à améliorer l'efficacité de la R&D , pour résoudre le problème de complexité dans le processus de développement. À l'heure actuelle, de nombreux développeurs professionnels commencent à utiliser ChatGPT pour le développement de logiciels. Les faits montrent que ChatGPT peut aider le travail de développement, mais dans des scénarios commerciaux spécifiques, ce dont les développeurs ont besoin n'est pas seulement un outil de codage, mais pour réduire la complexité du développement de logiciels à partir du outil de diplôme source. Réduire la complexité des logiciels dès la source signifie que les développeurs doivent concevoir une bonne architecture, simplifier le développement des fonctions et des modules, et utiliser des outils de développement appropriés pour réduire la complexité inutile du logiciel et améliorer la maintenabilité, la lisibilité et l'extensibilité. Les nouveaux agents Amazon Bedrock lancés par Amazon Cloud Technology peuvent résoudre efficacement ces problèmes.Il s'agit d'un point fort d'Amazon Bedrock et d'un nouveau nœud dans le domaine de l'IA générative pour réduire la complexité du développement.
Les bases de données vectorielles sont la pierre angulaire de l'IA générative
Avec le développement rapide des modèles à grande échelle et des technologies d'IA génératives, la sécurité des données et la personnalisation des données sont devenues la base du développement technologique.Les bases de données d'entreprise qui ne stockaient que des données structurées dans le passé ne peuvent plus répondre aux besoins, les bases de données vectorielles sont donc devenues un partie importante du développement de la base de données mondiale.
La base de données vectorielle est actuellement considérée comme la pierre angulaire de l'IA générative, car les données qu'elle stocke et traite sont sous forme de vecteurs, et le modèle d'IA générative doit utiliser des données vectorielles pour la formation et le raisonnement, ce qui fournit des méthodes efficaces de stockage et d'interrogation des données. , Et il peut être intégré de manière transparente à des cadres d'apprentissage en profondeur, ce qui permet aux modèles d'IA génératifs d'apprendre plus rapidement et de générer des données plus précises.
À l'heure actuelle, les fabricants qui étudient les grands modèles et l'IA générative étudient presque tous en même temps la technologie des bases de données vectorielles.Sur la base des scénarios de formation de l'IA générative et des grands modèles, il n'y a presque pas de grand écart entre les réalisations techniques de chaque entreprise. Cependant, lors de ce sommet de New York, Amazon Cloud Technology a publié un nouveau moteur vectoriel pour Amazon OpenSearch Serverless.Une fois officiellement disponible, le moteur vectoriel prend en charge les appels d'API simples et peut être utilisé pour stocker et interroger des milliards d'incorporations.
Les incorporations sont une méthode de conversion de données telles que du texte, des images et des sons en représentations vectorielles pour un traitement à l'aide d'algorithmes d'apprentissage automatique. Actuellement, les fabricants développant des bases de données vectorielles explorent des aspects connexes. La nouvelle version d'Amazon Cloud Technology à cet égard est entièrement basée sur les besoins des utilisateurs.
Vous devez savoir que dans des circonstances normales, les incorporations doivent être stockées à proximité des données source. Une série de facteurs affectera la façon dont l'entreprise choisit l'option la plus appropriée, comme l'emplacement de stockage actuel des données, la familiarité avec la technologie de base de données, l'expansion du vecteur dimensions, le nombre d'intégrations et les exigences de performance, etc., Amazon Cloud Technology propose donc trois options pour répondre aux exigences de stockage de données vectorielles plus avancées :
● La base de données relationnelle compatible Amazon Aurora PostgreSQL prend en charge le plug-in de recherche de similarité vectorielle open source pgvector, qui est d'une grande aide pour les scénarios d'application qui doivent stocker et rechercher une grande quantité de données vectorielles ;
● Service de recherche et d'analyse distribué Amazon OpenSearch, avec plug-in k-NN (k plus proche voisin) et moteur vectoriel pour Amazon OpenSearch Serverless, qui peut gérer des données vectorielles à grande échelle et fournir des services de recherche efficaces ;
● Compatible avec la base de données relationnelle Amazon RDS de PostgreSQL et prend en charge le plug-in pgvector, qui peut répondre aux besoins quotidiens des entreprises en matière de compatibilité de base de données PostgreSQL et de stockage de données vectorielles.
Étant donné que les données vectorielles ont généralement une dimensionnalité et une rareté élevées, les méthodes de stockage traditionnelles occupent beaucoup d'espace de stockage et de nombreux calculs complexes doivent être effectués pendant le stockage et la requête des données vectorielles, alors comment compresser et optimiser les données vectorielles, Optimiser les algorithmes pour améliorer L'efficacité informatique est un problème qui est continuellement exploré dans le domaine de la technologie de stockage de données vectorielles, et le nouveau moteur vectoriel publié par Amazon Cloud Technology fournit également un support solide pour résoudre ces deux barrières techniques. , qui constitue également une nouvelle percée dans la technologie de stockage de données vectorielles.
L'IA générative doit également être "accélérée"
En tant que technologie puissante, l'IA générative a montré un grand potentiel dans de nombreux domaines. Cependant, dans les applications pratiques, malgré son incroyable créativité et sa capacité expressive, l'IA générative a encore beaucoup de progrès à faire en termes de "rapidité". En tant que processeur dédié au calcul parallèle, le GPU peut traiter plusieurs unités de données en même temps pour améliorer la vitesse de calcul. Dans la formation de l'IA générative, un grand nombre de calculs tels que les opérations matricielles et la rétropropagation sont nécessaires pour traiter une grande quantité de données et de paramètres de modèle, et ces tâches de calcul peuvent être calculées en parallèle via le GPU pour accélérer la vitesse de calcul et réduire le temps d'entraînement. L'instance Amazon EC2 P5 récemment publiée lors de ce sommet est un type d'instance informatique puissant sur la plate-forme de technologie cloud d'Amazon, qui peut bien répondre aux besoins actuels en GPU des utilisateurs dans le processus de formation générative de l'IA.
L'instance Amazon EC2 P5 offre d'excellentes performances de calcul, de stockage et d'expansion horizontale grâce à sa configuration matérielle exceptionnelle. Elle est équipée de 8 GPU NVIDIA H100 Tensor Core, dispose d'une mémoire GPU à bande passante élevée de 640 Go et fournit des processeurs AMD EPYC de troisième génération, 2 To mémoire système et stockage NVMe local de 30 To. Dans le même temps, les instances Amazon EC2 P5 fournissent également 3 200 Gbit/s de bande passante réseau agrégée et prennent en charge GPUDirect RDMA, qui peut contourner le processeur pour la communication inter-nœuds, ce qui permet d'obtenir une latence plus faible et des performances d'évolutivité horizontale efficaces.
Le GPU NVIDIA H100 dispose d'un nouveau moteur de conversion qui gère intelligemment et sélectionne dynamiquement le calcul FP8 et 16 bits, offrant une accélération d'entraînement DL plus rapide sur LLM que le GPU A100 de la génération précédente. Pour les charges de travail HPC, par rapport au GPU A100, le GPU NVIDIA H100 dispose d'une nouvelle instruction DPX qui accélère encore les algorithmes de programmation dynamique. Cette puissance de calcul est essentielle pour les opérations matricielles et vectorielles massives dans les modèles d'IA générative, réduisant le temps de formation jusqu'à 6 fois par rapport aux instances basées sur GPU de la génération précédente. En utilisant les ressources de calcul hautes performances des instances P5, les coûts de formation peuvent être considérablement réduits et la vitesse de traitement de l'IA générative peut être accélérée.
Afin de répondre à la grande quantité d'exigences de stockage et de chargement de données des modèles d'IA générative pour les données de formation, les paramètres de modèle et les résultats intermédiaires, les instances Amazon EC2 P5 fournissent également un espace de stockage local de grande capacité, permettant une gestion et un traitement plus efficaces des grandes Les ensembles de données à l'échelle, avec la prise en charge du stockage local, évitent la transmission et le chargement fréquents de données, améliorant ainsi encore l'efficacité des tâches d'IA génératives.
IA générative de bout en bout "le futur est là"
Qu'il s'agisse d'un Amazon Bedrock entièrement géré, d'un moteur vectoriel pour Amazon OpenSearch Serverless ou d'une instance Amazon EC2 P5, Amazon Cloud Technology explore de plus en plus en profondeur l'IA générative « de bout en bout » en combinaison avec les besoins des utilisateurs. En tant que leader technologique dans le domaine de GenAI, Amazon Cloud Technology fournit à ses utilisateurs un support de plus en plus complet et des solutions presque parfaites grâce à sa technologie de pointe, son vaste écosystème, sa riche expérience pratique et sa sécurité fiable. IA générative de bout en bout.
En plus des plusieurs technologies mises en évidence déjà mentionnées, lors de ce sommet, Amazon Cloud Technology a également lancé quatre autres technologies et applications d'IA génératives - L'assistant de programmation d'IA Amazon Codewhisperer fournit une riche bibliothèque de modèles et d'algorithmes pour créer rapidement et la formation de modèles d'IA générative permet aux développeurs pour entrer plus facilement dans le domaine de l'IA générative et obtenir un meilleur support et des conseils dans la génération d'images, de voix et de texte ; Amazon Cloud Technology combine les grandes capacités de modèle de langage d'Amazon Bedrock avec la fonction de questions et réponses en langage naturel d'Amazon QuickSight Q est combinée pour fournir une fonction de BI générative , ce qui améliore l'efficacité et la facilité d'utilisation de l'analyse des données. En même temps, combiné à la visualisation des données, Quicksight présente les résultats de l'analyse des données d'une manière plus intuitive et plus riche, permettant aux utilisateurs de mieux comprendre et utiliser les données. En outre, Amazon Cloud Technology utilise également Amazon Entity Resolution pour permettre aux entreprises d'améliorer la qualité des données et d'obtenir des informations sur les clients ; Amazon HealthScribe est lancé pour utiliser l'IA générative pour aider à créer des applications médicales.
La technologie cloud d'Amazon s'est engagée à abaisser le seuil de l'IA générative, afin que davantage de personnes puissent facilement essayer et appliquer cette technologie. Ils espèrent devenir le leader inclusif de l'IA générative, afin que davantage de personnes puissent en bénéficier.