Récemment, Yan Guihai, fondateur et PDG de Zhongke Yushu, a été invité à participer au podcast Huatai Securities "Taidu VOICE" et a eu une discussion très approfondie avec Liu Cheng, directeur des investissements en innovation de Huatai, autour de l'un des les trois éléments de l'intelligence artificielle, « la puissance de calcul. » Un dialogue technologique brûlant le cerveau.
Dans l'émission, M. Yan a discuté des principes techniques et des scénarios d'application de l'unité de traitement de données (DPU) d'une manière simple et facile à comprendre. Concernant les difficultés et l'importance industrielle de l'amélioration de la puissance de calcul, il a expliqué en détail comment DPU , en tant qu'élément clé de la base de puissance de calcul, améliore l'efficacité en connectant divers nœuds informatiques et en créant un pool de ressources informatiques. Dans le même temps, il a également partagé le parcours entrepreneurial des scientifiques et a souligné l'importance de l'intégration étroite de l'innovation technologique et des applications commerciales dans la promotion du développement technologique.
Ce qui suit est une transcription de la conversation :
01
Le CPU et le GPU seuls ne suffisent pas : le DPU forme un « système ferroviaire à grande vitesse » qui connecte les points en un réseau.
Liu Cheng de Huatai Innovation : M. Yan, pouvez-vous expliquer de manière simple et approfondie, si la puissance de calcul est une base très importante de ChatGPT, alors quel rôle le DPU y joue-t-il ?
Yan Guihai, Zhongke Yushu : La puissance de calcul provient principalement de la puissance de calcul, et la puissance de calcul provient principalement des puces, des réseaux et de diverses applications qui génèrent des données et doivent les traiter. Par conséquent, la puissance de calcul repose sur divers centres de données, déployés dans des clusters de serveurs et équipés de différents équipements réseau pour connecter toutes les infrastructures capables de calculer, stocker et transmettre des données ensemble pour former un tout organique. C’est ce que nous appelons la base de puissance de calcul.
Dans la base de puissance de calcul, nous disposons de nombreux types différents d'unités de traitement (PU), telles que l'unité centrale de traitement (CPU) la plus courante, l'unité de traitement graphique (GPU), ainsi que les systèmes d'exploitation et diverses applications que nous utilisons quotidiennement. Cependant, pour les modèles actuels à grande échelle ou les algorithmes complexes d'intelligence artificielle, un grand nombre de nœuds de puissance de calcul doivent être connectés à un énorme pool de puissance de calcul, et s'appuyer uniquement sur le CPU et le GPU n'est pas suffisant. Alors qui va les connecter ? L'unité de traitement de données (DPU) y jouera un rôle très important : elle est chargée de connecter tous les nœuds informatiques pour former un pool de ressources informatiques.
Si l'on compare une unité de traitement (PU) à une ville, alors la DPU équivaut au système ferroviaire à grande vitesse de la ville. Nous pouvons désormais voyager entre Pékin et Nanjing le même jour, ce qui était inimaginable auparavant, mais nous disposons désormais d'un système de transport efficace. De la même manière, lorsqu’il est appliqué à l’infrastructure de puissance de calcul, nous devons également améliorer encore l’efficacité entre les nœuds et connecter l’ensemble de la puissance de calcul en tranches et en réseaux. Le DPU jouera le même rôle que le système ferroviaire à grande vitesse actuel.
02
Le ratio d'efficacité énergétique est une dimension d'évaluation importante de la puissance de calcul
Liu Cheng de Huatai Innovation : Compte tenu des technologies de l'information de pointe actuelles, telles que le cloud computing, l'informatique orientale et occidentale, les réseaux de puissance de calcul, etc., pouvez-vous expliquer à tout le monde l'importance de la puissance de calcul pour diverses industries ?
Yan Guihai, Zhongke Shushu : La métaphore la plus directe est de comprendre la puissance de calcul comme de l'électricité. Supposons qu’aujourd’hui, si nous n’avons pas de téléphone portable ni d’ordinateur, vous ayez l’impression que le travail ne peut pas être effectué. La raison en est que votre travail repose sur de grandes quantités de données. La puissance de calcul actuelle ne se limite pas au traitement des données. Souvent, même si aucune instruction explicite n’est émise pour ces données, il existe un énorme système derrière elles pour classer les données et en extraire la valeur. L'application de chacun de nos téléphones mobiles vous enverra activement des messages ciblés en fonction de la scène dans laquelle vous vous trouvez actuellement. La puissance de calcul consommée par ces entreprises qui traitent les données en arrière-plan peut être supérieure à la puissance de calcul consommée par les tâches que vous spécifiez réellement. Le traitement sous-jacent est le processus dans lequel la puissance de calcul entre en jeu.
Il existe en fait de nombreux critères d’évaluation de la puissance de calcul, l’un des plus importants étant le ratio d’efficacité énergétique. Pour les scénarios qui nécessitent que les centres de données prennent en charge les opérations commerciales, l'utilisation d'une puissance de calcul plus économique et économe en énergie présentera certainement plus d'avantages que l'utilisation d'une puissance de calcul avec une consommation d'énergie plus élevée.
Du point de vue de la classification de la puissance de calcul, nous pouvons qualifier d'applications de supercalcul des scénarios tels que la prévision météorologique, la simulation de tremblements de terre, la simulation de collision en soufflerie, etc.. Ils s'appuient fortement sur des calculs massifs et ont des exigences d'efficacité strictes, mais n'ont pas d'exigences élevées. pour les réseaux externes, trop élevé. De plus, le modèle Chat GPT actuellement populaire est appelé une application informatique intelligente, qui nécessite évidemment un centre de données à grande échelle pour la formation et l'inférence du modèle. En outre, il existe également des exigences particulières en matière de puissance de calcul dans le domaine du Big Data, comme un système qui prend en charge 1 million de personnes secouant des enveloppes rouges. Ce type de puissance de calcul est différent des deux puissances de calcul précédentes. par chaque utilisateur n'est pas la même, elle est grande, mais elle doit gérer un grand nombre d'utilisateurs accédant au service en même temps et ses exigences en matière de concurrence sont très élevées.
03
La demande du marché et les scénarios de mise en œuvre constituent la toile de fond qui nous permet de lancer l'industrialisation.
Huatai Innovation Liu Cheng : Je souhaite également revenir sur votre intention initiale de démarrer une entreprise et parler de l'industrie. Avant de créer Zhongke Yushu, vous étiez un scientifique. À cette époque, vous avez découvert certains problèmes courants dans l'industrie. Voulez-vous les résoudre via un point d'entrée comme DPU ? Pouvez-vous parler des progrès actuels de DPU en fonction de votre intention initiale de démarrer l'entreprise ?
Yan Guihai de Zhongke Yushu : Lorsque nous travaillions sur DPU, nous avons d'abord prêté attention à la demande. En étudiant les systèmes informatiques, nous avons remarqué que de plus en plus d'entreprises utilisent des infrastructures telles que les centres de données traditionnels à des coûts croissants. Le taux d'utilisation du processeur du centre de données, une fois équipé de diverses infrastructures cloud, est toujours occupé entre 20 % et 30 % même à l'état inactif, ce qui prouve qu'au moins 20 % à 30 % de l'ensemble du système est devenu afin de prendre en charge la puissance de calcul consommée par ces infrastructures, c'est ce qu'on appelle la « taxe » du data center.
Ce qui est plus grave, c'est que cette situation n'est pas seulement un problème de consommation de ressources, mais réduit aussi directement les performances. Par exemple, nous avons constaté que dans le cloud computing, le délai de communication entre différentes machines est bien supérieur au délai de communication entre machines physiques. Cette augmentation de la latence est causée par une virtualisation étendue du réseau. L'émergence du DPU vise à résoudre directement ce problème de performances.
Nous constatons une demande particulièrement rigide du côté de la demande. Nous savons tous que les systèmes de négociation de titres et les systèmes de contrôle des risques ont des exigences très élevées en matière de retard, car le contrôle des retards joue un rôle clé dans la liquidité et l'efficacité opérationnelle de l'ensemble du marché commercial. Le délai est réduit du niveau de la milliseconde au niveau de la microseconde, ce qui équivaut à une différence de 3 ordres de grandeur. Nous ne pouvons pas compter uniquement sur la simplification des logiciels de couche supérieure, mais devons obtenir une assistance technique sur les liaisons matérielles et les piles de protocoles réseau. Il est difficile pour les systèmes informatiques traditionnels de répondre directement à ces exigences. Par conséquent, nous pensons que ce problème peut être résolu en utilisant des composants tels que des unités de traitement de données (DPU) proches du réseau.
La maturité technologique est nécessaire pour garantir que nos produits passent du stade de l'innovation à des produits matures. Lorsque nous avons commencé à développer DPU vers 2018, les conditions nécessaires étaient pratiquement réunies. La seule chose qui manque est l'éducation au marché, car le DPU n'existait pas dans le passé, et maintenant nous devons faire comprendre et reconnaître à la communauté des utilisateurs l'importance du DPU, afin de ne pas avoir trop de doutes sur la maturité de ce nouveau et innovant. produit. Pour que le marché et les clients aient confiance dans DPU, nous devons fournir des cas réels. Ce n'est qu'ainsi que notre DPU pourra réussir à entrer sur le marché dès la phase de recherche et de développement.
04
Laissez le CPU faire le travail du DPU,
Cela équivaut à demander au personnel R&D de l'entreprise d'effectuer un travail administratif
Liu Cheng de Huatai Innovation : Vous venez d'évoquer le thème de la « taxe » sur les centres de données, est-il possible de la quantifier ?
Yan Guihai, Zhongke Yushu : Vers 2016, l'équipe de recherche de Google a établi des statistiques sur l'utilisation des serveurs sur Google Cloud et a découvert que la valeur de l'ensemble de la taxe sur les centres de données était d'environ 25 à 30 %. Ces données portent à croire que cette activité à elle seule peut entraîner une surcharge de performance pouvant atteindre 20 à 30 %.
Nous avons nous-mêmes fait des expériences similaires. Étant donné que les données du réseau doivent être traitées, les données doivent être capturées à partir du réseau et placées localement pour être utilisées par les applications locales. Ce processus nécessite que le processeur exécute un programme de décompression, qui est le protocole réseau. La puissance de calcul est consommée lors de l'exécution du protocole, et le besoin de cette puissance de calcul dépend de la vitesse des paquets de données. Si la vitesse du paquet est élevée, le processeur peut nécessiter davantage de cœurs de processeur pour le traiter. Et s’il y a moins de paquets de données, autant de puissance de calcul ne sera peut-être pas nécessaire.
Si la liaison de données 25G est entièrement utilisée, environ quatre ou cinq processeurs Xeon seront nécessaires pour la traiter. Par exemple, pour un ordinateur de bureau hautes performances doté de 8 cœurs, si l'on souhaite accéder à une application réseau à pleine bande passante, environ la moitié des cœurs peuvent être utilisés pour le traitement réseau. Il s’agit en fait d’une surcharge énorme.
Liu Cheng de Huatai Innovation : Pour les processeurs, le cloud et la virtualisation sont un fardeau, et ils doivent se décharger de ce fardeau sur le DPU pour le résoudre.
Yan Guihai, Zhongke Yushu : Cela peut être compris de cette façon. Nous sommes également d'avis que le cloud et la virtualisation ne sont pas les « coupables » des taxes sur les centres de données, nous pensons que c'est un coût qui doit être payé. Tout comme si vous souhaitez collaborer avec 100 machines, elles ne collaboreront pas automatiquement. On comprend que lorsqu'une organisation veut travailler efficacement, elle doit supporter un certain montant de frais généraux, c'est-à-dire des coûts de gestion. Ce coût de gestion est nécessaire et inévitable. Il s’agit simplement de savoir qui vous souhaitez confier ces tâches. Cela ressemble à une surcharge si vous laissez le processeur le gérer. Mais si vous séparez ces fonctions du processeur et les laissez être gérées par des composants mieux adaptés à l'exécution de ces tâches, la surcharge sera considérablement réduite.
Tout comme une entreprise, elle a toujours besoin de personnel et de services administratifs. Si le personnel R&D de l'entreprise est chargé de recruter chaque jour, l'efficacité sera très faible. Mais si vous trouvez un service des ressources humaines dédié à ce travail, celui-ci sera plus efficace.
05
Grâce à la « combinaison du doux et du dur »,
Atteindre une « faible latence » proche de la limite
Liu Cheng de Huatai Innovation : Pour autant que je sache, en plus des produits matériels, Zhongke Yushu propose également des produits logiciels, tels que la plateforme de développement logiciel HADOS et la plateforme de développement informatique à très faible latence NDPP. Pourquoi une entreprise de puces investit-elle autant d’énergie dans les logiciels ?
Yan Guihai, Zhongke Yushu : Il existe de nombreux types de puces elles-mêmes. Différents types de puces ont des caractéristiques différentes, en particulier les puces au niveau système comme le DPU, qui dépendent beaucoup du logiciel. Différent des terminaux tels que les puces Wi-Fi et Bluetooth, les DPU, GPU, CPU et autres puces sont plus complexes. Il ne suffit pas d'évaluer les performances d'une puce via des tests de ports et de signaux, car le plus important est de savoir comment permettre aux autres de l'utiliser efficacement. Afin de garantir le bon déroulement de la connexion dite du « dernier kilomètre », nous pensons que le système logiciel sous-jacent du DPU doit être soigneusement développé.
La philosophie de Zhongke Yushu a toujours été de se concentrer à la fois sur les équipes logicielles et matérielles. Nous poursuivons non seulement l'optimisation de la puce en termes de performances de l'écran principal, de latence, de surface et de consommation d'énergie, mais nous espérons également qu'elle pourra se connecter de manière transparente aux bibliothèques et middlewares existants. La raison pour laquelle il peut réaliser une commutation aussi transparente est que nous avons réalisé une connexion de couche logicielle très complète en bas. Par conséquent, nous devons investir beaucoup de ressources en recherche et développement de logiciels pour atteindre cet objectif.
Liu Cheng de Huatai Innovation : Pouvez-vous nous en dire plus sur les fabricants que vous souhaitez intégrer les produits de Zhongke Yushu dans leurs logiciels ou matériels, tels que les bases de données, les systèmes d'exploitation, les cloud, etc. ?
Yan Guihai de Zhongke Yushu : Cela implique en fait la question de l'écologie des produits. Les grandes catégories que vous venez de mentionner peuvent être résumées sous forme de logiciels de terminal. Les logiciels de terminaux représentent certains des principaux acteurs de notre écosystème global d'applications, tels que les systèmes d'exploitation. Lorsque nous développons un DPU, il doit être adapté et compatible avec le système d'exploitation actuel, y compris tous les types de CPU et GPU utilisés par la plateforme informatique sous le système d'exploitation. Le DPU doit être compatible un à un pour garantir que les utilisateurs sur le système d'exploitation système Ils peuvent être utilisés sans sensation. Pour DPU, c’est le meilleur état.
En outre, il existe certains systèmes d'application de base, tels que des bases de données. Traditionnellement, si vous souhaitez améliorer les performances de la base de données, vous devez disposer de puissantes capacités de réglage matériel. En fait, si nous examinons le développement des bases de données et des systèmes d’exploitation, nous pouvons constater qu’ils se sont développés de manière relativement indépendante, ce qui signifie que les utilisateurs de bases de données ou la communauté de développement de bases de données elles-mêmes disposent également de solides capacités de réglage du matériel. À cet égard, nous espérons que de nombreuses fonctions réseau hautes performances et autres fonctions du DPU pourront être exposées à l'interface de réglage de ces logiciels système de base. Par exemple, dans une base de données distribuée, nous pouvons placer une table sur un nœud distant et l'appeler en utilisant le mécanisme DMA pris en charge par le DPU pour améliorer les performances.
Il s’agit donc d’un autre cas où les fonctionnalités doivent être exposées aux fournisseurs de logiciels technologiques sous-jacents. Le logiciel de base nécessite des interfaces de niveau inférieur et leur laisse de la place pour le réglage des performances. Nous souhaitons donc regrouper tout cela dans un seul système.
Huatai Innovation Liu Cheng : Du point de vue logiciel ou matériel, quels produits logiciels et matériels Zhongke Yushu propose-t-il pour différents scénarios ou différents objets d'utilisation ?
Yan Guihai de Zhongke Yushu : La plate-forme de développement informatique à très faible latence NDPP est un cas très typique pour nous. Notre « N » est Nano (nanoseconde), et nous espérons également que le retard final du produit pourra être proche des nanosecondes. En tant que plate-forme de développement informatique à très faible latence, elle est principalement ciblée sur certains scénarios très sensibles à la latence, ce qui signifie que les applications côté réseau peuvent créer des applications de base basées sur notre plate-forme de développement à très faible latence. Sur cette plateforme, nous mettons à votre disposition de nombreux liens physiques à faible latence, ce qui équivaut à construire un système de commutation de circuits pour nos clients. Lorsque vous communiquez, vous n'avez plus besoin d'envoyer de télégrammes, mais vous pouvez passer directement des appels téléphoniques, ce qui est beaucoup plus rapide qu'auparavant.
06
L'innovation scientifique et technologique est à l'origine des nouvelles tendances du développement économique
Zhongke Yushu Yan Guihai : En tant qu'investisseur dans les technologies dures, quelle est la principale force motrice derrière vous ? Quelle est la principale logique d’investissement ?
Liu Cheng de Huatai Innovation : La technologie dure est une piste qui n'a pas reçu suffisamment d'attention, mais qui est très importante. La principale ligne d’investissement futur sera de plus en plus axée sur la technologie dure. La puissance d'innovation de la Chine est en partie entrée dans la zone des eaux profondes, et le changement des thèmes d'investissement est étroitement lié au contexte général et aux besoins du développement économique de la Chine. Il y a vingt ans, la Chine était principalement engagée dans des modèles économiques traditionnels tels que la fabrication et la transformation des matériaux fournis, et le thème de l'investissement dans les technologies dures n'était pas prédominant. Parce que dans ce modèle, les bénéfices reviennent plus rapidement, l’investissement est plus facile et la production est plus élevée. Cependant, à mesure que son développement économique atteint un niveau plus élevé, la Chine se transforme progressivement en une économie axée sur l'innovation, la connaissance et la technologie, ce qui est le résultat inévitable du développement d'une économie.
Je pense qu'il n'est pas juste de poursuivre simplement le froid ou le chaud. Il en va de même pour la direction technique. Sans l'alternance du chaud et du froid et des coups répétés, il sera difficile de trouver un consensus en matière de développement technologique, et il sera difficile de développer des technologies capables de véritablement résoudre les problèmes du marché et de répondre aux besoins. Cette alternance du chaud et du froid peut se produire d'innombrables fois, et en fin de compte, seules les entreprises capables de véritablement résoudre les problèmes des clients et ayant de la valeur peuvent émerger. Ces entreprises continueront à affûter en alternant le chaud et le froid, tout comme les impuretés du fer sont éliminées pendant le processus de fabrication de l'acier, afin que l'acier puisse être fabriqué. De multiples alternances de chaud et de froid peuvent favoriser le développement de l’industrie.