[NDLR] Dans la brillante galaxie de l'open source et de l'intelligence artificielle, le nom de Jia Yangqing est particulièrement éblouissant. À cause de la phrase du professeur Trevor Darrell "Voulez-vous passer plus de temps à rédiger une thèse de fin d'études dont les gens ne se soucient probablement pas, ou écrire un cadre que tout le monde utilisera à l'avenir ?", l'étudiant Jia Yangqing s'est plongé dans le monde de la création Café. Caffe est devenu le chef-d'œuvre de Jia Yangqing, et le parcours open source et IA de Jia Yangqing ira plus loin.
Interview | Liu Ren, président de Cloud Computing Technology, auteur de "Knowledge Heroes", fondateur de DoNews
Auteur | Li Xinxin Liu Ren Zhou Yang Éditeur | Tang Xiaoyin
Rédaction | Rédaction "Nouveau Programmeur"
Juin 2013, Université de Berkeley. Jia Yangqing, 28 ans (voir figure 1), écrit du Decaf (le prédécesseur du Caffe). Trois mois plus tard, le Dr Yangqing Jia a obtenu son diplôme. En ce moment, il travaille avec le professeur Thomas Griffith du département de psychologie de Berkeley pour étudier un sujet psychologique : comment les humains forment le concept de « catégories » au cours de leur croissance personnelle. Dans la recherche, Jia Yangqing a utilisé un cadre probabiliste pour exprimer le comportement humain, mais les caractéristiques du comportement humain extraites des images sont faibles et il est difficile de tirer des conclusions complètes.
Figure 1 Jia Yangqing pendant la période de Berkeley
Un jour, Jia Yangqing a vu qu'un article "Advances in neural information processing systems", qui a remporté la première place au concours ILSVRC 2012, mentionnait le modèle d'apprentissage en profondeur AlexNet, utilisant la technologie Convolutional Neural Network (Convolutional Neural Network, CNN en abrégé). , vaincu D'autres algorithmes de réseau non neuronal sont utilisés et seuls deux GPU peuvent remplacer la précédente solution à 10 000 processeurs de Google. Une machine vaut 10 000 machines et le taux d'erreur est réduit de 25 % à 15 %. Ce document a fait d'une pierre l'eau et a choqué l'industrie. Auparavant, le réseau de neurones n'était pas optimiste quant à l'industrie.
Jia Yangqing a été inspiré et a pensé à appliquer la technologie d'extraction de caractéristiques CNN dans la thèse à son projet de recherche en psychologie actuel. Alors Jia Yangqing a approché Alex Krizhevsky (l'un des auteurs du modèle AlexNet) et lui a demandé s'il pouvait partager le code source d'AlexNet ? Alex a répondu comme ceci : Désolé, j'ai créé une entreprise et je démarre une entreprise. En raison de problèmes de propriété intellectuelle, je ne peux pas fournir directement le code, mais vous pouvez me demander à tout moment si vous rencontrez des problèmes pendant le processus de recherche.
Juste à ce moment, Jia Yangqing a reçu un GPU K20 du programme de dons universitaires de NVIDIA (voir Figure 2). Pour les étudiants, "le GPU est très cher !" Ainsi, Jia Yangqing, qui rédigeait sa thèse de fin d'études, a commencé à sauver une machine, au temps d'inactivité, reproduit le framework AlexNet pour extraire les caractéristiques des images.
Figure 2 Le premier GPU en tant que cadre
A cette époque, Jia Yangqing prenait le métro tous les jours pour se rendre chez Google pour un stage. Assis sur le siège du métro, Jia Yangqing a allumé l'ordinateur, l'a étendu sur ses jambes et a continué à écrire le cadre au besoin. En tant que débutant en GPU, tout est difficile au début, mais Jia Yangqing en est accro. "Écrire du code peut être presque aussi addictif que jouer à des jeux." "Le temps que je consacre à la programmation a progressivement augmenté de 20 %, 40 %, 80%...." Google, Jia Yangqing boit plusieurs tasses de café chaque jour, "Ce n'est pas bon", Jia Yangqing a nommé le cadre qu'il écrivait Decaf, afin de s'alerter et d'arrêter le café.
À l'heure actuelle, la liste des tâches de Jia Yangqing comprend : 1. une thèse de doctorat ; 2. des sujets de recherche en psychologie ; 3. la recherche d'un emploi ; 4. la reproduction du cadre AlexNet. Comparé aux trois premières tâches, Jia Yangqing a passé plus de temps sur la dernière, et le temps pour écrire la thèse a été sévèrement pressé. Il a demandé conseil à son conseiller Trevor Darrell (informaticien, professeur à Berkeley), et celui-ci n'a posé qu'une seule question : "Voulez-vous passer plus de temps à rédiger un mémoire de fin d'études dont tout le monde ne se soucie probablement pas ? Un cadre qui peut être utilisé?"
Encouragé par les paroles du tuteur, Jia Yangqing a mis la thèse de côté et s'est plongé dans le décaféiné. "Le mentor peut toujours m'apprendre à faire la distinction entre les priorités."
Après que Jia Yangqing ait écrit l'échafaudage et l'ait "exploité" à petite échelle, il a mis le Decaf dans le groupe de Berkeley et a laissé les étudiants l'essayer. Tout le monde pensait que c'était "assez facile à utiliser". Evan Shelhamer, Jonathan Long, Jeff Donahue, Sergio Guadarrama et Jia Yangqing se sont bien entendus et ont décidé de former un "groupe central" pour développer ensemble le décaféiné en dehors de la recherche scientifique quotidienne et du travail d'ingénierie. Bientôt, la "petite bande" reproduisit le modèle AlexNet.
Decaf doit être formé sur la base de cuda-convnet, mais grâce à la vérification Decaf, les fonctionnalités d'apprentissage en profondeur peuvent utiliser des paradigmes d'apprentissage pour des expériences approfondies. Tout le monde pense qu'il est préférable de développer un cadre d'apprentissage en profondeur complet et d'en faire une IA générale et propre. Outils de cadre.
En raison de la vitesse rapide du GPU, Jia Yangqing a pensé à changer Decaf en Caffe, et les étudiants du groupe de Berkeley ont préféré le nom Caffe. En conséquence, Decaf a changé son nom en Caffe. Deux mois plus tard, Caffe était terminé. Jia Yangqing a fait une demande spéciale auprès de l'instructeur, a acheté une machine à café goutte à goutte et l'a mise dans la salle de recherche. Depuis lors, Evan Shelhamer a souvent préparé du café pour tout le monde, ce qui a poussé Jia Yangqing, qui voulait arrêter le café, "à la fin, il n'a pas pu arrêter le café." Tout le monde a simplement changé l'adresse e-mail pour le travail de consultation externe en caffe-coldpress.
Figure 3 Le premier ordinateur hôte de Jia Yangqing utilisé pour développer Caffe
Jia Yangqing est confronté à un problème difficile : quelle méthode utiliser pour libérer Caffe ? Est-ce pour créer une start-up comme Alex Krizhevsky et l'exploiter commercialement ? Ou comme une bibliothèque de programmes, uniquement pour soutenir la recherche scientifique ? Ou open source ? Jia Yangqing était indécis, et les opinions des autres développeurs de Caffe avaient également leurs propres tendances, et ils ne pouvaient pas être d'accord.
Jia Yangqing a l'intention d'ouvrir Caffe en open source. Il pensait qu'au cours des derniers mois, s'il existait un framework public d'apprentissage en profondeur capable d'obtenir les détails du code et de l'algorithme, il n'aurait pas à gaspiller d'énergie pour le reproduire. De plus, "Quand j'étais étudiant, au plus profond de mon cœur se trouvait le désir de 'faire quelque chose et de le mettre en open source'", "La plupart des codes que j'utilisais à Berkeley étaient open source", "Ce n'est qu'en mettant le marché S'il grossit, tout le monde aura peut-être un gâteau à manger", "L'open source n'anéantira pas les capacités techniques personnelles", "De toute façon, je peux encore me permettre d'acheter du café ! Que demander de plus."
Comment mettre tout le monde d'accord ? "C'est beaucoup plus difficile que d'écrire Caffe". Jia Yangqing a décidé de parler aux étudiants en développement de base un par un. Il est facile de parler de certains étudiants, alors que d'autres sont difficiles à discuter. Jia Yangqing était pressé et a lâché avec colère : "C'est le cadre que j'ai écrit, donc je devrais avoir le droit de prendre des décisions !". Nous sommes tous d'accord. que Caffe est open source.
En décembre 2013, Caffe a été mis sur GitHub et officiellement open source. Alex Krizhevsky était également très heureux d'apprendre la nouvelle. Le mentor de Jia Yangqing a suggéré que l'Université de Berkeley soit écrite dans la description de Caffe, et Jia Yangqing était également très heureux. "Caffe est open source au nom de l'Université de Berkeley. Tout le monde est très fier et sent qu'il honore son alma mater."
Lorsqu'il était stagiaire chez Google, Jia Yangqing a reçu une offre officielle de Google et n'a attendu pour rejoindre le poste qu'après l'obtention de son diplôme. Jia Yangqing, qui ne voulait plus chercher d'emploi, a complètement lâché prise et a simplement arrêté d'écrire sa thèse de fin d'études, et le sujet de psychologie qu'il avait étudié à l'origine n'était rien.
Caffe a commencé à attirer les utilisateurs et les développeurs.Avec l'aura de Caffe, Jia Yangqing a rencontré de nombreuses personnes dans l'industrie. Deux mois plus tard, Jia Yangqing a accidentellement reçu un e-mail de Nvidia Corporation proposant de fournir des ressources informatiques au Berkeley Research Institute et d'envoyer des ingénieurs travailler avec Jia Yangqing sur l'optimisation du framework afin d'améliorer la stabilité des applications de Caffe. Jia Yangqing a accepté de coopérer et il a aimé les avantages de Nvidia du côté du système. L'année suivante, Caffe, s'appuyant sur la force de toutes les parties, était sur la voie d'un développement accéléré.
Tout en travaillant chez Google, Jia Yangqing a continué à entretenir Caffe avec ses collègues de Berkeley. Jia Yangqing a commencé à repenser certaines structures de Caffe pour le rendre plus modulaire et plus adaptable au déploiement dans divers environnements. Evan Shelhamer, qui a de l'expérience dans la communauté open source, a dirigé la coopération avec toutes les parties ; Jeff Donahue a aidé Pinterest à construire un système d'apprentissage en profondeur ; Jonathan Long a fourni à Caffe de nombreuses nouvelles fonctionnalités, y compris l'interface Python... En termes de développement de la communauté, GitHub et The caffe-users mailing group forment ensemble une organisation lâche et libre, reposant sur la gestion spontanée des utilisateurs de Caffe.
En travaillant sur Caffe, Jia Yangqing a vécu une expérience de projet complète de 0 à 1. " Caffe devrait être considéré comme mon premier projet C++. " Dans l'ensemble, " cela a été un excellent exercice pour moi, du développement de l'équipe, comment promouvoir et comment obtenir des commentaires. , Comment améliorer le processus, j'ai personnellement expérimenté chaque lien. » En mai de la deuxième année après avoir quitté Berkeley, Jia Yangqing a finalement terminé sa thèse de doctorat.
Les jeunes d'une petite ville vont à l'université de Tsinghua
En 1984, Jia Yangqing est née dans le comté de Shangyu, Shaoxing. Les deux parents sont professeurs de chinois au collège. Quand il avait 1 an, Jia Yangqing aimait écouter des histoires, et sa mère lui racontait souvent des histoires avec des livres d'images. À l'âge de 3 ans, Jia Yangqing connaissait deux à trois cents caractères, et il tenait souvent un livre et le lisait fasciné. Quand il avait 5 ans, ses parents l'ont emmené à la librairie Xinhua. Jia Yangqing a choisi "Les contes de fées d'Andersen". Sa mère a demandé avec surprise : Comprenez-vous les mots du livre ? Jia Yangqing hocha la tête.
La famille de Jia Yangqing vit sur le campus, paisible et paisible, avec une vie régulière. A 6h00, mes parents se sont levés pour aller étudier le matin, et Jia Yangqing s'est également levée. En sixième année de l'école élémentaire, Jia Yangqing a été transféré de l'école de ses parents à l'école centrale de Shangyu. En plus d'être curieux du nouvel environnement, Jia Yangqing se sentait également un peu inférieur. Il étudiait plus dur et voulait faire ses preuves à travers les notes. Lors de l'examen d'entrée au lycée, Jia Yangqing s'est classée troisième dans le district de Shangyu et a été admise au collège de Chunhui.
En deuxième année de lycée, il était populaire avec les ordinateurs.Même si l'école avait un laboratoire, les parents de Jia Yangqing lui ont quand même acheté un Pentium II pour plus de 7 000 yuans. Jia Yangqing a joué avec la machine en fonction de ses sentiments, essayé divers logiciels et joué à des jeux de démineur... Une fois, Jia Yangqing est allé chez un camarade de classe pour jouer, a vu le camarade de classe utiliser la souris pour cliquer sur l'interface graphique sur l'écran de l'ordinateur , et le lui a démontré. Jia Yangqing pensait que c'était amusant d'apprendre la programmation par lui-même. Après être rentré chez lui, il tâtonna pour écrire un petit programme en BASIC - entrer un numéro d'année dans la case, et le signe du zodiaque correspondant de l'année s'afficherait à l'écran.
L'ordinateur a fait sentir à Jia Yangqing qu'"une nouvelle chose peut être créée." "Très heureux." Mais Jia Yangqing a écouté ses parents et s'est toujours concentré sur ses études en vue de l'examen d'entrée à l'université. Au collège, le professeur de chinois a appris aux élèves à écrire des critiques littéraires. Jia Yangqing a choisi "De la description et de l'art de la poésie dans" L'histoire de la chambre ouest "" comme sujet. Le professeur a été surpris et a demandé à la mère de Jia Yangqing : Est-il trop tôt pour que les enfants lisent "L'histoire de la chambre ouest" ? Sa mère a dit: "Écoute, ça n'a pas d'importance." Les parents enseignent le chinois et Jia Yangqing a beaucoup de livres de littérature à la maison, alors il sort souvent au hasard un livre de la bibliothèque de ses parents et le feuillette. Il a pris une copie de "Parler d'art" de Qian Zhongshu et l'a feuilleté. Bien sûr, "Je ne pouvais pas le comprendre, alors je l'ai remis." Jia Yangqing a lu "Histoire de la littérature occidentale" et "L'épopée d'Homère" et a estimé que "le monde extérieur et ma vie La ville est différente." Jia Yangqing a lu "Sonnets" et a découvert que la poésie occidentale prête attention à la rime, qui est similaire à la poésie chinoise ancienne. "C'est très intéressant qu'ils puissent se confirmer..." Jia Yangqing s'est toujours intéressé à la littérature, mais il a choisi la science. « Par rapport aux arts libéraux, la science peut aller un peu plus loin par ses propres efforts. » Ou peut-être était-elle influencée par l'environnement général que tout le monde disait à l'époque que « étudiez bien les mathématiques, la physique et la chimie, et vous n'aurez pas peur voyager partout dans le monde".
Au lycée, Jia Yangqing a remporté deux premiers prix aux concours nationaux de physique et de chimie et le deuxième prix pour ses compétences globales en anglais. Les mathématiques ne sont pas exceptionnelles, les parents lui ont acheté le CD-ROM "Human Online", beaucoup de questions. "Pour les questions que je ne sais pas comment faire, j'achèterai un livre entier de questions pratiques à faire jusqu'à ce que je sois familiarisé avec l'application." Les performances en mathématiques de Jia Yangqing se sont progressivement améliorées et il a remporté le deuxième prix du National Mathematical Ligue.
En 2002, Jia Yangqing a fait une erreur sur la dernière question du test de physique pour l'examen d'entrée à l'université et a perdu 27 points ! En conséquence, j'ai marqué 686 points. L'objectif clair de Jia Yang est le Département d'informatique de l'Université Tsinghua. Après avoir discuté avec les enseignants du Bureau des admissions de l'Université Tsinghua, pour être du bon côté, il a rempli "Département d'automatisation, Université Tsinghua" sur son premier choix. Lorsque Jia Yangqing a ouvert la notice et a vu les mots "L'Université Tsinghua est la fierté de votre vie" écrits sur la couverture, il était très heureux.
Commencer la recherche sur l'intelligence artificielle
La bibliothèque Tsinghua a ouvert à 8h00 du matin, et après 7h00, Jia Yangqing et quelques camarades de classe proches se tenaient devant la porte et attendaient en ligne pour l'auto-apprentissage. Il y avait 27 élèves dans la classe et Jia Yangqing s'est rapidement classée parmi les meilleures. Au cours des quatre années d'études de premier cycle, en dehors des études, la vie de Jia Yangqing est toujours d'étudier. Après les cours, Jia Yangqing a pris le calcul comme sujet de recherche et a fait des "Exercices d'analyse mathématique Jimidovich".
L'école d'information de Tsinghua est composée du département d'automatisation, du département d'informatique et du département d'électronique.Les trois départements étudient les mêmes matières de base, et le département d'informatique se concentre sur la théorie et les logiciels. "Essentiellement, le Département de l'automatisation fait deux choses : brûler des chaudières et conduire des ascenseurs. Pour brûler des chaudières, la température doit augmenter rapidement, et après avoir atteint une certaine température élevée, la température doit être maintenue stable. C'est le problème à résoudre. par la théorie du contrôle. Conduire des ascenseurs C'est la même chose."
Au cours de sa première année, Jia Yangqing a suivi le cours "Pattern Recognition and Intelligent System" enseigné par le professeur Zhang Changshui. Jia Yangqing a soudainement réalisé que ce qui le fascine le plus dans l'intelligence artificielle est de briser l'expérience inhérente et d'explorer la voie de la possibilité . "Il y a quelque chose à faire !" Et "pour l'algorithme de l'intelligence artificielle, on ne peut dire que la précision utilisée pour identifier certaines choses, et de nombreux problèmes ne sont ni connus ni résolus", a déclaré Jia Yangqing au "Machine Learning" suscité. grand intérêt. "Il est intéressant et significatif de laisser les machines faire des choses pour les gens automatiquement et de libérer les gens du travail de bas niveau et répétitif." Dans la classe de lecture de thèse, Jia Yangqing a trouvé le magazine "Science" (Science) et a lu à haute voix Geoffrey Hinton "Reducing the Article sur la dimensionnalité des données avec les réseaux de neurones. Après les cours, Jia Yangqing a recherché des informations liées au "réseau de neurones" et s'est enseigné tout seul. Il a appris des concepts tels que "machine de Boltzmann"... Bien qu'à cette époque, dans le domaine de l'intelligence artificielle, le "réseau de neurones" était à un niveau très bas.
À la veille de l'obtention du diplôme, Jia Yangqing a conçu un parcours basé sur son intérêt - identifier une seule voiture dans un trafic dense. Si vous pouvez identifier le nombre de voitures individuelles, vous pouvez déterminer la situation de congestion sur le tronçon de route actuel. Jia Yangqing et ses camarades de classe se tenaient sur chaque passage supérieur du quatrième périphérique, ont pris de nombreuses photos de véhicules passant sous le pont avec leurs appareils photo et les ont marqués à la main. "Il n'y avait pas d'apprentissage en profondeur à cette époque. J'ai utilisé la méthode classique de la vision par ordinateur pour voir jusqu'où je peux reconnaître les véhicules. " "Je pense que ce problème est amusant et stimulant, donc je vais l'explorer. Une méthode correcte n'a pas de sens. ”
En juillet 2006, Jia Yangqing, un "bon élève", a obtenu un baccalauréat et est entré à l'école pour étudier en vue d'une maîtrise sans examen. Jia Yangqing a suivi le professeur Zhang Changshui pour se spécialiser dans la reconnaissance des formes et les systèmes intelligents, et s'est officiellement engagé sur la voie de la recherche sur l'intelligence artificielle.
5 articles internationaux par une personne
Juillet 2008, Chicago, Conférence internationale sur l'informatique. Le temps était chaud et Jia Yangqing, qui portait des manches courtes, tremblait à cause du climatiseur extrêmement froid dans la salle de conférence. Jia Yangqing était également mal à l'aise, il a dû monter sur scène à plusieurs reprises et donner 5 communications internationales en anglais, dont 4 dans des domaines qu'il ne connaissait pas, alors que le public était composé de professionnels du monde entier.
Les papiers de 5 étudiants du laboratoire ont été présélectionnés, mais seul Jia Yangqing a obtenu le visa américain. En désespoir de cause, Jia Yangqing n'a eu d'autre choix que de parler en son nom. L'instructeur l'encouragea : " Ne t'inquiète pas, si tu parles mal, personne ne se souviendra de toi. Tu n'es pas si important. Parle juste à l'aise. " " Si tu te trompes, les gens ne se souviendront pas de toi ; Pas mal !" Lors de la conférence universitaire, des collègues en Europe et aux États-Unis étaient disposés à prendre l'initiative de montrer leur philosophie, ce qui a eu un grand impact sur Jia Yangqing. Dans les laboratoires domestiques, chacun est généralement occupé à faire sa propre recherche scientifique. Les Européens et les Américains espèrent vivement que leur recherche scientifique sera vue par plus de gens. Ils prennent l'initiative de trouver quelqu'un à qui parler, installent une bannière déroulante à côté sur le podium, et s'efforcent de promouvoir leurs projets. Quand ils parlaient de ce qu'ils faisaient, ils rayonnaient, leurs yeux s'illuminaient et ils rayonnaient de fierté. Jia Yangqing était profondément infectée. "J'ai appris à communiquer aux autres les idées derrière mes recherches. À cette époque, nous manquions généralement de cette capacité."
À l'été 2009, Jia Yangqing, 25 ans, est diplômée de l'Université de Tsinghua et a postulé pour des doctorants dans plus d'une douzaine d'universités étrangères en une seule fois. Parmi eux, le département informatique de l'Université de Californie à Berkeley a fourni une bourse complète. , et l'école de Californie convenait également très bien à Jia Yangqing. A cette époque, les recherches sur l'intelligence artificielle en étaient au stade initial de tâtonnements de scénarios d'application : reconnaissance de la parole, traduction automatique, reconnaissance d'objets... La direction d'emploi se limitait au domaine des algorithmes, et le travail des data scientists et des data scientists l'exploitation minière n'était pas encore devenue une catégorie de recrutement à part entière.
Stage Google
Lors du séminaire de Berkeley, un collègue d'une grande usine est venu à Jia Yangqing et a déclaré : « Nous aimons beaucoup Caffe. Il y a des tests unitaires dans le code ! Souvent, le code écrit par le chercheur est vraiment difficile à lire, mais vous écrire Pas mal !" Cela est dû au stage de Jia Yangqing chez Google, et il a développé une bonne habitude en apprenant à écrire du code.
Chaque année, de fin mai à août, Berkeley a des vacances d'été et la plupart des étudiants iront dans de grandes usines pour des stages afin de cultiver une expérience industrielle pratique. À l'été 2011, Jia Yangqing était stagiaire au laboratoire NEC et a été exposé pour la première fois au codage parcimonieux (Sparse Coding). Jia Yangqing a créé un algorithme de domaine perceptuel qui apprend automatiquement chaque caractéristique et a obtenu le meilleur à ce moment-là. sur l'ensemble de données de l'ICRA le taux d'exactitude.
Pendant les vacances d'été de la deuxième année de doctorat, Google a invité Jia Yangqing dans l'entreprise pour un entretien, puis est resté pour un stage. Le stage de Google est divisé en deux directions : ingénierie produit et institut de recherche. Jia Yangqing est à l'institut de recherche et son mentor est le chinois Han Mei (actuellement doyen de l'Institut de recherche Ping An Technology Silicon Valley). Jia Yangqing fait des recherches sur la reconnaissance d'images et la compréhension vidéo sur les images visuelles. En collaboration avec l'équipe de recherche d'images, il travaille sur des modèles de reconnaissance précis pour améliorer la précision de la reconnaissance. Plus tard, le travail auquel il a participé a été intégré dans l'album photo personnel de Google Photos.
Étant chez Google, Jia Yangqing a ressenti l'extrême efficacité de dizaines de milliers d'ingénieurs travaillant de manière distribuée. Le système de processus de pratique d'ingénierie de Google est solide et le processus d'écriture de code est fixé par des spécifications : lors de l'écriture d'un programme, la méthode de test unitaire doit être écrite à côté de celui-ci, de sorte qu'il soit pratique pour les autres de modifier et de tester ; il est obligatoire rédiger des documents dans un format standard. En peu de temps, la capacité de Jia Yangqing à écrire du code s'est rapidement améliorée. "D'une part, j'ai bénéficié de l'apprentissage de nombreux logiciels open source ; d'autre part, je pense que la curiosité est la norme universelle pour mesurer l'apprentissage. Lorsque vous voyez un bon code, essayez-le vous-même, écrivez-le plusieurs fois, et Améliorez-vous constamment." "Tout le monde a de la curiosité, tout comme les enfants osent manger n'importe quoi parce qu'ils n'ont aucune expérience en matière de nourriture, et le bénéfice marginal d'essayer de manger de nouvelles choses est grand. La joie du monde délicieux est plus grande que la douleur de manger de temps en temps. manger de la boue." "En vieillissant, il y a de plus en plus de données empiriques à partir desquelles apprendre, nous devons donc remplacer l'économie par la philosophie et utiliser la foi pour nous forcer à des actions exploratoires, au lieu de toujours apprendre scientifiquement et rationnellement profondément de l'expérience et sélectionner les meilleurs."
En tant que stagiaire chez Google, Jia Yangqing "a appris des choses tout en améliorant sa vie". La nourriture à la cafétéria de Google est riche, et il y a un gâteau au dessert appelé "Ten Pounds", ce qui signifie qu'après être resté chez Google pendant un an, le poids augmentera de 10 catties ! Jia Yangqing a utilisé le salaire de stage de Google pour acheter une nouvelle voiture. Les bonnes habitudes de travail développées chez Google sont restées dans le code de Caffe.
En 2013, Jia Yangqing est diplômée de Berkeley avec un doctorat en informatique.
De TensorFlow à PyTorch
Jia Yangqing est allé en Espagne pour une réunion et a souffert d'un gros rhume. Il est allé à la pharmacie tard le soir pour acheter des médicaments. Il ne comprenait pas l'espagnol, alors il a allumé la traduction de l'appareil photo de Google Translate, a scanné les étagères rangée par rangée, et j'ai trouvé de l'ibuprofène.
En cas d'urgence, l'utilisation des fonctions développées par moi-même a résolu le problème, "c'est incroyable". L'algorithme OCR acquis par Google est relativement simple et ne peut pas reconnaître les polices et les textes complexes. Il est reconnu sur le cloud et la vitesse est lente. Jia Yangqing et l'auteur ont travaillé ensemble pour mettre en œuvre le modèle OCR d'apprentissage en profondeur sur le téléphone mobile pour le première fois.
En 2013, Jia Yangqing a rejoint Google Brain (en avril 2023, Google Brain et DeepMind ont fusionné pour devenir Google DeepMind), et deux ans plus tard, Jia Yangqing est devenu membre de l'équipe fondatrice de TensorFlow. "La plupart des auteurs du framework de première génération de TensorFlow sont toujours chez Google, et le framework de deuxième génération est approfondi et complet. Il est largement adopté par les produits de Google. " TensorFlow était open source par Google, et est devenu une fois un projet avec un très grand nombre d'étoiles sur GitHub. Dans Google, Jia Yangqing a trouvé un avantage "comparatif" personnel. "J'ai commencé par la recherche sur l'IA et j'avais un langage commun avec les scientifiques ; quand je faisais de l'ingénierie, les ingénieurs pensaient que j'étais doué pour écrire du code." "J'ai pu permettre aux deux parties de communiquer et de collaborer."
En 2016, Jia Yangqing a rejoint Facebook (maintenant Meta). Facebook doit créer une plate-forme de base d'IA qui prend en charge tous les produits tels que la publicité, les flux, les recommandations de recherche, la reconnaissance d'images, le traitement du langage naturel et la réalité mixte. L'équipe de 4 personnes de Jia Yangqing est petite mais efficace. Sur la base de Caffe, développez Caffe2. Lorsque Caffe2 est sorti, la "réalité augmentée et la réalité virtuelle" sont soudainement devenues populaires, et il n'a fallu que 2 mois pour que Caffe2 soit intégré au terminal mobile. Zuckerberg était très heureux et a personnellement publié un message annonçant officiellement la fonction de conversion de style d'artiste (voir la figure 3). C'est la première fois qu'un réseau d'apprentissage en profondeur est déployé sur plus d'un milliard de téléphones mobiles.
Figure 3 Zuckerberg a personnellement annoncé la fonction de conversion de style d'artiste
Alors que Jia Yangqing travaillait sur Caffe2, PyTorch dirigé par le Facebook Artificial Intelligence Research Institute à New York a été couronné de succès. En 2018, sous la direction de Jia Yangqing, le backend de Caffe2, le frontend de PyTorch et le standard d'ONNX ont synthétisé un framework complet, nommé PyTorch1.0. "Si TensorFlow ressemble à une moissonneuse-batteuse grande et complexe, PyTorch ressemble plus à un vélo flexible et pratique."
Enregistrement de questions et réponses
Liu Ren : Quelle est la percée de la traduction automatique ?
Jia Yangqing : Dans le passé, la traduction automatique reposait sur l'établissement de règles grammaticales, mais les différences syntaxiques entre les deux langues sont énormes, et il est difficile de définir des règles grammaticales de manière exhaustive par l'écriture manuscrite. Maintenant, utilisez le réseau de neurones, puis utilisez Internet pour collecter des données, former le réseau de neurones et optimiser et améliorer progressivement sa précision.
Liu Ren : Quelle est la différence entre la méthode des règles et la méthode des réseaux de neurones ?
Jia Yangqing : Lorsque les programmeurs écrivent des règles, ils tombent dans des règles sans fin et entrent dans le marécage des règles. Il y a des exceptions au-delà des exceptions, ce qui est un problème sans fin. Utilisez le réseau de neurones pour résoudre le problème de manière vague, puis améliorez progressivement la précision de la prédiction grâce à l'apprentissage des données.
Liu Ren : Quelle est la différence entre l'apprentissage en profondeur et l'apprentissage en profondeur par renforcement ?
Jia Yangqing : L'apprentissage profond intensif signifie comment rendre les avantages ou les pénalités obtenus dans le futur au présent.
Liu Ren : Dans quelle direction l'intelligence artificielle concurrencera-t-elle les humains pour les emplois ?
Jia Yangqing : C'est une bonne chose que le travail humain simple et répétitif soit remplacé. Lorsque les gens sont libérés, ils peuvent penser à plus de possibilités. Da Vinci a un tableau très célèbre appelé "Vierge aux rochers". Le corps principal de la Vierge a été peint par Da Vinci, et les fleurs et les pierres à l'arrière-plan ont été peintes par les assistants de Da Vinci. Da Vinci a également besoin d'un assistant. De nombreux peintres dessinent aujourd'hui le corps principal, puis demandent à un assistant de remplir l'arrière-plan. Il peut également laisser l'IA remplir l'arrière-plan. Comme l'assistant de Léonard de Vinci, l'IA peut rendre les peintres plus efficaces.
Liu Ren : Où est le fossé technologique entre la Chine et les États-Unis ?
Jia Yangqing : Curiosité. Nos meilleurs collaborateurs recherchent l'exécution et résolvent des problèmes spécifiques. Les Européens et les Américains préfèrent créer de nouvelles choses. Je dois admettre que les Américains ont pu se procurer suffisamment de nourriture et de vêtements pendant longtemps, alors ils jouent de plus en plus, et ils peuvent toujours jouer quelque chose de nouveau. Nous devons poursuivre dans de nombreux aspects, et cette question ne peut pas être précipitée.
À propos des héros open source
"Open Source Heroes" est une chronique d'interviews exclusive produite conjointement par CSDN et "New Programmers", initiée par Jiang Tao, fondateur et président de CSDN, et partenaire fondateur de Geekbang Venture Capital, dirigée par Liu Ren, un célèbre journaliste informatique chinois et fondateur de DoNews. Grâce à la classe d'écriture open source et open CSDN, des entretiens approfondis avec les plus grandes personnalités mondiales de l'open source, pour fournir des informations de plus en plus de qualité aux développeurs, pour trouver une résonance et danser dans le monde open source à travers leur vie et leur croissance.
Depuis le lancement de la chronique, nous avons interviewé You Yuxi, l'auteur de Vue, Zhang Wensong, le fondateur de LVS, Wu Fengguang, le gardien du noyau Linux, Gong Min, le premier utilisateur de Linux en Chine, Cui Baoqiu, le fondateur de l'open source de Xiaomi, et Jia Yangqing, l'auteur de Caffe. Si vous souhaitez que nous signalions des personnages open source, n'hésitez pas à soumettre des problèmes ou des relations publiques sur GitCode.
Adresse : https://gitcode.net/programmer_editor/Open-Source-Heroes
Lecture recommandée:
