No dia 8 de dezembro (este domingo), o tão aguardado NeurIPS 2019 terá seu lançamento oficial em Vancouver, Canadá.
Como a conferência mais importante na área de aprendizado de máquina, NeurIPS sempre teve uma forte influência e classificação, sendo considerada uma das melhores conferências em computação neural.
Com o aumento do aprendizado profundo nos últimos anos, o NeurIPS não apenas se tornou uma estrela em ascensão no mundo acadêmico, mas também atraiu grande atenção da indústria. O número de pessoas registradas saltou de algumas centenas há alguns anos para quase 10.000 este ano.
De acordo com a análise estatística da plataforma de dados Aminer, o NeurIPS tem um índice H5 de 149 e um valor 10H de 34641, ocupando o segundo lugar em conferências de inteligência artificial.
Com base na análise estatística das citações de artigos recebidos pelo NeurIPS nos últimos dez anos, selecionamos a lista TOP100 de estudiosos altamente citados do NeurIPS .
Esses 100 acadêmicos são todos figuras importantes na área de aprendizado de máquina e alcançaram resultados impressionantes tanto na academia quanto na indústria.
Entre esses 100 acadêmicos, o Google + DeepMind ocupa um quinto, formando um domínio absoluto. 8 são do Facebook e 7 são da Universidade da Califórnia, Berkeley. Ao mesmo tempo, 5 da Stanford University, 4 do MIT, 4 do OpenAI e 3 da New York University e University of Montreal.
Entre eles, cerca de 16 acadêmicos chineses estão na lista. Por exemplo, o ex-cientista-chefe do Baidu Wu Enda e o deus da visão computacional He Yuming; mas há apenas algumas pessoas trabalhando na China continental, como Dai Jifeng da Shangtang Technology, Sun Jian da Megvii Technology e Ren Shaoqing da Momenta.
O estudioso estrela do NeurIPS
Vamos dar uma olhada no top 10 da lista de estudiosos mais citados do NeurIPS.
Os três primeiros na lista de estudiosos altamente citados são Geoffrey Hinton, o "Pai das Redes Neurais", e seus mestres Ilya Sutskever e Alex Krizhevsky.
Geoffrey Hinton, classificado em segundo lugar na lista de estudiosos altamente citados, é um mestre do aprendizado profundo e é conhecido como o "Padrinho da Inteligência Artificial". Seu nome é muito impressionante na comunidade de pesquisa de inteligência artificial de hoje. Ele inventou a máquina Boltzmann e primeiro aplicou Backpropagation a redes neurais multicamadas; não só isso, ele também tinha alunos de alto nível, como Yann LeCun e Ilya Sutskever.
Hinton é bacharel em psicologia experimental pela Universidade de Cambridge e PhD em inteligência artificial pela Universidade de Edimburgo. O atual vice-presidente e pesquisador de engenharia do Google, e ao mesmo tempo lecionando e educando na Universidade de Toronto, é também o principal consultor científico do Vector Institute. Em 2012, Hinton também ganhou o Prêmio Canadense Killam (Prêmio Killam, o maior prêmio científico do país conhecido como "Prêmio Nobel Canadense").
O professor Hinton é o pioneiro do aprendizado de máquina, que permite que os computadores criem programas de forma independente e resolvam problemas por conta própria. De particular importância é que ele também abriu um subcampo do aprendizado de máquina, o chamado "aprendizado profundo", ou seja, deixar essas máquinas aprenderem como uma criança, imitando a rede neural do cérebro. Ele trouxe as redes neurais para o boom de pesquisa e aplicação e transformou o "aprendizado profundo" de um assunto marginal em uma tecnologia central da qual os gigantes da Internet, como o Google, dependem.
Hinton publicou 60 artigos em mais de 30 anos desde a fundação do NeurIPS, quase todos os anos. Entre 2009 e 2019, Hinton publicou 16 artigos no NeurIPS, com 47.482 citações.
Ilya Sutskever não é apenas um aluno de doutorado de Hinton, mas também pós-graduado de Wu Enda. Ele já foi um dos maiores especialistas em inteligência artificial do Google e mais tarde fundou a empresa de inteligência artificial sem fins lucrativos OpenAI.
O valor do índice H de Sutskever é 56. Em 2015, ele foi nomeado um "Inovador com menos de 35 anos" na categoria Visionários pela MIT Technology Review.
Em dez anos, embora ele tenha publicado apenas 11 artigos no NeurIPS, suas citações chegam a 6.7457 vezes, ficando em primeiro lugar na lista de estudiosos mais citados.
Sutskever, que é obcecado por computadores, estudou na Universidade de Toronto como estudante de graduação. Enquanto estava na faculdade, ele conheceu o professor Hinton. Hinton deu a ele um projeto de pesquisa: melhorar o algoritmo de incorporação de vizinho aleatório. O projeto foi o início de sua cooperação, e então Sutskever naturalmente se juntou ao grupo de Hinton para estudar para um doutorado.
Depois de se formar em 2012, Sutskever estudou com o professor Wu Enda como pós-doutorado na Universidade de Stanford por dois meses. Ele então voltou para a Universidade de Toronto e ingressou na empresa de pesquisa DNNResearch, fundada por Hinton. Quatro meses depois, o Google adquiriu o DNNResearch e Sutskever se juntou oficialmente ao Google Brain.
Nos dois anos no Google, Sutskever se juntou à biblioteca de código aberto do Google e desenvolveu a estrutura de aprendizado profundo TensorFlow. Ele também ajudou a DeepMind no desenvolvimento da inteligência artificial de Go AlphaGo, que marcou época, e o artigo sobre AlphaGo foi publicado na Nature em 2016, e Sutskever é um dos co-autores.
Em dezembro de 2015, Sutskever deixou o Google e foi cofundador da OpenAI com Greg Brockman (agora CTO da OpenAI). O objetivo da OpenAI é abrir a tecnologia de inteligência artificial para todos. Nos últimos anos, a OpenAI fez muitas conquistas incríveis. Sutskever sempre esteve na vanguarda da revolução da inteligência artificial, trabalhando com sua equipe para promover o auge da inteligência artificial forte.
Alex Krizhevsky, que está em terceiro lugar na lista, também é aluno de doutorado de Hinton. Alex parece ser mais discreto e suas informações raramente estão disponíveis online.
Em 2012, sob a orientação de Hinton, Alex Krizhevsky e Sutskever colaboraram para desenvolver o sensacional AlexNet. Este artigo intitulado "Classificação ImageNet com Redes Neurais Convolucionais Profundas" foi citado até 44218 vezes. Este também é o único artigo que Alex publicou no NeurIPS.
AlexNet foi revelado no NeurIPS com uma nova arquitetura de rede neural, incluindo cinco camadas convolucionais e três camadas totalmente conectadas. Este artigo é amplamente considerado como um trabalho verdadeiramente pioneiro porque é o primeiro a provar que uma rede neural profunda treinada em uma GPU pode levar as tarefas de reconhecimento de imagem a um novo nível.
A rede AlexNet teve um impacto muito importante no desenvolvimento de redes neurais. Todos os defensores da ImageNet subsequentes adotaram a estrutura de rede neural convolucional, tornando a arquitetura CNN o modelo central de classificação de imagens e, assim, abriu uma nova onda de aprendizado profundo. convolução + pooling + arquitetura totalmente conectada usada ainda é a estrutura de rede mais importante do aprendizado profundo atual.
Depois disso, Alex pareceu ficar em silêncio. Certa vez, ele co-fundou a empresa iniciante DNNresearch com o professor Hinton e Sutskever, e eles desenvolveram soluções que podem melhorar muito a tecnologia de reconhecimento de alvos. Mais tarde, Alex e Sutskever juntaram-se ao Google.
Mais tarde, Alex se juntou à startup canadense Dessa como arquiteto-chefe de aprendizado de máquina de Dessa. No início deste ano, Dessa vez desenvolveu um sistema de síntese de voz RealTalk, diferente dos sistemas anteriores que aprendiam a voz humana com base na entrada de voz, podendo gerar sons perfeitamente próximos de pessoas reais apenas com base na entrada de texto.
Em quarto lugar na lista está Yoshua Bengio, um dos "três grandes em inteligência artificial". Ele ganhou o Prêmio Turing em 2018 junto com Geoffrey Hinton e Yann LeCun.
Yoshua Bengio é um pioneiro no campo de processamento de linguagem natural de inteligência artificial. Bengio, nascido na França em 1964, cresceu no Canadá e agora mora em Montreal.Ele é professor do Departamento de Ciência da Computação e Computação da Universidade de Montreal. Bengio recebeu seu PhD em Ciência da Computação pela McGill University. Junto com Geoffrey Hinton e Yann LeCun, ele é considerado as três pessoas que promoveram o aprendizado profundo na década de 1990 e início de 2000. Em outubro de 2016, Bengio cofundou a Element AI, uma incubadora de inteligência artificial localizada em Montreal.
Bengio também é quem mais valoriza a pureza acadêmica entre os três. Enquanto trabalhava como consultor na Microsoft, ele também é codiretor do Projeto CIFAR Machine and Brain Learning, professor em tempo integral no Departamento de Ciência da Computação e Pesquisa Operacional no Canadá e chefe de pesquisa de algoritmos de aprendizagem estatística na a Universidade de Montreal.
Na conferência NeurIPS, Bengio publicou um total de 74 artigos, especialmente na conferência deste ano, havia 9 artigos assinados por Bengio.
Nos últimos dez anos, publicou 40 artigos no NeurIPS, com 18.714 citações.
O artigo mais citado é o artigo "Generative Adversarial Nets" publicado em 2014 e em coautoria com seu aluno de doutorado Ian Goodfellow, com 10618 citações.Este artigo propõe as famosas Generative Adversarial Networks (GANs).
É uma maneira interessante de "ensinar" aos computadores humanos competentes. Nos últimos cinco anos, os GANs fizeram grandes avanços no campo da geração de imagens e agora podem gerar imagens sintéticas altamente realistas de animais, paisagens e rostos humanos, demonstrando totalmente o potencial da tecnologia de "aprendizado não supervisionado".
Ao mesmo tempo, ele resolve o problema de longa data da tecnologia de aprendizado de máquina no nível teórico: como promover os resultados do treinamento de aprendizado de máquina para se mover na direção que os humanos esperam. Em 2015, a tecnologia de GANs ainda era desconhecida e, em 2016, alcançou popularidade onipresente, sendo até chamada de "a ideia mais legal na área de aprendizado de máquina em 20 anos" por especialistas.
Por falar em GANs, tenho que dizer Ian Goodfellow- "Pai dos GANs". Encontra-se em nono lugar na lista dos estudiosos mais citados e, em dez anos, publicou 10 artigos no NeurIPS, com um total de 13.480 citações.
Goodfellow é um dos jovens acadêmicos que têm atraído muita atenção no campo do aprendizado de máquina. Ele estudou na Universidade de Stanford para sua graduação e mestrado, sob a tutela de Enda Wu, e estudou aprendizado de máquina com Yoshua Bengio no Ph. Sua conquista mais notável foi a proposta de Generative Adversarial Networks (GANs) em junho de 2014.
Após a formatura, Goodfellow ingressou no Google e tornou-se membro da equipe de pesquisa do Google Brain. Em seguida, ele deixou o Google para ingressar no recém-estabelecido OpenAI Research Institute e, em março de 2017, voltou ao Google Research Institute. Apenas em abril deste ano, Ian Goodfellow ingressou na Apple como um cargo de nível de diretor, liderando uma "equipe de projeto especial de aprendizado de máquina" na Apple.
Os acadêmicos classificados entre o quinto e o oitavo lugar na lista de acadêmicos altamente citados são Greg Corrado, Jeffrey Dean, Kai Chen e Tomas Mikolov, do Google.
Greg Corrado e Jeffrey Dean publicaram, cada um, 3 artigos no NeurIPS em dez anos, com um total de 17.218 citações. Tomas Mikolov também publicou 3 artigos com um total de citações de 15.407. Kai Chen publicou dois artigos com um total de 16.139 citações.
Eles e Ilya Sutskever publicaram em conjunto um artigo "Representações Distribuídas de Palavras e Frases e sua Composicionalidade" em 2013, que foi citado 14.087 vezes.
Este artigo é um suplemento para "Estimativa eficiente de representações de palavras no espaço vetorial". Ele apresenta o método de treinamento usando o modelo Skip-gram e o modo de treinamento Hierárquico Softmax, e complementa o modo de treinamento de Amostragem Negativa em vez de Amostragem Negativa para obter um efeito de treinamento mais rápido . O artigo também propõe um método de subamostragem de palavras de alta frequência, bem como um método de medição de frases e aprendizagem da representação de frases.
Greg Corrado é um cientista pesquisador sênior no aprendizado de máquina do Google. Suas principais direções de pesquisa são inteligência artificial, neurociência computacional e aprendizado de máquina escalável. Ele também é um dos fundadores do projeto Google Brain.
O deus da inteligência artificial do Google, Jeff Dean, é o arquiteto-chefe do Google, pesquisador sênior do Google Research e chefe da equipe de inteligência artificial do Google, o Google Brain. Jeff Dean, que tem um Ph.D. da University of Washington, um acadêmico da American Academy of Engineering, ACM Fellow, Consultor de disciplina de computador do Instituto de Pesquisa de AI da Universidade Tsinghua, AAAS Fellow, etc., foi responsável por muitos grandes dimensionar projetos no Google e oferecer suporte à estrutura de computação de ultra-grande escala MapReduce e aprendizado de máquina do Google. O icônico software TensorFlow foi desenvolvido sob sua liderança.
Tomas Mikolov trabalhou anteriormente no Google e atualmente é um cientista no Laboratório de Pesquisa de Inteligência Artificial do Facebook. Ele também é um estudioso que produz muitos artigos de alta qualidade, de RNNLM, Word2Vec ao recentemente popular FastText.
Em décimo lugar está He Yuming, o grande deus da visão computacional e cientista pesquisador de IA do Facebook. Seus interesses de pesquisa são visão computacional e aprendizado profundo. Nos últimos dez anos, publicou 3 artigos no NeurIPS, com um total de 12.605 citações.
O mais famoso é "Faster R-CNN: Rumo à detecção de objetos em tempo real com redes de propostas regionais" publicado em 2015, que foi citado 11.093 vezes.
Nesta lista TOP100, há mais figuras importantes no campo do aprendizado de máquina, como o pai do aprendizado de máquina, acadêmico da Academia Americana de Ciências, professor de Berkeley Michael I. Jordan, o primeiro diretor de IA da Apple, Ruslan Salakhutdinov, etc. embora não tenhamos escrito um por um, eles não podem negar seu status incomparável no campo do aprendizado de máquina.
Para tornar mais fácil para todos entender e dominar as últimas informações e tendências do NeurIPS 2019,
Neste final de semana lançaremos a página conf-plus do NeurIPS 2019 , sejam bem-vindos a todos que prestem atenção a ela!
Revisão anterior
Interpretação! Uma coleção de 8 artigos do NeurIPS 2019, incluindo Beijing Post, Xidian e DeepMind