12 월 8 일 (이번 일요일), 오랫동안 기다려온 NeurIPS 2019가 캐나다 밴쿠버에서 공식적으로 시작됩니다.
기계 학습 분야에서 가장 중요한 컨퍼런스 인 NeurIPS는 항상 강력한 영향력과 순위를 가지고 있으며 신경 컴퓨팅 분야에서 최고의 컨퍼런스 중 하나로 간주됩니다.
최근 몇 년간 딥 러닝이 부상하면서 NeurIPS는 학계에서 떠오르는 스타가되었을뿐만 아니라 업계의 큰 관심을 끌었습니다. 등록 된 사람의 수는 몇 년 전 수백 명에서 거의 10,000 명으로 증가했습니다. 올해.
Aminer 데이터 플랫폼의 통계 분석에 따르면 NeurIPS는 H5 지수가 149이고 10H 값이 34641로 인공 지능 컨퍼런스에서 2 위를 차지했습니다.
지난 10 년 동안 NeurIPS가받은 논문 인용 통계 분석을 기반으로 NeurIPS가 많이 인용 한 학자 TOP100 목록 을 선택했습니다 .
이 100 명의 학자들은 모두 머신 러닝 분야의 최고 인물이며 학계와 산업 모두에서 인상적인 결과를 달성했습니다.
이 100 명의 학자 중 Google + DeepMind는 5 분의 1을 차지하여 절대적인 우위를 차지하고 있습니다. 8 명은 Facebook, 7 명은 캘리포니아 대학교 버클리 출신입니다. 동시에 스탠포드 대학교에서 5 명, MIT에서 4 명, OpenAI에서 4 명, 뉴욕 대학교와 몬트리올 대학교에서 3 명.
그 중 약 16 명의 중국 학자들이 명단에 올랐다. 예를 들어, 전 Baidu 수석 과학자 Wu Enda와 컴퓨터 비전의 신 He Yuming이 있지만 중국 본토에서 일하는 사람은 Shangtang Technology의 Dai Jifeng, Megvii Technology의 Sun Jian, Momenta의 Ren Shaoqing뿐입니다.
NeurIPS의 스타 학자
NeurIPS가 많이 인용 한 학자 목록 중 상위 10 개를 살펴 보겠습니다.
가장 많이 인용 된 학자 목록에서 상위 3 명은 "신경망의 아버지"인 Geoffrey Hinton과 그의 마스터 인 Ilya Sutskever와 Alex Krizhevsky입니다.
많이 인용되는 학자 목록에서 2 위를 차지한 Geoffrey Hinton은 딥 러닝의 대가이며 "인공 지능의 대부"로 알려져 있습니다. 그의 이름은 오늘날 인공 지능 연구 커뮤니티에서 매우 인상적입니다. 그는 Boltzmann 기계를 발명했고 처음으로 Backpropagation을 다층 신경망에 적용했습니다. 그뿐만 아니라 Yann LeCun 및 Ilya Sutskever와 같은 훌륭한 학생도있었습니다.
Hinton은 Cambridge University에서 실험 심리학 학사 학위를, University of Edinburgh에서 인공 지능 박사 학위를 받았습니다. 현재 Google의 부사장 겸 엔지니어링 연구원이자 토론토 대학교에서 강의하고 교육하는 동시에 Vector Institute의 수석 과학 고문이기도합니다. 2012 년에 Hinton은 캐나다 킬 람상 ( "캐나다 노벨상"으로 알려진 캐나다 최고의 과학 상인 킬 람상)도 수상했습니다.
Hinton 교수는 컴퓨터가 독립적으로 프로그램을 만들고 스스로 문제를 해결할 수 있도록하는 기계 학습의 선구자입니다. 특히 중요한 것은 그가 기계 학습의 하위 분야 인 소위 "딥 러닝"을 열었다는 것입니다. 즉, 이러한 기계가 뇌의 신경망을 모방하여 유아처럼 학습하게하는 것입니다. 그는 신경망을 연구 및 애플리케이션 붐에 가져 왔고 주변 주제의 "딥 러닝"을 Google과 같은 인터넷 거물이 의존하는 핵심 기술로 전환했습니다.
Hinton은 NeurIPS가 설립 된 이래 30 년이 넘는 기간 동안 거의 매년 60 편의 논문을 발표했습니다. 2009 년과 2019 년 사이에 Hinton은 NeurIPS에 47,482 개의 인용과 함께 16 개의 논문을 발표했습니다.
Ilya Sutskever는 Hinton의 박사 과정 학생 일뿐만 아니라 Wu Enda의 대학원생입니다. 그는 한때 Google에서 최고의 인공 지능 전문가였으며 나중에 인공 지능 비영리 회사 인 OpenAI를 설립했습니다.
Sutskever의 H-index 값은 56입니다. 2015 년에는 MIT Technology Review에서 Visionaries 카테고리에서 "35 세 미만의 혁신가"로 선정되었습니다.
10 년 동안 그는 NeurIPS에 11 개의 논문 만 게재했지만, 그의 인용 횟수는 67457 회에 달하여 많이 인용 된 학자 목록에서 1 위를 차지했습니다.
컴퓨터에 집착하는 Sutskever는 토론토 대학에서 학부생으로 공부했습니다. 대학에서 그는 Hinton 교수를 만났습니다. Hinton은 그에게 무작위 이웃 임베딩 알고리즘을 개선하는 연구 프로젝트를 제공했습니다. 이 프로젝트는 그들의 협력의 시작이었고 Sutskever는 자연스럽게 Hinton의 그룹에 합류하여 박사 과정을 공부했습니다.
2012 년 졸업 후 Sutskever는 Wu Enda 교수와 함께 스탠포드 대학에서 박사후 연구원으로 2 개월 동안 공부했습니다. 그런 다음 토론토 대학으로 돌아와 Hinton이 설립 한 연구 회사 DNNResearch에 합류했습니다. 4 개월 후 Google은 DNNResearch를 인수했고 Sutskever는 공식적으로 Google Brain에 합류했습니다.
Google에서 2 년 동안 Sutskever는 Google 오픈 소스 라이브러리에 합류하여 딥 러닝 프레임 워크 TensorFlow를 개발했습니다. 그는 또한 획기적인 Go 인공 지능 AlphaGo의 개발을 위해 DeepMind를 도왔고 AlphaGo에 대한 논문은 2016 년 Nature에 발표되었으며 Sutskever는 공동 저자 중 한 명입니다.
2015 년 12 월 Sutskever는 Google을 떠나 Greg Brockman (현재 OpenAI의 CTO)과 함께 OpenAI를 공동 설립했습니다. OpenAI의 목표는 모든 사람에게 인공 지능 기술을 개방하는 것이며, 지난 몇 년 동안 OpenAI는 많은 놀라운 성과를 거두었습니다. Sutskever는 항상 인공 지능 혁명의 최전선에 있었고 그의 팀과 협력하여 강력한 인공 지능의 궁극적 인 정점을 홍보했습니다.
목록 3 위인 Alex Krizhevsky는 Hinton의 박사 과정 학생이기도합니다. Alex는 더 낮은 키로 보이며 그의 정보는 온라인에서 거의 볼 수 없습니다.
2012 년에는 Hinton의지도 아래 Alex Krizhevsky와 Sutskever가 협력하여 놀라운 AlexNet을 개발했습니다. "Deep Convolutional Neural Networks를 사용한 ImageNet 분류"라는 제목의이 논문은 44218 회까지 인용되었습니다. 이것은 또한 Alex 가 NeurIPS에 발표 한 유일한 논문입니다.
AlexNet은 5 개의 컨볼 루션 레이어와 3 개의 완전 연결 레이어를 포함하는 새로운 신경망 아키텍처로 NeurIPS에서 공개되었습니다. 이 논문은 GPU에서 훈련 된 심층 신경망이 이미지 인식 작업을 새로운 수준으로 끌어 올릴 수 있다는 것을 처음으로 입증했기 때문에 진정한 선구적인 작업으로 널리 알려져 있습니다.
AlexNet 네트워크는 신경망 개발에 매우 중요한 영향을 미쳤습니다. 이후 ImageNet 챔피언은 모두 컨볼 루션 신경망 구조를 채택하여 CNN 아키텍처를 이미지 분류의 핵심 모델로 만들어 새로운 딥 러닝 물결을 열었습니다. 사용되는 컨볼 루션 + 풀링 + 완전 연결 아키텍처는 여전히 현재 딥 러닝에서 가장 중요한 네트워크 구조입니다.
그 후 Alex는 침묵하는 것처럼 보였습니다. 그는 한때 Hinton 및 Sutskever 교수와 신생 기업 DNNresearch를 공동 설립했으며 표적 인식 기술을 크게 향상시킬 수있는 솔루션을 개발했습니다. 나중에 Alex와 Sutskever는 Google에 합류했습니다.
나중에 Alex는 Dessa의 수석 기계 학습 설계자로 캐나다 스타트 업 Dessa에 합류했습니다. 올해 초 데 사는 음성 입력을 기반으로 사람의 목소리를 학습하는 기존 시스템과는 다른 음성 합성 시스템 인 RealTalk를 개발했으며, 텍스트 입력만으로 실제 사람과 완벽하게 가까운 소리를 생성 할 수 있습니다.
4 위는 "인공 지능 3 대 기업"중 하나 인 Yoshua Bengio로, Geoffrey Hinton, Yann LeCun과 함께 2018 년 Turing Award를 수상했습니다.
Yoshua Bengio는 인공 지능 자연어 처리 분야의 선구자입니다. 1964 년 프랑스에서 태어난 Bengio는 캐나다에서 자랐으며 현재 몬트리올에 거주하며 몬트리올 대학교 컴퓨터 과학 및 컴퓨팅과 교수입니다. Bengio는 McGill University에서 컴퓨터 과학 박사 학위를 받았습니다. Geoffrey Hinton 및 Yann LeCun과 함께 그는 1990 년대와 2000 년대 초에 딥 러닝을 촉진 한 세 사람으로 간주됩니다. 2016 년 10 월 Bengio는 몬트리올에 위치한 인공 지능 인큐베이터 인 Element AI를 공동 설립했습니다.
Bengio는 또한 세 가지 중에서 학문적 순수성을 가장 중요시하는 사람입니다. Microsoft에서 컨설턴트로 일하면서 CIFAR Machine and Brain Learning Project의 공동 책임자, 캐나다 컴퓨터 과학 및 운영 연구과의 전임 교수, 통계 학습 알고리즘의 연구 위원장이기도합니다. 몬트리올 대학교.
NeurIPS 컨퍼런스에서 Bengio는 총 74 개의 논문을 발표했으며 특히 올해 컨퍼런스에서는 Bengio가 서명 한 9 개의 논문이있었습니다.
지난 10 년 동안 그는 18,714 건의 인용과 함께 NeurIPS에 40 개의 논문을 발표했습니다.
가장 많이 인용 된 기사는 2014 년에 출판 된 "Generative Adversarial Nets"기사로 그의 박사 과정 학생 Ian Goodfellow와 공동 저술했으며 10618 회 인용 횟수를 기록했습니다.이 기사는 유명한 Generative Adversarial Networks (GAN)를 제안합니다.
컴퓨터 유능한 인간을 "가르치는"흥미로운 방법입니다. 지난 5 년 동안 GAN은 이미지 생성 분야에서 획기적인 발전을 이루 었으며 이제는 동물, 풍경 및 인간 얼굴의 매우 사실적인 합성 이미지를 생성하여 "비지도 학습"기술의 잠재력을 완전히 입증 할 수 있습니다.
동시에 기계 학습 기술의 오랜 문제를 이론적 수준에서 해결합니다. 기계 학습의 학습 결과를 인간이 바라는 방향으로 이동하는 방법을 홍보하는 방법입니다. 2015 년에 GAN 기술은 아직 알려지지 않았고 2016 년에는 유비쿼터스적인 인기를 얻었으며 전문가들에 의해 "20 년 만에 머신 러닝 분야에서 가장 멋진 아이디어"라고 불 렸습니다.
GAN에 대해 말하자면 Ian Goodfellow- "GAN의 아버지"라고 말해야합니다. 그는 많이 인용 된 학자 목록에서 9 위에 올랐으며, 10 년 동안 NeurIPS에 10 개의 논문을 발표했으며 총 13,480 건의 인용을 기록했습니다.
Goodfellow는 머신 러닝 분야에서 많은 주목을받은 젊은 학자 중 한 명입니다. 그는 스탠포드 대학에서 학부 및 석사 학위를 위해 Enda Wu의지도하에 공부했으며, 박사 과정에서 Yoshua Bengio와 함께 머신 러닝을 공부했습니다. 그의 가장 주목할만한 업적은 2014 년 6 월 Generative Adversarial Networks (GAN)의 제안이었습니다.
졸업 후 Goodfellow는 Google에 합류하여 Google Brain 연구팀의 일원이되었습니다. 그런 다음 Google을 떠나 새로 설립 된 OpenAI Research Institute에 합류했으며 2017 년 3 월에 Google Research Institute로 돌아 왔습니다. 올해 4 월, Ian Goodfellow는 Apple에서 "머신 러닝 특별 프로젝트 팀"을 이끌며 이사급 직책으로 Apple에 합류했습니다.
많이 인용되는 학자 목록에서 5 ~ 8 위를 차지한 학자는 Google의 Greg Corrado, Jeffrey Dean, Kai Chen 및 Tomas Mikolov입니다.
Greg Corrado와 Jeffrey Dean은 각각 10 년 동안 NeurIPS에 총 17,218 건의 인용과 함께 3 개의 논문을 발표했습니다. Tomas Mikolov는 총 인용 횟수가 15,407 인 3 개의 논문을 발표했습니다. Kai Chen은 총 16,139 개의 인용이있는 두 개의 논문을 발표했습니다.
그들과 Ilya Sutskever는 2013 년에 "단어와 구문의 분산 된 표현과 그 구성 성"이라는 기사를 공동으로 발표했으며, 이는 14087 회 인용되었습니다.
본 논문은 "벡터 공간에서 단어 표현의 효율적인 추정"에 대한 보충 자료로, Skip-gram 모델과 Hierarchical Softmax 훈련 모드를 이용한 훈련 방법을 소개하고 더 빠른 훈련 효과를 얻기 위해 Negative Sampling 대신 Negative Sampling 훈련 모드를 보완합니다. . 이 논문은 또한 고주파 단어를 서브 샘플링하는 방법과 구문을 측정하고 구문 표현을 학습하는 방법을 제안합니다.
Greg Corrado는 Google 기계 학습의 선임 연구원입니다. 그의 주요 연구 방향은 인공 지능, 컴퓨터 신경 과학 및 확장 가능한 기계 학습입니다. 또한 Google Brain 프로젝트의 창립자 중 한 명입니다.
구글의 인공 지능 신인 제프 딘은 구글의 수석 아키텍트이자 구글 리서치의 선임 연구원이며 구글의 인공 지능 팀인 구글 브레인의 책임자이다. 미국 공학 아카데미의 학자, ACM Fellow, Tsinghua University AI Research Institute Computer Discipline Consultant, AAAS Fellow 등 워싱턴 대학에서 박사 학위를 취득한 Jeff Dean은 Google에서 프로젝트를 확장하고 Google의 초대형 컴퓨팅 프레임 워크 인 MapReduce 및 머신 러닝을 지원합니다. 상징적 인 소프트웨어 TensorFlow는 그의 지도력 아래 개발되었습니다.
Tomas Mikolov는 이전에 Google에서 근무했으며 현재 Facebook 인공 지능 연구소의 과학자입니다. 그는 또한 RNNLM, Word2Vec에서 최근 인기있는 FastText에 이르기까지 많은 고품질 논문을 제작하는 학자입니다.
10 위는 위대한 컴퓨터 비전 신이자 Facebook AI 연구 과학자 인 He Yuming입니다. 그의 연구 관심 분야는 컴퓨터 비전과 딥 러닝입니다. 지난 10 년 동안 그는 NeurIPS에 총 12,605 건의 논문을 발표했습니다.
가장 유명한 것은 2015 년에 출판 된 "Faster R-CNN : Towards Real-Time Object Detection with Region Proposal Networks"로 11093 회 인용되었습니다.
이 TOP100 목록에는 기계 학습의 아버지, 미국 과학 아카데미의 학자, 버클리 교수 Michael I. Jordan, Apple의 첫 AI 책임자 Ruslan Salakhutdinov 등과 같은 기계 학습 분야의 더 많은 인물이 있습니다. 비록 우리가 그것들을 하나씩 작성하지는 않았지만 그들은 기계 학습 분야에서 그들의 독보적 인 지위를 부인할 수 없습니다.
모든 사람이 NeurIPS 2019의 최신 정보와 트렌드를 더 쉽게 이해하고 습득 할 수 있도록,
이번 주말 에 NeurIPS 2019 conf-plus 페이지를 출시 할 예정입니다. 관심을 가져 주셔서 감사 합니다!
과거 검토
NeurIPS 2019 | 중국 과학원, 우한 대학교, 마이크로 소프트 등 8 개 논문 통역
해석! Beijing Post, Xidian 및 DeepMind를 포함한 8 개의 NeurIPS 2019 논문 모음
NeurIPS 2019 | Huawei, Peking University 등 공동 제안 : 포지티브 및 라벨이없는 샘플 (PU)을 기반으로 한 클라우드 네트워크 압축 방법