深度学习入门笔录（持续更新）

神经网络的一些可视化小玩意儿

• 照片创作诗歌
  https://webapps.msxiaobing.com/V3/Portal?task=poem

• 填词做古诗
  http://poem.bosonnlp.com/

• 上传照片绘画
  https://www.instapainting.com/assets

• 神经网络参数与可视化
  http://playground.tensorflow.org/

• 人脸变形演示
  http://vdumoulin.github.io/morphing_faces/online_demo.html（变分自编码器）

• 数字手写体展示
  http://www.dpkingma.com/sgvb_mnist_demo/demo.html（深度生成模型）

• 手写数字识别

  http://scs.ryerson.ca/~aharley/vis/conv/flat.html

• 视觉识别

  https://visual-recognition-demo.ng.bluemix.net/（图像标注）

• 上传图像生成描述

  https://www.captionbot.ai/

• 手写字符生成

  http://www.cs.toronto.edu/~graves/handwriting.html

• 句子填空补全

  http://www.cs.toronto.edu/~ilya/rnn.html

• 简笔图像到真实图像转换

  https://affinelayer.com/pixsrv/

• 强化学习玩Flappy Bird游戏

  https://enhuiz.github.io/flappybird-ql/

• 语义分割

  http://www.robots.ox.ac.uk/~szheng/crfasrnndemo/

• 选图片进行性格分析
  http://m.visualbfi.org/

• 神经网络动物园
  http://www.asimovinstitute.org/neural-network-zoo-prequel-cells-layers/

• RNN学习汪峰作品做歌词
  https://github.com/phunterlau/wangfeng-rnn

• 一些资料汇总
  https://handong1587.github.io/deep_learning/2015/10/09/object-detection.html

书籍推荐

• 周志华 机器学习（极适合入门）

• 李航 统计学习方法

学习平台（视频）

• https://nndl.github.io/

• 斯坦福CS231n课程

• https://www.deeplearning.ai/（吴恩达不仅课讲得好，妻子也长得很漂亮。）

人工领域的大牛

• Geoff Hinton
• Yann Lekun
• Yoshua Bengio
• Andrew Ng

深度学习开发框架

• 谷歌的TensorFlow（新手首推）
• Caffe、微软的CNTK、MXNet、facebook的Torch、DeepLearning4j、Theano

神经网络的三起两落

心理学家建立了MP模型——>
五人会议（单层感知器）——>
异或问题导致第一次寒冬——>
重振：Hopfield网络、受限玻尔兹曼机、BP神经网络———>
梯度消失、局部极值以及SVM方法导致神经网络第二次低谷——>
Relu、预训练、CNN、GPU等让神经网络迎来新的春天——>???where to go???

需要的知识（几乎不需要，可速补）：

• 知道简单的矩阵求导和链式法则等；
• 基础概率知识：概率分布、条件概率、联合概率、边缘分布、最大似然估计等。

机器学习的分类和方法：

• 无监督：聚类、降维、异常检测、密度估计、深度学习……
• 监督学习：分类、回归、支持向量机、深度学习……

一个牛逼的定理：

万有逼近定理