视频地址：https://www.bilibili.com/video/av23593949?from=search&seid=135729629224253935
在开始李宏毅的课程之前，首先在3blue1brown简单了解了一下神经网络：https://www.bilibili.com/video/av15532370?from=search&seid=12857298627614472876
对于下图这样的一个手写数字图片，神经网络会怎样去识别呢？
神经网络通过分层来学习识别，像下面这样：
这里只简单地谈一下最简单的神经网络”多层感知机（MLP）“，每个像素块视作一个神经元，像素数值的大小视为激活值，
这样原来28*28的图片，reshape成一列，就成为了第一层784*1，而最后一层则对应0-9 的输出结果，最后一层的数值是预测为该类的概率值。我们回到最初的话题，为什么要分层呢？对于我们人类在识别数字的过程中，其实是在识别组成数字的各种部件，如下图所以，"9"可以由”一个圈“ ”一个竖线“组成，”8“由”两个圈“组成等等：
因此，我们希望倒数第二层来识别这些组件，但是一个”圈“也是很复杂的，所以我们期望倒数第三层来识别组成”圈“的组件。
具体的视频里还有很多细节，我就不展开啦，放这个小插曲的目的是直观上明白为什么要分层。
接下来开始李宏毅部分的学习。
1. why CNN for image？
卷积神经网络在识别图片的过程中，也是在分层识别，由一个个小细节到大的图形。
但是如果使用全连接层来处理图像的话，这个有些庞大，所以CNN有进行简化的过程。比如侦测鸟嘴的时候，不需要对整张图进行检测，只需要对一小块进行检测即可。
而这小块无论是处于图像的左上角还是中间，都是鸟嘴，所以对于不同位置的neuro检测，是可以共享参数的。
并且对于图像来说，降采样以后，bird还是bird，并不会有太大的影响。
2.The whole CNN
下图这个CNN包括了卷积层、池化层、Flatten。
CNN-Convolution
卷积层中有一组Filter，每个Filter其实就是一个matrix，这些都是通过学习得到的参数。
filter移动的stride可以自己设置。
Convolution 与Fully Connected 之间的关系：Convolution可以看作是Fully Connected 把一些weight拿掉了。
CNN-max pooling
第一次Convolution得到25个feature map，第二次做Convolution依然是再得到25个feature map，每个filter的是高维的而已，考虑到了深度，每个filter变成了一个立方体。
Flatten
接下来看下Keras中使用CNN
下图中第一次卷积filter的参数是9个（3x3），第二次卷积filter的参数是225个（25x3x3）
What does CNN learn？
那么，每个filter学到了什么呢？原来训练分类器的时候，我们是固定的x，然后model的参数是用梯度下降找出来的，找可以让loss 最小的参数。现在的立场是反过来的，现在model的参数是固定的，要update x，来让 degree of activation 最大。
然后我们就得到了每个filter对应的image，得到的每个image都是某种纹路，所以每个filter都是在检测某种纹路/线条。
然后再分析全连接层的neuro，现在得到的image不再是纹路，所以这里的neuro是在检测比较大的图形。
下图中发现得到的并不是数字，所以neuro的学习和人类还是不一样的。
我们可以通过添加一些限制，告诉CNN有些图形不是数字。
最后提到了一些好玩的例子，图像处理，下围棋。
那么，为什么CNN还可以用来下棋呢？什么时候我们可以使用CNN呢？下图的两点，小的模式、相同的模式可以出现在不同的区域，下棋都可以满足：
但是，第三点，降采样后图形不变，这点围棋是怎么满足的呢？
在Alpha Go中，对每个位置使用了48个value来进行描述，不仅仅是描述黑子还是白子，还有比如是否会被吃掉等等。有做zero pad处理，然后发现没有做池化，因为根据围棋的特性，我们不需要用max pooling 的架构。
CNN还被用做声音的处理和文本上，要注意这个检测的特性是什么，filter可以在哪个方向上移动？例如，声音的时频图，要在frequency上移动，文本要在sequence上移动，而不是embendding。
