版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/cdknight_happy/article/details/84978872
1 什么是神经网络 ？
上图是传统意义上的神经网络。
- 输入层、隐藏层、输出层；
- 我们没有指定神经网络各隐藏单元的含义，只是给定了输入，也明确了输入的含义，由神经网络自己来确定各隐藏单元的含义；
- 全连接的神经网络，连接数很多。
2 用神经网络做监督学习
监督学习：给定了数据集，我们知道正确的输出该是什么，并且相信输入和输出之间存在联系。目的就是训练神经网络找到输入和输出之间的正确联系。
不同种类的神经网络：
结构化数据 vs. 非结构化数据
结构化数据：每一项都有着明确的含义。是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。
非结构化数据：不是每一项都有明确的含义，比如图像的单个像素的像素值为255就无法准确描述其含义，不适合用数据库进行存储和管理。
计算机更适用于处理结构化数据。由于深度学习的兴起，近年来计算机处理非结构化数据的能力有很大提升。
3 神经网络为什么焕发了第二春
- 大规模数据驱动了神经网络的发展；
上图中的“scale”，既指数据的规模，也指模型的规模。 - 更快的计算，得益于GPU；
- 算法的改进，比如ReLU，dropout，BN等。
有了更大的良好标注的数据集，可以训练表示空间更大的模型；同时得益于算法的进步，尤其是ReLU、dropout，减少了梯度传递过程中的弥散现象和过拟合，使得训练大规模的神经网络模型成为可能；再加上GPU的兴起，计算能力大大提升，很多想法可以很快的得到验证。三者结合，促使了深度学习的爆发式发展与应用。
快速实践idea很重要。
