深度学习-21天实战caffe 第一天 笔记

前言

1. Caffe框架以“层”为单位对深度神经网络的结构进行了高度的抽象。
2. Caffe有贾杨清开发。
3. 卷积神经网络发明者Geoffrey Hinton在20世纪70年代提出深度学习理论，随着NVIDIA GPU的广泛使用才大量应用。
4. 深度学习年代久远，当时受限于计算能力不足和数据集匮乏陷入低谷，直到云计算、大数据时代到来才突飞猛进。

第一天 什么是深度学习

1. 带“学习”功能的机器：“看”未知系统的输入-输出对（训练样本），自动得算法，可举一反三（泛化）。
2. 训练样本$D = {z_1,z_2,z_3\cdots z_n}$，$z_i$位输入-输出对。
3. 惩罚函数$L(f,Z)$，参数为学到的规则$f$和独立于$Z$的验证样本集，返回值为实数标量，称为惩罚值或损失。目标是$L(f,Z)$尽量小。
4. 机器学习需要三份数据：
   
   • 训练集：机器学习的样例
   • 验证集：机器学习阶段，用于评估得分和损失是否满足要求
   • 测试集：机器学习结束之后，实战阶段评估得分。；
5. 深度学习：由多个处理层组成的计算模型，可通过学习获得数据的多抽象层表示。
6. 机器学习三大牛：Geoffrey Hinton, Yann LeCun, Youshua Bengio