深度学习导论与应用实践（电子版）

1.深度学习发展历程

深度学习的起源与发展

深度学习在图像检测方面的应用

2.如何使用深度学习

  使用深度学习（机器学习）的目的：寻找一个合适的函数。

  例如，例如寻找手写识别函数，候选函数集合为： $f,g,h\cdots$

  学习过程：

  监督学习的任务：手写识别

3.深度学习方法使用步骤

第一步：选择模型

  首先需要考虑选择什么样的网络结构、选择多少层、每层选择多少神经元。
$z=a_1w_1+\cdots +a_kw_k+\cdots +a_Kw_K+b$

  类似简单的线性函数： $f(x)=kx+b$，其中 $k$是斜率， $b$是截距。神经元不同的连接方式构成不同的网络结构，每个神经元都有自己的权重和偏置参数。
  为什么引入激活函数？①为了增强网络的表达能力，我们需要激活函数来将线性函数->非线性函数。②非线性的激活函数需要有连续性。因为连续非线性激活函数可导，所以可以用最优化的方法来求解。以下是常用的激活函数。

常用的神经网络

一般神经网络的结构由输入层、隐藏层、输出层组成，隐藏层越多意味着网络越深，

输出层：常用softmax函数作为输出层的激活函数：容易理解，便于计算。

第二步：选择损失函数

  选择常用的损失函数，平方损失，交叉熵…


好的参数使得所有训练数据的损失越来越小

第三步：参数学习

梯度下降，反向传播

1.梯度下降

选取不同的初始值可能到达不同的局部最小值。

2.正向传播

3.反向传播