版权声明：本文为博主原创文章，未经博主允许不得转载。若有任何问题，请联系QQ：575925154（加好友时，请备注：CSDN） https://blog.csdn.net/Miracle0_0/article/details/85233520
★深度学习，有时也称为【端对端机器学习】。
端对端是指从一端到另外一端的意思，
- - - 即：从原始数据（输入）中获的目标结果（输出）的意思。
★损失函数是表示神经网络性能的“恶劣程度”的指标，
- - - 即当前的神经网络对监督数据在多大程度上不拟合，在多大程度上不一致。
理论上，任意的函数都可以作为损失函数。常用的损失函数有均方误差、交叉熵误差。
★mini-batch学习：
从全部数据中选出一部分，作为全部数据的“近似”。
神经网络的学习是从训练数据中选出一批数据（称为mini-batch，小批量），然后，对每个mini-batch进行学习。
- - - 例如，以MNIST数据为例。从6万个训练数据中随机选出100笔，再用这100笔数据进行学习。
mini-batch的作用：利用随机选择的小批量（mini-batch）数据作为全体训练数据的近似值。
★★为何要设定损失函数？
以数字识别为例。
我们的目标是获得识别精度尽可能高的神经网络。那么，我们为啥不以识别精度作为指标？？-★-
在神经网络学习中，寻找最优参数时，要寻找使得损失函数的值尽可能的小的参数。因此，需要借助导数进行更新迭代。
- - -★不能使用识别精度的原因★：1、因为绝大多数地方的导数都会变成0，导致参数无法更新。2、间断的，突然地变化。对于微小的参数变化不起反应。阶跃函数亦是如此。