CNN 细节一 batch和epoch以及找最小loss值得关系

半路出家,一直没搞懂CNN底层运行关系,现在才慢慢清楚点

例子是出其理论学习者最好的帮手,So,我来个example

Example: 

15000个样本,我们训练模型的目的是找一组参数,使得该参数对应的模型能最大可能地符合所有样本的值

(1)其实是根据loss function做梯度下降进行寻找能使loss functionz值最小的参数

   假设loss function 为f(X, A), 其中X=[x1,x2,.....xn]为一组我们要找的参数, A=[a1,a2,....,an]为我们的训练样本。

  通过在样本A的基础上对f(X, A)分别求x1,x2,x3...xn的偏导,来寻找函数f的最优解。

(2)15000个样本,每个batch是15,一个epoch就是对15000个样本跑一遍,一遍中有1000次迭代,每次迭代都通过 f(X,A)寻找到当前这组15个样本情况下的最优参数。 然后进行1000迭代后就完成了一个epoch,也就对所有样本跑了一遍。

(3)在进行多个epoch后,最终能找到最优的参数,训练好模型。

猜你喜欢

转载自www.cnblogs.com/xinyuePhd/p/9998911.html
CNN