Batch, Epoch, Iteration, Sample的区别

例子

200样本
分为40批次
每1批进行1次BP传播的参数更新
40批走完为1个epoch，此时全部训练集参与完成了一次完整训练
训练一共进行1000个epoch

参数

样本数（Sample）：200
批次大小（BatchSize）：5
批次数（Iteration）：40
代数（Epoch）：1000

程序结构

for epoch = 1 : epochNum
	for iter = 1 : iterNum
		sess.run...
	end
end

常用方法

• 批量梯度下降BGD：所有训练样本作为1批
• 随机梯度下降SGD：一个样本作为1批（“随机”的意思是用1个样本模拟整个样本集）
• 小批量梯度下降Mini-Batch：批量大小既不是1也不是样本总数，通常取BatchSize = 32, 64, 128, 256…