卷积神经网络训练的三个概念（epoch，batch，iteration） -尊龙游戏旗舰厅官网

总结下训练神经网络中最最基础的三个概念：epoch（训练多少轮）, batch（每次输入网络样本的个数）, iteration（迭代次数）。

名词定义

epoch	使用训练集的全部数据，对模型进行一次完整训练，称之为“一代训练”
batch	使用训练集中的一小部分样本，对模型权重进行一次反向传播的参数更新，这一小部分样本被称为“一批数据”
iteration	使用一个batch数据，对模型进行一次参数更新的过程，称之为“一次训练”

• epoch：训练时，所有训练数据集都训练过一次。

• batch_size：在训练集中选择一组样本用来更新权值。1个batch包含的样本的数目，通常设为2的n次幂，常用的包括64,128,256。 网络较小时选用256，较大时选用64。

• iteration​：训练时，1个batch训练图像通过网络训练一次​（一次前向传播 一次后向传播），每迭代一次权重更新一次；测试时，1个batch测试图像通过网络一次​（一次前向传播）。所谓iterations就是完成一次epoch所需的batch个数

$$numberofbatches=\genfrac{}{}{0ex}{}{trainingsetsize}{batchsize}$$

梯度下降方式training set sizebatch sizenumber of batches

bgd	n	n	1
sgd	n	1	n
mini-batch sgd	n	b	n/b 1

实际上，梯度下降的几种方式的根本区别就在于上面公式中的 batch size不同。

*注：上表中 mini-batch 的 batch 个数为 n / b 1 是针对未整除的情况。整除则是 n / b。

cifar10 数据集有 50000 张训练图片，10000 张测试图片。现在选择 batch size = 256 对模型进行训练。

每个 epoch 要训练的图片数量：50000
训练集具有的 batch 个数：50000 / 256 = 195 1 = 196
每个 epoch 需要完成的 batch 个数：196
每个 epoch 具有的 iteration 个数：196
每个 epoch 中发生模型权重更新的次数：196
训练 10 代后，模型权重更新的次数：196 * 10 = 1960

不同代的训练，其实用的是同一个训练集的数据。第 1 代和第 10 代虽然用的都是训练集的五万张图片，但是对模型的权重更新值却是完全不同的。因为不同代的模型处于代价函数空间上的不同位置，模型的训练代越靠后，越接近谷底，其代价越小。

总结

以上是尊龙游戏旗舰厅官网为你收集整理的卷积神经网络训练的三个概念（epoch，batch，iteration）的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得尊龙游戏旗舰厅官网网站内容还不错，欢迎将尊龙游戏旗舰厅官网推荐给好友。