Keras框架中的epoch、bacth、batch size、iteration使用介绍


Posted in Python onJune 10, 2020

1、epoch

Keras官方文档中给出的解释是:“简单说,epochs指的就是训练过程接中数据将被“轮”多少次”

(1)释义:

训练过程中当一个完整的数据集通过了神经网络一次并且返回了一次,这个过程称为一个epoch,网络会在每个epoch结束时报告关于模型学习进度的调试信息。

(2)为什么要训练多个epoch,即数据要被“轮”多次

在神经网络中传递完整的数据集一次是不够的,对于有限的数据集(是在批梯度下降情况下),使用一个迭代过程,更新权重一次或者说使用一个epoch是不够的,需要将完整的数据集在同样的神经网络中传递多次,随着epoch次数增加,神经网络中的权重的更新次数也增加,模型从欠拟合变得过拟合。

2、batch

(1)keras官方文档中给出的解释:

深度学习的优化算法,说白了就是梯度下降。每次的参数更新有两种方式:

第一种,遍历全部数据集算一次损失函数,然后算函数对各个参数的梯度,更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍,计算量开销大,计算速度慢,不支持在线学习,这种称为Batch gradient descent,批梯度下降

另一种,每看一个数据就算一下损失函数,然后求梯度更新参数,这个称为随机梯度下降,stochastic gradient descent.这个方法速度比较快,但是收敛性能不太好,可能在最优点附近晃来晃去,hit不到最优点,两次参数的更新也有可能互相抵消掉,造成目标函数震荡的比较剧烈。

为了克服两种方法的缺点,现在一般采用的是一种折中手段,mini-batch gradient decent,小批的梯度下降,这种方法把数据分为若干个批,按批来更新参数,这样,一个批中的一组数据共同决定了本次梯度的方向,下降起来就不容易跑偏,减少了随机性。另一方面因为批的样本数与整个数据集相比小了很多,计算量也不是很大。

(2)batch_size:

Keras中参数更新是按批进行的,就是小批梯度下降算法,把数据分为若干组,称为batch,按批更新参数,这样,一个批中的一组数据共同决定了本次梯度的方向,一批数据中包含的样本数量称为batch_size。

3、iteration

将数据分为几个batch而不是一次性通过神经网络时,iteration是batch需要完成一个epoch的次数,也就是number of batches (区别于 batch size) , 在一次epoch中 number of batches = iteration = 训练样本总数 / batch size

比如,对于一个有2000个训练样本的数据集,将2000个样本分成大小为500的batch,那么完成一个epoch需要4个iteration

4、batch size 和 epoch 的选取

(1)训练网络过程中,一个batch中的样本规模大小,即batch size 和epoch个数一起通过影响更新权重的频率定义了网络学习数据的速度。

对于固定的epoch:

(a)在合理范围内,随着batch size增大,跑完一次epoch所需的迭代数减少,对于相同数据量的处理速度进一步加快,确定的下降方向越准,引起的训练震荡越小。

(b)batch size 过大时,跑完一次epoch所需的迭代数减少,想要达到相同的精度,所花费的时间大大增加了,从而对参数的修正也变得缓慢,batch size增大到一定程度,其确定的下降方向已经基本不再变化

对于固定的batch size:

(a)在合理范围内随着epoch的增加,训练集和测试集的误差呈下降趋势,模型的训练有了效果

(b)随着epoch的继续增加,训练集的误差呈下降而测试集的误差呈上升趋势,模型过拟合训练集对测试集性能不好

(2)实验实验,通过实验+经验选取合适的batch size 和 epoch

补充知识:keras指定batchsize

具体的测试可以将keras中的第6.4程序

1、Sequential情况下

如果想要指定批次的大小,需要在第一层的输入形状中使用batch_input_shape

而不能使用input_shape,因为input_shape不能指定批次的大小,批次只能为None

input_shape和batch_input_shape。

input_shape 不包含批量大小,

batch_input_shape是全情投入的形状,包括批量大小。

2、函数式情况下

Input参数

shape: 一个尺寸元组(整数),不包含批量大小。A shape tuple (integer), not including the batch size. 例如,shape=(32,) 表明期望的输入是按批次的 32 维向量。

batch_shape: 一个尺寸元组(整数),包含批量大小。 例如,batch_shape=(10, 32) 表明期望的输入是 10 个 32 维向量。

batch_shape=(None, 32) 表明任意批次大小的 32 维向量。

以上这篇Keras框架中的epoch、bacth、batch size、iteration使用介绍就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中的特殊语法:filter、map、reduce、lambda介绍
Apr 14 Python
神经网络理论基础及Python实现详解
Dec 15 Python
flask中的wtforms使用方法
Jul 21 Python
对python中的argv和argc使用详解
Dec 15 Python
python导入模块交叉引用的方法
Jan 19 Python
使用python turtle画高达
Jan 19 Python
python如何通过pyqt5实现进度条
Jan 20 Python
ubuntu 安装pyqt5和卸载pyQt5的方法
Mar 24 Python
Python响应对象text属性乱码解决方案
Mar 31 Python
基于TensorFlow的CNN实现Mnist手写数字识别
Jun 17 Python
DRF框架API版本管理实现方法解析
Aug 21 Python
用python发送微信消息
Dec 21 Python
Python3.9 beta2版本发布了,看看这7个新的PEP都是什么
Jun 10 #Python
JAVA及PYTHON质数计算代码对比解析
Jun 10 #Python
keras 使用Lambda 快速新建层 添加多个参数操作
Jun 10 #Python
matplotlib 生成的图像中无法显示中文字符的解决方法
Jun 10 #Python
Tensorflow中k.gradients()和tf.stop_gradient()用法说明
Jun 10 #Python
PySide2出现“ImportError: DLL load failed: 找不到指定的模块”的问题及解决方法
Jun 10 #Python
浅谈Python中的字符串
Jun 10 #Python
You might like
百事可乐也出咖啡了 双倍咖啡因双倍快乐
2021/03/03 咖啡文化
eaglephp使用微信api接口开发微信框架
2014/01/09 PHP
php根据日期判断星座的函数分享
2014/02/13 PHP
php猴子选大王问题解决方法
2015/05/12 PHP
php + nginx项目中的权限详解
2017/05/23 PHP
Yii框架响应组件用法实例分析
2019/09/04 PHP
php接口隔离原则实例分析
2019/11/11 PHP
Js+Dhtml:WEB程序员简易开发工具包(预先体验版)
2006/11/07 Javascript
setInterval 和 setTimeout会产生内存溢出
2008/02/15 Javascript
异步javascript的原理和实现技巧介绍
2012/11/08 Javascript
jQuery中[attribute=value]选择器用法实例
2014/12/31 Javascript
js表单提交和submit提交的区别实例分析
2015/12/10 Javascript
Ionic默认的Tabs模板使用实例
2016/08/29 Javascript
node.js中EJS 模板快速入门教程
2017/05/08 Javascript
基于vue实现swipe轮播组件实例代码
2017/05/24 Javascript
在vue中使用css modules替代scroped的方法
2018/03/10 Javascript
如何解决.vue文件url引用文件的问题
2019/01/18 Javascript
javascript中join方法实例讲解
2019/02/21 Javascript
react中Suspense的使用详解
2019/09/01 Javascript
vue中watch和computed为什么能监听到数据的改变以及不同之处
2019/12/27 Javascript
Python读取和处理文件后缀为.sqlite的数据文件(实例讲解)
2017/06/27 Python
老生常谈Python之装饰器、迭代器和生成器
2017/07/26 Python
python3中函数参数的四种简单用法
2018/07/09 Python
Django使用paginator插件实现翻页功能的实例
2018/10/24 Python
python调用Matplotlib绘制分布点图
2019/10/18 Python
如何使用python进行pdf文件分割
2019/11/11 Python
python按顺序重命名文件并分类转移到各个文件夹中的实现代码
2020/07/21 Python
Currentbody美国/加拿大:美容仪专家
2020/03/09 全球购物
大学生优秀的自我评价分享
2013/10/22 职场文书
心理学专业毕业生推荐信范文
2013/11/21 职场文书
2014年高考决心书
2014/03/11 职场文书
颁奖晚会主持词
2014/03/25 职场文书
协议书的格式
2014/04/23 职场文书
财务检查整改报告
2014/11/06 职场文书
本溪水洞导游词
2015/02/11 职场文书
pdf论文中python画的图Type 3 fonts字体不兼容的解决方案
2021/04/24 Python