Keras框架中的epoch、bacth、batch size、iteration使用介绍


Posted in Python onJune 10, 2020

1、epoch

Keras官方文档中给出的解释是:“简单说,epochs指的就是训练过程接中数据将被“轮”多少次”

(1)释义:

训练过程中当一个完整的数据集通过了神经网络一次并且返回了一次,这个过程称为一个epoch,网络会在每个epoch结束时报告关于模型学习进度的调试信息。

(2)为什么要训练多个epoch,即数据要被“轮”多次

在神经网络中传递完整的数据集一次是不够的,对于有限的数据集(是在批梯度下降情况下),使用一个迭代过程,更新权重一次或者说使用一个epoch是不够的,需要将完整的数据集在同样的神经网络中传递多次,随着epoch次数增加,神经网络中的权重的更新次数也增加,模型从欠拟合变得过拟合。

2、batch

(1)keras官方文档中给出的解释:

深度学习的优化算法,说白了就是梯度下降。每次的参数更新有两种方式:

第一种,遍历全部数据集算一次损失函数,然后算函数对各个参数的梯度,更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍,计算量开销大,计算速度慢,不支持在线学习,这种称为Batch gradient descent,批梯度下降

另一种,每看一个数据就算一下损失函数,然后求梯度更新参数,这个称为随机梯度下降,stochastic gradient descent.这个方法速度比较快,但是收敛性能不太好,可能在最优点附近晃来晃去,hit不到最优点,两次参数的更新也有可能互相抵消掉,造成目标函数震荡的比较剧烈。

为了克服两种方法的缺点,现在一般采用的是一种折中手段,mini-batch gradient decent,小批的梯度下降,这种方法把数据分为若干个批,按批来更新参数,这样,一个批中的一组数据共同决定了本次梯度的方向,下降起来就不容易跑偏,减少了随机性。另一方面因为批的样本数与整个数据集相比小了很多,计算量也不是很大。

(2)batch_size:

Keras中参数更新是按批进行的,就是小批梯度下降算法,把数据分为若干组,称为batch,按批更新参数,这样,一个批中的一组数据共同决定了本次梯度的方向,一批数据中包含的样本数量称为batch_size。

3、iteration

将数据分为几个batch而不是一次性通过神经网络时,iteration是batch需要完成一个epoch的次数,也就是number of batches (区别于 batch size) , 在一次epoch中 number of batches = iteration = 训练样本总数 / batch size

比如,对于一个有2000个训练样本的数据集,将2000个样本分成大小为500的batch,那么完成一个epoch需要4个iteration

4、batch size 和 epoch 的选取

(1)训练网络过程中,一个batch中的样本规模大小,即batch size 和epoch个数一起通过影响更新权重的频率定义了网络学习数据的速度。

对于固定的epoch:

(a)在合理范围内,随着batch size增大,跑完一次epoch所需的迭代数减少,对于相同数据量的处理速度进一步加快,确定的下降方向越准,引起的训练震荡越小。

(b)batch size 过大时,跑完一次epoch所需的迭代数减少,想要达到相同的精度,所花费的时间大大增加了,从而对参数的修正也变得缓慢,batch size增大到一定程度,其确定的下降方向已经基本不再变化

对于固定的batch size:

(a)在合理范围内随着epoch的增加,训练集和测试集的误差呈下降趋势,模型的训练有了效果

(b)随着epoch的继续增加,训练集的误差呈下降而测试集的误差呈上升趋势,模型过拟合训练集对测试集性能不好

(2)实验实验,通过实验+经验选取合适的batch size 和 epoch

补充知识:keras指定batchsize

具体的测试可以将keras中的第6.4程序

1、Sequential情况下

如果想要指定批次的大小,需要在第一层的输入形状中使用batch_input_shape

而不能使用input_shape,因为input_shape不能指定批次的大小,批次只能为None

input_shape和batch_input_shape。

input_shape 不包含批量大小,

batch_input_shape是全情投入的形状,包括批量大小。

2、函数式情况下

Input参数

shape: 一个尺寸元组(整数),不包含批量大小。A shape tuple (integer), not including the batch size. 例如,shape=(32,) 表明期望的输入是按批次的 32 维向量。

batch_shape: 一个尺寸元组(整数),包含批量大小。 例如,batch_shape=(10, 32) 表明期望的输入是 10 个 32 维向量。

batch_shape=(None, 32) 表明任意批次大小的 32 维向量。

以上这篇Keras框架中的epoch、bacth、batch size、iteration使用介绍就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现的监测服务器硬盘使用率脚本分享
Nov 07 Python
在Python中使用Neo4j数据库的教程
Apr 16 Python
python 出现SyntaxError: non-keyword arg after keyword arg错误解决办法
Feb 14 Python
Python编程实现的图片识别功能示例
Aug 03 Python
python OpenCV学习笔记直方图反向投影的实现
Feb 07 Python
python中的内置函数max()和min()及mas()函数的高级用法
Mar 29 Python
Python3实现购物车功能
Apr 18 Python
Python 异常处理Ⅳ过程图解
Oct 18 Python
python滑块验证码的破解实现
Nov 10 Python
PyCharm汉化安装及永久激活详细教程(靠谱)
Jan 16 Python
Python 键盘事件详解
Nov 11 Python
Python用any()函数检查字符串中的字母以及如何使用all()函数
Apr 14 Python
Python3.9 beta2版本发布了,看看这7个新的PEP都是什么
Jun 10 #Python
JAVA及PYTHON质数计算代码对比解析
Jun 10 #Python
keras 使用Lambda 快速新建层 添加多个参数操作
Jun 10 #Python
matplotlib 生成的图像中无法显示中文字符的解决方法
Jun 10 #Python
Tensorflow中k.gradients()和tf.stop_gradient()用法说明
Jun 10 #Python
PySide2出现“ImportError: DLL load failed: 找不到指定的模块”的问题及解决方法
Jun 10 #Python
浅谈Python中的字符串
Jun 10 #Python
You might like
PHP IN_ARRAY 函数使用注意事项
2010/07/24 PHP
php使用cookie保存登录用户名的方法
2015/01/26 PHP
PHP文件操作实例总结【文件上传、下载、分页】
2018/12/08 PHP
PHP连接MySQL数据库三种实现方法
2020/12/10 PHP
强制设为首页代码
2006/06/19 Javascript
15款优秀的jQuery导航菜单插件分享
2011/07/19 Javascript
jQuery实现Div拖动+键盘控制综合效果的方法
2015/03/10 Javascript
使用CamanJS在Web页面上处理图像的技巧
2015/08/18 Javascript
Vuejs第八篇之Vuejs组件的定义实例解析
2016/09/05 Javascript
ExtJS 4.2 Grid组件单元格合并的方法
2016/10/12 Javascript
Node.js数据库操作之连接MySQL数据库(一)
2017/03/04 Javascript
JavaScript引用类型Object常见用法实例分析
2018/08/08 Javascript
nodejs 如何手动实现服务器
2018/08/20 NodeJs
vue+vuex+axios从后台获取数据存入vuex,组件之间共享数据操作
2020/07/31 Javascript
[49:41]NB vs NAVI Supermajor小组赛A组 BO3 第一场 6.2
2018/06/03 DOTA
Python随机生成一个6位的验证码代码分享
2015/03/24 Python
python rsa 加密解密
2017/03/20 Python
windows下python连接oracle数据库
2017/06/07 Python
批量将ppt转换为pdf的Python代码 只要27行!
2018/02/26 Python
python 函数内部修改外部变量的方法
2018/12/18 Python
django 配置阿里云OSS存储media文件的例子
2019/08/20 Python
Python3使用xml.dom.minidom和xml.etree模块儿解析xml文件封装函数的方法
2019/09/23 Python
Jupyter安装链接aconda实现过程图解
2020/11/02 Python
北美最大的手工艺品零售商之一:Michaels Stores
2019/02/27 全球购物
施工安全协议书
2013/12/11 职场文书
对祖国的寄语大全
2014/04/11 职场文书
父母寄语大全
2014/04/12 职场文书
节约能源标语
2014/06/17 职场文书
缅怀先烈演讲稿
2014/09/03 职场文书
软弱涣散基层党组织整改方案
2014/10/25 职场文书
2014年惩防体系建设工作总结
2014/12/01 职场文书
师德承诺书2015
2015/04/28 职场文书
初级职称评定工作总结
2015/08/13 职场文书
最美劳动诗,致敬所有的劳动者!
2019/07/12 职场文书
创业计划书之密室逃脱
2019/11/08 职场文书
Python使用Web框架Flask开发项目
2022/06/01 Python