Keras框架中的epoch、bacth、batch size、iteration使用介绍


Posted in Python onJune 10, 2020

1、epoch

Keras官方文档中给出的解释是:“简单说,epochs指的就是训练过程接中数据将被“轮”多少次”

(1)释义:

训练过程中当一个完整的数据集通过了神经网络一次并且返回了一次,这个过程称为一个epoch,网络会在每个epoch结束时报告关于模型学习进度的调试信息。

(2)为什么要训练多个epoch,即数据要被“轮”多次

在神经网络中传递完整的数据集一次是不够的,对于有限的数据集(是在批梯度下降情况下),使用一个迭代过程,更新权重一次或者说使用一个epoch是不够的,需要将完整的数据集在同样的神经网络中传递多次,随着epoch次数增加,神经网络中的权重的更新次数也增加,模型从欠拟合变得过拟合。

2、batch

(1)keras官方文档中给出的解释:

深度学习的优化算法,说白了就是梯度下降。每次的参数更新有两种方式:

第一种,遍历全部数据集算一次损失函数,然后算函数对各个参数的梯度,更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍,计算量开销大,计算速度慢,不支持在线学习,这种称为Batch gradient descent,批梯度下降

另一种,每看一个数据就算一下损失函数,然后求梯度更新参数,这个称为随机梯度下降,stochastic gradient descent.这个方法速度比较快,但是收敛性能不太好,可能在最优点附近晃来晃去,hit不到最优点,两次参数的更新也有可能互相抵消掉,造成目标函数震荡的比较剧烈。

为了克服两种方法的缺点,现在一般采用的是一种折中手段,mini-batch gradient decent,小批的梯度下降,这种方法把数据分为若干个批,按批来更新参数,这样,一个批中的一组数据共同决定了本次梯度的方向,下降起来就不容易跑偏,减少了随机性。另一方面因为批的样本数与整个数据集相比小了很多,计算量也不是很大。

(2)batch_size:

Keras中参数更新是按批进行的,就是小批梯度下降算法,把数据分为若干组,称为batch,按批更新参数,这样,一个批中的一组数据共同决定了本次梯度的方向,一批数据中包含的样本数量称为batch_size。

3、iteration

将数据分为几个batch而不是一次性通过神经网络时,iteration是batch需要完成一个epoch的次数,也就是number of batches (区别于 batch size) , 在一次epoch中 number of batches = iteration = 训练样本总数 / batch size

比如,对于一个有2000个训练样本的数据集,将2000个样本分成大小为500的batch,那么完成一个epoch需要4个iteration

4、batch size 和 epoch 的选取

(1)训练网络过程中,一个batch中的样本规模大小,即batch size 和epoch个数一起通过影响更新权重的频率定义了网络学习数据的速度。

对于固定的epoch:

(a)在合理范围内,随着batch size增大,跑完一次epoch所需的迭代数减少,对于相同数据量的处理速度进一步加快,确定的下降方向越准,引起的训练震荡越小。

(b)batch size 过大时,跑完一次epoch所需的迭代数减少,想要达到相同的精度,所花费的时间大大增加了,从而对参数的修正也变得缓慢,batch size增大到一定程度,其确定的下降方向已经基本不再变化

对于固定的batch size:

(a)在合理范围内随着epoch的增加,训练集和测试集的误差呈下降趋势,模型的训练有了效果

(b)随着epoch的继续增加,训练集的误差呈下降而测试集的误差呈上升趋势,模型过拟合训练集对测试集性能不好

(2)实验实验,通过实验+经验选取合适的batch size 和 epoch

补充知识:keras指定batchsize

具体的测试可以将keras中的第6.4程序

1、Sequential情况下

如果想要指定批次的大小,需要在第一层的输入形状中使用batch_input_shape

而不能使用input_shape,因为input_shape不能指定批次的大小,批次只能为None

input_shape和batch_input_shape。

input_shape 不包含批量大小,

batch_input_shape是全情投入的形状,包括批量大小。

2、函数式情况下

Input参数

shape: 一个尺寸元组(整数),不包含批量大小。A shape tuple (integer), not including the batch size. 例如,shape=(32,) 表明期望的输入是按批次的 32 维向量。

batch_shape: 一个尺寸元组(整数),包含批量大小。 例如,batch_shape=(10, 32) 表明期望的输入是 10 个 32 维向量。

batch_shape=(None, 32) 表明任意批次大小的 32 维向量。

以上这篇Keras框架中的epoch、bacth、batch size、iteration使用介绍就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python将ip地址转换成整数的方法
Mar 17 Python
Python聚类算法之DBSACN实例分析
Nov 20 Python
使用C#配合ArcGIS Engine进行地理信息系统开发
Feb 19 Python
Python爬虫_城市公交、地铁站点和线路数据采集实例
Jan 10 Python
对python tkinter窗口弹出置顶的方法详解
Jun 14 Python
python进程间通信Queue工作过程详解
Nov 01 Python
Python 元组拆包示例(Tuple Unpacking)
Dec 24 Python
解决python gdal投影坐标系转换的问题
Jan 17 Python
keras获得model中某一层的某一个Tensor的输出维度教程
Jan 24 Python
关于PyCharm安装后修改路径名称使其可重新打开的问题
Oct 20 Python
python爬虫scrapy图书分类实例讲解
Nov 23 Python
plt.figure()参数使用详解及运行演示
Jan 08 Python
Python3.9 beta2版本发布了,看看这7个新的PEP都是什么
Jun 10 #Python
JAVA及PYTHON质数计算代码对比解析
Jun 10 #Python
keras 使用Lambda 快速新建层 添加多个参数操作
Jun 10 #Python
matplotlib 生成的图像中无法显示中文字符的解决方法
Jun 10 #Python
Tensorflow中k.gradients()和tf.stop_gradient()用法说明
Jun 10 #Python
PySide2出现“ImportError: DLL load failed: 找不到指定的模块”的问题及解决方法
Jun 10 #Python
浅谈Python中的字符串
Jun 10 #Python
You might like
php 空格,换行,跳格使用说明
2009/12/18 PHP
用PHP查询搜索引擎排名位置的代码
2010/01/05 PHP
PHP--用万网的接口实现域名查询功能
2012/12/13 PHP
php+mysqli实现将数据库中一张表信息打印到表格里的方法
2015/01/28 PHP
linux下php上传文件注意事项
2016/06/11 PHP
浅谈ThinkPHP5.0版本和ThinkPHP3.2版本的区别
2017/06/17 PHP
PHP7新特性之抽象语法树(AST)带来的变化详解
2018/07/17 PHP
php封装实现钉钉机器人报警接口的示例代码
2020/08/08 PHP
Gambit vs CL BO3 第三场 2.13
2021/03/10 DOTA
javascript 学习笔记(一)DOM基本操作
2011/04/08 Javascript
jQuery EasyUI API 中文文档 - Calendar日历使用
2011/10/19 Javascript
jquery.boxy弹出框(后隔N秒后自动隐藏/自动跳转)
2013/01/15 Javascript
jQuery 1.9.1源码分析系列(十)事件系统之绑定事件
2015/11/19 Javascript
全面解析Bootstrap图片轮播效果
2015/12/03 Javascript
jQuery同步提交示例代码
2015/12/12 Javascript
使用ajax的post同步执行(实现方法)
2017/12/21 Javascript
详解layui弹窗父子窗口之间传参数的方法
2018/01/16 Javascript
浅析Vue 生命周期
2018/06/21 Javascript
python中sleep函数用法实例分析
2015/04/29 Python
Python简单实现enum功能的方法
2016/04/25 Python
Python正则表达式教程之一:基础篇
2017/03/02 Python
Python selenium实现微博自动登录的示例代码
2018/05/16 Python
PyQt+socket实现远程操作服务器的方法示例
2019/08/22 Python
Python开发企业微信机器人每天定时发消息实例
2020/03/17 Python
Python unittest单元测试框架及断言方法
2020/04/15 Python
python 三种方法实现对Excel表格的读写
2020/11/19 Python
欧洲著名的二手奢侈品网站:Vestiaire Collective
2020/03/07 全球购物
Monki官网:斯堪的纳维亚的独立时尚品牌
2020/11/09 全球购物
ShellScript面试题一则-ShellScript编程
2014/03/05 面试题
社会工作专业求职信
2014/07/15 职场文书
公司授权委托书范文
2014/08/02 职场文书
2016入党积极分子党校培训心得体会
2016/01/06 职场文书
导游词之临安白水涧
2019/11/05 职场文书
《雪域豹影》读后感:父爱的伟大
2019/12/23 职场文书
在项目中使用redis做缓存的一些思路
2021/09/14 Redis
Python3的进程和线程你了解吗
2022/03/16 Python