keras中epoch,batch,loss,val_loss用法说明


Posted in Python onJuly 02, 2020

1、epoch

Keras官方文档中给出的解释是:“简单说,epochs指的就是训练过程接中数据将被“轮”多少次”

(1)释义:

训练过程中当一个完整的数据集通过了神经网络一次并且返回了一次,这个过程称为一个epoch,网络会在每个epoch结束时报告关于模型学习进度的调试信息。

(2)为什么要训练多个epoch,即数据要被“轮”多次

在神经网络中传递完整的数据集一次是不够的,对于有限的数据集(是在批梯度下降情况下),使用一个迭代过程,更新权重一次或者说使用一个epoch是不够的,需要将完整的数据集在同样的神经网络中传递多次,随着epoch次数增加,神经网络中的权重的更新次数也增加,模型从欠拟合变得过拟合。

2、batch

(1)keras官方文档中给出的解释:

深度学习的优化算法,说白了就是梯度下降。每次的参数更新有两种方式:

第一种,遍历全部数据集算一次损失函数,然后算函数对各个参数的梯度,更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍,计算量开销大,计算速度慢,不支持在线学习,这种称为Batch gradient descent,批梯度下降

另一种,每看一个数据就算一下损失函数,然后求梯度更新参数,这个称为随机梯度下降,stochastic gradient descent.这个方法速度比较快,但是收敛性能不太好,可能在最优点附近晃来晃去,hit不到最优点,两次参数的更新也有可能互相抵消掉,造成目标函数震荡的比较剧烈。

为了克服两种方法的缺点,现在一般采用的是一种折中手段,mini-batch gradient decent,小批的梯度下降,这种方法把数据分为若干个批,按批来更新参数,这样,一个批中的一组数据共同决定了本次梯度的方向,下降起来就不容易跑偏,减少了随机性。另一方面因为批的样本数与整个数据集相比小了很多,计算量也不是很大。

(2)batch_size:

Keras中参数更新是按批进行的,就是小批梯度下降算法,把数据分为若干组,称为batch,按批更新参数,这样,一个批中的一组数据共同决定了本次梯度的方向,一批数据中包含的样本数量称为batch_size。

3、iteration

将数据分为几个batch而不是一次性通过神经网络时,iteration是batch需要完成一个epoch的次数,也就是number of batches (区别于 batch size) , 在一次epoch中 number of  batches = iteration = 训练样本总数  / batch size

比如,对于一个有2000个训练样本的数据集,将2000个样本分成大小为500的batch,那么完成一个epoch需要4个iteration

4、batch size 和 epoch 的选取

(1)训练网络过程中,一个batch中的样本规模大小,即batch size 和epoch个数一起通过影响更新权重的频率定义了网络学习数据的速度。

对于固定的epoch:

(a)在合理范围内,随着batch size增大,跑完一次epoch所需的迭代数减少,对于相同数据量的处理速度进一步加快,确定的下降方向越准,引起的训练震荡越小。

(b)batch size 过大时,跑完一次epoch所需的迭代数减少,想要达到相同的精度,所花费的时间大大增加了,从而对参数的修正也变得缓慢,batch size增大到一定程度,其确定的下降方向已经基本不再变化

对于固定的batch size:

(a)在合理范围内随着epoch的增加,训练集和测试集的误差呈下降趋势,模型的训练有了效果

(b)随着epoch的继续增加,训练集的误差呈下降而测试集的误差呈上升趋势,模型过拟合训练集对测试集性能不好

(2)实验实验,通过实验+经验选取合适的batch size 和 epoch

训练截图:

keras中epoch,batch,loss,val_loss用法说明

网络的权重参数W在每一个batch size都会进行一次更新,界面显示的loss值是 iteration次batch size训练后loss值的加权求和值。val_loss是跑完一次Epoch后,跑完一次验证集计算的值。

---------训练总结------------

train loss 不断下降,test loss不断下降,说明网络仍在学习;(最好的)

train loss 不断下降,test loss趋于不变,说明网络过拟合;(max pool或者正则化)

train loss 趋于不变,test loss不断下降,说明数据集100%有问题;(检查dataset)

train loss 趋于不变,test loss趋于不变,说明学习遇到瓶颈,需要减小学习率或批量数目;(减少学习率)

train loss 不断上升,test loss不断上升,说明网络结构设计不当,训练超参数设置不当,数据集经过清洗等问题。(最不好的情况)

以上这篇keras中epoch,batch,loss,val_loss用法说明就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
在Python中使用Mako模版库的简单教程
Apr 08 Python
Python实现的朴素贝叶斯算法经典示例【测试可用】
Jun 13 Python
python 3.6.5 安装配置方法图文教程
Sep 18 Python
flask-restful使用总结
Dec 04 Python
python调用java的jar包方法
Dec 15 Python
详解用python自制微信机器人,定时发送天气预报
Mar 25 Python
Python图像处理PIL各模块详细介绍(推荐)
Jul 17 Python
python实现KNN分类算法
Oct 16 Python
Python Tkinter模块 GUI 可视化实例
Nov 20 Python
Python3中对json格式数据的分析处理
Jan 28 Python
Python实现机器学习算法的分类
Jun 03 Python
教你用Python爬取英雄联盟皮肤原画
Jun 13 Python
Python使用tkinter实现摇骰子小游戏功能的代码
Jul 02 #Python
浅谈keras使用预训练模型vgg16分类,损失和准确度不变
Jul 02 #Python
python脚本和网页有何区别
Jul 02 #Python
keras:model.compile损失函数的用法
Jul 01 #Python
win10安装python3.6的常见问题
Jul 01 #Python
Python代码需要缩进吗
Jul 01 #Python
导致python中import错误的原因是什么
Jul 01 #Python
You might like
咖啡机如何保养和日常清洁?
2021/03/03 冲泡冲煮
Zend Framework使用Zend_Loader组件动态加载文件和类用法详解
2016/12/09 PHP
php实现微信小程序授权登录功能(实现流程)
2019/11/13 PHP
jQuery 使用手册(四)
2009/09/23 Javascript
TreeView 用法(有代码)(asp.net)
2011/07/15 Javascript
JQuery分屏指示器图片轮换效果实例
2015/05/21 Javascript
javascript求日期差的方法
2016/03/02 Javascript
JavaScript的字符串方法汇总
2016/07/31 Javascript
JavaScript轮播图简单制作方法
2017/02/20 Javascript
AngularJS 监听变量变化的实现方法
2018/10/09 Javascript
layui异步加载table表中某一列数据的例子
2019/09/16 Javascript
在vue中利用v-html按分号将文本换行的例子
2019/11/14 Javascript
jQuery插件simplePagination的使用方法示例
2020/04/28 jQuery
浅谈Matplotlib简介和pyplot的简单使用——文本标注和箭头
2018/01/09 Python
python中(str,list,tuple)基础知识汇总
2018/02/20 Python
解决python中使用PYQT时中文乱码问题
2019/06/17 Python
python3.x提取中文的正则表达式示例代码
2019/07/23 Python
HTML5 本地存储之如果没有数据库究竟会怎样
2013/04/25 HTML / CSS
HTML5实现应用程序缓存(Application Cache)
2020/06/16 HTML / CSS
HearthSong官网:儿童户外玩具、儿童益智玩具
2017/10/16 全球购物
教师自我鉴定范文
2013/11/10 职场文书
市场安全管理制度
2014/01/26 职场文书
进步之星获奖感言
2014/02/22 职场文书
国际经济贸易专业自荐信
2014/06/13 职场文书
大学生创业计划书
2014/08/14 职场文书
万能检讨书2000字
2014/10/17 职场文书
2014年电话销售工作总结
2014/12/01 职场文书
2014酒店客房部工作总结
2014/12/16 职场文书
2015年公路养护工作总结
2015/05/13 职场文书
2016年秋季运动会加油稿
2015/12/21 职场文书
机关干部正风肃纪心得体会
2016/01/15 职场文书
数学复习课教学反思
2016/02/18 职场文书
关于flex 上下文中自动 margin的问题(完整例子)
2021/05/20 HTML / CSS
SQL Server使用T-SQL语句批处理
2022/05/20 SQL Server
python实现一个简单的贪吃蛇游戏附代码
2022/06/28 Python
css让页脚保持在底部位置的四种方案
2022/07/23 HTML / CSS