浅谈keras使用中val_acc和acc值不同步的思考


Posted in Python onJune 18, 2020

在一个比较好的数据集中,比如在分辨不同文字的任务中,一下是几个样本

浅谈keras使用中val_acc和acc值不同步的思考

使用VGG19,vol_acc和acc基本是同步保持增长的,比如

40/40 [==============================] - 23s 579ms/step - loss: 1.3896 - acc: 0.95 - val_loss: 1.3876 - val_acc: 0.95
Epoch 13/15
40/40 [==============================] - 23s 579ms/step - loss: 1.3829 - acc: 0.96 - val_loss: 1.3964 - val_acc: 0.96
Epoch 14/15
40/40 [==============================] - 23s 580ms/step - loss: 1.3844 - acc: 0.97 - val_loss: 1.3892 - val_acc: 0.97
Epoch 15/15
40/40 [==============================] - 24s 591ms/step - loss: 1.3833 - acc: 0.98 - val_loss: 1.4145 - val_acc: 0.98

这表明训练集和测试集同分布,在训练集中学习的特征确实可以应用到测试集中,这是最好的情况。

通过观察热力图也可以看到,最热的地方集中在特征上。比如在分辨不同的文字。

浅谈keras使用中val_acc和acc值不同步的思考

但很多时候,自己建立的数据集并不完美,或者可能不同类的特征分辨并不明显,这时候用cnn强行进行分类就会出现很多奇葩的情况。

考虑一种极端的情况,比如有四个类,而四个类都是同样的简单图形

浅谈keras使用中val_acc和acc值不同步的思考

那么在学习过程中,会出现如下特征的acc和vol_acc

40/40 [==============================] - 23s 579ms/step - loss: 1.3896 - acc: 0.2547 - val_loss: 1.3876 - val_acc: 0.2500
Epoch 13/15
40/40 [==============================] - 23s 579ms/step - loss: 1.3829 - acc: 0.2844 - val_loss: 1.3964 - val_acc: 0.2281
Epoch 14/15
40/40 [==============================] - 23s 580ms/step - loss: 1.3844 - acc: 0.2922 - val_loss: 1.3892 - val_acc: 0.2469
Epoch 15/15
40/40 [==============================] - 24s 591ms/step - loss: 1.3833 - acc: 0.2578 - val_loss: 1.4145 - val_acc: 0.2500

从热力图上看

浅谈keras使用中val_acc和acc值不同步的思考

可以看到因为没有什么特征,所有热力图分布也没有规律,可以说网络什么都没学到。

那么考虑中间的情况,比如很相似的类学习会怎么样?比如不同年份的硬币

浅谈keras使用中val_acc和acc值不同步的思考

40/40 [==============================] - 25s 614ms/step - loss: 0.0967 - acc: 0.9891 - val_loss: 0.3692 - val_acc: 0.8313
40/40 [==============================] - 23s 580ms/step - loss: 0.0476 - acc: 0.9953 - val_loss: 0.3994 - val_acc: 0.7906
40/40 [==============================] - 23s 578ms/step - loss: 0.0237 - acc: 0.9984 - val_loss: 0.5067 - val_acc: 0.7344
40/40 [==============================] - 23s 579ms/step - loss: 0.0184 - acc: 1.0000 - val_loss: 0.5192 - val_acc: 0.7531
40/40 [==============================] - 23s 582ms/step - loss: 0.0286 - acc: 0.9953 - val_loss: 0.9653 - val_acc: 0.6344
40/40 [==============================] - 23s 584ms/step - loss: 0.0138 - acc: 1.0000 - val_loss: 0.4780 - val_acc: 0.7688
40/40 [==============================] - 23s 583ms/step - loss: 0.0115 - acc: 0.9984 - val_loss: 0.5485 - val_acc: 0.7438
40/40 [==============================] - 23s 581ms/step - loss: 0.0096 - acc: 1.0000 - val_loss: 0.5658 - val_acc: 0.7406
40/40 [==============================] - 23s 578ms/step - loss: 0.0046 - acc: 1.0000 - val_loss: 0.5070 - val_acc: 0.7562

浅谈keras使用中val_acc和acc值不同步的思考

可以看到,虽然网络有一定分辨力,但是学习的特征位置并不对,这可能是网络的分辨力有限,或者数据集过小导致的,具体怎么解决还没有想清楚??可以看到,可以看到除非完全没有特征,否则train acc一定能到100%,但是这个是事没有意义的,这就是过拟合。

一开始同步增长,是在学习特征,后来volacc和acc开始有差异,就是过拟合

这可能是训练集过小导致的,如果图片中只有年份呢?

浅谈keras使用中val_acc和acc值不同步的思考

acc = 0.85,vol_acc=0.85
acc = 0.90,vol_acc=0.90  
acc = 0.92,vol_acc=0.92  
acc = 0.94,vol_acc=0.92

浅谈keras使用中val_acc和acc值不同步的思考

可以看到,还是能正确分类的,之所以硬币不能正确分类,是因为训练数据集过小,其他特征掩盖了年份的特征,只要增大数据量就行了。

另外。还有几点训练技巧:

1、拓展函数不要怕极端,极端的拓展函数有利于学到目标真正的特征。

2、使用灰度图作为训练集?如果以纹理为主,使用灰度图,灰度图能增强网络的鲁棒性,因为可以减少光照的影响,但是会损失颜色信息,可以用结果看看到底该使用哪种图?

3、使用小的分辨率图片可能错过某些特征,尤其是在小数据集的时候,所以可能的话使用大数据集,或者提高分辨率,根据使用者的目标。

以上这篇浅谈keras使用中val_acc和acc值不同步的思考就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用Python发送各种形式的邮件的方法汇总
Nov 09 Python
Windows中使用wxPython和py2exe开发Python的GUI程序的实例教程
Jul 11 Python
windows下python 3.6.4安装配置图文教程
Aug 21 Python
python查看模块,对象的函数方法
Oct 16 Python
Python进程间通信Queue消息队列用法分析
May 22 Python
python进程和线程用法知识点总结
May 28 Python
简单了解Django ContentType内置组件
Jul 23 Python
Python获取当前脚本文件夹(Script)的绝对路径方法代码
Aug 27 Python
Pytorch 的损失函数Loss function使用详解
Jan 02 Python
python使用XPath解析数据爬取起点小说网数据
Apr 22 Python
用Python进行栅格数据的分区统计和批量提取
May 27 Python
python字典进行运算原理及实例分享
Aug 02 Python
python实现在线翻译
Jun 18 #Python
Python函数的迭代器与生成器的示例代码
Jun 18 #Python
使用python实现名片管理系统
Jun 18 #Python
keras 回调函数Callbacks 断点ModelCheckpoint教程
Jun 18 #Python
浅谈keras.callbacks设置模型保存策略
Jun 18 #Python
用python实现名片管理系统
Jun 18 #Python
Python 为什么推荐蛇形命名法原因浅析
Jun 18 #Python
You might like
分页详解 从此分页无忧(PHP+mysql)
2007/11/23 PHP
PHP自动生成后台导航网址的最佳方法
2013/08/27 PHP
php网页标题中文乱码的有效解决方法
2014/03/05 PHP
php文件压缩之PHPZip类用法实例
2015/06/18 PHP
Javascript 变量作用域 两个可能会被忽略的小特性
2010/03/23 Javascript
jquery下checked取值问题的解决方法
2012/08/09 Javascript
一样的table?不一样的table(可编辑状态table)
2012/09/19 Javascript
jQuery表格插件ParamQuery简单使用方法示例
2013/12/05 Javascript
一个Action如何调用两个不同的方法
2014/05/22 Javascript
JavaScript事件委托技术实例分析
2015/02/06 Javascript
微信js-sdk分享功能接口常用逻辑封装示例
2016/10/13 Javascript
Bootstrap CSS组件之面包屑导航(breadcrumb)
2016/12/17 Javascript
Vue中正确使用jQuery的方法
2017/10/30 jQuery
jQuery+Datatables实现表格批量删除功能【推荐】
2018/10/24 jQuery
VUE安装使用教程详解
2019/06/03 Javascript
webpack.DefinePlugin与cross-env区别详解
2020/02/23 Javascript
微信小程序通过websocket实时语音识别的实现代码
2020/08/19 Javascript
vue制作toast组件npm包示例代码
2020/10/29 Javascript
Vue + ts实现轮播插件的示例
2020/11/10 Javascript
Vue 事件的$event参数=事件的值案例
2021/01/29 Vue.js
Python中AND、OR的一个使用小技巧
2015/02/18 Python
python 全文检索引擎详解
2017/04/25 Python
Python加载带有注释的Json文件实例
2018/05/23 Python
Flask框架踩坑之ajax跨域请求实现
2019/02/22 Python
Pyinstaller打包.py生成.exe的方法和报错总结
2019/04/02 Python
python实现两个一维列表合并成一个二维列表
2019/12/02 Python
Python偏函数Partial function使用方法实例详解
2020/06/17 Python
keras实现theano和tensorflow训练的模型相互转换
2020/06/19 Python
Perfumetrader荷兰:香水、化妆品和护肤品在线商店
2017/09/15 全球购物
PHP开发工程师面试问题集锦
2012/11/01 面试题
活动志愿者自荐信
2014/01/27 职场文书
《雨霖铃》教学反思
2014/02/22 职场文书
学习党的群众路线教育实践活动心得体会
2014/03/01 职场文书
股东协议书
2014/04/14 职场文书
大学生考试作弊被抓检讨书
2014/12/27 职场文书
2016年入党心得体会范文
2016/01/23 职场文书