浅谈keras使用中val_acc和acc值不同步的思考


Posted in Python onJune 18, 2020

在一个比较好的数据集中,比如在分辨不同文字的任务中,一下是几个样本

浅谈keras使用中val_acc和acc值不同步的思考

使用VGG19,vol_acc和acc基本是同步保持增长的,比如

40/40 [==============================] - 23s 579ms/step - loss: 1.3896 - acc: 0.95 - val_loss: 1.3876 - val_acc: 0.95
Epoch 13/15
40/40 [==============================] - 23s 579ms/step - loss: 1.3829 - acc: 0.96 - val_loss: 1.3964 - val_acc: 0.96
Epoch 14/15
40/40 [==============================] - 23s 580ms/step - loss: 1.3844 - acc: 0.97 - val_loss: 1.3892 - val_acc: 0.97
Epoch 15/15
40/40 [==============================] - 24s 591ms/step - loss: 1.3833 - acc: 0.98 - val_loss: 1.4145 - val_acc: 0.98

这表明训练集和测试集同分布,在训练集中学习的特征确实可以应用到测试集中,这是最好的情况。

通过观察热力图也可以看到,最热的地方集中在特征上。比如在分辨不同的文字。

浅谈keras使用中val_acc和acc值不同步的思考

但很多时候,自己建立的数据集并不完美,或者可能不同类的特征分辨并不明显,这时候用cnn强行进行分类就会出现很多奇葩的情况。

考虑一种极端的情况,比如有四个类,而四个类都是同样的简单图形

浅谈keras使用中val_acc和acc值不同步的思考

那么在学习过程中,会出现如下特征的acc和vol_acc

40/40 [==============================] - 23s 579ms/step - loss: 1.3896 - acc: 0.2547 - val_loss: 1.3876 - val_acc: 0.2500
Epoch 13/15
40/40 [==============================] - 23s 579ms/step - loss: 1.3829 - acc: 0.2844 - val_loss: 1.3964 - val_acc: 0.2281
Epoch 14/15
40/40 [==============================] - 23s 580ms/step - loss: 1.3844 - acc: 0.2922 - val_loss: 1.3892 - val_acc: 0.2469
Epoch 15/15
40/40 [==============================] - 24s 591ms/step - loss: 1.3833 - acc: 0.2578 - val_loss: 1.4145 - val_acc: 0.2500

从热力图上看

浅谈keras使用中val_acc和acc值不同步的思考

可以看到因为没有什么特征,所有热力图分布也没有规律,可以说网络什么都没学到。

那么考虑中间的情况,比如很相似的类学习会怎么样?比如不同年份的硬币

浅谈keras使用中val_acc和acc值不同步的思考

40/40 [==============================] - 25s 614ms/step - loss: 0.0967 - acc: 0.9891 - val_loss: 0.3692 - val_acc: 0.8313
40/40 [==============================] - 23s 580ms/step - loss: 0.0476 - acc: 0.9953 - val_loss: 0.3994 - val_acc: 0.7906
40/40 [==============================] - 23s 578ms/step - loss: 0.0237 - acc: 0.9984 - val_loss: 0.5067 - val_acc: 0.7344
40/40 [==============================] - 23s 579ms/step - loss: 0.0184 - acc: 1.0000 - val_loss: 0.5192 - val_acc: 0.7531
40/40 [==============================] - 23s 582ms/step - loss: 0.0286 - acc: 0.9953 - val_loss: 0.9653 - val_acc: 0.6344
40/40 [==============================] - 23s 584ms/step - loss: 0.0138 - acc: 1.0000 - val_loss: 0.4780 - val_acc: 0.7688
40/40 [==============================] - 23s 583ms/step - loss: 0.0115 - acc: 0.9984 - val_loss: 0.5485 - val_acc: 0.7438
40/40 [==============================] - 23s 581ms/step - loss: 0.0096 - acc: 1.0000 - val_loss: 0.5658 - val_acc: 0.7406
40/40 [==============================] - 23s 578ms/step - loss: 0.0046 - acc: 1.0000 - val_loss: 0.5070 - val_acc: 0.7562

浅谈keras使用中val_acc和acc值不同步的思考

可以看到,虽然网络有一定分辨力,但是学习的特征位置并不对,这可能是网络的分辨力有限,或者数据集过小导致的,具体怎么解决还没有想清楚??可以看到,可以看到除非完全没有特征,否则train acc一定能到100%,但是这个是事没有意义的,这就是过拟合。

一开始同步增长,是在学习特征,后来volacc和acc开始有差异,就是过拟合

这可能是训练集过小导致的,如果图片中只有年份呢?

浅谈keras使用中val_acc和acc值不同步的思考

acc = 0.85,vol_acc=0.85
acc = 0.90,vol_acc=0.90  
acc = 0.92,vol_acc=0.92  
acc = 0.94,vol_acc=0.92

浅谈keras使用中val_acc和acc值不同步的思考

可以看到,还是能正确分类的,之所以硬币不能正确分类,是因为训练数据集过小,其他特征掩盖了年份的特征,只要增大数据量就行了。

另外。还有几点训练技巧:

1、拓展函数不要怕极端,极端的拓展函数有利于学到目标真正的特征。

2、使用灰度图作为训练集?如果以纹理为主,使用灰度图,灰度图能增强网络的鲁棒性,因为可以减少光照的影响,但是会损失颜色信息,可以用结果看看到底该使用哪种图?

3、使用小的分辨率图片可能错过某些特征,尤其是在小数据集的时候,所以可能的话使用大数据集,或者提高分辨率,根据使用者的目标。

以上这篇浅谈keras使用中val_acc和acc值不同步的思考就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
以视频爬取实例讲解Python爬虫神器Beautiful Soup用法
Jan 20 Python
Python实现读取邮箱中的邮件功能示例【含文本及附件】
Aug 05 Python
python查看列的唯一值方法
Jul 17 Python
python实现括号匹配的思路详解
Aug 23 Python
selenium+python 对输入框的输入处理方法
Oct 11 Python
pycharm重置设置,恢复默认设置的方法
Oct 22 Python
对python多线程SSH登录并发脚本详解
Feb 14 Python
Django框架自定义模型管理器与元选项用法分析
Jul 22 Python
python字符串分割及字符串的一些常规方法
Jul 24 Python
使用python实现对元素的长截图功能
Nov 14 Python
python 变量初始化空列表的例子
Nov 28 Python
Python中内建模块collections如何使用
May 27 Python
python实现在线翻译
Jun 18 #Python
Python函数的迭代器与生成器的示例代码
Jun 18 #Python
使用python实现名片管理系统
Jun 18 #Python
keras 回调函数Callbacks 断点ModelCheckpoint教程
Jun 18 #Python
浅谈keras.callbacks设置模型保存策略
Jun 18 #Python
用python实现名片管理系统
Jun 18 #Python
Python 为什么推荐蛇形命名法原因浅析
Jun 18 #Python
You might like
linux iconv方法的使用
2011/10/01 PHP
PHP的引用详解
2015/02/22 PHP
PHP读书笔记整理_结构语句详解
2016/07/01 PHP
PHP对称加密函数实现数据的加密解密
2016/10/27 PHP
Zend Framework入门教程之Zend_Mail用法示例
2016/12/08 PHP
jquery自动将form表单封装成json的具体实现
2014/03/17 Javascript
JSONP之我见
2015/03/24 Javascript
javascript制作的滑动图片菜单
2015/05/15 Javascript
javascript实现状态栏文字首尾相接循环滚动的方法
2015/07/22 Javascript
JavaScript检查子字符串是否在字符串中的方法
2016/02/03 Javascript
原生JS:Date对象全面解析
2016/09/06 Javascript
JS中数组重排序方法
2016/11/11 Javascript
DWR3 访问WEB元素的两种方法实例详解
2017/01/03 Javascript
原生js实现无缝轮播图效果
2017/01/11 Javascript
js的OOP继承实现(必看篇)
2017/02/18 Javascript
微信小程序 flex实现导航实例详解
2017/04/26 Javascript
vue移动端路由切换实例分析
2018/05/14 Javascript
详解node字体压缩插件font-spider的用法
2018/09/28 Javascript
微信小程序Page中data数据操作和函数调用方法
2019/05/08 Javascript
Bootstrap实现省市区三级联动(亲测可用)
2019/07/26 Javascript
vue中使用echarts的示例
2021/01/03 Vue.js
Python实现输出程序执行进度百分比的方法
2017/09/16 Python
PyQt5+requests实现车票查询工具
2019/01/21 Python
Python实现去除图片中指定颜色的像素功能示例
2019/04/13 Python
python实现海螺图片的方法示例
2019/05/12 Python
对Python的交互模式和直接运行.py文件的区别详解
2019/06/29 Python
pandas 层次化索引的实现方法
2019/07/06 Python
PYTHON绘制雷达图代码实例
2019/10/15 Python
CSS3 透明色 RGBA使用介绍
2013/08/06 HTML / CSS
介绍java中初始化块的使用
2012/09/11 面试题
项目资料员岗位职责
2013/12/10 职场文书
行政处罚决定书
2015/06/24 职场文书
python for循环赋值问题
2021/06/03 Python
MySQL系列之九 mysql查询缓存及索引
2021/07/02 MySQL
golang fmt格式“占位符”的实例用法详解
2021/07/04 Golang
node.js使用express-fileupload中间件实现文件上传
2021/07/16 Javascript