keras做CNN的训练误差loss的下降操作


Posted in Python onJune 22, 2020

采用二值判断如果确认是噪声,用该点上面一个灰度进行替换。

噪声点处理:对原点周围的八个点进行扫描,比较。当该点像素值与周围8个点的值小于N时,此点为噪点 。

处理后的文件大小只有原文件小的三分之一,前后的图片内容肉眼几乎无法察觉。

但是这样处理后图片放入CNN中在其他条件不变的情况下,模型loss无法下降,二分类图片,loss一直在8-9之间。准确率维持在0.5,同时,测试集的训练误差持续下降,但是准确率也在0.5徘徊。大概真是需要误差,让优化方法从局部最优跳出来。

使用的activation function是relu,full connection layer是softmax分类函数,优化方法为RMsprop

难到是需要加入噪音更好,CNN中加入高斯噪音不是让模型更稳健的吗?还有让模型跳出局部最优的好处,方便训练。

原意:降噪的目的是因为这批数据是样本较少,用复印机 扫面出来的图片,想着放入更干净的数据,模型更容易学习到本质特征。

结果事与愿违,但是在keras中是可以加入noise的,比如加入高斯噪音

form keras.layers.noise import GaussianNoise

我在全连接层中加入

model.add(GaussianNoise(0.125))

后来查看了BatchNormalization的作用,发现在这个大杀器之后,好像很少有人用到初始化和其他的tricks,就可以让模型表现的很好。

在第一层的Maxpooling后面加上,model.add(BatchNormalization()),效果非常显著,第一次epoch的loss值只有0.63,acc也迅速上升,不会出现之前的卡在8.354一直不动,哪怕更换 leraning rate和使用Adagrad,都是一样的,如果前面的5个epoch完,还是没有太大的变化,后面几乎不会收敛。

1,leraning rate的设置

#导入模块,以rmsprop为例
from keras.optimizers import rmsprop
rmsprop=rmsprop(lr=0.1)#只是更改了学习率,其他的参数没有更改,默认学习率是0.001

2.BatchNormalization()的设置

from keras.layers.normalization import BatchNormalization

#网上不少人说,批规范化 加在输入层的激活函数(层)的前面

model.add(BatchNormalization())

也有看到每一个隐藏层的激活函数前面全部加上BN的,但是我这个实验中,效果很差。

3.在输入数据的时候,依然加上train_x = data/255.0,对像素矩阵的取值放小到0-1之间,否则训练将很艰难。

其实在我自己的实验中,后来调整成:

train_x-= np.mean(train_x, axis = 0)

发现效果更好

4.如果第一次的epoch的loss在个位数,则很可能需要返回去重新构建模型,加入更多的trick,如果最后的loss值依然没有达到小数,则也可能是难于训练,也需要加入其他的技巧。或者模型搭建的有问题,需要慎重检查。

5. 建议使用网格搜索,从最重要的参数开始,搭建一个简单的模型,然后取合理的超参数,逐一进行。

6 .也可以在卷积层中加正则化,比如:

C1 = Convolution2D(8 3, 3, border_mode='valid', init='he_uniform', activation='relu',W_regularizer=l2(regularizer_params))

7.有看到在kaggle中使用集成cnn的,分类错误率确实有下降。

8 使用ReduceLROnPlateau 对学习率进行衰减,当下降很慢时,学习率自动调整,可以起到一部分作用,

我在模型中使用的是RMSprop ,RMSprop本身带有学习率的自动调整,但是,我加上ReduceLROnPlateau ,依然可以看到学习率变化很慢时,设置的这个ReduceLROnPlateau 有调整。

9 用数据增强的时候,也需要小心,图片调整的幅度等均会对模型的正确率有影响。

10,对3个颜色的图像转换为gray以后,分类准确率稳定在 0.5左右,几乎就是废掉了,说明图像的像素对于模型的影响巨大,后来了解到有“图像超分辨率重建Super-Resolution”其实是可以对图像做像素的分辨率更高。当然也是可以手工用PS进行插值等修图。查了下,像mnist这样的数据集都是经过处理后才放入模型中的,所以,不能完全指望着CNN卷积池化就把所有的问题都解决掉,尽管图像分类和识别正在像CNN转移。

keras遇到的坑(可能是水平的问题,总之有困惑)

(1) 多次运行会在上一次运行过的数据上起作用,比如,

train_x , val_x , train_y, val_y = train_test_split(train_x, train_y, test_size=0.1, random_state=random_seed)

如果多次运行,则1000个数据,900个训练集的,下一次变成,900*0.9=810个数据,同时,还发现,

train_y = to_categorical(label, num_classes =2),这里也可能出现问题,比如,二分类,在第一次运行后是,2行

第二次运行就变成4行

(2) 在做交叉验证时

新版本epoch的写法是epochs=

estimator = KerasClassifier(build_fn=baseline_model, epochs=20, batch_size=32, verbose=2)

如果用成下面老版本,则n_epoch无法读取,运行的时候,默认的是1所以我定义的 n_epoch=20是失效。

estimator = KerasClassifier(build_fn=baseline_model, n_epoch=20, batch_size=32, verbose=2)

补充知识:keras中loss与val_loss的关系

loss是训练集的损失值,val_loss是测试集的损失值

以下是loss与val_loss的变化反映出训练走向的规律总结:

train loss 不断下降,test loss不断下降,说明网络仍在学习;(最好的)

train loss 不断下降,test loss趋于不变,说明网络过拟合;(max pool或者正则化)

train loss 趋于不变,test loss不断下降,说明数据集100%有问题;(检查dataset)

train loss 趋于不变,test loss趋于不变,说明学习遇到瓶颈,需要减小学习率或批量数目;(减少学习率)

train loss 不断上升,test loss不断上升,说明网络结构设计不当,训练超参数设置不当,数据集经过清洗等问题。(最不好的情况)

以上这篇keras做CNN的训练误差loss的下降操作就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python统计一个文本中重复行数的方法
Nov 19 Python
Python中关于字符串对象的一些基础知识
Apr 08 Python
Django与遗留的数据库整合的方法指南
Jul 24 Python
python实现数据图表
Jul 29 Python
python如何读写csv数据
Mar 21 Python
Python Unittest自动化单元测试框架详解
Apr 04 Python
python对excel文档去重及求和的实例
Apr 18 Python
PyQt5+requests实现车票查询工具
Jan 21 Python
8段用于数据清洗Python代码(小结)
Oct 31 Python
如何利用python检测图片是否包含二维码
Oct 15 Python
python time()的实例用法
Nov 03 Python
5 分钟读懂Python 中的 Hook 钩子函数
Dec 09 Python
keras 自定义loss model.add_loss的使用详解
Jun 22 #Python
Python项目跨域问题解决方案
Jun 22 #Python
python os模块在系统管理中的应用
Jun 22 #Python
解决tensorflow读取本地MNITS_data失败的原因
Jun 22 #Python
python实现猜数游戏(保存游戏记录)
Jun 22 #Python
基于Tensorflow读取MNIST数据集时网络超时的解决方式
Jun 22 #Python
在Mac中配置Python虚拟环境过程解析
Jun 22 #Python
You might like
PHP上传文件及图片到七牛的方法
2018/07/25 PHP
PHP针对redis常用操作实例详解
2019/08/17 PHP
laravel邮件发送的实现代码示例
2020/01/31 PHP
Microsoft Ajax Minifier 压缩javascript的方法
2010/03/05 Javascript
基于JavaScript 下namespace 功能的简单分析
2013/07/05 Javascript
javascript正则匹配汉字、数字、字母、下划线
2014/04/10 Javascript
jQuery filter函数使用方法
2014/05/19 Javascript
基于RequireJS和JQuery的模块化编程日常问题解析
2016/04/14 Javascript
JS判断Android、iOS或浏览器的多种方法(四种方法)
2017/06/29 Javascript
JavaScript实现计数器基础方法
2017/10/10 Javascript
微信小程序在地图选择地址并返回经纬度简单示例
2018/12/03 Javascript
浅谈vuex actions和mutation的异曲同工
2018/12/13 Javascript
js实现页面多个日期时间倒计时效果
2019/06/20 Javascript
解决包含在label标签下的checkbox在ie8及以下版本点击事件无效果兼容的问题
2019/10/27 Javascript
[04:07]显微镜下的DOTA2第八期——英雄复活动作
2014/06/24 DOTA
Python 字符串操作方法大全
2014/03/11 Python
python代码制作configure文件示例
2014/07/28 Python
Python常用小技巧总结
2015/06/01 Python
Python爬虫:通过关键字爬取百度图片
2017/02/17 Python
在python中pandas的series合并方法
2018/11/12 Python
Python子类继承父类构造函数详解
2019/02/19 Python
python能开发游戏吗
2020/06/11 Python
python中K-means算法基础知识点
2021/01/25 Python
美国知名日用品连锁超市:Dollar General(多来店)
2017/01/14 全球购物
李宁官方网店:中国运动品牌
2017/11/02 全球购物
白兰氏健康Mall:BRAND’S
2017/11/13 全球购物
印度化妆品购物网站:Nykaa
2018/07/22 全球购物
美国修容界大佬创建的个人美妆品牌:Kevyn Aucoin Beauty
2018/12/12 全球购物
GWT都有什么特性
2016/12/02 面试题
本科生求职简历的自我评价
2013/10/21 职场文书
大学生入党自我鉴定
2013/10/31 职场文书
小学校长竞聘演讲稿
2014/05/16 职场文书
2014年流动人口工作总结
2014/11/26 职场文书
2015毕业实习推荐信
2015/03/23 职场文书
2019暑假学生安全口号
2019/06/27 职场文书
MySQL删除和插入数据很慢的问题解决
2021/06/03 MySQL