Keras SGD 随机梯度下降优化器参数设置方式


Posted in Python onJune 19, 2020

SGD 随机梯度下降

Keras 中包含了各式优化器供我们使用,但通常我会倾向于使用 SGD 验证模型能否快速收敛,然后调整不同的学习速率看看模型最后的性能,然后再尝试使用其他优化器。

Keras 中文文档中对 SGD 的描述如下:

keras.optimizers.SGD(lr=0.01, momentum=0.0, decay=0.0, nesterov=False)

随机梯度下降法,支持动量参数,支持学习衰减率,支持Nesterov动量

参数:

lr:大或等于0的浮点数,学习率

momentum:大或等于0的浮点数,动量参数

decay:大或等于0的浮点数,每次更新后的学习率衰减值

nesterov:布尔值,确定是否使用Nesterov动量

参数设置

Time-Based Learning Rate Schedule

Keras 已经内置了一个基于时间的学习速率调整表,并通过上述参数中的 decay 来实现,学习速率的调整公式如下:

LearningRate = LearningRate * 1/(1 + decay * epoch)

当我们初始化参数为:

LearningRate = 0.1
decay = 0.001

大致变化曲线如下(非实际曲线,仅示意):

Keras SGD 随机梯度下降优化器参数设置方式

当然,方便起见,我们可以将优化器设置如下,使其学习速率随着训练轮次变化:

sgd = SGD(lr=learning_rate, decay=learning_rate/nb_epoch, momentum=0.9, nesterov=True)

Drop-Based Learning Rate Schedule

另外一种学习速率的调整方法思路是保持一个恒定学习速率一段时间后立即降低,是一种突变的方式。通常整个变化趋势为指数形式。

Keras SGD 随机梯度下降优化器参数设置方式

对应的学习速率变化公式如下:

LearningRate = InitialLearningRate * DropRate^floor(Epoch / EpochDrop)

实现需要使用 Keras 中的 LearningRateScheduler 模块:

from keras.callbacks import LearningRateScheduler
# learning rate schedule
def step_decay(epoch):
 initial_lrate = 0.1
 drop = 0.5
 epochs_drop = 10.0
 lrate = initial_lrate * math.pow(drop, math.floor((1+epoch)/epochs_drop))
 return lrate

lrate = LearningRateScheduler(step_decay)

# Compile model
sgd = SGD(lr=0.0, momentum=0.9, decay=0.0, nesterov=False)
model.compile(loss=..., optimizer=sgd, metrics=['accuracy'])

# Fit the model
model.fit(X, Y, ..., callbacks=[lrate])

补充知识:keras中的BGD和SGD

关于BGD和SGD

首先BGD为批梯度下降,即所有样本计算完毕后才进行梯度更新;而SGD为随机梯度下降,随机计算一次样本就进行梯度下降,所以速度快很多但容易陷入局部最优值。

折中的办法是采用小批的梯度下降,即把数据分成若干个批次,一批来进行一次梯度下降,减少随机性,计算量也不是很大。 mini-batch

keras中的batch_size就是小批梯度下降。

以上这篇Keras SGD 随机梯度下降优化器参数设置方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python Web框架Tornado运行和部署
Oct 19 Python
对python抓取需要登录网站数据的方法详解
May 21 Python
解决Matplotlib图表不能在Pycharm中显示的问题
May 24 Python
python和pygame实现简单俄罗斯方块游戏
Feb 19 Python
便捷提取python导入包的属性方法
Oct 15 Python
详解Python Qt的窗体开发的基本操作
Jul 14 Python
Python_查看sqlite3表结构,查询语句的示例代码
Jul 17 Python
Python高级特性之闭包与装饰器实例详解
Nov 19 Python
Python日期格式和字符串格式相互转换的方法
Feb 18 Python
安装python3.7编译器后如何正确安装opnecv的方法详解
Jun 16 Python
python实现在线翻译
Jun 18 Python
Python 调用 ES、Solr、Phoenix的示例代码
Nov 23 Python
python支持多继承吗
Jun 19 #Python
python和php哪个容易学
Jun 19 #Python
基于Keras中Conv1D和Conv2D的区别说明
Jun 19 #Python
Python魔术方法专题
Jun 19 #Python
关于Theano和Tensorflow多GPU使用问题
Jun 19 #Python
如何对python的字典进行排序
Jun 19 #Python
浅谈Python中的继承
Jun 19 #Python
You might like
Mysql的常用命令
2006/10/09 PHP
小文件php+SQLite存储方案
2010/09/04 PHP
PHP中数组定义的几种方法
2013/09/01 PHP
php实现的mysqldb读写分离操作类示例
2017/02/07 PHP
PHP 应用容器化以及部署方法
2018/02/12 PHP
简单的JS多重继承示例
2008/03/13 Javascript
jQuery 插件 将this下的div轮番显示
2009/04/09 Javascript
js调试系列 源码定位与调试[基础篇]
2014/06/18 Javascript
Bootstrap布局组件教程之Bootstrap下拉菜单
2016/06/12 Javascript
jQuery Validate插件实现表单验证
2016/08/19 Javascript
JS实现获取当前URL和来源URL的方法
2016/08/24 Javascript
JavaScript箭头(arrow)函数详解
2017/06/04 Javascript
微信小程序简单实现form表单获取输入数据功能示例
2017/11/30 Javascript
JS在if中的强制类型转换方式
2018/07/15 Javascript
小程序图片长按识别功能的实现方法
2018/08/30 Javascript
javascript导出csv文件(excel)的方法示例
2019/08/25 Javascript
Vue父子之间值传递的实例教程
2020/07/02 Javascript
javascript实现多边形碰撞检测
2020/10/24 Javascript
Python选择排序、冒泡排序、合并排序代码实例
2015/04/10 Python
Python对列表排序的方法实例分析
2015/05/16 Python
Python实现Windows上气泡提醒效果的方法
2015/06/03 Python
python获取list下标及其值的简单方法
2016/09/12 Python
Python3 获取一大段文本之间两个关键字之间的内容方法
2018/10/11 Python
python中二分查找法的实现方法
2020/12/06 Python
python中count函数知识点浅析
2020/12/17 Python
罗兰·穆雷官网:Roland Mouret
2018/09/28 全球购物
迪卡侬印尼体育用品商店:Decathlon印尼
2020/03/11 全球购物
EJB的基本架构
2016/09/22 面试题
Ruby如何进行文件操作
2014/07/17 面试题
幼师自荐信范文
2013/10/06 职场文书
颐和园的导游词
2015/01/30 职场文书
交流会主持词
2015/07/02 职场文书
中学生国庆节演讲稿2015
2015/07/30 职场文书
学校隐患排查制度
2015/08/05 职场文书
天谕手游15杯全调酒配方和调酒券的获得方式
2022/04/06 其他游戏
在 Python 中利用 Pool 进行多线程
2022/04/24 Python