有关Tensorflow梯度下降常用的优化方法分享


Posted in Python onFebruary 04, 2020

1.tf.train.exponential_decay() 指数衰减学习率:

#tf.train.exponential_decay(learning_rate, global_steps, decay_steps, decay_rate, staircase=True/False):
#指数衰减学习率
#learning_rate-学习率
#global_steps-训练轮数
#decay_steps-完整的使用一遍训练数据所需的迭代轮数;=总训练样本数/batch
#decay_rate-衰减速度
#staircase-衰减方式;=True,那就表明每decay_steps次计算学习速率变化,更新原始学习速率;=alse,那就是每一步都更新学习速率。learning_rate = tf.train.exponential_decay(
initial_learning_rate = 0.001
global_step = tf.Variable(0, trainable=False)
decay_steps = 100
decay_rate = 0.95
total_loss = slim.losses.get_total_loss()
learning_rate = tf.train.exponential_decay(initial_learning_rate, global_step, decay_steps, decay_rate, True, name='learning_rate')
optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(total_loss, global_step)

2.tf.train.ExponentialMovingAverage(decay, steps) 滑动平均更新参数:

initial_learning_rate = 0.001
global_step = tf.Variable(0, trainable=False)
decay_steps = 100
decay_rate = 0.95
total_loss = slim.losses.get_total_loss()
learning_rate = tf.train.exponential_decay(initial_learning_rate, global_step, decay_steps, decay_rate, True, name='learning_rate')
optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(total_loss, global_step)
ema = tf.train.ExponentialMovingAverage(decay=0.9999)
#tf.trainable_variables--返回的是需要训练的变量列表
averages_op = ema.apply(tf.trainable_variables())
with tf.control_dependencies([optimizer]):
   train_op = tf.group(averages_op)

以上这篇有关Tensorflow梯度下降常用的优化方法分享就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
讲解python参数和作用域的使用
Nov 01 Python
Python的Django框架中使用SQLAlchemy操作数据库的教程
Jun 02 Python
Django 跨域请求处理的示例代码
May 02 Python
python检测空间储存剩余大小和指定文件夹内存占用的实例
Jun 11 Python
树莓派采用socket方式文件传输(python)
Jun 22 Python
python分数表示方式和写法
Jun 26 Python
详解pandas DataFrame的查询方法(loc,iloc,at,iat,ix的用法和区别)
Aug 02 Python
python 消除 futureWarning问题的解决
Dec 25 Python
Python猜数字算法题详解
Mar 01 Python
Python实现打包成库供别的模块调用
Jul 13 Python
Python抓包并解析json爬虫的完整实例代码
Nov 03 Python
详解pycharm的python包opencv(cv2)无代码提示问题的解决
Jan 29 Python
python dumps和loads区别详解
Feb 04 #Python
Python2和Python3中@abstractmethod使用方法
Feb 04 #Python
python如何求数组连续最大和的示例代码
Feb 04 #Python
tensorflow 实现自定义layer并添加到计算图中
Feb 04 #Python
TensorFlow实现自定义Op方式
Feb 04 #Python
tensorflow使用指定gpu的方法
Feb 04 #Python
TensorFlow梯度求解tf.gradients实例
Feb 04 #Python
You might like
PHP 中的一些经验积累
2006/10/09 PHP
php的webservice的wsdl的XML无法显示问题的解决方法
2014/03/11 PHP
PHP利用func_get_args和func_num_args函数实现函数重载实例
2014/11/12 PHP
php从csv文件读取数据并输出到网页的方法
2015/03/14 PHP
两个Javascript小tip资料
2010/11/23 Javascript
深入document.write()与HTML4.01的非成对标签的详解
2013/05/08 Javascript
js实现二级菜单渐隐显示
2015/11/03 Javascript
JavaScript的removeChild()函数用法详解
2015/12/27 Javascript
node网页分段渲染详解
2016/09/05 Javascript
通过JS获取Request.QueryString()参数的值实现方法
2016/09/27 Javascript
基于js实现的限制文本框只可以输入数字
2016/12/05 Javascript
JavaScript中值类型和引用类型的区别
2017/02/23 Javascript
理解nodejs的stream和pipe机制的原理和实现
2017/08/12 NodeJs
JS对象序列化成json数据和json数据转化为JS对象的代码
2017/08/23 Javascript
JS与HTML结合实现流程进度展示条思路详解
2017/09/03 Javascript
JS实现瀑布流布局
2017/10/21 Javascript
详解Webpack-dev-server的proxy用法
2018/09/08 Javascript
微信小程序实现获取小程序码和二维码java接口开发
2019/03/29 Javascript
解决vuex刷新状态初始化的方法实现
2019/08/15 Javascript
使用layer模态框给新页面传值的方法
2019/09/27 Javascript
js 对象使用的小技巧实例分析
2019/11/08 Javascript
JS中比较两个Object数组是否相等方法实例
2019/11/11 Javascript
在Python的列表中利用remove()方法删除元素的教程
2015/05/21 Python
Python全局变量用法实例分析
2016/07/19 Python
python实现音乐下载的统计
2018/06/20 Python
Python lambda表达式用法实例分析
2018/12/25 Python
python实时检测键盘输入函数的示例
2019/07/17 Python
Python Collatz序列实现过程解析
2019/10/12 Python
新建文件时Pycharm中自动设置头部模板信息的方法
2020/04/17 Python
Omio荷兰:预订火车、巴士和机票
2018/11/04 全球购物
家乐福台湾线上购物网:Carrefour台湾
2020/09/15 全球购物
简历自我评价怎么写呢?
2014/01/06 职场文书
护理学应聘自荐书范文
2014/02/05 职场文书
10的分与合教学反思
2014/04/30 职场文书
2015年销售内勤工作总结
2015/04/27 职场文书
2015年青年志愿者工作总结
2015/05/20 职场文书