有关Tensorflow梯度下降常用的优化方法分享


Posted in Python onFebruary 04, 2020

1.tf.train.exponential_decay() 指数衰减学习率:

#tf.train.exponential_decay(learning_rate, global_steps, decay_steps, decay_rate, staircase=True/False):
#指数衰减学习率
#learning_rate-学习率
#global_steps-训练轮数
#decay_steps-完整的使用一遍训练数据所需的迭代轮数;=总训练样本数/batch
#decay_rate-衰减速度
#staircase-衰减方式;=True,那就表明每decay_steps次计算学习速率变化,更新原始学习速率;=alse,那就是每一步都更新学习速率。learning_rate = tf.train.exponential_decay(
initial_learning_rate = 0.001
global_step = tf.Variable(0, trainable=False)
decay_steps = 100
decay_rate = 0.95
total_loss = slim.losses.get_total_loss()
learning_rate = tf.train.exponential_decay(initial_learning_rate, global_step, decay_steps, decay_rate, True, name='learning_rate')
optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(total_loss, global_step)

2.tf.train.ExponentialMovingAverage(decay, steps) 滑动平均更新参数:

initial_learning_rate = 0.001
global_step = tf.Variable(0, trainable=False)
decay_steps = 100
decay_rate = 0.95
total_loss = slim.losses.get_total_loss()
learning_rate = tf.train.exponential_decay(initial_learning_rate, global_step, decay_steps, decay_rate, True, name='learning_rate')
optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(total_loss, global_step)
ema = tf.train.ExponentialMovingAverage(decay=0.9999)
#tf.trainable_variables--返回的是需要训练的变量列表
averages_op = ema.apply(tf.trainable_variables())
with tf.control_dependencies([optimizer]):
   train_op = tf.group(averages_op)

以上这篇有关Tensorflow梯度下降常用的优化方法分享就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python回调函数的使用方法
Jan 23 Python
零基础写python爬虫之爬虫的定义及URL构成
Nov 04 Python
Python类定义和类继承详解
May 08 Python
Django中使用locals()函数的技巧
Jul 16 Python
改进Django中的表单的简单方法
Jul 17 Python
Python文件夹与文件的相关操作(推荐)
Jul 25 Python
python 获取网页编码方式实现代码
Mar 11 Python
Python生成数字图片代码分享
Oct 31 Python
用Python写王者荣耀刷金币脚本
Dec 21 Python
解决Python运行文件出现out of memory框的问题
Dec 03 Python
使用selenium模拟登录解决滑块验证问题的实现
May 10 Python
Python之matplotlib绘制折线图
Apr 13 Python
python dumps和loads区别详解
Feb 04 #Python
Python2和Python3中@abstractmethod使用方法
Feb 04 #Python
python如何求数组连续最大和的示例代码
Feb 04 #Python
tensorflow 实现自定义layer并添加到计算图中
Feb 04 #Python
TensorFlow实现自定义Op方式
Feb 04 #Python
tensorflow使用指定gpu的方法
Feb 04 #Python
TensorFlow梯度求解tf.gradients实例
Feb 04 #Python
You might like
PHP 和 XML: 使用expat函数(二)
2006/10/09 PHP
PHP调用Webservice实例代码
2011/07/29 PHP
PHP数组与对象之间使用递归实现转换的方法
2015/06/24 PHP
smarty简单应用实例
2015/11/03 PHP
php实现跨域提交form表单的方法【2种方法】
2016/10/17 PHP
php nginx 实时输出的简单实现方法
2018/01/21 PHP
老鱼 浅谈javascript面向对象编程
2010/03/04 Javascript
jquery ajax执行后台方法
2010/03/18 Javascript
让你的博文自动带上缩址的实现代码,方便发到微博客上
2010/12/28 Javascript
Javascript中的isNaN函数使用说明
2011/11/10 Javascript
javascript 回到顶部效果的实现代码
2014/02/17 Javascript
jQuery实现鼠标滑向当前图片高亮显示并且其它图片变灰的方法
2015/07/27 Javascript
ES6中非常实用的新特性介绍
2016/03/10 Javascript
Javascript删除指定元素节点的方法
2016/06/21 Javascript
最全的Javascript编码规范(推荐)
2016/06/22 Javascript
瀑布流的实现方式(原生js+jquery+css3)
2020/06/28 Javascript
Bootstrap中glyphicons-halflings-regular.woff字体报404错notfound的解决方法
2017/01/19 Javascript
webpack打包并将文件加载到指定的位置方法
2018/02/22 Javascript
在Vue组件中使用 TypeScript的方法
2018/02/28 Javascript
Vue Element 分组+多选+可搜索Select选择器实现示例
2018/07/23 Javascript
Vue 路由 过渡动效 数据获取方法
2018/07/31 Javascript
js数组去重的方法总结
2019/01/18 Javascript
[04:52]2015国际邀请赛LGD战队晋级之路
2015/08/14 DOTA
使用Python开发windows GUI程序入门实例
2014/10/23 Python
Python实现从log日志中提取ip的方法【正则提取】
2018/03/31 Python
python3使用腾讯企业邮箱发送邮件的实例
2019/06/28 Python
Pytorch 实现计算分类器准确率(总分类及子分类)
2020/01/18 Python
python中读入二维csv格式的表格方法详解(以元组/列表形式表示)
2020/04/24 Python
Python浮点型(float)运算结果不正确的解决方案
2020/09/22 Python
汉米尔顿手表官网:Hamilton
2020/09/13 全球购物
毕业生造价工程师求职信
2013/10/17 职场文书
中西医专业毕业生职业规划书
2014/02/24 职场文书
2016年幼儿园教研活动总结
2016/04/05 职场文书
vue前端工程的搭建
2021/03/31 Vue.js
Idea连接MySQL数据库出现中文乱码的问题
2021/04/14 MySQL
MySQL 计算连续登录天数
2022/05/11 MySQL