有关Tensorflow梯度下降常用的优化方法分享


Posted in Python onFebruary 04, 2020

1.tf.train.exponential_decay() 指数衰减学习率:

#tf.train.exponential_decay(learning_rate, global_steps, decay_steps, decay_rate, staircase=True/False):
#指数衰减学习率
#learning_rate-学习率
#global_steps-训练轮数
#decay_steps-完整的使用一遍训练数据所需的迭代轮数;=总训练样本数/batch
#decay_rate-衰减速度
#staircase-衰减方式;=True,那就表明每decay_steps次计算学习速率变化,更新原始学习速率;=alse,那就是每一步都更新学习速率。learning_rate = tf.train.exponential_decay(
initial_learning_rate = 0.001
global_step = tf.Variable(0, trainable=False)
decay_steps = 100
decay_rate = 0.95
total_loss = slim.losses.get_total_loss()
learning_rate = tf.train.exponential_decay(initial_learning_rate, global_step, decay_steps, decay_rate, True, name='learning_rate')
optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(total_loss, global_step)

2.tf.train.ExponentialMovingAverage(decay, steps) 滑动平均更新参数:

initial_learning_rate = 0.001
global_step = tf.Variable(0, trainable=False)
decay_steps = 100
decay_rate = 0.95
total_loss = slim.losses.get_total_loss()
learning_rate = tf.train.exponential_decay(initial_learning_rate, global_step, decay_steps, decay_rate, True, name='learning_rate')
optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(total_loss, global_step)
ema = tf.train.ExponentialMovingAverage(decay=0.9999)
#tf.trainable_variables--返回的是需要训练的变量列表
averages_op = ema.apply(tf.trainable_variables())
with tf.control_dependencies([optimizer]):
   train_op = tf.group(averages_op)

以上这篇有关Tensorflow梯度下降常用的优化方法分享就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
浅谈python多线程和队列管理shell程序
Aug 04 Python
Windows下Python使用Pandas模块操作Excel文件的教程
May 31 Python
Python中装饰器兼容加括号和不加括号的写法详解
Jul 05 Python
Python使用Scrapy爬虫框架全站爬取图片并保存本地的实现代码
Mar 04 Python
使用pip发布Python程序的方法步骤
Oct 11 Python
在python中利用KNN实现对iris进行分类的方法
Dec 11 Python
PyQt QListWidget修改列表项item的行高方法
Jun 20 Python
Flask项目中实现短信验证码和邮箱验证码功能
Dec 05 Python
关于matplotlib-legend 位置属性 loc 使用说明
May 16 Python
Python selenium模块实现定位过程解析
Jul 09 Python
matplotlib绘制正余弦曲线图的实现
Feb 22 Python
pd.DataFrame中的几种索引变换的实现
Jun 16 Python
python dumps和loads区别详解
Feb 04 #Python
Python2和Python3中@abstractmethod使用方法
Feb 04 #Python
python如何求数组连续最大和的示例代码
Feb 04 #Python
tensorflow 实现自定义layer并添加到计算图中
Feb 04 #Python
TensorFlow实现自定义Op方式
Feb 04 #Python
tensorflow使用指定gpu的方法
Feb 04 #Python
TensorFlow梯度求解tf.gradients实例
Feb 04 #Python
You might like
php引用计数器进行垃圾收集机制介绍
2012/09/19 PHP
sae使用smarty模板的方法
2013/12/17 PHP
phpQuery让php处理html代码像jQuery一样方便
2015/01/06 PHP
php类自动加载器实现方法
2015/07/28 PHP
基于PHP后台的Android新闻浏览客户端
2016/05/23 PHP
jQuery.extend 函数的详细用法
2012/06/27 Javascript
通过JQuery将DIV的滚动条滚动到指定的位置方便自动定位
2014/05/05 Javascript
node.js开机自启动脚本文件
2014/12/24 Javascript
常常会用到的截取字符串substr()、substring()、slice()方法详解
2015/12/16 Javascript
JavaScript无操作后屏保功能的实现方法
2017/07/04 Javascript
Angularjs自定义指令实现分页插件(DEMO)
2017/09/16 Javascript
angular 实时监听input框value值的变化触发函数方法
2018/08/31 Javascript
ES6 系列之 Generator 的自动执行的方法示例
2018/10/19 Javascript
在小程序中推送模板消息的实现方法
2019/07/22 Javascript
详解Angular cli配置过程记录
2019/11/07 Javascript
原生微信小程序开发中 redux 的使用详解
2021/02/18 Javascript
python网络编程学习笔记(五):socket的一些补充
2014/06/09 Python
python爬虫之百度API调用方法
2017/06/11 Python
python 筛选数据集中列中value长度大于20的数据集方法
2018/06/14 Python
Python global全局变量函数详解
2018/09/18 Python
面向初学者的Python编辑器Mu
2018/10/08 Python
用 Python 制作地球仪的方法
2020/04/24 Python
匈牙利墨盒和碳粉购买网站:CDRmarket
2018/04/14 全球购物
资产经营总监岗位职责范文
2013/12/01 职场文书
获奖的大学生创业计划书
2014/01/05 职场文书
新闻编辑求职信
2014/04/09 职场文书
综治宣传月活动总结
2014/04/28 职场文书
工会2014法制宣传日活动总结
2014/11/01 职场文书
大卫科波菲尔读书笔记
2015/06/30 职场文书
导游词之神仙居景区
2019/11/15 职场文书
从np.random.normal()到正态分布的拟合操作
2021/06/02 Python
golang 实用库gotable的具体使用
2021/07/01 Golang
Python学习之包与模块详解
2022/03/19 Python
Nginx动静分离配置实现与说明
2022/04/07 Servers
python神经网络学习 使用Keras进行简单分类
2022/05/04 Python
MySQL数据库查询之多表查询总结
2022/08/05 MySQL