有关Tensorflow梯度下降常用的优化方法分享


Posted in Python onFebruary 04, 2020

1.tf.train.exponential_decay() 指数衰减学习率:

#tf.train.exponential_decay(learning_rate, global_steps, decay_steps, decay_rate, staircase=True/False):
#指数衰减学习率
#learning_rate-学习率
#global_steps-训练轮数
#decay_steps-完整的使用一遍训练数据所需的迭代轮数;=总训练样本数/batch
#decay_rate-衰减速度
#staircase-衰减方式;=True,那就表明每decay_steps次计算学习速率变化,更新原始学习速率;=alse,那就是每一步都更新学习速率。learning_rate = tf.train.exponential_decay(
initial_learning_rate = 0.001
global_step = tf.Variable(0, trainable=False)
decay_steps = 100
decay_rate = 0.95
total_loss = slim.losses.get_total_loss()
learning_rate = tf.train.exponential_decay(initial_learning_rate, global_step, decay_steps, decay_rate, True, name='learning_rate')
optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(total_loss, global_step)

2.tf.train.ExponentialMovingAverage(decay, steps) 滑动平均更新参数:

initial_learning_rate = 0.001
global_step = tf.Variable(0, trainable=False)
decay_steps = 100
decay_rate = 0.95
total_loss = slim.losses.get_total_loss()
learning_rate = tf.train.exponential_decay(initial_learning_rate, global_step, decay_steps, decay_rate, True, name='learning_rate')
optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(total_loss, global_step)
ema = tf.train.ExponentialMovingAverage(decay=0.9999)
#tf.trainable_variables--返回的是需要训练的变量列表
averages_op = ema.apply(tf.trainable_variables())
with tf.control_dependencies([optimizer]):
   train_op = tf.group(averages_op)

以上这篇有关Tensorflow梯度下降常用的优化方法分享就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python算法之栈(stack)的实现
Aug 18 Python
简单介绍Python中的floor()方法
May 15 Python
Python cookbook(数据结构与算法)对切片命名清除索引的方法
Mar 13 Python
python在TXT文件中按照某一字符串取出该字符串所在的行方法
Dec 10 Python
python算法与数据结构之单链表的实现代码
Jun 27 Python
python爬虫-模拟微博登录功能
Sep 12 Python
python基于event实现线程间通信控制
Jan 13 Python
pycharm 更改创建文件默认路径的操作
Feb 15 Python
解决tensorboard多个events文件显示紊乱的问题
Feb 15 Python
django创建超级用户时指定添加其它字段方式
May 14 Python
idea2020手动安装python插件的实现方法
Jul 17 Python
基于python实现操作redis及消息队列
Aug 27 Python
python dumps和loads区别详解
Feb 04 #Python
Python2和Python3中@abstractmethod使用方法
Feb 04 #Python
python如何求数组连续最大和的示例代码
Feb 04 #Python
tensorflow 实现自定义layer并添加到计算图中
Feb 04 #Python
TensorFlow实现自定义Op方式
Feb 04 #Python
tensorflow使用指定gpu的方法
Feb 04 #Python
TensorFlow梯度求解tf.gradients实例
Feb 04 #Python
You might like
一些星际专用术语解释
2020/03/04 星际争霸
短波的认识
2021/03/01 无线电
php实现转换ubb代码的方法
2015/06/18 PHP
php简单判断两个字符串是否相等的方法
2015/07/13 PHP
PHP文件操作之获取目录下文件与计算相对路径的方法
2016/01/08 PHP
总结PHP中DateTime的常用方法
2016/08/11 PHP
laravel admin实现分类树/模型树的示例代码
2020/06/10 PHP
js 绑定带参数的事件以及手动触发事件
2010/04/27 Javascript
lyhucSelect基于Jquery的Select数据联动插件
2011/03/29 Javascript
JavaScript判断变量是否为undefined的两种写法区别
2013/12/04 Javascript
NodeJs基本语法和类型
2015/02/13 NodeJs
用JavaScript显示浏览器客户端信息的超相近教程
2015/06/18 Javascript
使用AngularJS创建单页应用的编程指引
2015/06/19 Javascript
jQuery中JSONP的两种实现方式详解
2016/09/26 Javascript
Bootstrap CSS组件之导航(nav)
2016/12/17 Javascript
解决js相同的正则多次调用test()返回的值却不同的问题
2018/10/10 Javascript
vue 双向数据绑定的实现学习之监听器的实现方法
2018/11/30 Javascript
使用js和canvas实现时钟效果
2020/09/08 Javascript
在antd4.0中Form使用initialValue操作
2020/11/02 Javascript
Python自定义函数的创建、调用和函数的参数详解
2014/03/11 Python
python进阶教程之文本文件的读取和写入
2014/08/29 Python
Python使用matplotlib绘制动画的方法
2015/05/20 Python
python操作excel的包(openpyxl、xlsxwriter)
2018/06/11 Python
Python3进制之间的转换代码实例
2019/08/24 Python
对python中的*args与**kwgs的含义与作用详解
2019/08/28 Python
python加密解密库cryptography使用openSSL生成的密匙加密解密
2020/02/11 Python
Python使用Selenium实现淘宝抢单的流程分析
2020/06/23 Python
印尼网上商店:Alfacart.com
2019/03/11 全球购物
Ariat官网:美国马靴和服装品牌
2019/12/16 全球购物
大学新生军训个人的自我评价
2013/10/03 职场文书
工程预算与管理应届生求职信
2013/10/06 职场文书
超市5.1促销活动
2014/01/15 职场文书
业务员薪酬管理制度
2014/01/15 职场文书
导游词开场白
2015/01/31 职场文书
公司人事任命通知
2015/04/20 职场文书
nginx限制并发连接请求数的方法
2021/04/01 Servers