有关Tensorflow梯度下降常用的优化方法分享


Posted in Python onFebruary 04, 2020

1.tf.train.exponential_decay() 指数衰减学习率:

#tf.train.exponential_decay(learning_rate, global_steps, decay_steps, decay_rate, staircase=True/False):
#指数衰减学习率
#learning_rate-学习率
#global_steps-训练轮数
#decay_steps-完整的使用一遍训练数据所需的迭代轮数;=总训练样本数/batch
#decay_rate-衰减速度
#staircase-衰减方式;=True,那就表明每decay_steps次计算学习速率变化,更新原始学习速率;=alse,那就是每一步都更新学习速率。learning_rate = tf.train.exponential_decay(
initial_learning_rate = 0.001
global_step = tf.Variable(0, trainable=False)
decay_steps = 100
decay_rate = 0.95
total_loss = slim.losses.get_total_loss()
learning_rate = tf.train.exponential_decay(initial_learning_rate, global_step, decay_steps, decay_rate, True, name='learning_rate')
optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(total_loss, global_step)

2.tf.train.ExponentialMovingAverage(decay, steps) 滑动平均更新参数:

initial_learning_rate = 0.001
global_step = tf.Variable(0, trainable=False)
decay_steps = 100
decay_rate = 0.95
total_loss = slim.losses.get_total_loss()
learning_rate = tf.train.exponential_decay(initial_learning_rate, global_step, decay_steps, decay_rate, True, name='learning_rate')
optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(total_loss, global_step)
ema = tf.train.ExponentialMovingAverage(decay=0.9999)
#tf.trainable_variables--返回的是需要训练的变量列表
averages_op = ema.apply(tf.trainable_variables())
with tf.control_dependencies([optimizer]):
   train_op = tf.group(averages_op)

以上这篇有关Tensorflow梯度下降常用的优化方法分享就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python新手实现2048小游戏
Mar 31 Python
Python中turtle作图示例
Nov 15 Python
python简单图片操作:打开\显示\保存图像方法介绍
Nov 23 Python
Python标准库inspect的具体使用方法
Dec 06 Python
Pytorch入门之mnist分类实例
Apr 14 Python
Python在groupby分组后提取指定位置记录方法
Apr 20 Python
Python运维开发之psutil库的使用详解
Oct 18 Python
python 遍历列表提取下标和值的实例
Dec 25 Python
python Matplotlib底图中鼠标滑过显示隐藏内容的实例代码
Jul 31 Python
django多文件上传,form提交,多对多外键保存的实例
Aug 06 Python
Tensorflow获取张量Tensor的具体维数实例
Jan 19 Python
PyCharm无法引用自身项目解决方式
Feb 12 Python
python dumps和loads区别详解
Feb 04 #Python
Python2和Python3中@abstractmethod使用方法
Feb 04 #Python
python如何求数组连续最大和的示例代码
Feb 04 #Python
tensorflow 实现自定义layer并添加到计算图中
Feb 04 #Python
TensorFlow实现自定义Op方式
Feb 04 #Python
tensorflow使用指定gpu的方法
Feb 04 #Python
TensorFlow梯度求解tf.gradients实例
Feb 04 #Python
You might like
PHP模拟SQL Server的两个日期处理函数
2006/10/09 PHP
基于PHP开发中的安全防范知识详解
2013/06/06 PHP
mac下安装nginx和php
2013/11/04 PHP
Zend Framework动作助手Url用法详解
2016/03/05 PHP
PHP+ajax实现获取新闻数据简单示例
2018/05/08 PHP
PHP使用SMTP邮件服务器发送邮件示例
2018/08/28 PHP
Google韩国首页图标动画效果
2007/08/26 Javascript
如何使用JS获取IE上传文件路径(IE7,8)
2013/07/08 Javascript
判定是否原生方法的JS代码
2013/11/12 Javascript
JS 屏蔽键盘不可用与鼠标右键不可用的方法
2013/11/18 Javascript
浅析jquery的作用与优势
2013/12/02 Javascript
JavaScript中如何通过arguments对象实现对象的重载
2014/05/12 Javascript
谈谈javascript中使用连等赋值操作带来的问题
2015/11/26 Javascript
JavaScript版经典游戏之扫雷游戏完整示例【附demo源码下载】
2016/12/12 Javascript
整理关于Bootstrap列表组的慕课笔记
2017/03/29 Javascript
Vue2.0父子组件传递函数的教程详解
2017/10/16 Javascript
html中通过JS获取JSON数据并加载的方法
2017/11/30 Javascript
javascript实现遮罩层动态效果实例
2019/05/14 Javascript
vue.js+element 默认提示中英文操作
2020/11/11 Javascript
[35:34]Liquid vs Winstrike 2018国际邀请赛小组赛BO2 第一场 8.18
2018/08/19 DOTA
python中装饰器级连的使用方法示例
2017/09/29 Python
python删除过期log文件操作实例解析
2018/01/31 Python
对Python3中的input函数详解
2018/04/22 Python
python把转列表为集合的方法
2019/06/28 Python
python实现爬取百度图片的方法示例
2019/07/06 Python
python中matplotlib条件背景颜色的实现
2019/09/02 Python
python 获取当前目录下的文件目录和文件名实例代码详解
2020/03/10 Python
python软件都是免费的吗
2020/06/18 Python
中国一家专注拼团的社交购物网站:拼多多
2018/06/13 全球购物
美国家用和厨房电器销售网站:Appliances Connection
2020/01/24 全球购物
德国50岁以上交友网站:Lebensfreunde
2020/03/18 全球购物
学校安全责任书
2014/04/14 职场文书
工商局局长个人对照检查材料思想汇报
2014/09/23 职场文书
市级三好学生评语
2014/12/29 职场文书
员工手册编写范本
2015/05/14 职场文书
七夕情人节问候语
2015/11/11 职场文书