有关Tensorflow梯度下降常用的优化方法分享


Posted in Python onFebruary 04, 2020

1.tf.train.exponential_decay() 指数衰减学习率:

#tf.train.exponential_decay(learning_rate, global_steps, decay_steps, decay_rate, staircase=True/False):
#指数衰减学习率
#learning_rate-学习率
#global_steps-训练轮数
#decay_steps-完整的使用一遍训练数据所需的迭代轮数;=总训练样本数/batch
#decay_rate-衰减速度
#staircase-衰减方式;=True,那就表明每decay_steps次计算学习速率变化,更新原始学习速率;=alse,那就是每一步都更新学习速率。learning_rate = tf.train.exponential_decay(
initial_learning_rate = 0.001
global_step = tf.Variable(0, trainable=False)
decay_steps = 100
decay_rate = 0.95
total_loss = slim.losses.get_total_loss()
learning_rate = tf.train.exponential_decay(initial_learning_rate, global_step, decay_steps, decay_rate, True, name='learning_rate')
optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(total_loss, global_step)

2.tf.train.ExponentialMovingAverage(decay, steps) 滑动平均更新参数:

initial_learning_rate = 0.001
global_step = tf.Variable(0, trainable=False)
decay_steps = 100
decay_rate = 0.95
total_loss = slim.losses.get_total_loss()
learning_rate = tf.train.exponential_decay(initial_learning_rate, global_step, decay_steps, decay_rate, True, name='learning_rate')
optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(total_loss, global_step)
ema = tf.train.ExponentialMovingAverage(decay=0.9999)
#tf.trainable_variables--返回的是需要训练的变量列表
averages_op = ema.apply(tf.trainable_variables())
with tf.control_dependencies([optimizer]):
   train_op = tf.group(averages_op)

以上这篇有关Tensorflow梯度下降常用的优化方法分享就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python通过pil模块将raw图片转换成png图片的方法
Mar 16 Python
Python实现二维有序数组查找的方法
Apr 27 Python
Tensorflow 同时载入多个模型的实例讲解
Jul 27 Python
python实时获取外部程序输出结果的方法
Jan 12 Python
python3.4+pycharm 环境安装及使用方法
Jun 13 Python
numpy矩阵数值太多不能全部显示的解决
May 14 Python
Python发送邮件实现基础解析
Aug 14 Python
Python join()函数原理及使用方法
Nov 14 Python
使用Python通过oBIX协议访问Niagara数据的示例
Dec 04 Python
python3中celery异步框架简单使用+守护进程方式启动
Jan 20 Python
Python数据可视化之用Matplotlib绘制常用图形
Jun 03 Python
python读取mnist数据集方法案例详解
Sep 04 Python
python dumps和loads区别详解
Feb 04 #Python
Python2和Python3中@abstractmethod使用方法
Feb 04 #Python
python如何求数组连续最大和的示例代码
Feb 04 #Python
tensorflow 实现自定义layer并添加到计算图中
Feb 04 #Python
TensorFlow实现自定义Op方式
Feb 04 #Python
tensorflow使用指定gpu的方法
Feb 04 #Python
TensorFlow梯度求解tf.gradients实例
Feb 04 #Python
You might like
php实现在服务器端调整图片大小的方法
2015/06/16 PHP
php实现比较两个文件夹异同的方法
2015/06/18 PHP
利用PHP如何写APP接口详解
2016/08/23 PHP
用jQuery打造TabPanel效果代码
2010/05/22 Javascript
jQuery获取节点和子节点文本的方法
2014/07/22 Javascript
Web前端新人笔记之jquery入门心得(新手必看)
2016/05/17 Javascript
JCrop+ajaxUpload 图像切割上传的实例代码
2016/07/20 Javascript
jQuery时间日期三级联动(推荐)
2016/11/27 Javascript
学习vue.js计算属性
2016/12/03 Javascript
vue 打包后的文件部署到express服务器上的方法
2017/08/09 Javascript
解决IE11 vue +webpack 项目中数据更新后页面没有刷新的问题
2018/09/25 Javascript
使用 node.js 模仿 Apache 小部分功能
2019/07/07 Javascript
微信小程序 WXML节点信息查询详解
2019/07/29 Javascript
微信小程序开发摇一摇功能
2019/11/22 Javascript
详解Python2.x中对Unicode编码的使用
2015/04/03 Python
Python递归函数实例讲解
2019/02/27 Python
Python识别快递条形码及Tesseract-OCR使用详解
2019/07/15 Python
win7下 python3.6 安装opencv 和 opencv-contrib-python解决 cv2.xfeatures2d.SIFT_create() 的问题
2019/10/24 Python
python调用c++返回带成员指针的类指针实例
2019/12/12 Python
Pytorch中膨胀卷积的用法详解
2020/01/07 Python
使用遗传算法求二元函数的最小值
2020/02/11 Python
如何让python的运行速度得到提升
2020/07/08 Python
python基于win32api实现键盘输入
2020/12/09 Python
HTML5里autofocus自动聚焦属性使用介绍
2016/06/22 HTML / CSS
Bally美国官网:经典瑞士鞋履、手袋及配饰奢侈品牌
2018/05/18 全球购物
加大码胸罩、内裤和服装:Just My Size
2019/03/21 全球购物
印度电子产品购物网站:Vijay Sales
2021/02/16 全球购物
会计师事务所审计实习自我鉴定
2013/09/20 职场文书
总监职责范文
2013/11/09 职场文书
管理失职检讨书
2014/02/12 职场文书
大专生找工作自荐书
2014/06/10 职场文书
财务负责人岗位职责
2015/02/03 职场文书
电台广播稿范文
2015/08/19 职场文书
导游词之潮音寺
2019/09/26 职场文书
解决goland 导入项目后import里的包报红问题
2021/05/06 Golang
mysql数据库如何转移到oracle
2022/12/24 MySQL