keras之权重初始化方式


Posted in Python onMay 21, 2020

在神经网络训练中,好的权重 初始化会加速训练过程。

下面说一下kernel_initializer 权重初始化的方法。

不同的层可能使用不同的关键字来传递初始化方法,一般来说指定初始化方法的关键字是kernel_initializer 和 bias_initializer

model.add(Dense(64, kernel_initializer=initializers.random_normal(stddev=0.01)))
 
# also works; will use the default parameters.
model.add(Dense(64, kernel_initializer='random_normal'))

几种初始化方法

keras.initializers.Zeros()#全0
keras.initializers.Ones()#全1
keras.initializers.RandomNormal(mean=0.0, stddev=0.05, seed=None))#指定均值和方差的正态分布初始化
keras.initializers.RandomUniform(minval=-0.05, maxval=0.05, seed=None)#指定下边界和上边界的均匀分布初始化
keras.initializers.TruncatedNormal(mean=0.0, stddev=0.05, seed=None)#截尾高斯分布初始化,位于均值两个标准差以外的数据将会被丢弃并重新生成,形成截尾分布

自定义初始化

def my_init(shape, dtype=None):
 return K.random_normal(shape, dtype=dtype)
 
model.add(Dense(64, init=my_init))

补充知识:Keras中权重weight的初始化

Keras 的原始构造模块是模型,最简单的模型称为序贯模型, Keras 的序贯模型是神经网络层的线性管道 ( 堆栈) 。

以下代码段定义了 一个包含 12 个人工神经元的单层 网络,它预计有 8 个输入变量 ( 也称为特征):

from keras.models import Sequential
 
model =Sequential()
model.add(12,input_dim=8,kernel_initializer='random_uniform')

每个神经元可以用特定的权重进行初始化 。 Keras 提供了 几个选择 , 其中最常用的选择如下所示。

random_unifrom:权重被初始化为(-0.5,0.5)之间的均匀随机的微小数值,换句话说,给定区间里的任何值都可能作为权重 。

random_normal:根据高斯分布初始化权重,其中均值为0,标准差为0.05。

zero:所有权重被初始化为0。

以上这篇keras之权重初始化方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python re正则表达式模块(Regular Expression)
Jul 16 Python
python实现将汉字转换成汉语拼音的库
May 05 Python
python实现用于测试网站访问速率的方法
May 26 Python
Python Property属性的2种用法
Jun 21 Python
Python安装Numpy和matplotlib的方法(推荐)
Nov 02 Python
flask-socketio实现WebSocket的方法
Jul 31 Python
python如何生成各种随机分布图
Aug 27 Python
python+opencv实现阈值分割
Dec 26 Python
基于Numpy.convolve使用Python实现滑动平均滤波的思路详解
May 16 Python
Pandas之排序函数sort_values()的实现
Jul 09 Python
如何用Python徒手写线性回归
Jan 25 Python
Python机器学习应用之基于线性判别模型的分类篇详解
Jan 18 Python
Python3 ID3决策树判断申请贷款是否成功的实现代码
May 21 #Python
Python使用os.listdir和os.walk获取文件路径
May 21 #Python
keras 权重保存和权重载入方式
May 21 #Python
浅谈keras保存模型中的save()和save_weights()区别
May 21 #Python
Python通过文本和图片生成词云图
May 21 #Python
解决在keras中使用model.save()函数保存模型失败的问题
May 21 #Python
Python 实现敏感目录扫描的示例代码
May 21 #Python
You might like
php生成SessionID和图片校验码的思路和实现代码
2009/03/10 PHP
PHP中::、->、self、$this几种操作符的区别介绍
2013/04/24 PHP
PHP 如何利用phpexcel导入数据库
2013/08/24 PHP
javascript定时保存表单数据的代码
2011/03/17 Javascript
图片Slider 带左右按钮的js示例
2013/08/30 Javascript
JavaScript设计模式之外观模式实例
2014/10/10 Javascript
jQuery中val()方法用法实例
2014/12/25 Javascript
jQuery中:has选择器用法实例
2014/12/30 Javascript
最简单的JavaScript验证整数、小数、实数、有效位小数正则表达式
2015/04/17 Javascript
向JavaScript的数组中添加元素的方法小结
2015/10/24 Javascript
jquery实现定时自动轮播特效
2015/12/10 Javascript
javascript先序遍历DOM树的方法
2016/02/27 Javascript
自制微信公众号一键排版工具
2016/09/22 Javascript
JS正则替换掉小括号及内容的方法
2016/11/29 Javascript
Vue2组件tree实现无限级树形菜单
2017/03/29 Javascript
Angular实现的自定义模糊查询、排序及三角箭头标注功能示例
2017/12/28 Javascript
Layui实现主窗口和Iframe层参数传递
2019/11/14 Javascript
nodeJs的安装与npm全局环境变量的配置详解
2020/01/06 NodeJs
javascript 函数的暂停和恢复实例详解
2020/04/25 Javascript
vue项目打包后提交到git上为什么没有dist这个文件的解决方法
2020/09/16 Javascript
python中global用法实例分析
2015/04/30 Python
一个基于flask的web应用诞生 用户注册功能开发(5)
2017/04/11 Python
Python button选取本地图片并显示的实例
2019/06/13 Python
Python GUI编程学习笔记之tkinter控件的介绍及基本使用方法详解
2020/03/30 Python
详解CSS3选择器:nth-child和:nth-of-type之间的差异
2017/09/18 HTML / CSS
小学开学寄语
2014/01/19 职场文书
三项教育活动实施方案
2014/03/30 职场文书
个人反四风对照检查材料思想汇报
2014/09/23 职场文书
员工评语范文
2014/12/31 职场文书
世界卫生日宣传活动总结
2015/02/09 职场文书
客户付款通知书
2015/04/23 职场文书
小学班主任研修日志
2015/11/13 职场文书
践行三严三实心得体会(2016推荐篇)
2016/01/06 职场文书
导游词之新疆尼雅遗址
2019/10/16 职场文书
js实现上传图片到服务器
2021/04/11 Javascript
关于Vue Router的10条高级技巧总结
2021/05/06 Vue.js