keras之权重初始化方式


Posted in Python onMay 21, 2020

在神经网络训练中,好的权重 初始化会加速训练过程。

下面说一下kernel_initializer 权重初始化的方法。

不同的层可能使用不同的关键字来传递初始化方法,一般来说指定初始化方法的关键字是kernel_initializer 和 bias_initializer

model.add(Dense(64, kernel_initializer=initializers.random_normal(stddev=0.01)))
 
# also works; will use the default parameters.
model.add(Dense(64, kernel_initializer='random_normal'))

几种初始化方法

keras.initializers.Zeros()#全0
keras.initializers.Ones()#全1
keras.initializers.RandomNormal(mean=0.0, stddev=0.05, seed=None))#指定均值和方差的正态分布初始化
keras.initializers.RandomUniform(minval=-0.05, maxval=0.05, seed=None)#指定下边界和上边界的均匀分布初始化
keras.initializers.TruncatedNormal(mean=0.0, stddev=0.05, seed=None)#截尾高斯分布初始化,位于均值两个标准差以外的数据将会被丢弃并重新生成,形成截尾分布

自定义初始化

def my_init(shape, dtype=None):
 return K.random_normal(shape, dtype=dtype)
 
model.add(Dense(64, init=my_init))

补充知识:Keras中权重weight的初始化

Keras 的原始构造模块是模型,最简单的模型称为序贯模型, Keras 的序贯模型是神经网络层的线性管道 ( 堆栈) 。

以下代码段定义了 一个包含 12 个人工神经元的单层 网络,它预计有 8 个输入变量 ( 也称为特征):

from keras.models import Sequential
 
model =Sequential()
model.add(12,input_dim=8,kernel_initializer='random_uniform')

每个神经元可以用特定的权重进行初始化 。 Keras 提供了 几个选择 , 其中最常用的选择如下所示。

random_unifrom:权重被初始化为(-0.5,0.5)之间的均匀随机的微小数值,换句话说,给定区间里的任何值都可能作为权重 。

random_normal:根据高斯分布初始化权重,其中均值为0,标准差为0.05。

zero:所有权重被初始化为0。

以上这篇keras之权重初始化方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python正则表达式抓取成语网站
Nov 20 Python
python计算圆周长、面积、球体体积并画出圆
Apr 08 Python
使用Python脚本将绝对url替换为相对url的教程
Apr 24 Python
小小聊天室Python代码实现
Aug 17 Python
Python3.6通过自带的urllib通过get或post方法请求url的实例
May 10 Python
Python字符串逆序的实现方法【一题多解】
Feb 18 Python
如何使用django的MTV开发模式返回一个网页
Jul 22 Python
pytorch自定义初始化权重的方法
Aug 17 Python
Python如何实现小程序 无限求和平均
Feb 18 Python
浅谈python 调用open()打开文件时路径出错的原因
Jun 05 Python
基于TensorFlow的CNN实现Mnist手写数字识别
Jun 17 Python
python实现人工蜂群算法
Sep 18 Python
Python3 ID3决策树判断申请贷款是否成功的实现代码
May 21 #Python
Python使用os.listdir和os.walk获取文件路径
May 21 #Python
keras 权重保存和权重载入方式
May 21 #Python
浅谈keras保存模型中的save()和save_weights()区别
May 21 #Python
Python通过文本和图片生成词云图
May 21 #Python
解决在keras中使用model.save()函数保存模型失败的问题
May 21 #Python
Python 实现敏感目录扫描的示例代码
May 21 #Python
You might like
用Flash图形化数据(二)
2006/10/09 PHP
《PHP边学边教》(01.开篇――准备工作)
2006/12/13 PHP
PHP自定义函数获取URL中一级域名的方法
2016/08/23 PHP
window.open不被拦截的实现代码
2012/08/22 Javascript
两种常用的javascript数组去重方法思路及代码
2013/03/26 Javascript
解析prototype,JQuery中跳出each循环的方法
2013/12/12 Javascript
动态加载脚本提升javascript性能
2014/02/24 Javascript
js实现文本框选中的方法
2015/05/26 Javascript
谈一谈JS消息机制和事件机制的理解
2016/04/14 Javascript
NodeJs的fs读写删除移动监听
2017/04/28 NodeJs
vue mounted组件的使用
2018/06/18 Javascript
angular4强制刷新视图的方法
2018/10/09 Javascript
vue中v-for循环给标签属性赋值的方法
2018/10/18 Javascript
Vue实现将数据库中带html标签的内容输出(原始HTML(Raw HTML))
2019/10/28 Javascript
js函数柯里化的方法和作用实例分析
2020/04/11 Javascript
vue 导航守卫和axios拦截器有哪些区别
2020/12/19 Vue.js
Python 用户登录验证的小例子
2013/03/06 Python
python实现批量转换文件编码(批转换编码示例)
2014/01/23 Python
深入浅析ImageMagick命令执行漏洞
2016/10/11 Python
Python调用C# Com dll组件实战教程
2017/10/12 Python
python连接mongodb密码认证实例
2018/10/16 Python
python远程连接MySQL数据库
2019/04/19 Python
Python实现的远程文件自动打包并下载功能示例
2019/07/12 Python
python 实现多线程下载视频的代码
2019/11/15 Python
使用opencv识别图像红色区域,并输出红色区域中心点坐标
2020/06/02 Python
Python模拟键盘输入自动登录TGP
2020/11/27 Python
scrapy头部修改的方法详解
2020/12/06 Python
香港化妆品经销商:我的公主
2016/08/05 全球购物
夏威夷咖啡公司:Hawaii Coffee Company
2019/09/19 全球购物
《路旁的橡树》教学反思
2014/04/07 职场文书
感恩节活动策划方案
2014/05/16 职场文书
高中课前三分钟演讲稿
2014/08/18 职场文书
爱护公共设施倡议书
2014/08/29 职场文书
化验员岗位职责
2015/02/14 职场文书
化工生产实习心得体会
2016/01/22 职场文书
pytorch 权重weight 与 梯度grad 可视化操作
2021/06/05 Python