keras之权重初始化方式


Posted in Python onMay 21, 2020

在神经网络训练中,好的权重 初始化会加速训练过程。

下面说一下kernel_initializer 权重初始化的方法。

不同的层可能使用不同的关键字来传递初始化方法,一般来说指定初始化方法的关键字是kernel_initializer 和 bias_initializer

model.add(Dense(64, kernel_initializer=initializers.random_normal(stddev=0.01)))
 
# also works; will use the default parameters.
model.add(Dense(64, kernel_initializer='random_normal'))

几种初始化方法

keras.initializers.Zeros()#全0
keras.initializers.Ones()#全1
keras.initializers.RandomNormal(mean=0.0, stddev=0.05, seed=None))#指定均值和方差的正态分布初始化
keras.initializers.RandomUniform(minval=-0.05, maxval=0.05, seed=None)#指定下边界和上边界的均匀分布初始化
keras.initializers.TruncatedNormal(mean=0.0, stddev=0.05, seed=None)#截尾高斯分布初始化,位于均值两个标准差以外的数据将会被丢弃并重新生成,形成截尾分布

自定义初始化

def my_init(shape, dtype=None):
 return K.random_normal(shape, dtype=dtype)
 
model.add(Dense(64, init=my_init))

补充知识:Keras中权重weight的初始化

Keras 的原始构造模块是模型,最简单的模型称为序贯模型, Keras 的序贯模型是神经网络层的线性管道 ( 堆栈) 。

以下代码段定义了 一个包含 12 个人工神经元的单层 网络,它预计有 8 个输入变量 ( 也称为特征):

from keras.models import Sequential
 
model =Sequential()
model.add(12,input_dim=8,kernel_initializer='random_uniform')

每个神经元可以用特定的权重进行初始化 。 Keras 提供了 几个选择 , 其中最常用的选择如下所示。

random_unifrom:权重被初始化为(-0.5,0.5)之间的均匀随机的微小数值,换句话说,给定区间里的任何值都可能作为权重 。

random_normal:根据高斯分布初始化权重,其中均值为0,标准差为0.05。

zero:所有权重被初始化为0。

以上这篇keras之权重初始化方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python编程-将Python程序转化为可执行程序[整理]
Apr 09 Python
Python脚本实现下载合并SAE日志
Feb 10 Python
Python中暂存上传图片的方法
Feb 18 Python
python写入中英文字符串到文件的方法
May 06 Python
Django项目中包含多个应用时对url的配置方法
May 30 Python
Python嵌套式数据结构实例浅析
Mar 05 Python
Python处理时间日期坐标轴过程详解
Jun 25 Python
Python实现图像的垂直投影示例
Jan 17 Python
python super函数使用方法详解
Feb 14 Python
python 模拟登陆github的示例
Dec 04 Python
Python抖音快手代码舞(字符舞)的实现方法
Feb 07 Python
Django开发RESTful API实现增删改查(入门级)
May 10 Python
Python3 ID3决策树判断申请贷款是否成功的实现代码
May 21 #Python
Python使用os.listdir和os.walk获取文件路径
May 21 #Python
keras 权重保存和权重载入方式
May 21 #Python
浅谈keras保存模型中的save()和save_weights()区别
May 21 #Python
Python通过文本和图片生成词云图
May 21 #Python
解决在keras中使用model.save()函数保存模型失败的问题
May 21 #Python
Python 实现敏感目录扫描的示例代码
May 21 #Python
You might like
php下载文件源代码(强制任意文件格式下载)
2014/05/09 PHP
ThinkPHP3.1之D方法实例详解
2014/06/20 PHP
Yii中创建自己的Widget实例
2016/01/05 PHP
Prototype使用指南之form.js
2007/01/10 Javascript
FireFox JavaScript全局Event对象
2009/06/14 Javascript
(跨浏览器基础事件/浏览器检测/判断浏览器)经验代码分享
2013/01/24 Javascript
javascript html实现网页版日历代码
2016/03/08 Javascript
js验证框架实现代码分享
2016/05/18 Javascript
JS动态加载脚本并执行回调操作
2016/08/24 Javascript
JavaScript版经典游戏之扫雷游戏完整示例【附demo源码下载】
2016/12/12 Javascript
javascript事件的绑定基础实例讲解(34)
2017/02/14 Javascript
Vue-cli3生成的Vue项目加载Mxgraph方法示例
2020/05/31 Javascript
如何在node环境实现“get数据解析”代码实例
2020/07/03 Javascript
Python使用py2exe打包程序介绍
2014/11/20 Python
python基础知识小结之集合
2015/11/25 Python
Python中查看文件名和文件路径
2017/03/31 Python
python先序遍历二叉树问题
2017/11/10 Python
python在非root权限下的安装方法
2018/01/23 Python
tensorflow入门之训练简单的神经网络方法
2018/02/26 Python
python邮件发送smtplib使用详解
2020/06/16 Python
pandas读取csv文件,分隔符参数sep的实例
2018/12/12 Python
Pytorch之view及view_as使用详解
2019/12/31 Python
python实现批量修改文件名
2020/03/23 Python
HTML+CSS3模拟心的跳动实例代码
2017/09/05 HTML / CSS
澳大利亚墨尔本的在线时装店:LORETA
2018/09/14 全球购物
美国领先的个性化礼品商城:Personalization Mall
2019/07/27 全球购物
行政副总岗位职责
2014/02/23 职场文书
2014年大学生就业规划书
2014/04/04 职场文书
英语一分钟演讲稿
2014/04/29 职场文书
预备党员学习十八届三中全会精神思想汇报
2014/09/13 职场文书
党的群众路线教育实践活动个人对照检查剖析材料
2014/09/23 职场文书
2014年汽车销售工作总结
2014/12/01 职场文书
新党员入党决心书
2015/09/22 职场文书
2016年“六一儿童节”校园广播稿
2015/12/17 职场文书
中国梦宣传标语口号
2015/12/26 职场文书
Django实现聊天机器人
2021/05/31 Python