python使用torch随机初始化参数


Posted in Python onMarch 22, 2022

1、从均匀分布中生成值

w = torch.zeros(3, 5)
w
Out[75]: 
tensor([[0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.]])
torch.nn.init.uniform_(w, a=10, b=15)
Out[76]: 
tensor([[11.8949, 11.0836, 10.6348, 13.4524, 12.8051],
        [14.5289, 11.3441, 10.0570, 11.0310, 11.3643],
        [10.2919, 11.2083, 13.5757, 13.3987, 11.0059]])

2、分布N(mean, std)中生成值

从给定均值和标准差的正态分布N(mean, std)中生成值,填充输入的张量或变量

w = torch.zeros(3, 5)
torch.nn.init.normal_(w, mean=0, std=0.1)
Out[78]: 
tensor([[-0.1810, -0.0781,  0.0562,  0.0239, -0.0599],
        [ 0.0340,  0.1520,  0.0534,  0.1895,  0.0135],
        [ 0.0149, -0.1131, -0.0643,  0.0160, -0.2282]])

3、使用值val填充输入Tensor

w = torch.empty(2, 5)
torch.nn.init.constant_(w, val=0.6)
Out[80]: 
tensor([[0.6000, 0.6000, 0.6000, 0.6000, 0.6000],
        [0.6000, 0.6000, 0.6000, 0.6000, 0.6000]])

3.1、使用0,或者1 填充数据

torch.nn.init.zeros_(w)
Out[83]: 
tensor([[0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.]])

torch.nn.init.ones_(w)
Out[85]: 
tensor([[1., 1., 1., 1., 1.],
        [1., 1., 1., 1., 1.],
        [1., 1., 1., 1., 1.]])

4、用单位矩阵填充二维输入张量

w = torch.empty(3, 5)
torch.nn.init.eye_(w)
Out[82]: 
tensor([[1., 0., 0., 0., 0.],
        [0., 1., 0., 0., 0.],
        [0., 0., 1., 0., 0.]])
torch.nn.init.zeros_(w)

5、其他常用的初始化方法

torch.nn.init.xavier_normal_(w)
Out[87]: 
tensor([[ 0.2121, -0.3607,  0.6342,  0.1501,  0.0018],
        [-0.0737,  0.6971, -0.2628,  0.1004, -0.0322],
        [ 0.0093,  0.7139,  0.0263,  0.7135,  0.6979]])
torch.nn.init.xavier_uniform_(w)
Out[88]: 
tensor([[-0.1675, -0.1284, -0.4856,  0.5762, -0.6135],
        [ 0.0711, -0.8592, -0.0317,  0.6801,  0.4777],
        [ 0.2965, -0.5528, -0.5425,  0.5166,  0.5759]])
torch.nn.init.kaiming_normal_(w)
Out[89]: 
tensor([[ 0.0015,  0.0681,  0.5349, -0.0972, -0.8459],
        [ 0.6095, -0.0047,  0.2383,  1.1911, -1.2320],
        [-0.7059, -0.0080,  0.4166,  0.6686, -0.9375]])
torch.nn.init.kaiming_uniform_(w)
Out[90]: 
tensor([[-0.2876,  0.3591,  0.7630,  0.5041, -0.6685],
        [-0.6666,  0.5787,  0.9411, -0.0918,  1.0930],
        [-0.5985, -0.9909,  0.4831, -0.6703,  0.0351]])

到此这篇关于python使用torch随机初始化参数的文章就介绍到这了,更多相关torch随机初始化参数内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python在命令行下使用google翻译(带语音)
Jan 16 Python
Python生成随机密码
Mar 10 Python
浅谈python中的数字类型与处理工具
Aug 02 Python
利用Hyperic调用Python实现进程守护
Jan 02 Python
python将回车作为输入内容的实例
Jun 23 Python
pandas每次多Sheet写入文件的方法
Dec 10 Python
python3使用matplotlib绘制散点图
Mar 19 Python
tensorflow如何继续训练之前保存的模型实例
Jan 21 Python
Python实现不规则图形填充的思路
Feb 02 Python
基于python实现地址和经纬度转换
May 19 Python
pycharm开发一个简单界面和通用mvc模板(操作方法图解)
May 27 Python
Python实现简单的2048小游戏
Mar 01 Python
Django基础CBV装饰器和中间件
详解pytorch创建tensor函数
Mar 22 #Python
详解Python+OpenCV绘制灰度直方图
PYTHON使用Matplotlib去实现各种条形图的绘制
Python+OpenCV实现在图像上绘制矩形
Matplotlib绘制条形图的方法你知道吗
Python的代理类实现,控制访问和修改属性的权限你都了解吗
Mar 21 #Python
You might like
PHP 编程的 5个良好习惯
2009/02/20 PHP
PHP输出缓存ob系列函数详解
2014/03/11 PHP
php使用指定编码导出mysql数据到csv文件的方法
2015/03/31 PHP
PHP递归实现层级树状展开
2016/04/01 PHP
thinkPHP交易详情查询功能详解
2016/12/02 PHP
Django中的cookie与session操作实例代码
2017/08/17 PHP
Javascript写了一个清除“logo1_.exe”的杀毒工具(可扫描目录)
2007/02/09 Javascript
用js模拟JQuery的show与hide动画函数代码
2010/09/20 Javascript
(跨浏览器基础事件/浏览器检测/判断浏览器)经验代码分享
2013/01/24 Javascript
js获取光标位置和设置文本框光标位置示例代码
2014/01/09 Javascript
jQuery 1.9使用$.support替代$.browser的使用方法
2014/05/27 Javascript
关闭页面window.location事件未执行的原因及解决方法
2014/09/01 Javascript
jQuery实现简单下拉导航效果
2015/09/07 Javascript
浅析JavaScript访问对象属性和方法及区别
2015/11/16 Javascript
分享我的jquery实现下拉菜单心的
2015/11/29 Javascript
对象题目的一个坑 理解Javascript对象
2015/12/22 Javascript
javascript小数精度丢失的完美解决方法
2016/05/31 Javascript
JS获得多个同name 的input输入框的值的实现方法
2017/01/09 Javascript
数组Array的一些方法(总结)
2017/02/17 Javascript
jQuery输入框密码的显示隐藏【代码分享】
2017/04/29 jQuery
vue给input file绑定函数获取当前上传的对象完美实现方法
2017/12/15 Javascript
Node.js安装详细步骤教程(Windows版)详解
2019/09/01 Javascript
Vue利用localStorage本地缓存使页面刷新验证码不清零功能的实现
2020/09/04 Javascript
javascript实现打砖块小游戏(附完整源码)
2020/09/18 Javascript
Openlayers显示瓦片网格信息的方法
2020/09/28 Javascript
Openlayers实现图形绘制
2020/09/28 Javascript
利用python获取某年中每个月的第一天和最后一天
2016/12/15 Python
Python向MySQL批量插数据的实例讲解
2018/03/31 Python
对Python捕获控制台输出流的方法详解
2019/01/07 Python
Pyinstaller打包.py生成.exe的方法和报错总结
2019/04/02 Python
一个C/C++编程面试题
2013/11/10 面试题
物业管理个人自我评价
2013/11/08 职场文书
大学英语演讲稿(中英文对照)
2014/01/14 职场文书
团代会主持词
2014/04/02 职场文书
解除财产保全担保书
2014/05/20 职场文书
学校领导班子对照检查材料
2014/09/24 职场文书