python使用torch随机初始化参数


Posted in Python onMarch 22, 2022

1、从均匀分布中生成值

w = torch.zeros(3, 5)
w
Out[75]: 
tensor([[0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.]])
torch.nn.init.uniform_(w, a=10, b=15)
Out[76]: 
tensor([[11.8949, 11.0836, 10.6348, 13.4524, 12.8051],
        [14.5289, 11.3441, 10.0570, 11.0310, 11.3643],
        [10.2919, 11.2083, 13.5757, 13.3987, 11.0059]])

2、分布N(mean, std)中生成值

从给定均值和标准差的正态分布N(mean, std)中生成值,填充输入的张量或变量

w = torch.zeros(3, 5)
torch.nn.init.normal_(w, mean=0, std=0.1)
Out[78]: 
tensor([[-0.1810, -0.0781,  0.0562,  0.0239, -0.0599],
        [ 0.0340,  0.1520,  0.0534,  0.1895,  0.0135],
        [ 0.0149, -0.1131, -0.0643,  0.0160, -0.2282]])

3、使用值val填充输入Tensor

w = torch.empty(2, 5)
torch.nn.init.constant_(w, val=0.6)
Out[80]: 
tensor([[0.6000, 0.6000, 0.6000, 0.6000, 0.6000],
        [0.6000, 0.6000, 0.6000, 0.6000, 0.6000]])

3.1、使用0,或者1 填充数据

torch.nn.init.zeros_(w)
Out[83]: 
tensor([[0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.]])

torch.nn.init.ones_(w)
Out[85]: 
tensor([[1., 1., 1., 1., 1.],
        [1., 1., 1., 1., 1.],
        [1., 1., 1., 1., 1.]])

4、用单位矩阵填充二维输入张量

w = torch.empty(3, 5)
torch.nn.init.eye_(w)
Out[82]: 
tensor([[1., 0., 0., 0., 0.],
        [0., 1., 0., 0., 0.],
        [0., 0., 1., 0., 0.]])
torch.nn.init.zeros_(w)

5、其他常用的初始化方法

torch.nn.init.xavier_normal_(w)
Out[87]: 
tensor([[ 0.2121, -0.3607,  0.6342,  0.1501,  0.0018],
        [-0.0737,  0.6971, -0.2628,  0.1004, -0.0322],
        [ 0.0093,  0.7139,  0.0263,  0.7135,  0.6979]])
torch.nn.init.xavier_uniform_(w)
Out[88]: 
tensor([[-0.1675, -0.1284, -0.4856,  0.5762, -0.6135],
        [ 0.0711, -0.8592, -0.0317,  0.6801,  0.4777],
        [ 0.2965, -0.5528, -0.5425,  0.5166,  0.5759]])
torch.nn.init.kaiming_normal_(w)
Out[89]: 
tensor([[ 0.0015,  0.0681,  0.5349, -0.0972, -0.8459],
        [ 0.6095, -0.0047,  0.2383,  1.1911, -1.2320],
        [-0.7059, -0.0080,  0.4166,  0.6686, -0.9375]])
torch.nn.init.kaiming_uniform_(w)
Out[90]: 
tensor([[-0.2876,  0.3591,  0.7630,  0.5041, -0.6685],
        [-0.6666,  0.5787,  0.9411, -0.0918,  1.0930],
        [-0.5985, -0.9909,  0.4831, -0.6703,  0.0351]])

到此这篇关于python使用torch随机初始化参数的文章就介绍到这了,更多相关torch随机初始化参数内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python运行时间的几种方法
Jun 17 Python
Python操作使用MySQL数据库的实例代码
May 25 Python
Python信息抽取之乱码解决办法
Jun 29 Python
NetworkX之Prim算法(实例讲解)
Dec 22 Python
Python 查看文件的读写权限方法
Jan 23 Python
python实现SOM算法
Feb 23 Python
在python下使用tensorflow判断是否存在文件夹的实例
Jun 10 Python
使用Python中的reduce()函数求积的实例
Jun 28 Python
Python中字符串List按照长度排序
Jul 01 Python
python实现函数极小值
Jul 10 Python
使用Python将图片转正方形的两种方法实例代码详解
Apr 29 Python
使用python求解迷宫问题的三种实现方法
Mar 17 Python
Django基础CBV装饰器和中间件
详解pytorch创建tensor函数
Mar 22 #Python
详解Python+OpenCV绘制灰度直方图
PYTHON使用Matplotlib去实现各种条形图的绘制
Python+OpenCV实现在图像上绘制矩形
Matplotlib绘制条形图的方法你知道吗
Python的代理类实现,控制访问和修改属性的权限你都了解吗
Mar 21 #Python
You might like
php实现的在线人员函数库
2008/04/09 PHP
smarty模板引擎基础知识入门
2015/03/30 PHP
php自定义hash函数实例
2015/05/05 PHP
PHP实现的各类hash算法长度及性能测试实例
2017/08/27 PHP
源码分析 Laravel 重复执行同一个队列任务的原因
2017/12/25 PHP
laravel框架中路由设置,路由参数和路由命名实例分析
2019/11/23 PHP
jquery判断字符输入个数(数字英文长度记为1,中文记为2,超过长度自动截取)
2010/10/15 Javascript
为你的网站增加亮点的9款jQuery插件推荐
2011/05/03 Javascript
jquery键盘事件使用介绍
2011/11/01 Javascript
调整小数的格式保留小数点后两位
2014/05/14 Javascript
js实现仿QQ秀换装效果的方法
2015/03/04 Javascript
javascript实现淘宝幻灯片广告展示效果
2015/04/27 Javascript
浅谈利用JavaScript进行的DDoS攻击原理与防御
2015/06/04 Javascript
在JavaScript中如何解决用execCommand(
2015/10/19 Javascript
JS组件Bootstrap Select2使用方法详解
2020/04/17 Javascript
Javascript基础_嵌入图像的简单实现
2016/06/14 Javascript
解决淘宝cnpm 安装后cnpm不是内部或外部命令的问题
2018/05/17 Javascript
JavaScript实现JSON合并操作示例【递归深度合并】
2018/09/07 Javascript
vue单文件组件lint error自动fix与styleLint报错自动fix详解
2019/01/08 Javascript
解决vue组件props传值对象获取不到的问题
2019/06/06 Javascript
微信小程序文章详情功能完整实例
2020/06/03 Javascript
vue循环中点击选中再点击取消(单选)的实现
2020/09/10 Javascript
jQuery实现简单评论区功能
2020/10/26 jQuery
[01:00:25]2018DOTA2亚洲邀请赛3月30日 小组赛A组 VG VS Liquid
2018/03/31 DOTA
零基础学Python(一)Python环境安装
2014/08/20 Python
Python中的闭包实例详解
2014/08/29 Python
解决Python出现_warn_unsafe_extraction问题的方法
2016/03/24 Python
python3中str(字符串)的使用教程
2017/03/23 Python
Python生成密码库功能示例
2017/05/23 Python
flask中使用蓝图将路由分开写在不同文件实例解析
2018/01/19 Python
python xlsxwriter库生成图表的应用示例
2018/03/16 Python
使用BeautifulSoup4解析XML的方法小结
2020/12/07 Python
合作协议书怎么写
2014/04/18 职场文书
2015年依法行政工作总结
2015/04/29 职场文书
2015年学校总务工作总结
2015/07/20 职场文书
Python之matplotlib绘制饼图
2022/04/13 Python