python使用torch随机初始化参数


Posted in Python onMarch 22, 2022

1、从均匀分布中生成值

w = torch.zeros(3, 5)
w
Out[75]: 
tensor([[0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.]])
torch.nn.init.uniform_(w, a=10, b=15)
Out[76]: 
tensor([[11.8949, 11.0836, 10.6348, 13.4524, 12.8051],
        [14.5289, 11.3441, 10.0570, 11.0310, 11.3643],
        [10.2919, 11.2083, 13.5757, 13.3987, 11.0059]])

2、分布N(mean, std)中生成值

从给定均值和标准差的正态分布N(mean, std)中生成值,填充输入的张量或变量

w = torch.zeros(3, 5)
torch.nn.init.normal_(w, mean=0, std=0.1)
Out[78]: 
tensor([[-0.1810, -0.0781,  0.0562,  0.0239, -0.0599],
        [ 0.0340,  0.1520,  0.0534,  0.1895,  0.0135],
        [ 0.0149, -0.1131, -0.0643,  0.0160, -0.2282]])

3、使用值val填充输入Tensor

w = torch.empty(2, 5)
torch.nn.init.constant_(w, val=0.6)
Out[80]: 
tensor([[0.6000, 0.6000, 0.6000, 0.6000, 0.6000],
        [0.6000, 0.6000, 0.6000, 0.6000, 0.6000]])

3.1、使用0,或者1 填充数据

torch.nn.init.zeros_(w)
Out[83]: 
tensor([[0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.]])

torch.nn.init.ones_(w)
Out[85]: 
tensor([[1., 1., 1., 1., 1.],
        [1., 1., 1., 1., 1.],
        [1., 1., 1., 1., 1.]])

4、用单位矩阵填充二维输入张量

w = torch.empty(3, 5)
torch.nn.init.eye_(w)
Out[82]: 
tensor([[1., 0., 0., 0., 0.],
        [0., 1., 0., 0., 0.],
        [0., 0., 1., 0., 0.]])
torch.nn.init.zeros_(w)

5、其他常用的初始化方法

torch.nn.init.xavier_normal_(w)
Out[87]: 
tensor([[ 0.2121, -0.3607,  0.6342,  0.1501,  0.0018],
        [-0.0737,  0.6971, -0.2628,  0.1004, -0.0322],
        [ 0.0093,  0.7139,  0.0263,  0.7135,  0.6979]])
torch.nn.init.xavier_uniform_(w)
Out[88]: 
tensor([[-0.1675, -0.1284, -0.4856,  0.5762, -0.6135],
        [ 0.0711, -0.8592, -0.0317,  0.6801,  0.4777],
        [ 0.2965, -0.5528, -0.5425,  0.5166,  0.5759]])
torch.nn.init.kaiming_normal_(w)
Out[89]: 
tensor([[ 0.0015,  0.0681,  0.5349, -0.0972, -0.8459],
        [ 0.6095, -0.0047,  0.2383,  1.1911, -1.2320],
        [-0.7059, -0.0080,  0.4166,  0.6686, -0.9375]])
torch.nn.init.kaiming_uniform_(w)
Out[90]: 
tensor([[-0.2876,  0.3591,  0.7630,  0.5041, -0.6685],
        [-0.6666,  0.5787,  0.9411, -0.0918,  1.0930],
        [-0.5985, -0.9909,  0.4831, -0.6703,  0.0351]])

到此这篇关于python使用torch随机初始化参数的文章就介绍到这了,更多相关torch随机初始化参数内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
使用Python脚本在Linux下实现部分Bash Shell的教程
Apr 17 Python
python获取目录下所有文件的方法
Jun 01 Python
ansible作为python模块库使用的方法实例
Jan 17 Python
Python中动态创建类实例的方法
Mar 24 Python
详解flask表单提交的两种方式
Jul 21 Python
python 实现语音聊天机器人的示例代码
Dec 02 Python
详解Python3序列赋值、序列解包
May 14 Python
Python3网络爬虫中的requests高级用法详解
Jun 18 Python
使用Python制作表情包实现换脸功能
Jul 19 Python
Python netmiko模块的使用
Feb 14 Python
Python实现屏幕录制功能的代码
Mar 02 Python
Python socket连接中的粘包、精确传输问题实例分析
Mar 24 Python
Django基础CBV装饰器和中间件
详解pytorch创建tensor函数
Mar 22 #Python
详解Python+OpenCV绘制灰度直方图
PYTHON使用Matplotlib去实现各种条形图的绘制
Python+OpenCV实现在图像上绘制矩形
Matplotlib绘制条形图的方法你知道吗
Python的代理类实现,控制访问和修改属性的权限你都了解吗
Mar 21 #Python
You might like
两个强悍的php 图像处理类1
2009/06/15 PHP
百度实时推送api接口应用示例
2014/10/21 PHP
PHP中文乱码解决方案
2015/03/05 PHP
PHP生成静态HTML文档实现代码
2016/06/23 PHP
yii2.0整合阿里云oss的示例代码
2017/09/19 PHP
PHP substr()函数参数解释及用法讲解
2017/11/23 PHP
PHP常见数组排序方法小结
2018/08/20 PHP
PHP判断访客是否手机端(移动端浏览器)访问的方法总结【4种方法】
2019/03/27 PHP
jquery单选框radio绑定click事件实现方法
2015/01/14 Javascript
js的toLowerCase方法用法实例
2015/01/27 Javascript
JS插件overlib用法实例详解
2015/12/26 Javascript
理解javascript中的MVC模式
2016/01/28 Javascript
javascript数组去重小结
2016/03/07 Javascript
js仿腾讯QQ的web登陆界面
2016/08/19 Javascript
jQuery插件zTree实现更新根节点中第i个节点名称的方法示例
2017/03/08 Javascript
JS中Swiper的使用和轮播图效果
2017/08/11 Javascript
JQuery中queue方法用法示例
2019/01/31 jQuery
React中使用UMEditor的方法示例
2019/12/27 Javascript
6种JavaScript继承方式及优缺点(小结)
2020/02/06 Javascript
JavaScript实现答题评分功能页面
2020/06/24 Javascript
jQuery实现全选按钮
2021/01/01 jQuery
[53:15]2018DOTA2亚洲邀请赛3月29日 小组赛A组 LGD VS TNC
2018/03/30 DOTA
python统计字符串中指定字符出现次数的方法
2015/04/04 Python
Python检测一个对象是否为字符串类的方法
2015/05/21 Python
Python 查看文件的读写权限方法
2018/01/23 Python
python3将视频流保存为本地视频文件
2018/06/20 Python
python 制作自定义包并安装到系统目录的方法
2018/10/27 Python
Docker如何部署Python项目的实现详解
2020/10/26 Python
基于css3仿造window7的开始菜单
2010/06/17 HTML / CSS
HTML5新增的Css选择器、伪类介绍
2013/08/07 HTML / CSS
学期研究性学习个人的自我评价
2014/01/09 职场文书
大学总结自我鉴定
2014/01/18 职场文书
融资租赁计划书
2014/04/29 职场文书
赵乐秦在党的群众路线教育实践活动总结大会上的讲话稿
2014/10/25 职场文书
2015年护士节慰问信
2015/03/23 职场文书
国际最新研究在陨石中发现DNA主要成分 或由陨石带来地球
2022/04/29 数码科技