python使用torch随机初始化参数


Posted in Python onMarch 22, 2022

1、从均匀分布中生成值

w = torch.zeros(3, 5)
w
Out[75]: 
tensor([[0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.]])
torch.nn.init.uniform_(w, a=10, b=15)
Out[76]: 
tensor([[11.8949, 11.0836, 10.6348, 13.4524, 12.8051],
        [14.5289, 11.3441, 10.0570, 11.0310, 11.3643],
        [10.2919, 11.2083, 13.5757, 13.3987, 11.0059]])

2、分布N(mean, std)中生成值

从给定均值和标准差的正态分布N(mean, std)中生成值,填充输入的张量或变量

w = torch.zeros(3, 5)
torch.nn.init.normal_(w, mean=0, std=0.1)
Out[78]: 
tensor([[-0.1810, -0.0781,  0.0562,  0.0239, -0.0599],
        [ 0.0340,  0.1520,  0.0534,  0.1895,  0.0135],
        [ 0.0149, -0.1131, -0.0643,  0.0160, -0.2282]])

3、使用值val填充输入Tensor

w = torch.empty(2, 5)
torch.nn.init.constant_(w, val=0.6)
Out[80]: 
tensor([[0.6000, 0.6000, 0.6000, 0.6000, 0.6000],
        [0.6000, 0.6000, 0.6000, 0.6000, 0.6000]])

3.1、使用0,或者1 填充数据

torch.nn.init.zeros_(w)
Out[83]: 
tensor([[0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.]])

torch.nn.init.ones_(w)
Out[85]: 
tensor([[1., 1., 1., 1., 1.],
        [1., 1., 1., 1., 1.],
        [1., 1., 1., 1., 1.]])

4、用单位矩阵填充二维输入张量

w = torch.empty(3, 5)
torch.nn.init.eye_(w)
Out[82]: 
tensor([[1., 0., 0., 0., 0.],
        [0., 1., 0., 0., 0.],
        [0., 0., 1., 0., 0.]])
torch.nn.init.zeros_(w)

5、其他常用的初始化方法

torch.nn.init.xavier_normal_(w)
Out[87]: 
tensor([[ 0.2121, -0.3607,  0.6342,  0.1501,  0.0018],
        [-0.0737,  0.6971, -0.2628,  0.1004, -0.0322],
        [ 0.0093,  0.7139,  0.0263,  0.7135,  0.6979]])
torch.nn.init.xavier_uniform_(w)
Out[88]: 
tensor([[-0.1675, -0.1284, -0.4856,  0.5762, -0.6135],
        [ 0.0711, -0.8592, -0.0317,  0.6801,  0.4777],
        [ 0.2965, -0.5528, -0.5425,  0.5166,  0.5759]])
torch.nn.init.kaiming_normal_(w)
Out[89]: 
tensor([[ 0.0015,  0.0681,  0.5349, -0.0972, -0.8459],
        [ 0.6095, -0.0047,  0.2383,  1.1911, -1.2320],
        [-0.7059, -0.0080,  0.4166,  0.6686, -0.9375]])
torch.nn.init.kaiming_uniform_(w)
Out[90]: 
tensor([[-0.2876,  0.3591,  0.7630,  0.5041, -0.6685],
        [-0.6666,  0.5787,  0.9411, -0.0918,  1.0930],
        [-0.5985, -0.9909,  0.4831, -0.6703,  0.0351]])

到此这篇关于python使用torch随机初始化参数的文章就介绍到这了,更多相关torch随机初始化参数内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python爬虫自动创建文件夹的功能
Aug 01 Python
Numpy之文件存取的示例代码
Aug 03 Python
使用numba对Python运算加速的方法
Oct 15 Python
Python对excel文档的操作方法详解
Dec 10 Python
如何在Python中实现goto语句的方法
May 18 Python
python批量下载抖音视频
Jun 17 Python
Python使用numpy模块实现矩阵和列表的连接操作方法
Jun 26 Python
Python中正反斜杠(‘/’和‘\’)的意义与用法
Aug 12 Python
numpy 返回函数的上三角矩阵实例
Nov 25 Python
Python xlwt模块使用代码实例
Jun 10 Python
Python识别处理照片中的条形码
Nov 16 Python
Python词云的正确实现方法实例
May 08 Python
Django基础CBV装饰器和中间件
详解pytorch创建tensor函数
Mar 22 #Python
详解Python+OpenCV绘制灰度直方图
PYTHON使用Matplotlib去实现各种条形图的绘制
Python+OpenCV实现在图像上绘制矩形
Matplotlib绘制条形图的方法你知道吗
Python的代理类实现,控制访问和修改属性的权限你都了解吗
Mar 21 #Python
You might like
业余方法DIY电子管FM收音机
2021/03/02 无线电
php学习之变量的使用
2011/05/29 PHP
教你如何快捷的使用cmd访问mysql小技巧
2014/05/26 PHP
php通过记录IP来防止表单重复提交方法分析
2014/12/16 PHP
PHP 7的一些引人注目的新特性简单介绍
2015/11/08 PHP
讲解WordPress中用于获取评论模板和搜索表单的PHP函数
2015/12/28 PHP
php pdo连接数据库操作示例
2019/11/18 PHP
PHP cookie与session会话基本用法实例分析
2019/11/18 PHP
JavaScript Accessor实现说明
2010/12/06 Javascript
给html超链接设置事件不使用href来完成跳
2014/04/20 Javascript
jQuery淡入淡出元素让其效果更为生动
2014/09/01 Javascript
jQuery检测鼠标左键和右键点击的方法
2015/03/17 Javascript
基于bootstrap实现广告轮播带图片和文字效果
2016/07/22 Javascript
js判断radiobuttonlist的选中值显示/隐藏其它模块的实现方法
2016/08/25 Javascript
将json转换成struts参数的方法
2016/11/08 Javascript
根据Bootstrap Paginator改写的js分页插件
2016/12/25 Javascript
Angularjs实现搜索关键字高亮显示效果
2017/01/17 Javascript
微信小程序 刷新上拉下拉不会断详细介绍
2017/05/11 Javascript
解决vuex刷新状态初始化的方法实现
2019/08/15 Javascript
Node.js 深度调试方法解析
2020/07/28 Javascript
vuejs实现下拉框菜单选择
2020/10/23 Javascript
[03:01]DOTA2英雄基础教程 露娜
2014/01/07 DOTA
Python实现Singleton模式的方式详解
2019/08/08 Python
windows 10 设定计划任务自动执行 python 脚本的方法
2019/09/11 Python
TensorFlow2.1.0最新版本安装详细教程
2020/04/08 Python
小 200 行 Python 代码制作一个换脸程序
2020/05/12 Python
Python几种常见算法汇总
2020/06/02 Python
python爬虫用request库处理cookie的实例讲解
2021/02/20 Python
Html5新特性用canvas标签画多条直线附效果截图
2014/06/30 HTML / CSS
html5 canvas简单封装一个echarts实现不了的饼图
2018/06/12 HTML / CSS
一份全面的PHP面试问题考卷
2012/07/15 面试题
大学生新学期计划书
2014/04/28 职场文书
销售求职信范文
2014/05/26 职场文书
小学语文教师年度考核个人总结
2015/02/05 职场文书
2015年班主任个人工作总结
2015/03/31 职场文书
教你解决往mysql数据库中存入汉字报错的方法
2021/05/06 MySQL