pytorch动态网络以及权重共享实例


Posted in Python onJanuary 06, 2020

pytorch 动态网络+权值共享

pytorch以动态图著称,下面以一个栗子来实现动态网络和权值共享技术:

# -*- coding: utf-8 -*-
import random
import torch


class DynamicNet(torch.nn.Module):
  def __init__(self, D_in, H, D_out):
    """
    这里构造了几个向前传播过程中用到的线性函数
    """
    super(DynamicNet, self).__init__()
    self.input_linear = torch.nn.Linear(D_in, H)
    self.middle_linear = torch.nn.Linear(H, H)
    self.output_linear = torch.nn.Linear(H, D_out)

  def forward(self, x):
    """
    For the forward pass of the model, we randomly choose either 0, 1, 2, or 3
    and reuse the middle_linear Module that many times to compute hidden layer
    representations.

    Since each forward pass builds a dynamic computation graph, we can use normal
    Python control-flow operators like loops or conditional statements when
    defining the forward pass of the model.

    Here we also see that it is perfectly safe to reuse the same Module many
    times when defining a computational graph. This is a big improvement from Lua
    Torch, where each Module could be used only once.
    这里中间层每次向前过程中都是随机添加0-3层,而且中间层都是使用的同一个线性层,这样计算时,权值也是用的同一个。
    """
    h_relu = self.input_linear(x).clamp(min=0)
    for _ in range(random.randint(0, 3)):
      h_relu = self.middle_linear(h_relu).clamp(min=0)
    y_pred = self.output_linear(h_relu)
    return y_pred


    # N is batch size; D_in is input dimension;
    # H is hidden dimension; D_out is output dimension.
    N, D_in, H, D_out = 64, 1000, 100, 10

    # Create random Tensors to hold inputs and outputs
    x = torch.randn(N, D_in)
    y = torch.randn(N, D_out)

    # Construct our model by instantiating the class defined above
    model = DynamicNet(D_in, H, D_out)

    # Construct our loss function and an Optimizer. Training this strange model with
    # vanilla stochastic gradient descent is tough, so we use momentum
    criterion = torch.nn.MSELoss(reduction='sum')
    optimizer = torch.optim.SGD(model.parameters(), lr=1e-4, momentum=0.9)
    for t in range(500):
      # Forward pass: Compute predicted y by passing x to the model
      y_pred = model(x)

      # Compute and print loss
      loss = criterion(y_pred, y)
      print(t, loss.item())

      # Zero gradients, perform a backward pass, and update the weights.
      optimizer.zero_grad()
      loss.backward()
      optimizer.step()

这个程序实际上是一种RNN结构,在执行过程中动态的构建计算图

References: Pytorch Documentations.

以上这篇pytorch动态网络以及权重共享实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python使用Queue在多个子进程间交换数据的方法
Apr 18 Python
日常整理python执行系统命令的常见方法(全)
Oct 22 Python
Python中装饰器兼容加括号和不加括号的写法详解
Jul 05 Python
python 通过logging写入日志到文件和控制台的实例
Apr 28 Python
python之验证码生成(gvcode与captcha)
Jan 02 Python
机器学习实战之knn算法pandas
Jun 22 Python
Python爬虫解析网页的4种方式实例及原理解析
Dec 30 Python
使用Python获取当前工作目录和执行命令的位置
Mar 09 Python
python3利用Axes3D库画3D模型图
Mar 25 Python
django rest framework 过滤时间操作
Jul 12 Python
python入门:argparse浅析 nargs='+'作用
Jul 12 Python
Python字符串查找基本操作代码案例
Oct 27 Python
selenium中get_cookies()和add_cookie()的用法详解
Jan 06 #Python
pytorch中的自定义反向传播,求导实例
Jan 06 #Python
PyTorch中 tensor.detach() 和 tensor.data 的区别详解
Jan 06 #Python
6行Python代码实现进度条效果(Progress、tqdm、alive-progress​​​​​​​和PySimpleGUI库)
Jan 06 #Python
基于python+selenium的二次封装的实现
Jan 06 #Python
Python使用Tkinter实现滚动抽奖器效果
Jan 06 #Python
Python使用Tkinter实现转盘抽奖器的步骤详解
Jan 06 #Python
You might like
印尼林东PWN黄金曼特宁咖啡豆:怎么冲世界上最醇厚的咖啡冲煮教程
2021/03/03 冲泡冲煮
javascript数组与php数组的地址传递及值传递用法实例
2015/01/22 PHP
php+mysql开发的最简单在线题库(在线做题系统)完整案例
2019/03/30 PHP
javascript+css 网页每次加载不同样式的实现方法
2009/12/27 Javascript
window.ActiveXObject使用说明
2010/11/08 Javascript
js读写(删除)Cookie实例详解
2013/04/17 Javascript
js时间戳格式化成日期格式的多种方法
2013/11/11 Javascript
jQuery表格列宽可拖拽改变且兼容firfox
2014/09/03 Javascript
JavaScript实现生成GUID(全局统一标识符)
2014/09/05 Javascript
javascript中clipboardData对象用法详解
2015/05/13 Javascript
JAVA四种基本排序方法实例总结
2015/07/24 Javascript
浅谈JavaScript 的执行顺序
2015/08/07 Javascript
jquery+html5时钟特效代码分享(可设置闹钟并且语音提醒)
2020/03/30 Javascript
开源免费天气预报接口API及全国所有地区代码(国家气象局提供)
2016/12/26 Javascript
jQuery使用JSONP实现跨域获取数据的三种方法详解
2017/05/04 jQuery
Vue计算属性的使用
2017/08/04 Javascript
详解angularjs 学习之 scope作用域
2018/01/15 Javascript
详解如何在微信小程序中愉快地使用sass
2018/07/30 Javascript
浅谈js闭包理解
2019/04/01 Javascript
更强大的vue ssr实现预取数据的方式
2019/07/19 Javascript
如何在Angular8.0下使用ngx-translate进行国际化配置
2019/07/24 Javascript
vue 中几种传值方法(3种)
2019/11/12 Javascript
Vue监听滚动实现锚点定位(双向)示例
2019/11/13 Javascript
js刷新页面location.reload()用法详解
2019/12/09 Javascript
Python实现简易Web爬虫详解
2018/01/03 Python
Python对excel文档的操作方法详解
2018/12/10 Python
如何在Django项目中引入静态文件
2019/07/26 Python
Python3 全自动更新已安装的模块实现
2020/01/06 Python
python用opencv 图像傅里叶变换
2021/01/04 Python
Python的Tqdm模块实现进度条配置
2021/02/24 Python
abstract是什么意思
2012/02/12 面试题
年终考核评语
2014/01/19 职场文书
消防安全汇报材料
2014/02/08 职场文书
银行求职信模板
2015/03/20 职场文书
涨工资申请书应该怎么写?
2019/07/08 职场文书
2019年亲子运动会口号
2019/10/11 职场文书