PyTorch-GPU加速实例


Posted in Python onJune 23, 2020

硬件:NVIDIA-GTX1080

软件:Windows7、python3.6.5、pytorch-gpu-0.4.1

一、基础知识

将数据和网络都推到GPU,接上.cuda()

二、代码展示

import torch
import torch.nn as nn
import torch.utils.data as Data
import torchvision
# torch.manual_seed(1)
 
EPOCH = 1
BATCH_SIZE = 50
LR = 0.001
DOWNLOAD_MNIST = False
 
train_data = torchvision.datasets.MNIST(root='./mnist/', train=True, transform=torchvision.transforms.ToTensor(), download=DOWNLOAD_MNIST,)
train_loader = Data.DataLoader(dataset=train_data, batch_size=BATCH_SIZE, shuffle=True)
 
test_data = torchvision.datasets.MNIST(root='./mnist/', train=False)
 
# !!!!!!!! Change in here !!!!!!!!! #
test_x = torch.unsqueeze(test_data.test_data, dim=1).type(torch.FloatTensor)[:2000].cuda()/255. # Tensor on GPU
test_y = test_data.test_labels[:2000].cuda()
 
class CNN(nn.Module):
 def __init__(self):
  super(CNN, self).__init__()
  self.conv1 = nn.Sequential(nn.Conv2d(in_channels=1, out_channels=16, kernel_size=5, stride=1, padding=2,),
         nn.ReLU(), nn.MaxPool2d(kernel_size=2),)
  self.conv2 = nn.Sequential(nn.Conv2d(16, 32, 5, 1, 2), nn.ReLU(), nn.MaxPool2d(2),)
  self.out = nn.Linear(32 * 7 * 7, 10)
 
 def forward(self, x):
  x = self.conv1(x)
  x = self.conv2(x)
  x = x.view(x.size(0), -1)
  output = self.out(x)
  return output
 
cnn = CNN()
 
# !!!!!!!! Change in here !!!!!!!!! #
cnn.cuda()  # Moves all model parameters and buffers to the GPU.
 
optimizer = torch.optim.Adam(cnn.parameters(), lr=LR)
loss_func = nn.CrossEntropyLoss()
 
for epoch in range(EPOCH):
 for step, (x, y) in enumerate(train_loader):
 
  # !!!!!!!! Change in here !!!!!!!!! #
  b_x = x.cuda() # Tensor on GPU
  b_y = y.cuda() # Tensor on GPU
 
  output = cnn(b_x)
  loss = loss_func(output, b_y)
  optimizer.zero_grad()
  loss.backward()
  optimizer.step()
 
  if step % 50 == 0:
   test_output = cnn(test_x)
 
   # !!!!!!!! Change in here !!!!!!!!! #
   pred_y = torch.max(test_output, 1)[1].cuda().data # move the computation in GPU
 
   accuracy = torch.sum(pred_y == test_y).type(torch.FloatTensor) / test_y.size(0)
   print('Epoch: ', epoch, '| train loss: %.4f' % loss, '| test accuracy: %.2f' % accuracy)
 
test_output = cnn(test_x[:10])
 
# !!!!!!!! Change in here !!!!!!!!! #
pred_y = torch.max(test_output, 1)[1].cuda().data # move the computation in GPU
 
print(pred_y, 'prediction number')
print(test_y[:10], 'real number')

三、结果展示

PyTorch-GPU加速实例

补充知识:pytorch使用gpu对网络计算进行加速

1.基本要求

你的电脑里面有合适的GPU显卡(NVIDA),并且需要支持CUDA模块

你必须安装GPU版的Torch,(详细安装方法请移步pytorch官网)

2.使用GPU训练CNN

利用pytorch使用GPU进行加速方法主要就是将数据的形式变成GPU能读的形式,然后将CNN也变成GPU能读的形式,具体办法就是在后面加上.cuda()。

例如:

#如何检查自己电脑是否支持cuda
print torch.cuda.is_available()
# 返回True代表支持,False代表不支持
'''
注意在进行某种运算的时候使用.cuda()
'''
test_data=test_data.test_labels[:2000].cuda()
'''
对于CNN与损失函数利用cuda加速
'''
class CNN(nn.Module):
 ...
cnn=CNN()
cnn.cuda()
loss_f = t.nn.CrossEntropyLoss()
loss_f = loss_f.cuda()

而在train时,对于train_data训练过程进行GPU加速。也同样+.cuda()。

for epoch ..:
 for step, ...:
 1
'''
若你的train_data在训练时需要进行操作
若没有其他操作仅仅只利用cnn()则无需另加.cuda()
'''
#eg
 train_data = torch.max(teain_data, 1)[1].cuda()

补充:取出数据需要从GPU切换到CPU上进行操作

eg:

loss = loss.cpu()
acc = acc.cpu()

理解并不全,如有纰漏或者错误还望各位大佬指点迷津

以上这篇PyTorch-GPU加速实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python单线程实现多个定时器示例
Mar 30 Python
python中while循环语句用法简单实例
May 07 Python
详解Django中的过滤器
Jul 16 Python
详解Python设计模式编程中观察者模式与策略模式的运用
Mar 02 Python
解决pyqt中ui编译成窗体.py中文乱码的问题
Dec 23 Python
python下读取公私钥做加解密实例详解
Mar 29 Python
Python+selenium 获取浏览器窗口坐标、句柄的方法
Oct 14 Python
selenium 安装与chromedriver安装的方法步骤
Jun 12 Python
简单分析python的类变量、实例变量
Aug 23 Python
jenkins配置python脚本定时任务过程图解
Oct 29 Python
Python通过zookeeper实现分布式服务代码解析
Jul 22 Python
python四种出行路线规划的实现
Jun 23 Python
Python基于yaml文件配置logging日志过程解析
Jun 23 #Python
解决pytorch多GPU训练保存的模型,在单GPU环境下加载出错问题
Jun 23 #Python
Python 程序报错崩溃后如何倒回到崩溃的位置(推荐)
Jun 23 #Python
浅谈pytorch中的BN层的注意事项
Jun 23 #Python
Python3与fastdfs分布式文件系统如何实现交互
Jun 23 #Python
踩坑:pytorch中eval模式下结果远差于train模式介绍
Jun 23 #Python
pytorch掉坑记录:model.eval的作用说明
Jun 23 #Python
You might like
php数据库备份还原类分享
2014/03/20 PHP
Linux下安装PHP MSSQL扩展教程
2014/10/24 PHP
YII CLinkPager分页类扩展增加显示共多少页
2016/01/29 PHP
jquery last-child 列表最后一项的样式
2010/01/22 Javascript
jQuery 位置函数offset,innerWidth,innerHeight,outerWidth,outerHeight,scrollTop,scrollLeft
2010/03/23 Javascript
JQuery live函数
2010/12/24 Javascript
onclick与listeners的执行先后问题详细解剖
2013/01/07 Javascript
JS操作iframe里的dom(实例讲解)
2014/01/29 Javascript
禁用Tab键JS代码兼容Firefox和IE
2014/04/18 Javascript
轻松创建nodejs服务器(10):处理上传图片
2014/12/18 NodeJs
Node.js的包详细介绍
2015/01/14 Javascript
JavaScript资源预加载组件和滑屏组件的使用推荐
2016/03/10 Javascript
网站发布后Bootstrap框架引用woff字体无法正常显示的解决方法
2016/11/24 Javascript
jQuery File Upload文件上传插件使用详解
2016/12/06 Javascript
Vue 表单控件绑定的实现示例
2017/08/11 Javascript
Vue模板语法中数据绑定的实例代码
2019/05/17 Javascript
js实现自定义右键菜单
2020/05/18 Javascript
探究python中open函数的使用
2016/03/01 Python
python如何获取服务器硬件信息
2017/05/11 Python
python连接mongodb密码认证实例
2018/10/16 Python
对python 多个分隔符split 的实例详解
2018/12/20 Python
PyQt5根据控件Id获取控件对象的方法
2019/06/25 Python
纯python进行矩阵的相乘运算的方法示例
2019/07/17 Python
Python 音频生成器的实现示例
2019/12/24 Python
Python如何实现FTP功能
2020/05/28 Python
为什么说python更适合树莓派编程
2020/07/20 Python
python collections模块的使用
2020/10/16 Python
Python爬虫之Selenium警告框(弹窗)处理
2020/12/04 Python
纯css3实现的动画按钮的实例教程
2014/11/17 HTML / CSS
性能服装:HYLETE
2018/08/14 全球购物
捷克多品牌在线时尚商店:ANSWEAR.cz
2020/10/03 全球购物
道德之星事迹材料
2014/05/03 职场文书
社区法制宣传日活动总结
2015/05/05 职场文书
用电申请报告范文
2015/05/18 职场文书
JS ES6异步解决方案
2021/04/29 Javascript
MySQL 中如何归档数据的实现方法
2022/03/16 SQL Server