PyTorch-GPU加速实例


Posted in Python onJune 23, 2020

硬件:NVIDIA-GTX1080

软件:Windows7、python3.6.5、pytorch-gpu-0.4.1

一、基础知识

将数据和网络都推到GPU,接上.cuda()

二、代码展示

import torch
import torch.nn as nn
import torch.utils.data as Data
import torchvision
# torch.manual_seed(1)
 
EPOCH = 1
BATCH_SIZE = 50
LR = 0.001
DOWNLOAD_MNIST = False
 
train_data = torchvision.datasets.MNIST(root='./mnist/', train=True, transform=torchvision.transforms.ToTensor(), download=DOWNLOAD_MNIST,)
train_loader = Data.DataLoader(dataset=train_data, batch_size=BATCH_SIZE, shuffle=True)
 
test_data = torchvision.datasets.MNIST(root='./mnist/', train=False)
 
# !!!!!!!! Change in here !!!!!!!!! #
test_x = torch.unsqueeze(test_data.test_data, dim=1).type(torch.FloatTensor)[:2000].cuda()/255. # Tensor on GPU
test_y = test_data.test_labels[:2000].cuda()
 
class CNN(nn.Module):
 def __init__(self):
  super(CNN, self).__init__()
  self.conv1 = nn.Sequential(nn.Conv2d(in_channels=1, out_channels=16, kernel_size=5, stride=1, padding=2,),
         nn.ReLU(), nn.MaxPool2d(kernel_size=2),)
  self.conv2 = nn.Sequential(nn.Conv2d(16, 32, 5, 1, 2), nn.ReLU(), nn.MaxPool2d(2),)
  self.out = nn.Linear(32 * 7 * 7, 10)
 
 def forward(self, x):
  x = self.conv1(x)
  x = self.conv2(x)
  x = x.view(x.size(0), -1)
  output = self.out(x)
  return output
 
cnn = CNN()
 
# !!!!!!!! Change in here !!!!!!!!! #
cnn.cuda()  # Moves all model parameters and buffers to the GPU.
 
optimizer = torch.optim.Adam(cnn.parameters(), lr=LR)
loss_func = nn.CrossEntropyLoss()
 
for epoch in range(EPOCH):
 for step, (x, y) in enumerate(train_loader):
 
  # !!!!!!!! Change in here !!!!!!!!! #
  b_x = x.cuda() # Tensor on GPU
  b_y = y.cuda() # Tensor on GPU
 
  output = cnn(b_x)
  loss = loss_func(output, b_y)
  optimizer.zero_grad()
  loss.backward()
  optimizer.step()
 
  if step % 50 == 0:
   test_output = cnn(test_x)
 
   # !!!!!!!! Change in here !!!!!!!!! #
   pred_y = torch.max(test_output, 1)[1].cuda().data # move the computation in GPU
 
   accuracy = torch.sum(pred_y == test_y).type(torch.FloatTensor) / test_y.size(0)
   print('Epoch: ', epoch, '| train loss: %.4f' % loss, '| test accuracy: %.2f' % accuracy)
 
test_output = cnn(test_x[:10])
 
# !!!!!!!! Change in here !!!!!!!!! #
pred_y = torch.max(test_output, 1)[1].cuda().data # move the computation in GPU
 
print(pred_y, 'prediction number')
print(test_y[:10], 'real number')

三、结果展示

PyTorch-GPU加速实例

补充知识:pytorch使用gpu对网络计算进行加速

1.基本要求

你的电脑里面有合适的GPU显卡(NVIDA),并且需要支持CUDA模块

你必须安装GPU版的Torch,(详细安装方法请移步pytorch官网)

2.使用GPU训练CNN

利用pytorch使用GPU进行加速方法主要就是将数据的形式变成GPU能读的形式,然后将CNN也变成GPU能读的形式,具体办法就是在后面加上.cuda()。

例如:

#如何检查自己电脑是否支持cuda
print torch.cuda.is_available()
# 返回True代表支持,False代表不支持
'''
注意在进行某种运算的时候使用.cuda()
'''
test_data=test_data.test_labels[:2000].cuda()
'''
对于CNN与损失函数利用cuda加速
'''
class CNN(nn.Module):
 ...
cnn=CNN()
cnn.cuda()
loss_f = t.nn.CrossEntropyLoss()
loss_f = loss_f.cuda()

而在train时,对于train_data训练过程进行GPU加速。也同样+.cuda()。

for epoch ..:
 for step, ...:
 1
'''
若你的train_data在训练时需要进行操作
若没有其他操作仅仅只利用cnn()则无需另加.cuda()
'''
#eg
 train_data = torch.max(teain_data, 1)[1].cuda()

补充:取出数据需要从GPU切换到CPU上进行操作

eg:

loss = loss.cpu()
acc = acc.cpu()

理解并不全,如有纰漏或者错误还望各位大佬指点迷津

以上这篇PyTorch-GPU加速实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现的一个自动售饮料程序代码分享
Aug 25 Python
Python2/3中urllib库的一些常见用法
Dec 19 Python
解决已经安装requests,却依然提示No module named requests问题
May 18 Python
Django rest framework实现分页的示例
May 24 Python
python判断数字是否是超级素数幂
Sep 27 Python
解决每次打开pycharm直接进入项目的问题
Oct 28 Python
Python设计模式之观察者模式原理与用法详解
Jan 16 Python
对python特殊函数 __call__()的使用详解
Jul 02 Python
使用Python串口实时显示数据并绘图的例子
Dec 26 Python
python爬取本站电子书信息并入库的实现代码
Jan 20 Python
Python3监控疫情的完整代码
Feb 20 Python
python爬虫破解字体加密案例详解
Mar 02 Python
Python基于yaml文件配置logging日志过程解析
Jun 23 #Python
解决pytorch多GPU训练保存的模型,在单GPU环境下加载出错问题
Jun 23 #Python
Python 程序报错崩溃后如何倒回到崩溃的位置(推荐)
Jun 23 #Python
浅谈pytorch中的BN层的注意事项
Jun 23 #Python
Python3与fastdfs分布式文件系统如何实现交互
Jun 23 #Python
踩坑:pytorch中eval模式下结果远差于train模式介绍
Jun 23 #Python
pytorch掉坑记录:model.eval的作用说明
Jun 23 #Python
You might like
phpMyAdmin 安装及问题总结
2009/05/28 PHP
PHP教程 预定义变量
2009/10/23 PHP
JavaScript入门教程(5) js Screen屏幕对象
2009/01/31 Javascript
jQuery 使用手册(六)
2009/09/23 Javascript
关于JavaScript定义类和对象的几种方式
2010/11/09 Javascript
JavaScript模板入门介绍
2012/09/26 Javascript
javascript框架设计读书笔记之字符串的扩展和修复
2014/12/02 Javascript
angular.element方法汇总
2015/01/07 Javascript
利用jQuery中的ajax分页实现代码
2016/02/25 Javascript
JS获取元素多层嵌套思路详解
2016/05/16 Javascript
JavaScript中如何判断一个值的类型
2017/09/15 Javascript
微信小程序 配置顶部导航条标题颜色的实现方法
2017/09/20 Javascript
vue iView 上传组件之手动上传功能
2018/03/16 Javascript
Javascript 之封装(Package)
2018/09/14 Javascript
react中Suspense的使用详解
2019/09/01 Javascript
详解字典树Trie结构及其Python代码实现
2016/06/03 Python
用Python写王者荣耀刷金币脚本
2017/12/21 Python
python实现树形打印目录结构
2018/03/29 Python
Python3用tkinter和PIL实现看图工具
2018/06/21 Python
python中实现控制小数点位数的方法
2019/01/24 Python
详解Python解决抓取内容乱码问题(decode和encode解码)
2019/03/29 Python
一文了解Python并发编程的工程实现方法
2019/05/31 Python
python mysql断开重连的实现方法
2019/07/26 Python
解决Keras自带数据集与预训练model下载太慢问题
2020/06/12 Python
python 检测nginx服务邮件报警的脚本
2020/12/31 Python
使用HTML5技术开发一个属于自己的超酷颜色选择器
2013/09/22 HTML / CSS
Theo + George官方网站:都柏林时尚品牌
2019/04/08 全球购物
PHP如何防止SQL注入
2014/05/03 面试题
财务出纳员岗位职责
2013/11/26 职场文书
《盘古开天地》教学反思
2014/02/28 职场文书
风险评估实施方案
2014/03/09 职场文书
优秀语文教师事迹
2014/05/18 职场文书
毕业生自荐信范文
2015/03/05 职场文书
导游词之无锡华莱坞
2019/12/02 职场文书
Python基础之常用库常用方法整理
2021/04/30 Python
JavaScript展开运算符和剩余运算符的区别详解
2022/02/18 Javascript