pytorch训练神经网络爆内存的解决方案


Posted in Python onMay 22, 2021

训练的时候内存一直在增加,最后内存爆满,被迫中断。

pytorch训练神经网络爆内存的解决方案

后来换了一个电脑发现还是这样,考虑是代码的问题。

检查才发现我的代码两次存了loss,只有一个地方写的是loss.item()。问题就在loss,因为loss是variable类型。

要写成loss_train = loss_train + loss.item(),不能直接写loss_train = loss_train + loss。否则就会发现随着epoch的增加,占的内存也在一点一点增加。

算是一个小坑吧,希望大家还是要仔细。

补充:pytorch神经网络解决回归问题(非常易懂)

对于pytorch的深度学习框架

在建立人工神经网络时整体的步骤主要有以下四步:

1、载入原始数据

2、构建具体神经网络

3、进行数据的训练

4、数据测试和验证

pytorch神经网络的数据载入,以MINIST书写字体的原始数据为例:

import torch
import matplotlib.pyplot as  plt
def plot_curve(data):
    fig=plt.figure()
    plt.plot(range(len(data)),data,color="blue")
    plt.legend(["value"],loc="upper right")
    plt.xlabel("step")
    plt.ylabel("value")
    plt.show()
 
def plot_image(img,label,name):
    fig=plt.figure()
    for i in range(6):
        plt.subplot(2,3,i+1)
        plt.tight_layout()
        plt.imshow(img[i][0]*0.3081+0.1307,cmap="gray",interpolation="none")
        plt.title("{}:{}".format(name, label[i].item()))
        plt.xticks([])
        plt.yticks([])
    plt.show()
def one_hot(label,depth=10):
    out=torch.zeros(label.size(0),depth)
    idx=torch.LongTensor(label).view(-1,1)
    out.scatter_(dim=1,index=idx,value=1)
    return out
 
batch_size=512
import torch
from torch import nn                         #完成神经网络的构建包
from torch.nn import functional as F         #包含常用的函数包
from torch import optim                      #优化工具包
import torchvision                           #视觉工具包
import  matplotlib.pyplot as plt
from utils import plot_curve,plot_image,one_hot
#step1 load dataset   加载数据包
train_loader=torch.utils.data.DataLoader(
    torchvision.datasets.MNIST("minist_data",train=True,download=True,transform=torchvision.transforms.Compose(
        [torchvision.transforms.ToTensor(),torchvision.transforms.Normalize((0.1307,),(0.3081,))
         ])),
    batch_size=batch_size,shuffle=True)
test_loader=torch.utils.data.DataLoader(
    torchvision.datasets.MNIST("minist_data",train=True,download=False,transform=torchvision.transforms.Compose(
        [torchvision.transforms.ToTensor(),torchvision.transforms.Normalize((0.1307,),(0.3081,))
         ])),
    batch_size=batch_size,shuffle=False)
x,y=next(iter(train_loader))
print(x.shape,y.shape)
plot_image(x,y,"image")
print(x)
print(y)

以构建一个简单的回归问题的神经网络为例,

其具体的实现代码如下所示:

import torch
import torch.nn.functional as F  # 激励函数都在这
 
x = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1)  # x data (tensor), shape=(100, 1)
y = x.pow(2) + 0.2 * torch.rand(x.size())  # noisy y data (tensor), shape=(100, 1)
 
class Net(torch.nn.Module):  # 继承 torch 的 Module(固定)
    def __init__(self, n_feature, n_hidden, n_output):  # 定义层的信息,n_feature多少个输入, n_hidden每层神经元, n_output多少个输出
        super(Net, self).__init__()  # 继承 __init__ 功能(固定)
        # 定义每层用什么样的形式
        self.hidden = torch.nn.Linear(n_feature, n_hidden)  # 定义隐藏层,线性输出
        self.predict = torch.nn.Linear(n_hidden, n_output)  # 定义输出层线性输出
 
    def forward(self, x):  # x是输入信息就是data,同时也是 Module 中的 forward 功能,定义神经网络前向传递的过程,把__init__中的层信息一个一个的组合起来
        # 正向传播输入值, 神经网络分析出输出值
        x = F.relu(self.hidden(x))  # 定义激励函数(隐藏层的线性值)
        x = self.predict(x)  # 输出层,输出值
        return x 
 
net = Net(n_feature=1, n_hidden=10, n_output=1) 
print(net)  # net 的结构
"""
Net (
  (hidden): Linear (1 -> 10)
  (predict): Linear (10 -> 1)
)
"""
# optimizer 是训练的工具
optimizer = torch.optim.SGD(net.parameters(), lr=0.2)  # 传入 net 的所有参数, 学习率
loss_func = torch.nn.MSELoss()  # 预测值和真实值的误差计算公式 (均方差)
 
for t in range(100):  # 训练的步数100步
    prediction = net(x)  # 喂给 net 训练数据 x, 每迭代一步,输出预测值
 
    loss = loss_func(prediction, y)  # 计算两者的误差
 
    # 优化步骤:
    optimizer.zero_grad()  # 清空上一步的残余更新参数值
    loss.backward()  # 误差反向传播, 计算参数更新值
    optimizer.step()  # 将参数更新值施加到 net 的 parameters 上
 
import matplotlib.pyplot as plt 
plt.ion()  # 实时画图something about plotting 
for t in range(200):
    prediction = net(x)  # input x and predict based on x 
    loss = loss_func(prediction, y)  # must be (1. nn output, 2. target) 
    optimizer.zero_grad()  # clear gradients for next train
    loss.backward()  # backpropagation, compute gradients
    optimizer.step()  # apply gradients
 
    if t % 5 == 0:  # 每五步绘一次图
        # plot and show learning process
        plt.cla()
        plt.scatter(x.data.numpy(), y.data.numpy())
        plt.plot(x.data.numpy(), prediction.data.numpy(), 'r-', lw=5)
        plt.text(0.5, 0, 'Loss=%.4f' % loss.data.numpy(), fontdict={'size': 20, 'color': 'red'})
        plt.pause(0.1)
 
plt.ioff()
plt.show()

pytorch训练神经网络爆内存的解决方案

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python基于queue和threading实现多线程下载实例
Oct 08 Python
Python读大数据txt
Mar 28 Python
对python3中pathlib库的Path类的使用详解
Oct 14 Python
Windows下安装Scrapy
Oct 17 Python
python实现键盘控制鼠标移动
Nov 27 Python
python实现QQ邮箱/163邮箱的邮件发送
Jan 22 Python
如何使用Python进行OCR识别图片中的文字
Apr 01 Python
Numpy数组array和矩阵matrix转换方法
Aug 05 Python
利用PyCharm操作Github(仓库新建、更新,代码回滚)
Dec 18 Python
Python requests模块基础使用方法实例及高级应用(自动登陆,抓取网页源码)实例详解
Feb 14 Python
Python读取JSON数据操作实例解析
May 18 Python
Python3+RIDE+RobotFramework自动化测试框架搭建过程详解
Sep 23 Python
粗暴解决CUDA out of memory的问题
May 22 #Python
pytorch中的model.eval()和BN层的使用
May 22 #Python
解决Pytorch中关于model.eval的问题
Pytorch 中net.train 和 net.eval的使用说明
May 22 #Python
对PyTorch中inplace字段的全面理解
May 22 #Python
pytorch中F.avg_pool1d()和F.avg_pool2d()的使用操作
May 22 #Python
用python实现监控视频人数统计
You might like
PHP Pear 安装及使用
2009/03/19 PHP
php设计模式之策略模式应用案例详解
2019/06/17 PHP
通过 Dom 方法提高 innerHTML 性能
2008/03/26 Javascript
不同浏览器对回车提交表单的处理办法
2010/02/13 Javascript
js实现点击注册按钮开始读秒倒计时的小例子
2013/05/11 Javascript
iframe调用父页面函数示例详解
2014/07/17 Javascript
js实现跨域的4种实用方法原理分析
2015/10/29 Javascript
js实现简单的省市县三级联动效果实例
2016/02/18 Javascript
动态JavaScript所造成一些你不知道的危害
2016/09/25 Javascript
Javascript 实现匿名递归的实例代码
2017/05/25 Javascript
JavaScript算法教程之sku(库存量单位)详解
2017/06/29 Javascript
bootstrap multiselect下拉列表功能
2017/08/22 Javascript
AngularJS实现自定义指令及指令配置项的方法
2017/11/20 Javascript
iview中Select 选择器多选校验方法
2018/03/15 Javascript
使用vuepress搭建静态博客的示例代码
2019/02/14 Javascript
vue实现搜索功能
2019/05/28 Javascript
小程序api实现promise封装过程解析
2019/11/21 Javascript
JavaScript交换变量常用4种方法解析
2020/09/02 Javascript
vue基于Echarts的拖拽数据可视化功能实现
2020/12/04 Vue.js
python 获取文件列表(或是目录例表)
2009/03/25 Python
Django与遗留的数据库整合的方法指南
2015/07/24 Python
Python cookbook(字符串与文本)在字符串的开头或结尾处进行文本匹配操作
2018/04/20 Python
正确理解Python中if __name__ == '__main__'
2019/01/24 Python
教你一分钟在win10终端成功安装Pytorch的方法步骤
2021/01/28 Python
解决python 输出到csv 出现多空行的情况
2021/03/24 Python
市场安全管理制度
2014/01/26 职场文书
幼儿园毕业家长感言
2014/02/10 职场文书
中秋节主持词
2014/04/02 职场文书
孝老爱亲模范事迹材料
2014/05/25 职场文书
历史学专业求职信
2014/06/19 职场文书
拆迁委托协议书
2014/09/15 职场文书
幼儿园师德师风心得体会
2016/01/12 职场文书
2016年企业先进员工事迹材料
2016/02/25 职场文书
nginx location优先级的深入讲解
2021/03/31 Servers
(开源)微信小程序+mqtt,esp8266温湿度读取
2021/04/02 Javascript
Golang日志包的使用
2022/04/20 Golang