基于Tensorflow读取MNIST数据集时网络超时的解决方式


Posted in Python onJune 22, 2020

最近在学习TensorFlow,比较烦人的是使用tensorflow.examples.tutorials.mnist.input_data读取数据

from tensorflow.examples.tutorials.mnist import input_data

mnist = input_data.read_data_sets('/temp/mnist_data/')
X = mnist.test.images.reshape(-1, n_steps, n_inputs)
y = mnist.test.labels

基于Tensorflow读取MNIST数据集时网络超时的解决方式

时,经常出现网络连接错误

解决方法其实很简单,这里我们可以看一下input_data.py的源代码(这里截取关键部分)

def maybe_download(filename, work_directory):
 """Download the data from Yann's website, unless it's already here."""
 if not os.path.exists(work_directory):
 os.mkdir(work_directory)
 filepath = os.path.join(work_directory, filename)
 if not os.path.exists(filepath):
 filepath, _ = urllib.request.urlretrieve(SOURCE_URL + filename, filepath)
 statinfo = os.stat(filepath)
 print('Successfully downloaded', filename, statinfo.st_size, 'bytes.')
return filepath

可以看到,代码会先检查文件是否存在,如果不存在再进行下载,那么我是不是自己下载数据不就行了?

MNIST的数据集是从Yann LeCun教授的官网下载,下载完成之后修改一下我们读取数据的代码,加上我们下载的路径即可

from tensorflow.examples.tutorials.mnist import input_data
import os

data_path = os.path.join('.', 'temp', 'data')
mnist = input_data.read_data_sets(datapath)
X = mnist.test.images.reshape(-1, n_steps, n_inputs)
y = mnist.test.labels

测试一下

基于Tensorflow读取MNIST数据集时网络超时的解决方式

成功!

补充知识:在tensorflow的使用中,from tensorflow.examples.tutorials.mnist import input_data报错

最近在学习使用python的tensorflow的使用,使用编辑器为spyder,在输入以下代码时会报错:

from tensorflow.examples.tutorials.mnist import input_data

报错内容如下:

from tensorflow.python.autograph.lang.special_functions import stack
ImportError: cannot import name 'stack'

为了解决这个问题,在

File "K:\Anaconda3\envs\tensorflow\lib\site-packages\tensorflow\python\autograph_init_.py"文件中直接把
from tensorflow.python.autograph.lang.special_functions import stack

这一行注释掉了,问题并没有解决。然后又把下面一行注释掉了:

from tensorflow.python.autograph.lang.special_functions import tensor_list

问题解决,但报了一大顿warning:

WARNING:tensorflow:From C:/Users/phmnku/.spyder-py3/tensorflow_prac/classification.py:4: read_data_sets (from tensorflow.contrib.learn.python.learn.datasets.mnist) is deprecated and will be removed in a future version.
Instructions for updating:
Please use alternatives such as official/mnist/dataset.py from tensorflow/models.
WARNING:tensorflow:From K:\Anaconda3\envs\tensorflow\lib\site-packages\tensorflow\contrib\learn\python\learn\datasets\mnist.py:260: maybe_download (from tensorflow.contrib.learn.python.learn.datasets.base) is deprecated and will be removed in a future version.
Instructions for updating:
Please write your own downloading logic.
WARNING:tensorflow:From K:\Anaconda3\envs\tensorflow\lib\site-packages\tensorflow\contrib\learn\python\learn\datasets\mnist.py:262: extract_images (from tensorflow.contrib.learn.python.learn.datasets.mnist) is deprecated and will be removed in a future version.
Instructions for updating:
Please use tf.data to implement this functionality.
Extracting MNIST_data\train-images-idx3-ubyte.gz
WARNING:tensorflow:From K:\Anaconda3\envs\tensorflow\lib\site-packages\tensorflow\contrib\learn\python\learn\datasets\mnist.py:267: extract_labels (from tensorflow.contrib.learn.python.learn.datasets.mnist) is deprecated and will be removed in a future version.
Instructions for updating:
Please use tf.data to implement this functionality.
Extracting MNIST_data\train-labels-idx1-ubyte.gz
WARNING:tensorflow:From K:\Anaconda3\envs\tensorflow\lib\site-packages\tensorflow\contrib\learn\python\learn\datasets\mnist.py:110: dense_to_one_hot (from tensorflow.contrib.learn.python.learn.datasets.mnist) is deprecated and will be removed in a future version.
Instructions for updating:
Please use tf.one_hot on tensors.
Extracting MNIST_data\t10k-images-idx3-ubyte.gz
Extracting MNIST_data\t10k-labels-idx1-ubyte.gz
WARNING:tensorflow:From K:\Anaconda3\envs\tensorflow\lib\site-packages\tensorflow\contrib\learn\python\learn\datasets\mnist.py:290: DataSet.__init__ (from tensorflow.contrib.learn.python.learn.datasets.mnist) is deprecated and will be removed in a future version.
Instructions for updating:
Please use alternatives such as official/mnist/dataset.py from tensorflow/models.
WARNING:tensorflow:From K:\Anaconda3\envs\tensorflow\lib\site-packages\tensorflow\python\util\tf_should_use.py:189: initialize_all_variables (from tensorflow.python.ops.variables) is deprecated and will be removed after 2017-03-02.
Instructions for updating:
Use `tf.global_variables_initializer` instead.

但是程序好歹能用了

以上这篇基于Tensorflow读取MNIST数据集时网络超时的解决方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
深入源码解析Python中的对象与类型
Dec 11 Python
深入讲解Java编程中类的生命周期
Feb 05 Python
pygame实现弹力球及其变速效果
Jul 03 Python
Python+request+unittest实现接口测试框架集成实例
Mar 16 Python
python中matplotlib的颜色及线条控制的示例
Mar 16 Python
TensorFlow 模型载入方法汇总(小结)
Jun 19 Python
使用python 打开文件并做匹配处理的实例
Jan 02 Python
Python pip配置国内源的方法
Feb 14 Python
pycharm工具连接mysql数据库失败问题
Apr 01 Python
将pymysql获取到的数据类型是tuple转化为pandas方式
May 15 Python
python如何读取.mtx文件
Apr 22 Python
Python实现批量自动整理文件
Mar 16 Python
在Mac中配置Python虚拟环境过程解析
Jun 22 #Python
tensorflow/core/platform/cpu_feature_guard.cc:140] Your CPU supports instructions that this T
Jun 22 #Python
TensorFlow的环境配置与安装教程详解(win10+GeForce GTX1060+CUDA 9.0+cuDNN7.3+tensorflow-gpu 1.12.0+python3.5.5)
Jun 22 #Python
keras的load_model实现加载含有参数的自定义模型
Jun 22 #Python
python GUI模拟实现计算器
Jun 22 #Python
keras CNN卷积核可视化,热度图教程
Jun 22 #Python
python实现斗地主分牌洗牌
Jun 22 #Python
You might like
php时间计算相关问题小结
2016/05/09 PHP
PHP线程的内存回收问题
2016/07/08 PHP
php 截取GBK文档某个位置开始的n个字符方法
2017/03/08 PHP
PHP基于imagick扩展实现合成图片的两种方法【附imagick扩展下载】
2017/11/14 PHP
javascript题目,重写函数让其无限相加
2012/02/15 Javascript
node-http-proxy修改响应结果实例代码
2016/06/06 Javascript
Angularjs之filter过滤器(推荐)
2016/11/27 Javascript
Bootstrap中datetimepicker使用小结
2016/12/28 Javascript
JS实现颜色梯度与渐变效果完整实例
2016/12/30 Javascript
jQuery日程管理控件glDatePicker用法详解
2017/03/29 jQuery
JavaScript实现设置默认日期范围为最近40天的方法分析
2017/07/12 Javascript
用最简单的方法判断JavaScript中this的指向(推荐)
2017/09/04 Javascript
基于Vue过渡状态实例讲解
2017/09/14 Javascript
使用Bootstrap + Vue.js实现表格的动态展示、新增和删除功能
2017/11/27 Javascript
使用Angular CLI快速创建Angular项目的一些基本概念和写法小结
2018/04/22 Javascript
js实现每日签到功能
2018/11/29 Javascript
js实现简易计算器功能
2019/10/18 Javascript
使用jquery实现轮播图效果
2021/01/02 jQuery
[41:17]完美世界DOTA2联赛PWL S3 access vs CPG 第二场 12.13
2020/12/17 DOTA
Python是编译运行的验证方法
2015/01/30 Python
Python实现的knn算法示例
2018/06/14 Python
浅谈Python2、Python3相对路径、绝对路径导入方法
2018/06/22 Python
Python 实现子类获取父类的类成员方法
2019/01/11 Python
django使用admin站点上传图片的实例
2019/07/28 Python
python实现吃苹果小游戏
2020/03/21 Python
世界领先的以旅馆为主的在线预订平台:Hostelworld
2016/10/09 全球购物
澳大利亚新奇小玩意网站:Yellow Octopus
2017/12/28 全球购物
Solid & Striped官网:美国泳装品牌
2019/06/19 全球购物
美国专业消费电子及摄影器材网站:B&H Photo Video
2019/12/18 全球购物
房屋出租协议书
2014/04/10 职场文书
教师四风问题对照检查材料
2014/09/26 职场文书
群众路线个人整改方案
2014/10/25 职场文书
大连导游词
2015/02/12 职场文书
2015年质量月活动总结报告
2015/03/27 职场文书
毕业论文致谢格式模板
2015/05/14 职场文书
Python中tqdm的使用和例子
2022/09/23 Python