对python中的six.moves模块的下载函数urlretrieve详解


Posted in Python onDecember 19, 2018

实验环境:windows 7,anaconda 3(python 3.5),tensorflow(gpu/cpu)

函数介绍:所用函数为six.moves下的urllib中的函数,调用如下urllib.request.urlretrieve(url,[filepath,[recall_func,[data]]])。简单介绍一下,url是必填的指的是下载地址,filepath指的是保存的本地地址,recall_func指的是回调函数,下载过程中会调用可以用来显示下载进度。

实验代码:以下载cifar10的dataset和抓取斗鱼首页为例

下载cifar10的dataset,并解压

from six.moves import urllib
import os
import sys
import tensorflow as tf
import tarfile
FLAGS = tf.app.flags.FLAGS#提取系统参数作用的变量
tf.app.flags.DEFINE_string('dir','D:/download_html','directory of html')#将下载目录保存到变量dir中,通过FLAGS.dir提取
directory = FLAGS.dir#从FLAGS中提取dir变量
url = 'http://www.cs.toronto.edu/~kriz/cifar-10-binary.tar.gz'
filename = url.split('/')[-1]#-1表示分割后的最后一个元素
filepath = os.path.join(directory,filename)
if not os.path.exists(directory):
 os.makedirs(directory)
if not os.path.exists(filepath):
 def _recall_func(num,block_size,total_size):
 sys.stdout.write('\r>> downloading %s %.1f%%' % (filename,float(num*block_size)/float(total_size)*100.0))
 sys.stdout.flush()
 urllib.request.urlretrieve(url,filepath,_recall_func)
 print()
 file_info = os.stat(filepath)
 print('Successfully download',filename,file_info.st_size,'bytes')
tar = tarfile.open(filepath,'r:gz')#指定解压路径和解压方式为解压gzip
tar.extractall(directory)#全部解压

对python中的six.moves模块的下载函数urlretrieve详解

抓取斗鱼首页

from six.moves import urllib
import os
import sys
import tensorflow as tf
FLAGS = tf.app.flags.FLAGS#提取系统参数作用的变量
tf.app.flags.DEFINE_string('dir','D:/download_html','directory of html')#将下载目录保存到变量dir中,通过FLAGS.dir提取
directory = FLAGS.dir#从FLAGS中提取dir变量
url = 'http://www.douyu.com/'
filename = 'douyu.html'#保存成你想要的名字,这里保存成douyu.html
filepath = os.path.join(directory,filename)
if not os.path.exists(directory):
 os.makedirs(directory)
if not os.path.exists(filepath):
 def _recall_func(num,block_size,total_size):
 sys.stdout.write('\r>> downloading %s %.1f%%' % (filename,float(num*block_size)/float(total_size)*100.0))
 sys.stdout.flush()
 urllib.request.urlretrieve(url,filepath,_recall_func)
 print()
 file_info = os.stat(filepath)#获取文件信息
 print('Successfully download',filename,file_info.st_size,'bytes')#.st_size文件的大小,以字节为单位

对python中的six.moves模块的下载函数urlretrieve详解

对python中的six.moves模块的下载函数urlretrieve详解

以上这篇对python中的six.moves模块的下载函数urlretrieve详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现在Linux系统下更改当前进程运行用户
Feb 04 Python
Python格式化css文件的方法
Mar 10 Python
深入解析Python中的descriptor描述器的作用及用法
Jun 27 Python
在VS Code上搭建Python开发环境的方法
Apr 06 Python
python 解压pkl文件的方法
Oct 25 Python
对Python 3.5拼接列表的新语法详解
Nov 08 Python
Python3中exp()函数用法分析
Feb 19 Python
基于python的BP神经网络及异或实现过程解析
Sep 30 Python
python 多进程队列数据处理详解
Dec 23 Python
Python warning警告出现的原因及忽略方法
Jan 31 Python
python代码能做成软件吗
Jul 24 Python
python使用建议与技巧分享(二)
Aug 17 Python
python爬虫URL重试机制的实现方法(python2.7以及python3.5)
Dec 18 #Python
对python3标准库httpclient的使用详解
Dec 18 #Python
python 3.3 下载固定链接文件并保存的方法
Dec 18 #Python
python根据url地址下载小文件的实例
Dec 18 #Python
如何用python写一个简单的词法分析器
Dec 18 #Python
详解Python requests 超时和重试的方法
Dec 18 #Python
解决新django中的path不能使用正则表达式的问题
Dec 18 #Python
You might like
一个捕获函数输出的函数
2007/02/14 PHP
PHP 中文乱码解决办法总结分析
2009/07/30 PHP
php number_format() 函数通过千位分组来格式化数字的实现代码
2013/08/06 PHP
Yii2简单实现给表单添加验证码的方法
2016/07/18 PHP
PHP常见过waf webshell以及最简单的检测方法
2019/05/21 PHP
html读出文本文件内容
2007/01/22 Javascript
ext combox 下拉框不出现自动提示,自动选中的解决方法
2010/02/24 Javascript
jQuery find和children方法使用
2011/01/31 Javascript
js获取height和width的方法说明
2013/01/06 Javascript
JavaScript中的Math.sin()方法使用详解
2015/06/15 Javascript
JavaScript基础篇(6)之函数表达式闭包
2015/12/11 Javascript
JavaScript中创建对象的模式汇总
2016/04/19 Javascript
很实用的js选项卡切换效果
2016/08/12 Javascript
新手学习前端之js模仿淘宝主页网站
2016/10/31 Javascript
JavaScript实现多栏目切换效果
2016/12/12 Javascript
vuejs父子组件之间数据交互详解
2017/08/09 Javascript
浅析webpack 如何优雅的使用tree-shaking(摇树优化)
2017/08/16 Javascript
JS学习笔记之闭包小案例分析
2019/05/29 Javascript
小程序实现搜索框功能
2020/03/26 Javascript
基于Vue中使用节流Lodash throttle详解
2019/10/30 Javascript
react-intl实现React国际化多语言的方法
2020/09/27 Javascript
Python使用smtplib模块发送电子邮件的流程详解
2016/06/27 Python
python基础while循环及if判断的实例讲解
2017/08/25 Python
Django 实现下载文件功能的示例
2018/03/06 Python
Python用csv写入文件_消除空余行的方法
2018/07/06 Python
python通过robert、sobel、Laplace算子实现图像边缘提取详解
2019/08/21 Python
python 伯努利分布详解
2020/02/25 Python
python 使用raw socket进行TCP SYN扫描实例
2020/05/05 Python
Keras 快速解决OOM超内存的问题
2020/06/11 Python
python实现扫雷游戏的示例
2020/10/20 Python
DERMAdoctor官网:美国著名皮肤护理品牌
2019/07/06 全球购物
思想品德自我鉴定
2013/10/12 职场文书
企业元宵节主持词
2014/03/25 职场文书
公司合作意向书
2014/04/01 职场文书
党员倡议书
2015/01/19 职场文书
2016年教代会开幕词
2016/03/04 职场文书