对python中的six.moves模块的下载函数urlretrieve详解


Posted in Python onDecember 19, 2018

实验环境:windows 7,anaconda 3(python 3.5),tensorflow(gpu/cpu)

函数介绍:所用函数为six.moves下的urllib中的函数,调用如下urllib.request.urlretrieve(url,[filepath,[recall_func,[data]]])。简单介绍一下,url是必填的指的是下载地址,filepath指的是保存的本地地址,recall_func指的是回调函数,下载过程中会调用可以用来显示下载进度。

实验代码:以下载cifar10的dataset和抓取斗鱼首页为例

下载cifar10的dataset,并解压

from six.moves import urllib
import os
import sys
import tensorflow as tf
import tarfile
FLAGS = tf.app.flags.FLAGS#提取系统参数作用的变量
tf.app.flags.DEFINE_string('dir','D:/download_html','directory of html')#将下载目录保存到变量dir中,通过FLAGS.dir提取
directory = FLAGS.dir#从FLAGS中提取dir变量
url = 'http://www.cs.toronto.edu/~kriz/cifar-10-binary.tar.gz'
filename = url.split('/')[-1]#-1表示分割后的最后一个元素
filepath = os.path.join(directory,filename)
if not os.path.exists(directory):
 os.makedirs(directory)
if not os.path.exists(filepath):
 def _recall_func(num,block_size,total_size):
 sys.stdout.write('\r>> downloading %s %.1f%%' % (filename,float(num*block_size)/float(total_size)*100.0))
 sys.stdout.flush()
 urllib.request.urlretrieve(url,filepath,_recall_func)
 print()
 file_info = os.stat(filepath)
 print('Successfully download',filename,file_info.st_size,'bytes')
tar = tarfile.open(filepath,'r:gz')#指定解压路径和解压方式为解压gzip
tar.extractall(directory)#全部解压

对python中的six.moves模块的下载函数urlretrieve详解

抓取斗鱼首页

from six.moves import urllib
import os
import sys
import tensorflow as tf
FLAGS = tf.app.flags.FLAGS#提取系统参数作用的变量
tf.app.flags.DEFINE_string('dir','D:/download_html','directory of html')#将下载目录保存到变量dir中,通过FLAGS.dir提取
directory = FLAGS.dir#从FLAGS中提取dir变量
url = 'http://www.douyu.com/'
filename = 'douyu.html'#保存成你想要的名字,这里保存成douyu.html
filepath = os.path.join(directory,filename)
if not os.path.exists(directory):
 os.makedirs(directory)
if not os.path.exists(filepath):
 def _recall_func(num,block_size,total_size):
 sys.stdout.write('\r>> downloading %s %.1f%%' % (filename,float(num*block_size)/float(total_size)*100.0))
 sys.stdout.flush()
 urllib.request.urlretrieve(url,filepath,_recall_func)
 print()
 file_info = os.stat(filepath)#获取文件信息
 print('Successfully download',filename,file_info.st_size,'bytes')#.st_size文件的大小,以字节为单位

对python中的six.moves模块的下载函数urlretrieve详解

对python中的six.moves模块的下载函数urlretrieve详解

以上这篇对python中的six.moves模块的下载函数urlretrieve详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
用python分割TXT文件成4K的TXT文件
May 23 Python
wxpython学习笔记(推荐查看)
Jun 09 Python
Python命令启动Web服务器实例详解
Feb 23 Python
详解python运行三种方式
May 13 Python
python图形工具turtle绘制国际象棋棋盘
May 23 Python
python自动发邮件总结及实例说明【推荐】
May 31 Python
对python中url参数编码与解码的实例详解
Jul 25 Python
Python单元测试与测试用例简析
Nov 09 Python
Python中的sys.stdout.write实现打印刷新功能
Feb 21 Python
python自动脚本的pyautogui入门学习
Apr 01 Python
使用python创建生成动态链接库dll的方法
May 09 Python
Python参数传递及收集机制原理解析
Jun 05 Python
python爬虫URL重试机制的实现方法(python2.7以及python3.5)
Dec 18 #Python
对python3标准库httpclient的使用详解
Dec 18 #Python
python 3.3 下载固定链接文件并保存的方法
Dec 18 #Python
python根据url地址下载小文件的实例
Dec 18 #Python
如何用python写一个简单的词法分析器
Dec 18 #Python
详解Python requests 超时和重试的方法
Dec 18 #Python
解决新django中的path不能使用正则表达式的问题
Dec 18 #Python
You might like
php4的彩蛋
2006/10/09 PHP
php入门之连接mysql数据库的一个类
2012/04/21 PHP
php基于表单密码验证与HTTP验证用法实例
2015/01/06 PHP
javascript 有用的脚本函数
2009/05/07 Javascript
使用JSLint提高JS代码质量方法分享
2013/12/16 Javascript
20个实用的JavaScript技巧分享
2014/11/28 Javascript
jQuery实现的五子棋游戏实例
2015/06/13 Javascript
在Html中使用Requirejs进行模块化开发实例详解
2016/04/15 Javascript
基于jQuery实现点击列表加载更多效果
2016/05/31 Javascript
jquery实现轮播图效果
2017/02/13 Javascript
EasyUI实现下拉框多选功能
2017/11/07 Javascript
常用的9个JavaScript图表库详解
2017/12/19 Javascript
Vue-cli项目获取本地json文件数据的实例
2018/03/07 Javascript
layui radio单选限制下一个radio单选的实例
2019/09/03 Javascript
Python实现程序的单一实例用法分析
2015/06/03 Python
基python实现多线程网页爬虫
2015/09/06 Python
Python入门之三角函数atan2()函数详解
2017/11/08 Python
Python wxpython模块响应鼠标拖动事件操作示例
2018/08/23 Python
python视频按帧截取图片工具
2019/07/23 Python
python代码xml转txt实例
2020/03/10 Python
django model的update时auto_now不被更新的原因及解决方式
2020/04/01 Python
Python实现Canny及Hough算法代码实例解析
2020/08/06 Python
CSS3对背景图片的裁剪及尺寸和位置的设定方法
2016/03/07 HTML / CSS
CSS3动画:5种预载动画效果实例
2017/04/05 HTML / CSS
GUESS西班牙官方网上商城:美国服饰品牌
2017/03/15 全球购物
澳大利亚自然和有机的健康美容产品一站式商店:Ziani Beauty
2017/12/28 全球购物
公务员年总结的自我评价
2013/10/25 职场文书
车间主任岗位职责
2014/03/16 职场文书
员工合理化建议书
2014/05/19 职场文书
消防安全宣传口号
2014/06/10 职场文书
2015年教师节活动总结
2015/03/20 职场文书
2015公司年度工作总结
2015/05/14 职场文书
董事长新年致辞
2015/07/29 职场文书
Python基础之元类详解
2021/04/29 Python
Apache Linkis 中间件架构及快速安装步骤
2022/03/16 Servers
MySQL 原理与优化之原数据锁的应用
2022/08/14 MySQL