python 并发下载器实现方法示例


Posted in Python onNovember 22, 2019

本文实例讲述了python 并发下载器实现方法。分享给大家供大家参考,具体如下:

并发下载器

并发下载原理

from gevent import monkey
import gevent
import urllib.request
# 有耗时操作时需要
monkey.patch_all()
def my_downLoad(url):
  print('GET: %s' % url)
  resp = urllib.request.urlopen(url)
  data = resp.read()
  print('%d bytes received from %s.' % (len(data), url))
gevent.joinall([
    gevent.spawn(my_downLoad, 'http://www.baidu.com/'),
    gevent.spawn(my_downLoad, 'http://www.itcast.cn/'),
    gevent.spawn(my_downLoad, 'http://www.itheima.com/'),
])

运行结果

GET: http://www.baidu.com/
GET: http://www.itcast.cn/
GET: http://www.itheima.com/
111327 bytes received from http://www.baidu.com/.
172054 bytes received from http://www.itheima.com/.
215035 bytes received from http://www.itcast.cn/.

从上能够看到是先发送的获取baidu的相关信息,然后依次是itcast、itheima,但是收到数据的先后顺序不一定与发送顺序相同,这也就体现出了异步,即不确定什么时候会收到数据,顺序不一定

实现多个视频下载

from gevent import monkey
import gevent
import urllib.request
#有IO才做时需要这一句
monkey.patch_all()
def my_downLoad(file_name, url):
  print('GET: %s' % url)
  resp = urllib.request.urlopen(url)
  data = resp.read()
  with open(file_name, "wb") as f:
    f.write(data)
  print('%d bytes received from %s.' % (len(data), url))
gevent.joinall([
    gevent.spawn(my_downLoad, "1.mp4", 'http://oo52bgdsl.bkt.clouddn.com/05day-08-%E3%80%90%E7%90%86%E8%A7%A3%E3%80%91%E5%87%BD%E6%95%B0%E4%BD%BF%E7%94%A8%E6%80%BB%E7%BB%93%EF%BC%88%E4%B8%80%EF%BC%89.mp4'),
    gevent.spawn(my_downLoad, "2.mp4", 'http://oo52bgdsl.bkt.clouddn.com/05day-03-%E3%80%90%E6%8E%8C%E6%8F%A1%E3%80%91%E6%97%A0%E5%8F%82%E6%95%B0%E6%97%A0%E8%BF%94%E5%9B%9E%E5%80%BC%E5%87%BD%E6%95%B0%E7%9A%84%E5%AE%9A%E4%B9%89%E3%80%81%E8%B0%83%E7%94%A8%28%E4%B8%8B%29.mp4'),
])

上面的url可以换为自己需要下载视频、音乐、图片等网址

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
使用python删除nginx缓存文件示例(python文件操作)
Mar 26 Python
Python中使用ConfigParser解析ini配置文件实例
Aug 30 Python
Python如何实现守护进程的方法示例
Feb 08 Python
python实现跨excel的工作表sheet之间的复制方法
May 03 Python
Python控制Firefox方法总结
Jun 03 Python
python设置环境变量的作用和实例
Jul 09 Python
Python退出时强制运行一段代码的实现方法
Apr 29 Python
python3获取控制台输入的数据的具体实例
Aug 16 Python
Python 排序最长英文单词链(列表中前一个单词末字母是下一个单词的首字母)
Dec 14 Python
Python实现邮件发送的详细设置方法(遇到问题)
Jan 18 Python
ASP.NET Core中的配置详解
Feb 05 Python
http通过StreamingHttpResponse完成连续的数据传输长链接方式
Feb 12 Python
使用python绘制二维图形示例
Nov 22 #Python
python将邻接矩阵输出成图的实现
Nov 21 #Python
python实现小世界网络生成
Nov 21 #Python
使用Python的networkx绘制精美网络图教程
Nov 21 #Python
利用Python绘制Jazz网络图的例子
Nov 21 #Python
Python TCP通信客户端服务端代码实例
Nov 21 #Python
python绘制随机网络图形示例
Nov 21 #Python
You might like
PHP中的cookie不用刷新就生效的方法
2012/02/04 PHP
js 获取屏幕各种宽高的方法(浏览器兼容)
2013/05/15 Javascript
javascript禁制后退键(Backspace)实例代码
2013/11/15 Javascript
js设置function参数默认值(适合没有传参情况)
2014/02/24 Javascript
JavaScript使用push方法添加一个元素到数组末尾用法实例
2015/04/06 Javascript
10条建议帮助你创建更好的jQuery插件
2015/05/18 Javascript
jQuery animate和CSS3相结合实现缓动追逐效果附源码下载
2016/04/18 Javascript
Javascript使用function创建类的两种方法(推荐)
2016/11/19 Javascript
JavaScript使用Ajax上传文件的示例代码
2017/08/10 Javascript
详解Vue 中 extend 、component 、mixins 、extends 的区别
2017/12/20 Javascript
详解JS转换数值函数Number()、parseInt()、parseFloat()
2018/08/24 Javascript
大转盘抽奖小程序版 转盘抽奖网页版
2020/04/16 Javascript
微信小程序聊天功能的示例代码
2020/01/13 Javascript
windows系统中python使用rar命令压缩多个文件夹示例
2014/05/06 Python
python使用pil生成图片验证码的方法
2015/05/08 Python
Python实现的维尼吉亚密码算法示例
2018/04/12 Python
python中计算一个列表中连续相同的元素个数方法
2018/06/29 Python
利用Django-environ如何区分不同环境
2018/08/26 Python
Django框架静态文件处理、中间件、上传文件操作实例详解
2020/02/29 Python
Python用K-means聚类算法进行客户分群的实现
2020/08/23 Python
Python爬取网页信息的示例
2020/09/24 Python
python import 上级目录的导入
2020/11/03 Python
中国最大的团购网站:聚划算
2016/09/21 全球购物
印度服装购物网站:Limeroad
2018/09/26 全球购物
罗技美国官网:Logitech美国
2020/01/22 全球购物
澳大利亚网上书店:QBD
2021/01/09 全球购物
学习十八届三中全会精神实施方案
2014/02/17 职场文书
槐乡的孩子教学反思
2014/04/27 职场文书
活动总结的格式
2014/05/07 职场文书
演讲稿的写法
2014/05/19 职场文书
机械操作工岗位职责
2014/08/08 职场文书
助人为乐好少年事迹材料
2014/08/18 职场文书
法学专业毕业实习自我鉴定2014
2014/09/27 职场文书
学生不讲诚信检讨书
2014/09/29 职场文书
2015年医药代表工作总结
2015/04/25 职场文书
盲山观后感
2015/06/11 职场文书