Python通过future处理并发问题


Posted in Python onOctober 17, 2017

future初识

通过下面脚本来对future进行一个初步了解:

例子1:普通通过循环的方式

import os
import time
import sys
import requests
POP20_CC = (
 "CN IN US ID BR PK NG BD RU JP MX PH VN ET EG DE IR TR CD FR"
).split()
BASE_URL = 'http://flupy.org/data/flags'
DEST_DIR = 'downloads/'
def save_flag(img,filename):
 path = os.path.join(DEST_DIR,filename)
 with open(path,'wb') as fp:
 fp.write(img)
def get_flag(cc):
 url = "{}/{cc}/{cc}.gif".format(BASE_URL,cc=cc.lower())
 resp = requests.get(url)
 return resp.content
def show(text):
 print(text,end=" ")
 sys.stdout.flush()
def download_many(cc_list):
 for cc in sorted(cc_list):
 image = get_flag(cc)
 show(cc)
 save_flag(image,cc.lower()+".gif")
 return len(cc_list)
def main(download_many):
 t0 = time.time()
 count = download_many(POP20_CC)
 elapsed = time.time()-t0
 msg = "\n{} flags downloaded in {:.2f}s"
 print(msg.format(count,elapsed))
if __name__ == '__main__':
 main(download_many)

    例子2:通过future方式实现,这里对上面的部分代码进行了复用

from concurrent import futures
from flags import save_flag, get_flag, show, main
MAX_WORKERS = 20
def download_one(cc):
 image = get_flag(cc)
 show(cc)
 save_flag(image, cc.lower()+".gif")
 return cc
def download_many(cc_list):
 workers = min(MAX_WORKERS,len(cc_list))
 with futures.ThreadPoolExecutor(workers) as executor:
 res = executor.map(download_one, sorted(cc_list))
 return len(list(res))
if __name__ == '__main__':
 main(download_many)

    分别运行三次,两者的平均速度:13.67和1.59s,可以看到差别还是非常大的。

future

future是concurrent.futures模块和asyncio模块的重要组件

从python3.4开始标准库中有两个名为Future的类:concurrent.futures.Future和asyncio.Future
这两个类的作用相同:两个Future类的实例都表示可能完成或者尚未完成的延迟计算。与Twisted中的Deferred类、Tornado框架中的Future类的功能类似

注意:通常情况下自己不应该创建future,而是由并发框架(concurrent.futures或asyncio)实例化

原因:future表示终将发生的事情,而确定某件事情会发生的唯一方式是执行的时间已经安排好,因此只有把某件事情交给concurrent.futures.Executor子类处理时,才会创建concurrent.futures.Future实例。
如:Executor.submit()方法的参数是一个可调用的对象,调用这个方法后会为传入的可调用对象排定时间,并返回一个

future

客户端代码不能应该改变future的状态,并发框架在future表示的延迟计算结束后会改变期物的状态,我们无法控制计算何时结束。

这两种future都有.done()方法,这个方法不阻塞,返回值是布尔值,指明future链接的可调用对象是否已经执行。客户端代码通常不会询问future是否运行结束,而是会等待通知。因此两个Future类都有.add_done_callback()方法,这个方法只有一个参数,类型是可调用的对象,future运行结束后会调用指定的可调用对象。

.result()方法是在两个Future类中的作用相同:返回可调用对象的结果,或者重新抛出执行可调用的对象时抛出的异常。但是如果future没有运行结束,result方法在两个Futrue类中的行为差别非常大。

对concurrent.futures.Future实例来说,调用.result()方法会阻塞调用方所在的线程,直到有结果可返回,此时,result方法可以接收可选的timeout参数,如果在指定的时间内future没有运行完毕,会抛出TimeoutError异常。

而asyncio.Future.result方法不支持设定超时时间,在获取future结果最好使用yield from结构,但是concurrent.futures.Future不能这样做

不管是asyncio还是concurrent.futures.Future都会有几个函数是返回future,其他函数则是使用future,在最开始的例子中我们使用的Executor.map就是在使用future,返回值是一个迭代器,迭代器的__next__方法调用各个future的result方法,因此我们得到的是各个futrue的结果,而不是future本身

关于future.as_completed函数的使用,这里我们用了两个循环,一个用于创建并排定future,另外一个用于获取future的结果

from concurrent import futures
from flags import save_flag, get_flag, show, main
MAX_WORKERS = 20
def download_one(cc):
 image = get_flag(cc)
 show(cc)
 save_flag(image, cc.lower()+".gif")
 return cc
def download_many(cc_list):
 cc_list = cc_list[:5]
 with futures.ThreadPoolExecutor(max_workers=3) as executor:
 to_do = []
 for cc in sorted(cc_list):
  future = executor.submit(download_one,cc)
  to_do.append(future)
  msg = "Secheduled for {}:{}"
  print(msg.format(cc,future))
 results = []
 for future in futures.as_completed(to_do):
  res = future.result()
  msg = "{}result:{!r}"
  print(msg.format(future,res))
  results.append(res)
 return len(results)
if __name__ == '__main__':
 main(download_many)

    结果如下:

Python通过future处理并发问题

注意:Python代码是无法控制GIL,标准库中所有执行阻塞型IO操作的函数,在等待操作系统返回结果时都会释放GIL.运行其他线程执行,也正是因为这样,Python线程可以在IO密集型应用中发挥作用

以上都是concurrent.futures启动线程,下面通过它启动进程

concurrent.futures启动进程

concurrent.futures中的ProcessPoolExecutor类把工作分配给多个Python进程处理,因此,如果需要做CPU密集型处理,使用这个模块能绕开GIL,利用所有的CPU核心。

其原理是一个ProcessPoolExecutor创建了N个独立的Python解释器,N是系统上面可用的CPU核数。

使用方法和ThreadPoolExecutor方法一样

总结

Python 相关文章推荐
python操作MySQL数据库的方法分享
May 29 Python
Python赋值语句后逗号的作用分析
Jun 08 Python
python常见排序算法基础教程
Apr 13 Python
Python cookbook(数据结构与算法)将名称映射到序列元素中的方法
Mar 22 Python
如何利用python查找电脑文件
Apr 27 Python
Python 生成 -1~1 之间的随机数矩阵方法
Aug 04 Python
Django的models中on_delete参数详解
Jul 16 Python
Django 请求Request的具体使用方法
Nov 11 Python
Django通用类视图实现忘记密码重置密码功能示例
Dec 17 Python
python argparse传入布尔参数false不生效的解决
Apr 20 Python
在Windows上安装和配置 Jupyter Lab 作为桌面级应用程序教程
Apr 22 Python
pycharm 配置svn的图文教程(手把手教你)
Jan 15 Python
python3设计模式之简单工厂模式
Oct 17 #Python
基于Python和Scikit-Learn的机器学习探索
Oct 16 #Python
python版简单工厂模式
Oct 16 #Python
Python实现扩展内置类型的方法分析
Oct 16 #Python
Python使用文件锁实现进程间同步功能【基于fcntl模块】
Oct 16 #Python
python利用paramiko连接远程服务器执行命令的方法
Oct 16 #Python
基于使用paramiko执行远程linux主机命令(详解)
Oct 16 #Python
You might like
php中文本操作的类
2007/03/17 PHP
PHP通过正则表达式下载图片到本地的实现代码
2011/09/19 PHP
从零开始学YII2框架(二)通过 Composer 安装扩展插件
2014/08/20 PHP
PHP创建word文档的方法(平台无关)
2016/03/29 PHP
关于ThinkPhp 框架表单验证及ajax验证问题
2017/07/19 PHP
PHP7基于curl实现的上传图片功能
2018/05/11 PHP
PHP实现时间日期友好显示实现代码
2019/09/08 PHP
让Firefox支持event对象实现代码
2009/11/07 Javascript
a标签的href和onclick 的事件的区别介绍
2013/07/26 Javascript
JavaScript实现鼠标点击后层展开效果的方法
2015/05/13 Javascript
JavaScript字符串删除重复字符的方法
2015/12/25 Javascript
JavaScript从0开始构思表情插件
2016/07/26 Javascript
学习vue.js条件渲染
2016/12/03 Javascript
jQuery实现别踩白块儿网页版小游戏
2017/01/18 Javascript
原生js实现可拖拽效果
2017/02/28 Javascript
微信小程序商城项目之购物数量加减(3)
2017/04/17 Javascript
Vue跨域请求问题解决方案过程解析
2020/08/07 Javascript
原生JS实现音乐播放器
2021/01/26 Javascript
[04:00]DOTA2解说界神雕侠侣 CJ第四天谷子现场过生日
2013/07/30 DOTA
[04:09]2018年度DOTA2社区贡献奖-完美盛典
2018/12/16 DOTA
基于python脚本实现软件的注册功能(机器码+注册码机制)
2016/10/09 Python
Python中协程用法代码详解
2018/02/10 Python
python 根据时间来生成唯一的字符串方法
2019/01/14 Python
彻底理解Python中的yield关键字
2019/04/01 Python
Python3使用TCP编写一个简易的文件下载器功能
2019/05/08 Python
Keras—embedding嵌入层的用法详解
2020/06/10 Python
关于Python3的import问题(pycharm可以运行命令行import错误)
2020/11/18 Python
Pytorch自定义Dataset和DataLoader去除不存在和空数据的操作
2021/03/03 Python
美国一家著名的手表在线折扣网站:Discount Watch Store
2020/02/24 全球购物
How TDD works
2012/09/30 面试题
黄河象教学反思
2014/02/10 职场文书
小学生差生评语
2014/12/29 职场文书
校园环境卫生倡议书
2015/04/29 职场文书
Go语言使用select{}阻塞main函数介绍
2021/04/25 Golang
ROS系统将python包编译为可执行文件的简单步骤
2021/07/25 Python
golang定时器
2022/04/14 Golang