Python基础教程之利用期物处理并发


Posted in Python onMarch 29, 2018

前言

抨击线程的往往是系统程序员,他们考虑的使用场景对一般的应用程序员来说,也许一生都不会遇到……应用程序员遇到的使用场景,99% 的情况下只需知道如何派生一堆独立的线程,然后用队列收集结果。

本文章记录了本人在学习Python基础之控制流程篇的重点知识及个人心得,打算入门Python的朋友们可以来一起学习并交流。

本文重点:

      1、掌握异步编程的相关概念;

      2、了解期物future的概念、意义和使用方法;

      3、了解Python中的阻塞型I/O函数释放GIL的特点。

一、异步编程相关概念

阻塞:程序未得到所需计算资源时被挂起的状态。换句话说,程序在等待某个操作完成期间,自身无法继续干别的事情,则称该程序在该操作上是阻塞的。

并发:描述的是程序的组织结构。指程序要被设计成多个可独立执行的子任务。并发以利用有限的计算机资源使多个任务可以被实时或近实时执行为目的。

并行:指的是多任务同时执行的程序状态,以利用多核CPU加速完成多任务为目的。

异步:为完成某个任务,不同程序单元之间过程中无需通信协调,也能完成任务的方式。

不相关的程序单元之间可以是异步的。简言之,异步意味着无序。

异步编程:以进程、线程、协程、函数/方法作为执行任务的基本单位,结合回调,事件循环、信号量等机制,以提高整体执行效率和并发能力的编程方式。

二、期物

就下载国旗为目标实现的三个客户端中,两个HTTP并发客户端比依序下载的脚本性能高很多。

由此说明使用并发可以高效处理网络I/O。

期物(future)指一种对象,表示异步执行的操作。

期物对象:concurrent.futures.Future或asyncio.Future类的实例。

三大方法:

  • Executor.submit():创建期物。
  • concurrent.futures.as_completed():迭代运行结束的期物,返回一个迭代器。
  • Executor.map(): 处理参数不同的同一个可调用对象。

小结:Executor.submit()加futures.as_completed()的组合比Executor.map()更灵活,因为submit()能处理不同的可调用对象和参数。

concurrent.futures模块的主要特色是ThreadPoolExecutor和ProcessPoolExecutor类,这两个类实现的接口能分别在不同的线程或进程中执行可调用的对象。

注意:通常情况下自己不应该创建期物,而只能由并发框架(concurrent.futures或asyncio)实例化。

实例:concurrent.futures模块应用

from concurrent import futures
from flags import save_flag, get_flag, show, main
MAX_WORKERS = 20
def download_one(cc): 
  image = get_flag(cc)
  show(cc)
  save_flag(image, cc.lower() + '.gif')
  return cc
def download_many(cc_list):
  workers = min(MAX_WORKERS, len(cc_list)) 
  with futures.ThreadPoolExecutor(workers) as executor: 
    res = executor.map(download_one, sorted(cc_list)) 
  return len(list(res))
if __name__ == '__main__':
  main(download_many)

三、阻塞性I/O与GIL

Python标准库中所有阻塞型I/O函数都会释放全局解释器锁(GIL),允许其他线程运行。

因此尽管有GIL,Python线程仍然适合在I/O密集型系统使用。

四、线程和多进程的替代方案

对CPU密集型工作来说,要启动多个进程,规避GIL。

创建多进程最简单的方式是使用futures.ProcessPoolExecutor类。

threading和multiprocessing模块:是Python中多线程和多进程并发的低层实现。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
qpython3 读取安卓lastpass Cookies
Jun 19 Python
Python元字符的用法实例解析
Jan 17 Python
python实现周期方波信号频谱图
Jul 21 Python
Python的条件表达式和lambda表达式实例
Jan 31 Python
解决python多行注释引发缩进错误的问题
Aug 23 Python
详解有关PyCharm安装库失败的问题的解决方法
Feb 02 Python
Python编程快速上手——PDF文件操作案例分析
Feb 28 Python
如何配置关联Python 解释器 Anaconda的教程(图解)
Apr 30 Python
django自带的权限管理Permission用法说明
May 13 Python
新手学习Python2和Python3中print不同的用法
Jun 09 Python
用python计算文件的MD5值
Dec 23 Python
在 Python 中利用 Pool 进行多线程
Apr 24 Python
Windows下安装Django框架的方法简明教程
Mar 28 #Python
Python实现的FTP通信客户端与服务器端功能示例
Mar 28 #Python
Python实现发送与接收邮件的方法详解
Mar 28 #Python
Python实现线程状态监测简单示例
Mar 28 #Python
python实现朴素贝叶斯分类器
Mar 28 #Python
详解Python中where()函数的用法
Mar 27 #Python
Django基于ORM操作数据库的方法详解
Mar 27 #Python
You might like
PHP编程获取音频文件时长的方法【基于getid3类】
2017/04/20 PHP
JavaScript 学习技巧
2010/02/17 Javascript
js 实现打印网页中定义的部分内容的代码
2010/04/01 Javascript
jquery easyui使用心得
2014/07/07 Javascript
《JavaScript DOM 编程艺术》读书笔记之JavaScript 简史
2015/01/09 Javascript
关于javascript原型的修改与重写(覆盖)差别详解
2016/08/31 Javascript
JavaScript学习笔记--常用的互动方法
2016/12/07 Javascript
JS设置随机出现2个数字的实例代码
2017/07/19 Javascript
深入浅析Vue不同场景下组件间的数据交流
2017/08/15 Javascript
js实现canvas图片与img图片的相互转换的示例
2017/08/31 Javascript
Node.js使用Express.Router的方法
2017/11/14 Javascript
js中url对象化管理分析
2017/12/29 Javascript
vue.js移动数组位置,同时更新视图的方法
2018/03/08 Javascript
微信小程序中实现手指缩放图片的示例代码
2018/03/13 Javascript
JS实现快递单打印功能【推荐】
2018/06/21 Javascript
详解如何在webpack中做预渲染降低首屏空白时间
2018/08/22 Javascript
详解Vue SSR( Vue2 + Koa2 + Webpack4)配置指南
2018/11/13 Javascript
Vue列表如何实现滚动到指定位置样式改变效果
2020/05/09 Javascript
jQuery实现雪花飘落效果
2020/08/02 jQuery
Python实现微信公众平台自定义菜单实例
2015/03/20 Python
Python读取Json字典写入Excel表格的方法
2018/01/03 Python
基于python2.7实现图形密码生成器的实例代码
2019/11/05 Python
Django后台管理系统的图文使用教学
2020/01/20 Python
Opencv求取连通区域重心实例
2020/06/04 Python
Pycharm配置autopep8实现流程解析
2020/11/28 Python
Django url 路由匹配过程详解
2021/01/22 Python
CSS3使用多列制作瀑布流
2016/05/10 HTML / CSS
英国排名第一的餐具品牌:Denby Pottery
2019/11/01 全球购物
中药专业大学生医药工作求职信
2013/10/25 职场文书
校园活动策划书范文
2014/01/10 职场文书
业务内勤岗位职责
2014/04/30 职场文书
大学同学会活动方案
2014/08/20 职场文书
因公司原因离职的辞职信范文
2015/05/12 职场文书
2015年学校禁毒工作总结
2015/05/27 职场文书
银行安全保卫工作总结
2015/08/10 职场文书
mysql使用 not int 子查询隐含陷阱
2022/04/12 MySQL