Python基础教程之利用期物处理并发


Posted in Python onMarch 29, 2018

前言

抨击线程的往往是系统程序员,他们考虑的使用场景对一般的应用程序员来说,也许一生都不会遇到……应用程序员遇到的使用场景,99% 的情况下只需知道如何派生一堆独立的线程,然后用队列收集结果。

本文章记录了本人在学习Python基础之控制流程篇的重点知识及个人心得,打算入门Python的朋友们可以来一起学习并交流。

本文重点:

      1、掌握异步编程的相关概念;

      2、了解期物future的概念、意义和使用方法;

      3、了解Python中的阻塞型I/O函数释放GIL的特点。

一、异步编程相关概念

阻塞:程序未得到所需计算资源时被挂起的状态。换句话说,程序在等待某个操作完成期间,自身无法继续干别的事情,则称该程序在该操作上是阻塞的。

并发:描述的是程序的组织结构。指程序要被设计成多个可独立执行的子任务。并发以利用有限的计算机资源使多个任务可以被实时或近实时执行为目的。

并行:指的是多任务同时执行的程序状态,以利用多核CPU加速完成多任务为目的。

异步:为完成某个任务,不同程序单元之间过程中无需通信协调,也能完成任务的方式。

不相关的程序单元之间可以是异步的。简言之,异步意味着无序。

异步编程:以进程、线程、协程、函数/方法作为执行任务的基本单位,结合回调,事件循环、信号量等机制,以提高整体执行效率和并发能力的编程方式。

二、期物

就下载国旗为目标实现的三个客户端中,两个HTTP并发客户端比依序下载的脚本性能高很多。

由此说明使用并发可以高效处理网络I/O。

期物(future)指一种对象,表示异步执行的操作。

期物对象:concurrent.futures.Future或asyncio.Future类的实例。

三大方法:

  • Executor.submit():创建期物。
  • concurrent.futures.as_completed():迭代运行结束的期物,返回一个迭代器。
  • Executor.map(): 处理参数不同的同一个可调用对象。

小结:Executor.submit()加futures.as_completed()的组合比Executor.map()更灵活,因为submit()能处理不同的可调用对象和参数。

concurrent.futures模块的主要特色是ThreadPoolExecutor和ProcessPoolExecutor类,这两个类实现的接口能分别在不同的线程或进程中执行可调用的对象。

注意:通常情况下自己不应该创建期物,而只能由并发框架(concurrent.futures或asyncio)实例化。

实例:concurrent.futures模块应用

from concurrent import futures
from flags import save_flag, get_flag, show, main
MAX_WORKERS = 20
def download_one(cc): 
  image = get_flag(cc)
  show(cc)
  save_flag(image, cc.lower() + '.gif')
  return cc
def download_many(cc_list):
  workers = min(MAX_WORKERS, len(cc_list)) 
  with futures.ThreadPoolExecutor(workers) as executor: 
    res = executor.map(download_one, sorted(cc_list)) 
  return len(list(res))
if __name__ == '__main__':
  main(download_many)

三、阻塞性I/O与GIL

Python标准库中所有阻塞型I/O函数都会释放全局解释器锁(GIL),允许其他线程运行。

因此尽管有GIL,Python线程仍然适合在I/O密集型系统使用。

四、线程和多进程的替代方案

对CPU密集型工作来说,要启动多个进程,规避GIL。

创建多进程最简单的方式是使用futures.ProcessPoolExecutor类。

threading和multiprocessing模块:是Python中多线程和多进程并发的低层实现。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
Python中使用pprint函数进行格式化输出的教程
Apr 07 Python
Python读写配置文件的方法
Jun 03 Python
PyQt5利用QPainter绘制各种图形的实例
Oct 19 Python
Python实现备份MySQL数据库的方法示例
Jan 11 Python
python3利用Dlib19.7实现人脸68个特征点标定
Feb 26 Python
谈谈Python中的while循环语句
Mar 10 Python
python打印直角三角形与等腰三角形实例代码
Oct 20 Python
Django自带的加密算法及加密模块详解
Dec 03 Python
python GUI库图形界面开发之PyQt5计数器控件QSpinBox详细使用方法与实例
Feb 28 Python
Selenium alert 弹窗处理的示例代码
Aug 06 Python
python实现画图工具
Aug 27 Python
浅谈Python数学建模之数据导入
Jun 23 Python
Windows下安装Django框架的方法简明教程
Mar 28 #Python
Python实现的FTP通信客户端与服务器端功能示例
Mar 28 #Python
Python实现发送与接收邮件的方法详解
Mar 28 #Python
Python实现线程状态监测简单示例
Mar 28 #Python
python实现朴素贝叶斯分类器
Mar 28 #Python
详解Python中where()函数的用法
Mar 27 #Python
Django基于ORM操作数据库的方法详解
Mar 27 #Python
You might like
js关于精确计算和数值格式化以及直接引js文件
2014/01/28 Javascript
jquery超简单实现手风琴效果的方法
2015/06/05 Javascript
JS实现从连接中获取youtube的key实例
2015/07/02 Javascript
浅析四种常见的Javascript声明循环变量的书写方式
2015/10/14 Javascript
jquery对象和DOM对象的任意相互转换
2016/02/21 Javascript
原生js获取元素样式的简单方法
2016/08/06 Javascript
AngularJs IE Compatibility 兼容老版本IE
2016/09/01 Javascript
switch语句的妙用(必看篇)
2016/10/03 Javascript
微信小程序 wx.request(OBJECT)发起请求详解
2016/10/13 Javascript
前端分页功能的实现以及原理(jQuery)
2017/01/22 Javascript
Nodejs多站点切换Htpps协议详解及简单实例
2017/02/23 NodeJs
Javascript操作dom对象之select全面解析
2017/04/24 Javascript
JQuery Ajax 异步操作之动态添加节点功能
2017/05/24 jQuery
浅谈angular2路由预加载策略
2017/10/04 Javascript
详解vue 组件之间使用eventbus传值
2017/10/25 Javascript
Vuejs 2.0 子组件访问/调用父组件的方法(示例代码)
2018/02/08 Javascript
对Vue beforeRouteEnter 的next执行时机详解
2018/08/25 Javascript
JS/HTML5游戏常用算法之碰撞检测 地图格子算法实例详解
2018/12/12 Javascript
vue2配置scss的方法步骤
2019/06/06 Javascript
[42:23]完美世界DOTA2联赛PWL S3 Forest vs Rebirth 第二场 12.10
2020/12/13 DOTA
进一步探究Python中的正则表达式
2015/04/28 Python
Swift 3.0在集合类数据结构上的一些新变化总结
2016/07/11 Python
基于django channel实现websocket的聊天室的方法示例
2019/04/11 Python
Python OpenCV实现视频分帧
2019/06/01 Python
Python之数据序列化(json、pickle、shelve)详解
2019/08/30 Python
Python 寻找局部最高点的实现
2019/12/05 Python
Python中过滤字符串列表的方法
2020/12/22 Python
HTML5中input[type='date']自定义样式与日历校验功能的实现代码
2017/07/11 HTML / CSS
波兰在线体育用品商店:Hop-Sport.pl
2019/07/23 全球购物
天逸系统(武汉)有限公司Java笔试题
2015/12/29 面试题
旅游与酒店管理的自我评价分享
2013/11/03 职场文书
《狮子和兔子》教学反思
2014/03/02 职场文书
酒店前台接待岗位职责
2015/04/02 职场文书
Python制作春联的示例代码
2022/01/22 Python
WCG2010 星际争霸决赛 Flash vs Goojila 1 星际经典比赛回顾
2022/04/01 星际争霸
MySQL池化框架学习接池自定义
2022/07/23 MySQL