如何在Python中编写并发程序


Posted in Python onFebruary 27, 2016

GIL

在Python中,由于历史原因(GIL),使得Python中多线程的效果非常不理想.GIL使得任何时刻Python只能利用一个CPU核,并且它的调度算法简单粗暴:多线程中,让每个线程运行一段时间t,然后强行挂起该线程,继而去运行其他线程,如此周而复始,直到所有线程结束.

这使得无法有效利用计算机系统中的"局部性",频繁的线程切换也对缓存不是很友好,造成资源的浪费.

据说Python官方曾经实现了一个去除GIL的Python解释器,但是其效果还不如有GIL的解释器,遂放弃.后来Python官方推出了"利用多进程替代多线程"的方案,在Python3中也有concurrent.futures这样的包,让我们的程序编写可以做到"简单和性能兼得".

多进程/多线程+Queue

一般来说,在Python中编写并发程序的经验是:计算密集型任务使用多进程,IO密集型任务使用多进程或者多线程.另外,因为涉及到资源共享,所以需要同步锁等一系列麻烦的步骤,代码编写不直观.另外一种好的思路是利用多进程/多线程+Queue的方法,可以避免加锁这样麻烦低效的方式.

现在在Python2中利用Queue+多进程的方法来处理一个IO密集型任务.

假设现在需要下载多个网页内容并进行解析,单进程的方式效率很低,所以使用多进程/多线程势在必行.
我们可以先初始化一个tasks队列,里面将要存储的是一系列dest_url,同时开启4个进程向tasks中取任务然后执行,处理结果存储在一个results队列中,最后对results中的结果进行解析.最后关闭两个队列.

下面是一些主要的逻辑代码.

# -*- coding:utf-8 -*-

#IO密集型任务
#多个进程同时下载多个网页
#利用Queue+多进程
#由于是IO密集型,所以同样可以利用threading模块

import multiprocessing

def main():
  tasks = multiprocessing.JoinableQueue()
  results = multiprocessing.Queue()
  cpu_count = multiprocessing.cpu_count() #进程数目==CPU核数目

  create_process(tasks, results, cpu_count)  #主进程马上创建一系列进程,但是由于阻塞队列tasks开始为空,副进程全部被阻塞
  add_tasks(tasks) #开始往tasks中添加任务
  parse(tasks, results) #最后主进程等待其他线程处理完成结果


def create_process(tasks, results, cpu_count):
  for _ in range(cpu_count):
    p = multiprocessing.Process(target=_worker, args=(tasks, results)) #根据_worker创建对应的进程
    p.daemon = True #让所有进程可以随主进程结束而结束
    p.start() #启动

def _worker(tasks, results):
  while True:  #因为前面所有线程都设置了daemon=True,故不会无限循环
    try:
      task = tasks.get()  #如果tasks中没有任务,则阻塞
      result = _download(task)
      results.put(result)  #some exceptions do not handled
    finally:
      tasks.task_done()

def add_tasks(tasks):
  for url in get_urls(): #get_urls() return a urls_list
    tasks.put(url)

def parse(tasks, results):
  try: 
    tasks.join()
  except KeyboardInterrupt as err:
    print "Tasks has been stopped!"
    print err

  while not results.empty():
    _parse(results)



if __name__ == '__main__':
  main()

利用Python3中的concurrent.futures包

在Python3中可以利用concurrent.futures包,编写更加简单易用的多线程/多进程代码.其使用感觉和Java的concurrent框架很相似(借鉴?)
比如下面的简单代码示例

def handler():
  futures = set()

  with concurrent.futures.ProcessPoolExecutor(max_workers=cpu_count) as executor:
    for task in get_task(tasks):
      future = executor.submit(task)
      futures.add(future)

def wait_for(futures):
  try:
    for future in concurrent.futures.as_completed(futures):
      err = futures.exception()
      if not err:
        result = future.result()
      else:
        raise err
  except KeyboardInterrupt as e:
    for future in futures:
      future.cancel()
    print "Task has been canceled!"
    print e
  return result

总结

要是一些大型Python项目也这般编写,那么效率也太低了.在Python中有许多已有的框架使用,使用它们起来更加高效.
但是自己的一些"小打小闹"的程序这样来编写还是不错的.:)

Python 相关文章推荐
python创建线程示例
May 06 Python
python简单的函数定义和用法实例
May 07 Python
解决Tensorflow使用pip安装后没有model目录的问题
Jun 13 Python
JSON文件及Python对JSON文件的读写操作
Oct 07 Python
pandas重新生成索引的方法
Nov 06 Python
python爬虫刷访问量 2019 7月
Aug 01 Python
Django中ajax发送post请求 报403错误CSRF验证失败解决方案
Aug 13 Python
Django上线部署之IIS的配置方法
Aug 22 Python
详解python中的lambda与sorted函数
Sep 04 Python
python3代码中实现加法重载的实例
Dec 03 Python
opencv实现图像几何变换
Mar 24 Python
python在package下继续嵌套一个package
Apr 14 Python
Python 多线程抓取图片效率对比
Feb 27 #Python
Python 的描述符 descriptor详解
Feb 27 #Python
简析Python的闭包和装饰器
Feb 26 #Python
Android应用开发中Action bar编写的入门教程
Feb 26 #Python
12步教你理解Python装饰器
Feb 25 #Python
Python实现字典依据value排序
Feb 24 #Python
Python中方法链的使用方法
Feb 23 #Python
You might like
PHP中动态显示签名和ip原理
2007/03/28 PHP
用PHP获取Google AJAX Search API 数据的代码
2010/03/12 PHP
PHP简单检测网址是否能够正常打开的方法
2016/09/04 PHP
Yii2下session跨域名共存的解决方案
2017/02/04 PHP
PHP针对伪静态的注入总结【附asp与Python相关代码】
2017/08/01 PHP
基于CI(CodeIgniter)框架实现购物车功能的方法
2018/04/09 PHP
phpMyAdmin通过密码漏洞留后门文件
2018/11/20 PHP
js根据日期判断星座的示例代码
2014/01/23 Javascript
JS替换文本域内的回车示例
2014/02/18 Javascript
jQuery对象的selector属性用法实例
2014/12/27 Javascript
JavaScript中的Truthy和Falsy介绍
2015/01/01 Javascript
用js判断是否为360浏览器的实现代码
2015/01/15 Javascript
JavaScript中的bold()方法使用详解
2015/06/08 Javascript
理解JS事件循环
2016/01/07 Javascript
Angularjs 设置全局变量的方法总结
2016/10/20 Javascript
jquery日历插件e-calendar升级版
2016/11/10 Javascript
详解vue项目优化之按需加载组件-使用webpack require.ensure
2017/06/13 Javascript
JS中使用media实现响应式布局
2017/08/04 Javascript
基于vue中css预加载使用sass的配置方式详解
2018/03/13 Javascript
微信小程序实现滚动Tab选项卡
2020/11/16 Javascript
JavaScript对象访问器Getter及Setter原理解析
2020/12/08 Javascript
python利用正则表达式提取字符串
2016/12/08 Python
Python实现可获取网易页面所有文本信息的网易网络爬虫功能示例
2018/01/15 Python
Python实现八皇后问题示例代码
2018/12/09 Python
Python 格式化打印json数据方法(展开状态)
2020/02/27 Python
Python代码一键转Jar包及Java调用Python新姿势
2020/03/10 Python
Alpine安装Python3依赖出现的问题及解决方法
2020/12/25 Python
Python操作PostgreSql数据库的方法(基本的增删改查)
2020/12/29 Python
纯CSS3实现地球自转实现代码(图文教程附送源码)
2012/12/26 HTML / CSS
夏威夷航空官网:Hawaiian Airlines
2016/09/11 全球购物
法制报告会主持词
2014/04/02 职场文书
社区反邪教工作方案
2014/06/16 职场文书
2014年数学教师工作总结
2014/12/03 职场文书
公司业务员管理制度
2015/08/05 职场文书
一小时学会TensorFlow2之基本操作2实例代码
2021/09/04 Python
“鬼灭之刃”热度不减,其成功背后的原因是什么?
2022/03/22 日漫