如何在Python中编写并发程序


Posted in Python onFebruary 27, 2016

GIL

在Python中,由于历史原因(GIL),使得Python中多线程的效果非常不理想.GIL使得任何时刻Python只能利用一个CPU核,并且它的调度算法简单粗暴:多线程中,让每个线程运行一段时间t,然后强行挂起该线程,继而去运行其他线程,如此周而复始,直到所有线程结束.

这使得无法有效利用计算机系统中的"局部性",频繁的线程切换也对缓存不是很友好,造成资源的浪费.

据说Python官方曾经实现了一个去除GIL的Python解释器,但是其效果还不如有GIL的解释器,遂放弃.后来Python官方推出了"利用多进程替代多线程"的方案,在Python3中也有concurrent.futures这样的包,让我们的程序编写可以做到"简单和性能兼得".

多进程/多线程+Queue

一般来说,在Python中编写并发程序的经验是:计算密集型任务使用多进程,IO密集型任务使用多进程或者多线程.另外,因为涉及到资源共享,所以需要同步锁等一系列麻烦的步骤,代码编写不直观.另外一种好的思路是利用多进程/多线程+Queue的方法,可以避免加锁这样麻烦低效的方式.

现在在Python2中利用Queue+多进程的方法来处理一个IO密集型任务.

假设现在需要下载多个网页内容并进行解析,单进程的方式效率很低,所以使用多进程/多线程势在必行.
我们可以先初始化一个tasks队列,里面将要存储的是一系列dest_url,同时开启4个进程向tasks中取任务然后执行,处理结果存储在一个results队列中,最后对results中的结果进行解析.最后关闭两个队列.

下面是一些主要的逻辑代码.

# -*- coding:utf-8 -*-

#IO密集型任务
#多个进程同时下载多个网页
#利用Queue+多进程
#由于是IO密集型,所以同样可以利用threading模块

import multiprocessing

def main():
  tasks = multiprocessing.JoinableQueue()
  results = multiprocessing.Queue()
  cpu_count = multiprocessing.cpu_count() #进程数目==CPU核数目

  create_process(tasks, results, cpu_count)  #主进程马上创建一系列进程,但是由于阻塞队列tasks开始为空,副进程全部被阻塞
  add_tasks(tasks) #开始往tasks中添加任务
  parse(tasks, results) #最后主进程等待其他线程处理完成结果


def create_process(tasks, results, cpu_count):
  for _ in range(cpu_count):
    p = multiprocessing.Process(target=_worker, args=(tasks, results)) #根据_worker创建对应的进程
    p.daemon = True #让所有进程可以随主进程结束而结束
    p.start() #启动

def _worker(tasks, results):
  while True:  #因为前面所有线程都设置了daemon=True,故不会无限循环
    try:
      task = tasks.get()  #如果tasks中没有任务,则阻塞
      result = _download(task)
      results.put(result)  #some exceptions do not handled
    finally:
      tasks.task_done()

def add_tasks(tasks):
  for url in get_urls(): #get_urls() return a urls_list
    tasks.put(url)

def parse(tasks, results):
  try: 
    tasks.join()
  except KeyboardInterrupt as err:
    print "Tasks has been stopped!"
    print err

  while not results.empty():
    _parse(results)



if __name__ == '__main__':
  main()

利用Python3中的concurrent.futures包

在Python3中可以利用concurrent.futures包,编写更加简单易用的多线程/多进程代码.其使用感觉和Java的concurrent框架很相似(借鉴?)
比如下面的简单代码示例

def handler():
  futures = set()

  with concurrent.futures.ProcessPoolExecutor(max_workers=cpu_count) as executor:
    for task in get_task(tasks):
      future = executor.submit(task)
      futures.add(future)

def wait_for(futures):
  try:
    for future in concurrent.futures.as_completed(futures):
      err = futures.exception()
      if not err:
        result = future.result()
      else:
        raise err
  except KeyboardInterrupt as e:
    for future in futures:
      future.cancel()
    print "Task has been canceled!"
    print e
  return result

总结

要是一些大型Python项目也这般编写,那么效率也太低了.在Python中有许多已有的框架使用,使用它们起来更加高效.
但是自己的一些"小打小闹"的程序这样来编写还是不错的.:)

Python 相关文章推荐
python封装对象实现时间效果
Apr 23 Python
python修改注册表终止360进程实例
Oct 13 Python
python回调函数用法实例分析
May 09 Python
python实现的MySQL增删改查操作实例小结
Dec 19 Python
Python获取Redis所有Key以及内容的方法
Feb 19 Python
python查看文件大小和文件夹内容的方法
Jul 08 Python
python 利用pyttsx3文字转语音过程详解
Sep 25 Python
python:目标检测模型预测准确度计算方式(基于IoU)
Jan 18 Python
Python捕获异常堆栈信息的几种方法(小结)
May 18 Python
解决numpy矩阵相减出现的负值自动转正值的问题
Jun 03 Python
Python批量解压&压缩文件夹的示例代码
Apr 04 Python
Python采集壁纸并实现炫轮播
Apr 30 Python
Python 多线程抓取图片效率对比
Feb 27 #Python
Python 的描述符 descriptor详解
Feb 27 #Python
简析Python的闭包和装饰器
Feb 26 #Python
Android应用开发中Action bar编写的入门教程
Feb 26 #Python
12步教你理解Python装饰器
Feb 25 #Python
Python实现字典依据value排序
Feb 24 #Python
Python中方法链的使用方法
Feb 23 #Python
You might like
PHP中mysql_field_type()函数用法
2014/11/24 PHP
PHP如何实现阿里云短信sdk灵活应用在项目中的方法
2019/06/14 PHP
jQuery Ajax文件上传(php)
2009/06/16 Javascript
jquery 模式对话框终极版实现代码
2009/09/28 Javascript
在js文件中如何获取basePath处理js路径问题
2013/07/10 Javascript
js 用CreateElement动态创建标签示例
2013/11/20 Javascript
js获得网页背景色和字体色的方法
2014/03/21 Javascript
百度地图给map添加右键菜单(判断是否为marker)
2016/03/04 Javascript
jquery树形菜单效果的简单实例
2016/06/06 Javascript
Router解决跨模块下的页面跳转示例
2018/01/11 Javascript
JS获取指定月份的天数两种实现方法
2018/06/22 Javascript
Nodejs中的require函数的具体使用方法
2019/04/02 NodeJs
微信小程序的mpvue框架快速上手指南
2019/05/15 Javascript
javascript使用substring实现的展开与收缩文字功能示例
2019/06/17 Javascript
JS实现页面跳转与刷新的方法汇总
2019/08/30 Javascript
WEEX环境搭建与入门详解
2019/10/16 Javascript
vue+element 实现商城主题开发的示例代码
2020/03/26 Javascript
详解Vue中Axios封装API接口的思路及方法
2020/10/10 Javascript
javascript中layim之查找好友查找群组
2021/02/06 Javascript
python批量导出导入MySQL用户的方法
2013/11/15 Python
python中cPickle类使用方法详解
2018/08/27 Python
selenium+python设置爬虫代理IP的方法
2018/11/29 Python
python numpy实现多次循环读取文件 等间隔过滤数据示例
2020/03/14 Python
解决Keras 自定义层时遇到版本的问题
2020/06/16 Python
matplotlib.pyplot.plot()参数使用详解
2020/07/28 Python
英国羊皮鞋类领先品牌:Just Sheepskin
2019/12/12 全球购物
竞选部门副经理的自荐书范文
2014/02/11 职场文书
新任教师自我鉴定
2014/02/24 职场文书
法定代表人授权委托书范文
2014/08/02 职场文书
信用卡工资证明格式
2014/09/13 职场文书
骨干教师考核评语
2014/12/31 职场文书
2015年幼师个人工作总结
2015/10/15 职场文书
学校学习型党组织建设心得体会
2019/06/21 职场文书
人生感悟经典句子
2019/08/20 职场文书
《宝可梦》动画制作25周年到来 官方发布特别纪念视频
2022/04/01 日漫
SQL Server 忘记密码以及重新添加新账号
2022/04/26 SQL Server