Python 多进程并发操作中进程池Pool的实例


Posted in Python onNovember 01, 2017

在利用Python进行系统管理的时候,特别是同时操作多个文件目录,或者远程控制多台主机,并行操作可以节约大量的时间。当被操作对象数目不大时,可以直接利用multiprocessing中的Process动态成生多个进程,10几个还好,但如果是上百个,上千个目标,手动的去限制进程数量却又太过繁琐,这时候进程池Pool发挥作用的时候就到了。

Pool可以提供指定数量的进程,供用户调用,当有新的请求提交到pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求;但如果池中的进程数已经达到规定最大值,那么该请求就会等待,直到池中有进程结束,才会创建新的进程来它。这里有一个简单的例子:

#!/usr/bin/env python
#coding=utf-8
"""
Author: Squall
Last modified: 2011-10-18 16:50
Filename: pool.py
Description: a simple sample for pool class
"""

from multiprocessing import Pool
from time import sleep

def f(x):
  for i in range(10):
    print '%s --- %s ' % (i, x)
    sleep(1)


def main():
  pool = Pool(processes=3)  # set the processes max number 3
  for i in range(11,20):
    result = pool.apply_async(f, (i,))
  pool.close()
  pool.join()
  if result.successful():
    print 'successful'


if __name__ == "__main__":
  main()

先创建容量为3的进程池,然后将f(i)依次传递给它,运行脚本后利用ps aux | grep pool.py查看进程情况,会发现最多只会有三个进程执行。pool.apply_async()用来向进程池提交目标请求,pool.join()是用来等待进程池中的worker进程执行完毕,防止主进程在worker进程结束前结束。但必pool.join()必须使用在pool.close()或者pool.terminate()之后。其中close()跟terminate()的区别在于close()会等待池中的worker进程执行结束再关闭pool,而terminate()则是直接关闭。result.successful()表示整个调用执行的状态,如果还有worker没有执行完,则会抛出AssertionError异常。

利用multiprocessing下的Pool可以很方便的同时自动处理几百或者上千个并行操作,脚本的复杂性也大大降低。

——————————————————————————————————

Python多进程并发(multiprocessing)

由于Python设计的限制(我说的是咱们常用的CPython)。最多只能用满1个CPU核心。

Python提供了非常好用的多进程包multiprocessing,你只需要定义一个函数,Python会替你完成其他所有事情。借助这个包,可以轻松完成从单进程到并发执行的转换。

1、新建单一进程

如果我们新建少量进程,可以如下:

import multiprocessing
import time

def func(msg):
for i in xrange(3):
print msg
time.sleep(1)

if __name__ == "__main__":
p = multiprocessing.Process(target=func, args=("hello", ))</ 
p.start()
p.join()
print "Sub-process done."

2、使用进程池

是的,你没有看错,不是线程池。它可以让你跑满多核CPU,而且使用方法非常简单。

注意要用apply_async,如果落下async,就变成阻塞版本了。

processes=4是最多并发进程数量。

import
multiprocessing
import
time
 
def
func(msg):
  for
i
in
xrange(3):
    print
msg
    time.sleep(1)
 
if
__name__
==
"__main__":
  pool
=
multiprocessing.Pool(processes=4)
  for
i
in
xrange(10):
    msg
=
"hello
 %d"
%(i)
    pool.apply_async(func,
(msg,
))
  pool.close()
  pool.join()
  print
"Sub-process(es)
 done."

3、使用Pool,并需要关注结果

更多的时候,我们不仅需要多进程执行,还需要关注每个进程的执行结果,如下:

import multiprocessing

import time



def func(msg):

for i in xrange(3):

print msg

time.sleep(1)

return "done " + msg



if __name__ == "__main__":

pool = multiprocessing.Pool(processes=4)

result = []

for i in xrange(10):

msg = "hello %d" %(i)

result.append(pool.apply_async(func, (msg, )))

pool.close()

pool.join()

for res in result:

print res.get()

print "Sub-process(es) done."

2014.12.25更新

根据网友评论中的反馈,在Windows下运行有可能崩溃(开启了一大堆新窗口、进程),可以通过如下调用来解决:

multiprocessing.freeze_support()

简易worker multiprocessing.Pool

多任务模型设计是一个比较复杂的逻辑,但是python对于多任务的处理却有种种方便的类库,不需要过多的纠结进程/线程间的操作细节。比如multiprocessing.Pool就是其中之一。

官方给的范例也很简单。

from multiprocessing import Pool

def f(x):
  return x*x

if __name__ == '__main__':
  pool = Pool(processes=4)       # start 4 worker processes
  result = pool.apply_async(f, [10])  # evaluate "f(10)" asynchronously
  print result.get(timeout=1)      # prints "100" unless your computer is *very* slow
  print pool.map(f, range(10))     # prints "[0, 1, 4,..., 81]"

并未做太多的详细解释。正好我手头有一段代码,需要请求几百个url,解析html页面获取一些信息,单线程for循环效率极低,因此看到了这个模块,想用这个实现多任务分析,参考代码如下:

from multiprocessing import Pool

def analyse_url(url):
  #do something with this url
  return analysis_result

if __name__ == '__main__':
  pool = Pool(processes=10)
  result = pool.map(analyse_url, url_list)

确实比以前单线程for循环url_list列表,一个个请求analyse_url要快得多,但是带来的问题就是一旦pool.map没执行完就ctrl-c中断程序,程序就会异常,永远无法退出,参考stackoverflow的这个帖子,修改为以下代码:

#result = pool.map(analyse_url, url_list)
result = pool.map_async(analyse_url, url_list).get(120)

至此问题完美解决。

以上这篇Python 多进程并发操作中进程池Pool的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中的CURL PycURL使用例子
Jun 01 Python
python选择排序算法实例总结
Jul 01 Python
python 爬虫出现403禁止访问错误详解
Mar 11 Python
Python实现运行其他程序的四种方式实例分析
Aug 17 Python
Python实现一个简单的验证码程序
Nov 03 Python
Python3.7 新特性之dataclass装饰器
May 27 Python
Python facenet进行人脸识别测试过程解析
Aug 16 Python
python 实现按对象传值
Dec 26 Python
python操作gitlab API过程解析
Dec 27 Python
Jupyter notebook如何实现指定浏览器打开
May 13 Python
python 爬虫请求模块requests详解
Dec 04 Python
Python实现Excel自动分组合并单元格
Feb 22 Python
python 3.0 模拟用户登录功能并实现三次错误锁定
Nov 01 #Python
python 简单搭建阻塞式单进程,多进程,多线程服务的实例
Nov 01 #Python
Python编程实现双链表,栈,队列及二叉树的方法示例
Nov 01 #Python
Python栈算法的实现与简单应用示例
Nov 01 #Python
Python scikit-learn 做线性回归的示例代码
Nov 01 #Python
机器学习python实战之手写数字识别
Nov 01 #Python
Python定时器实例代码
Nov 01 #Python
You might like
Yii实现自动加载类地图的方法
2015/04/01 PHP
php生成条形码的图片的实例详解
2017/09/13 PHP
Laravel框架基于ajax实现二级联动功能示例
2019/01/17 PHP
PHP下载大文件失败并限制下载速度的实例代码
2019/05/10 PHP
Javascript操纵Cookie实现购物车程序
2006/11/23 Javascript
javascript String 对象
2008/04/25 Javascript
js+div实现图片滚动效果代码
2014/02/10 Javascript
JSONP之我见
2015/03/24 Javascript
深入探究AngularJS框架中Scope对象的超级教程
2016/01/04 Javascript
基于JavaScript实现图片点击弹出窗口而不是保存
2016/02/06 Javascript
js控制台输出的方法(详解)
2016/11/26 Javascript
JS组件系列之MVVM组件 vue 30分钟搞定前端增删改查
2017/04/28 Javascript
JavaScript数组push方法使用注意事项
2017/10/30 Javascript
解决vue+webpack打包路径的问题
2018/03/06 Javascript
如何实现一个webpack模块解析器
2018/10/24 Javascript
Vue项目引发的「过滤器」使用教程
2019/03/12 Javascript
iview实现动态表单和自定义验证时间段重叠
2021/01/10 Javascript
Node使用koa2实现一个简单JWT鉴权的方法
2021/01/26 Javascript
python监控linux内存并写入mongodb(推荐)
2017/09/11 Python
python使用pycharm环境调用opencv库
2018/02/11 Python
详解Python3中ceil()函数用法
2019/02/19 Python
详解Python3 对象组合zip()和回退方式*zip
2019/05/15 Python
30秒学会30个超实用Python代码片段【收藏版】
2019/10/15 Python
Python Web静态服务器非堵塞模式实现方法示例
2019/11/21 Python
对python中 math模块下 atan 和 atan2的区别详解
2020/01/17 Python
Python读取excel文件中带公式的值的实现
2020/04/17 Python
CSS3绘制不规则图形的一些方法示例
2015/11/07 HTML / CSS
Canvas与Image互相转换示例代码
2013/08/09 HTML / CSS
全球知名巧克力品牌:Godiva
2016/07/22 全球购物
下列程序在32位linux或unix中的结果是什么
2015/01/26 面试题
《威尼斯的小艇》教学反思
2014/02/17 职场文书
清明节演讲稿
2014/05/27 职场文书
嘉宾邀请函
2015/01/31 职场文书
综合素质评价个性与发展自我评价
2015/03/06 职场文书
2016年三八红旗手先进事迹材料
2016/02/26 职场文书
php去除数组中为0的元素的实例分析
2021/11/17 PHP