python多进程使用函数封装实例


Posted in Python onMay 02, 2020

我就废话不多说了,直接看代码吧!

import multiprocessing as mp
from multiprocessing import Process
class MyProcess(Process):
  """
  自定义多进程,继承自原生Process,目的是获取多进程结果到queue
  """
  def __init__(self, func, args, q):
    super(MyProcess, self).__init__()
    self.func = func
    self.args = args
    self.res = ''
    self.q = q
    #self._daemonic = True
    #self._daemonic = True
 
  def run(self):
    self.res = self.func(*self.args)
    self.q.put((self.func.__name__, self.res))
  
def use_multiprocessing(func_list):
  #os.system('export PYTHONOPTIMIZE=1') # 解决 daemonic processes are not allowed to have children 问题
  q = mp.Queue() # 队列,将多进程结果存入这里,进程间共享, 多进程必须使用 multiprocessing 的queue
  proc_list = []
  res = []
  for func in func_list:
    proc = MyProcess(func['func'], args=func['args'], q=q)
    proc.start()
    proc_list.append(proc)
 
  for p in proc_list:
    p.join()
  while not q.empty():
    r = q.get()
    res.append(r)
  return res

使用时候,将需要多进程执行的函数和函数的参数当作字段,组成个list 传给use_multiprocessing 方法即可

补充知识:python一个文件里面多个函数同时执行(多进程的方法,并发)

看代码吧!

#coding=utf-8
import time
from selenium import webdriver
import threading

def fun1(a):
print a

def fun2():

print 222

threads = []
threads.append(threading.Thread(target=fun1,args=(u'爱情买卖',)))
threads.append(threading.Thread(target=fun2))
print(threads)
if __name__ == '__main__':

for t in threads:


t.setDaemon(True) #我拿来做selenium自动化模拟多个用户使用浏览器的时候,加了这个就启动不了,要去掉


t.start()

import threading

首先导入threading 模块,这是使用多线程的前提。

threads = []
t1 = threading.Thread(target=fun1,args=(u'爱情买卖',))
threads.append(t1)

创建了threads数组,创建线程t1,使用threading.Thread()方法,在这个方法中调用music方法target=music,args方法对music进行传参。 把创建好的线程t1装到threads数组中。

接着以同样的方式创建线程t2,并把t2也装到threads数组。

for t in threads:
t.setDaemon(True)

t.start()

最后通过for循环遍历数组。(数组被装载了t1和t2两个线程)

setDaemon()

setDaemon(True)将线程声明为守护线程,必须在start() 方法调用之前设置,如果不设置为守护线程程序会被无限挂起。子线程启动后,父线程也继续执行下去,当父线程执行完最后一条语句print "all over %s" %ctime()后,没有等待子线程,直接就退出了,同时子线程也一同结束。

start()

开始线程活动。

后记:

搞了个并发浏览器操作,

如果要做参数化,用ddt会导致所有行为都在一个浏览器操作,去掉ddt框架后,并发正常

以上这篇python多进程使用函数封装实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
决策树的python实现方法
Nov 18 Python
Python使用scrapy采集数据过程中放回下载过大页面的方法
Apr 08 Python
简单说明Python中的装饰器的用法
Apr 24 Python
python数组复制拷贝的实现方法
Jun 09 Python
[原创]pip和pygal的安装实例教程
Dec 07 Python
pandas 数据实现行间计算的方法
Jun 08 Python
Python中函数参数调用方式分析
Aug 09 Python
使用python对excle和json互相转换的示例
Oct 23 Python
Django为窗体加上防机器人的验证码功能过程解析
Aug 14 Python
python如何编写win程序
Jun 08 Python
浅谈sklearn中predict与predict_proba区别
Jun 28 Python
Python基础之函数嵌套知识总结
May 23 Python
Python中使用filter过滤列表的一个小技巧分享
May 02 #Python
python同时遍历两个list用法说明
May 02 #Python
python多线程实现同时执行两个while循环的操作
May 02 #Python
python 实现两个线程交替执行
May 02 #Python
Python中使用threading.Event协调线程的运行详解
May 02 #Python
浅谈Python3多线程之间的执行顺序问题
May 02 #Python
python继承threading.Thread实现有返回值的子类实例
May 02 #Python
You might like
PHP写杨辉三角实例代码
2011/07/17 PHP
PHP的foreach中使用引用时需要注意的一个问题和解决方法
2014/05/29 PHP
如何在PHP中读写文件
2020/09/07 PHP
jQuery 对Select的操作备忘记录
2011/07/04 Javascript
javascript中with()方法的语法格式及使用
2014/08/04 Javascript
JS建造者模式基本用法实例分析
2015/06/30 Javascript
不想让浏览器运行javascript脚本的方法
2015/11/20 Javascript
JavaScript性能优化之函数节流(throttle)与函数去抖(debounce)
2016/08/11 Javascript
js关于getImageData跨域问题的解决方法
2016/10/14 Javascript
微信小程序实现即时通信聊天功能的实例代码
2018/08/17 Javascript
vue中keep-alive组件的入门使用教程
2019/06/06 Javascript
vue实现商品列表的添加删除实例讲解
2020/05/14 Javascript
ES6新增的数组知识实例小结
2020/05/23 Javascript
vue-router 2.0 跳转之router.push()用法说明
2020/08/12 Javascript
[01:06:43]完美世界DOTA2联赛PWL S3 PXG vs GXR 第二场 12.19
2020/12/24 DOTA
Python os.rename() 重命名目录和文件的示例
2018/10/25 Python
Python Numpy库安装与基本操作示例
2019/01/08 Python
pycharm打开命令行或Terminal的方法
2019/01/16 Python
Python笔记之工厂模式
2019/11/20 Python
Python列表切片常用操作实例解析
2020/03/10 Python
keras得到每层的系数方式
2020/06/15 Python
使用CSS3设计地图上的雷达定位提示效果
2016/04/05 HTML / CSS
纯CSS3实现鼠标滑过按钮动画第二节
2020/07/16 HTML / CSS
Java面试题:为什么要用Java
2012/05/11 面试题
怎样写留学自荐信
2013/11/11 职场文书
机关门卫岗位职责
2013/12/30 职场文书
成品库仓管员岗位职责
2014/04/06 职场文书
解除劳动合同协议书
2014/04/14 职场文书
企业管理标语
2014/06/10 职场文书
兽医医药专业求职信
2014/07/27 职场文书
党员自我剖析材料
2014/08/31 职场文书
六查六看自查报告
2014/10/14 职场文书
检讨书范文300字
2015/01/28 职场文书
中英文求职信范文
2015/03/19 职场文书
2016党风廉政建设心得体会范文
2016/01/25 职场文书
HTML 里 img 元素的 src 和 srcset 属性的区别详解
2023/05/21 HTML / CSS