python程序中的线程操作 concurrent模块使用详解


Posted in Python onSeptember 23, 2019

一、concurrent模块的介绍

concurrent.futures模块提供了高度封装的异步调用接口

ThreadPoolExecutor:线程池,提供异步调用

ProcessPoolExecutor:进程池,提供异步调用

ProcessPoolExecutorThreadPoolExecutor:两者都实现相同的接口,该接口由抽象Executor类定义。

二、基本方法

submit(fn, *args, **kwargs) :异步提交任务

map(func, *iterables, timeout=None, chunksize=1) :取代for循环submit的操作

shutdown(wait=True) :相当于进程池的pool.close()+pool.join()操作

  • wait=True,等待池内所有任务执行完毕回收完资源后才继续
  • wait=False,立即返回,并不会等待池内的任务执行完毕
  • 但不管wait参数为何值,整个程序都会等到所有任务执行完毕
  • submit和map必须在shutdown之前

result(timeout=None) :取得结果

add_done_callback(fn) :回调函数

三、进程池和线程池

池的功能:限制进程数或线程数.

什么时候限制: 当并发的任务数量远远大于计算机所能承受的范围,即无法一次性开启过多的任务数量 我就应该考虑去限制我进程数或线程数,从保证服务器不崩.

3.1 进程池

from concurrent.futures import ProcessPoolExecutor
from multiprocessing import Process,current_process
import time
def task(i):
  print(f'{current_process().name} 在执行任务{i}')
  time.sleep(1)
if __name__ == '__main__':
  pool = ProcessPoolExecutor(4) # 进程池里又4个进程
  for i in range(20): # 20个任务
    pool.submit(task,i)# 进程池里当前执行的任务i,池子里的4个进程一次一次执行任务

3.2 线程池

from concurrent.futures import ThreadPoolExecutor
from threading import Thread,currentThread
import time
def task(i):
  print(f'{currentThread().name} 在执行任务{i}')
  time.sleep(1)
if __name__ == '__main__':
  pool = ThreadPoolExecutor(4) # 进程池里又4个线程
  for i in range(20): # 20个任务
    pool.submit(task,i)# 线程池里当前执行的任务i,池子里的4个线程一次一次执行任务

四、Map的用法

from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor
import os,time,random
def task(n):
  print('%s is runing' %os.getpid())
  time.sleep(random.randint(1,3))
  return n**2
if __name__ == '__main__':
  executor=ThreadPoolExecutor(max_workers=3)
  # for i in range(20):
  #   future=executor.submit(task,i)
  executor.map(task,range(1,21)) #map取代了for+submit

五、同步和异步

理解为提交任务的两种方式

同步: 提交了一个任务,必须等任务执行完了(拿到返回值),才能执行下一行代码

异步: 提交了一个任务,不要等执行完了,可以直接执行下一行代码.

同步:相当于执行任务的串行执行

异步

from concurrent.futures import ProcessPoolExecutor
from multiprocessing import Process,current_process
import time
n = 1
def task(i):
  global n
  print(f'{current_process().name} 在执行任务{i}')
  time.sleep(1)
  n += i
  return n
if __name__ == '__main__':
  pool = ProcessPoolExecutor(4) # 进程池里又4个线程
  pool_lis = []
  for i in range(20): # 20个任务
    future = pool.submit(task,i)# 进程池里当前执行的任务i,池子里的4个线程一次一次执行任务
    # print(future.result()) # 这是在等待我执行任务得到的结果,如果一直没有结果,这里会导致我们所有任务编程了串行
                # 在这里就引出了下面的pool.shutdown()方法
    pool_lis.append(future)
  pool.shutdown(wait=True) # 关闭了池的入口,不允许在往里面添加任务了,会等带所有的任务执行完,结束阻塞
  for p in pool_lis:
    print(p.result())
  print(n)# 这里一开始肯定是拿到0的,因为我只是去告诉操作系统执行子进程的任务,代码依然会继续往下执行
  # 可以用join去解决,等待每一个进程结束后,拿到他的结果

六、回调函数

import time
from threading import Thread,currentThread
from concurrent.futures import ThreadPoolExecutor
def task(i):
  print(f'{currentThread().name} 在执行{i}')
  time.sleep(1)
  return i**2

# parse 就是一个回调函数
def parse(future):
  # 处理拿到的结果
  print(f'{currentThread().name} 结束了当前任务')
  print(future.result())
if __name__ == '__main__':
  pool = ThreadPoolExecutor(4)
  for i in range(20):
    future = pool.submit(task,i)
    '''
    给当前执行的任务绑定了一个函数,在当前任务结束的时候就会触发这个函数(称之为回调函数)
    会把future对象作为参数传给函数
    注:这个称为回调函数,当前任务处理结束了,就回来调parse这个函数
    '''
    future.add_done_callback(parse)
    # add_done_callback (parse) parse是一个回调函数
    # add_done_callback () 是对象的一个绑定方法,他的参数就是一个函数

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python的Urllib库的基本使用教程
Apr 30 Python
python计算对角线有理函数插值的方法
May 07 Python
django DRF图片路径问题的解决方法
Sep 10 Python
python爬取指定微信公众号文章
Dec 20 Python
六行python代码的爱心曲线详解
May 17 Python
网易2016研发工程师编程题 奖学金(python)
Jun 19 Python
pandas 层次化索引的实现方法
Jul 06 Python
django 邮件发送模块smtp使用详解
Jul 22 Python
Django模型修改及数据迁移实现解析
Aug 01 Python
Django中使用MySQL5.5的教程
Dec 18 Python
Python视频编辑库MoviePy的使用
Apr 01 Python
python - asyncio异步编程
Apr 06 Python
Python3 pandas 操作列表实例详解
Sep 23 #Python
详解基于python-django框架的支付宝支付案例
Sep 23 #Python
如何利用Python开发一个简单的猜数字游戏
Sep 22 #Python
Python中关于浮点数的冷知识
Sep 22 #Python
Python安装及Pycharm安装使用教程图解
Sep 20 #Python
Python实现语音识别和语音合成功能
Sep 20 #Python
使用python将最新的测试报告以附件的形式发到指定邮箱
Sep 20 #Python
You might like
如何在PHP中使用Oracle数据库(5)
2006/10/09 PHP
PHP得到某段时间区间的时间戳 php定时任务
2012/04/12 PHP
PHP全局变量与超级全局变量区别分析
2016/04/01 PHP
Yii CGridView用法实例详解
2016/07/12 PHP
同域jQuery(跨)iframe操作DOM(示例代码)
2013/12/13 Javascript
从零学jquery之如何使用回调函数
2014/05/16 Javascript
jQuery事件绑定和委托实例
2014/11/25 Javascript
DOM节点的替换或修改函数replaceChild()用法实例
2015/01/12 Javascript
基于javascript实现文字无缝滚动效果
2016/03/22 Javascript
倾力总结40条常见的移动端Web页面问题解决方案
2016/05/24 Javascript
使用JS正则表达式 替换括号,尖括号等
2016/11/29 Javascript
JS实现的简易拖放效果示例
2016/12/29 Javascript
Bootstrap table简单使用总结
2017/02/15 Javascript
javaScript 逻辑运算符使用技巧整理
2017/05/03 Javascript
用vue写一个仿简书的轮播图的示例代码
2018/03/13 Javascript
Koa2 之文件上传下载的示例代码
2018/03/29 Javascript
解决bootstrap模态框数据缓存的问题方法
2018/08/10 Javascript
详解Vue实战指南之依赖注入(provide/inject)
2018/11/13 Javascript
vue设计一个倒计时秒杀的组件详解
2019/04/06 Javascript
nodejs实现UDP组播示例方法
2019/11/04 NodeJs
webpack4 optimization使用总结
2019/11/10 Javascript
vue实现简单瀑布流布局
2020/05/28 Javascript
线程和进程的区别及Python代码实例
2015/02/04 Python
python检测是文件还是目录的方法
2015/07/03 Python
Python使用matplotlib绘制多个图形单独显示的方法示例
2018/03/14 Python
用Python3创建httpServer的简单方法
2018/06/04 Python
计算机二级python学习教程(3) python语言基本数据类型
2019/05/16 Python
python中property属性的介绍及其应用详解
2019/08/29 Python
windows 10 设定计划任务自动执行 python 脚本的方法
2019/09/11 Python
python关于变量名的基础知识点
2020/03/03 Python
Python自动化测试基础必备知识点总结
2021/02/07 Python
CSS3中31种选择器使用方法教程
2013/12/05 HTML / CSS
行政人事专员岗位职责
2014/03/05 职场文书
消防安全承诺书
2014/05/22 职场文书
大连星海广场导游词
2015/02/10 职场文书
JavaScript 事件捕获冒泡与捕获详情
2021/11/11 Javascript