Python 使用threading+Queue实现线程池示例


Posted in Python onDecember 21, 2019

一、线程池

1、为什么需要使用线程池

1.1 创建/销毁线程伴随着系统开销,过于频繁的创建/销毁线程,会很大程度上影响处理效率。

记创建线程消耗时间T1,执行任务消耗时间T2,销毁线程消耗时间T3,如果T1+T3>T2,那说明开启一个线程来执行这个任务太不划算了!在线程池缓存线程可用已有的闲置线程来执行新任务,避免了创建/销毁带来的系统开销。

1.2 线程并发数量过多,抢占系统资源从而导致阻塞。

线程能共享系统资源,如果同时执行的线程过多,就有可能导致系统资源不足而产生阻塞的情况。

1.3 对线程进行一些简单的管理。

比如:延时执行、定时循环执行的策略等,运用线程池都能进行很好的实现。

2、Python中建立线程池的方法

2.1 使用threadpool模块,这是个python的第三方模块,支持python2和python3

2.2 使用concurrent.futures模块,这个模块是python3中自带的模块,python2.7以上版本也可以安装使用

2.3 自己构建一个线程池

二、队列(queue)

Queue模块提供的队列(FIFO)适用于多线程编程,在生产者(producer)和消费者(consumer)之间线程安全(thread-safe)地传递消息或其它数据,因此多个线程可以共用同一个Queue实例。常用方法:

Queue.qsize():返回queue的大小。

Queue.empty():判断队列是否为空,通常不太靠谱。

Queue.full():判断是否满了。

Queue.put(item, block=True, timeout=None): 往队列里放数据。

Queue.put_nowait(item):往队列里存放元素,不等待

Queue.get(item, block=True, timeout=None): 从队列里取数据。

Queue.get_nowait(item):从队列里取元素,不等待

Queue.task_done():表示队列中某个元素是否的使用情况,使用结束会发送信息。

Queue.join():一直阻塞直到队列中的所有元素都执行完毕。

三、使用threading+Queue处理多任务

假设有十个任务需要处理,打算在后台开启五个线程,简化后的模型

import Queue
import threading
import time
 
queue = Queue.Queue()
 
class ThreadNum(threading.Thread):
  def __init__(self, queue):
    threading.Thread.__init__(self)
    self.queue = queue
 
  def run(self):
    while True:
      #消费者端,从队列中获取num
      num = self.queue.get()
      print("Retrieved", num)
      time.sleep(1) 
      #在完成这项工作之后,使用 queue.task_done() 函数向任务已经完成的队列发送一个信号
      self.queue.task_done()
    
    print("Consumer Finished")
 
def main():
  #产生一个 threads pool, 并把消息传递给thread函数进行处理,这里开启10个并发
  for i in range(5):
    t = ThreadNum(queue)
    t.setDaemon(True)
    t.start()
  
  #往队列中填数据 
  for num in range(10):
    queue.put(num)
    #wait on the queue until everything has been processed
  
  queue.join()
   
if __name__ == '__main__':
  main()
  time.sleep(500)

输出为:

('Retrieved', 0)
 ('Retrieved', 1)('Retrieved', 2)
('Retrieved', 3)
('Retrieved', 4)
('Retrieved', 5)('Retrieved', 6)
('Retrieved', 7)
('Retrieved', 8)
 ('Retrieved', 9)

具体工作步骤描述如下:

1、创建一个 Queue.Queue() 的实例,然后使用数据对它进行填充。

2、将经过填充数据的实例传递给线程类,后者是通过继承 threading.Thread 的方式创建的。

3、生成守护线程池。

4、每次从队列中取出一个项目,并使用该线程中的数据和 run 方法以执行相应的工作。

5、在完成这项工作之后,使用 queue.task_done() 函数向任务已经完成的队列发送一个信号。

6、对队列执行 join 操作,实际上意味着等到队列为空,再退出主程序。

在使用这个模式时需要注意一点:通过将守护线程设置为 true,程序运行完自动退出。好处是在退出之前,可以对队列执行 join 操作、或者等到队列为空。

注意运行main函数后继续执行time.sleep(500),可以观察到主线程未结束的情况下ThreadNum(queue)生成的线程还在运行。如果需要停止线程的话可以对以上代码加以修改。

import Queue
import threading
import time
 
queue = Queue.Queue()
 
class ThreadNum(threading.Thread):
  """没打印一个数字等待1秒,并发打印10个数字需要多少秒?"""
  def __init__(self, queue):
    threading.Thread.__init__(self)
    self.queue = queue
 
  def run(self):
    done = False
    while not done:
      #消费者端,从队列中获取num
      num = self.queue.get()
      if num is None:
        done = True
      else:
        print("Retrieved", num)
      time.sleep(1) 
      #在完成这项工作之后,使用 queue.task_done() 函数向任务已经完成的队列发送一个信号
      self.queue.task_done()
    
    print("Consumer Finished")
def main():
  #产生一个 threads pool, 并把消息传递给thread函数进行处理,这里开启10个并发
  for i in range(5):
    t = ThreadNum(queue)
    t.setDaemon(True)
    t.start()
  
  #往队列中填错数据 
  for num in range(10):
    queue.put(num)
  
  queue.join()
  time.sleep(100)
  for i in range(10):
    queue.put(None)
    print('None')
  time.sleep(200)
   
if __name__ == '__main__':
  start = time.time()
  main()
  print"Elapsed Time: %s" % (time.time() - start)

main函数执行完后队列向线程发送None消息,触发线程的停止标识,这样就可以动态管理线程池了。

以上这篇Python 使用threading+Queue实现线程池示例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
对pandas的层次索引与取值的新方法详解
Nov 06 Python
Python 做曲线拟合和求积分的方法
Dec 29 Python
PyQt5实现类似别踩白块游戏
Jan 24 Python
解决python3.5 正常安装 却不能直接使用Tkinter包的问题
Feb 22 Python
网易有道2017内推编程题 洗牌(python)
Jun 19 Python
python 执行终端/控制台命令的例子
Jul 12 Python
关于PyTorch源码解读之torchvision.models
Aug 17 Python
python tkinter图形界面代码统计工具(更新)
Sep 18 Python
Python调用钉钉自定义机器人的实现
Jan 03 Python
使用python检查yaml配置文件是否符合要求
Apr 09 Python
pycharm第三方库安装失败的问题及解决经验分享
May 09 Python
python用字节处理文件实例讲解
Apr 13 Python
Python CSV文件模块的使用案例分析
Dec 21 #Python
python实现的分析并统计nginx日志数据功能示例
Dec 21 #Python
Python数据持久化存储实现方法分析
Dec 21 #Python
python cv2截取不规则区域图片实例
Dec 21 #Python
Python lxml模块的基本使用方法分析
Dec 21 #Python
python Manager 之dict KeyError问题的解决
Dec 21 #Python
tornado+celery的简单使用详解
Dec 21 #Python
You might like
网友原创的PHP模板类代码
2008/09/07 PHP
php调用shell的方法
2014/11/05 PHP
JavaScript与HTML结合的基本使用方法整理
2015/10/12 PHP
浅谈PHP中如何实现Hook机制
2017/11/14 PHP
PHP实现QQ、微信和支付宝三合一收款码实例代码
2018/02/19 PHP
CL vs ForZe BO5 第三场 2.13
2021/03/10 DOTA
js特殊字符转义介绍
2013/11/05 Javascript
AngularJS指令用法详解
2016/11/02 Javascript
js 文字超出长度用省略号代替,鼠标悬停并以悬浮框显示实例
2016/12/06 Javascript
vue中slot(插槽)的介绍与使用
2018/11/12 Javascript
vue 之 css module的使用方法
2018/12/04 Javascript
JavaScript中0、空字符串、'0'是true还是false的知识点分享
2019/09/16 Javascript
JS document对象简单用法完整示例
2020/01/14 Javascript
vue使用map代替Aarry数组循环遍历的方法
2020/04/30 Javascript
pycharm 使用心得(二)设置字体大小
2014/06/05 Python
Python实现将不规范的英文名字首字母大写
2016/11/15 Python
Python中模块pymysql查询结果后如何获取字段列表
2017/06/05 Python
python安装教程
2018/02/28 Python
Python 通配符删除文件的实例
2018/04/24 Python
TensorFlow实现模型评估
2018/09/07 Python
python字典的遍历3种方法详解
2019/08/10 Python
使用Python函数进行模块化的实现
2019/11/15 Python
python实现二分查找算法
2020/09/18 Python
html5服务器推送_动力节点Java学院整理
2017/07/12 HTML / CSS
韩国女装NO.1网店:STYLENANDA
2016/09/16 全球购物
JAVA程序员面试题
2012/10/03 面试题
高级技校毕业生自荐信
2013/11/18 职场文书
财务管理个人自荐书范文
2013/11/24 职场文书
师范教师毕业鉴定
2014/01/13 职场文书
活动总结怎么写
2014/04/28 职场文书
捐献物资倡议书范文
2014/05/19 职场文书
创先争优一句话承诺
2014/05/29 职场文书
创建绿色学校先进个人材料
2014/08/20 职场文书
2014年机关后勤工作总结
2014/12/16 职场文书
运动会运动员赞词
2015/07/22 职场文书
mysql5.6主从搭建以及不同步问题详解
2021/12/04 MySQL