Python探索之自定义实现线程池


Posted in Python onOctober 27, 2017

为什么需要线程池呢?

        设想一下,如果我们使用有任务就开启一个子线程处理,处理完成后,销毁子线程或等得子线程自然死亡,那么如果我们的任务所需时间比较短,但是任务数量比较多,那么更多的时间是花在线程的创建和结束上面,效率肯定就低了。

    线程池的原理:

        既然是线程池(Thread pool),其实名字很形象,就是把指定数量的可用子线程放进一个"池里",有任务时取出一个线程执行,任务执行完后,并不立即销毁线程,而是放进线程池中,等待接收下一个任务。这样内存和cpu的开销也比较小,并且我们可以控制线程的数量。

    线程池的实现:

        线程池有很多种实现方式,在python中,已经给我们提供了一个很好的实现方式:Queue-队列。因为python中Queue本身就是同步的,所以也就是线程安全的,所以我们可以放心的让多个线程共享一个Queue。

        那么说到线程池,那么理应也得有一个任务池,任务池中存放着待执行的任务,各个线程到任务池中取任务执行,那么用Queue来实现任务池是最好不过的。

1.low版线程池

设计思路:运用队列queue

将线程类名放入队列中,执行一个就拿一个出来

import queue
import threading
class ThreadPool(object):
  def __init__(self, max_num=20):
    self.queue = queue.Queue(max_num) #创建队列,最大数为20
    for i in range(max_num):
      self.queue.put(threading.Thread) #将类名放入队列中
  def get_thread(self):
    return self.queue.get() #从队列中取出类名
  def add_thread(self):
    self.queue.put(threading.Thread) #进类名放入队列中
def func(arg, p): #定义一个函数
  print(arg)
  import time
  time.sleep(2)
  p.add_thread()
pool = ThreadPool(10) #创建对象,并执行该类的构造方法,即将线程的类名放入队列中
for i in range(30):
  thread = pool.get_thread() #调用该对象的get_thread方法,取出类名
  t = thread(target=func, args=(i, pool)) #创建对象,执行func,参数在args中
  t.start()

由于此方法要求使用者修改原函数,并在原函数里传参数,且调用方法也发生了改变,并且有空闲线程浪费资源,实际操作中并不方便,故设计了下一版线程池。

2.绝版线程池

设计思路:运用队列queue

a.队列里面放任务
b.线程一次次去取任务,线程一空闲就去取任务

import queue
import threading
import contextlib
import time
StopEvent = object()
class ThreadPool(object):
  def __init__(self, max_num, max_task_num = None):
    if max_task_num:
      self.q = queue.Queue(max_task_num)
    else:
      self.q = queue.Queue()
    self.max_num = max_num
    self.cancel = False
    self.terminal = False
    self.generate_list = []
    self.free_list = []
  def run(self, func, args, callback=None):
    """
    线程池执行一个任务
    :param func: 任务函数
    :param args: 任务函数所需参数
    :param callback: 任务执行失败或成功后执行的回调函数,回调函数有两个参数1、任务函数执行状态;2、任务函数返回值(默认为None,即:不执行回调函数)
    :return: 如果线程池已经终止,则返回True否则None
    """
    if self.cancel:
      return
    if len(self.free_list) == 0 and len(self.generate_list) < self.max_num:
      self.generate_thread()
    w = (func, args, callback,)
    self.q.put(w)
  def generate_thread(self):
    """
    创建一个线程
    """
    t = threading.Thread(target=self.call)
    t.start()
  def call(self):
    """
    循环去获取任务函数并执行任务函数
    """
    current_thread = threading.currentThread()
    self.generate_list.append(current_thread)
    event = self.q.get()
    while event != StopEvent:
      func, args, callback = event
      try:
        result = func(*args)
        success = True
      except Exception as e:
        success = False
        result = None
      if callback is not None:
        try:
          callback(success, result)
        except Exception as e:
          pass
      with self.worker_state(self.free_list, current_thread):
        if self.terminal:
          event = StopEvent
        else:
          event = self.q.get()
    else:
      self.generate_list.remove(current_thread)
  def close(self):
    """
    执行完所有的任务后,所有线程停止
    """
    self.cancel = True
    count = len(self.generate_list)
    while count:
      self.q.put(StopEvent)
      count -= 1
  def terminate(self):
    """
    无论是否还有任务,终止线程
    """
    self.terminal = True
    while self.generate_list:
      self.q.put(StopEvent)
    self.q.queue.clear()
  @contextlib.contextmanager
  def worker_state(self, state_list, worker_thread):
    """
    用于记录线程中正在等待的线程数
    """
    state_list.append(worker_thread)
    try:
      yield
    finally:
      state_list.remove(worker_thread)
# How to use
pool = ThreadPool(5)
def callback(status, result):
  # status, execute action status
  # result, execute action return value
  pass
def action(i):
  print(i)
for i in range(30):
  ret = pool.run(action, (i,), callback)
time.sleep(3)
print(len(pool.generate_list), len(pool.free_list))
print(len(pool.generate_list), len(pool.free_list))
pool.close()
# pool.terminate()

总结

以上就是本文关于Python探索之自定义实现线程池的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站:python中模块的__all__属性详解、Python面向对象编程基础解析(二)等,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
Python的垃圾回收机制深入分析
Jul 16 Python
Python的内存泄漏及gc模块的使用分析
Jul 16 Python
python字符串连接的N种方式总结
Sep 17 Python
在Python中使用poplib模块收取邮件的教程
Apr 29 Python
Python模块WSGI使用详解
Feb 02 Python
python opencv设置摄像头分辨率以及各个参数的方法
Apr 02 Python
python在每个字符后添加空格的实例
May 07 Python
对Python中plt的画图函数详解
Nov 07 Python
详解python3 + Scrapy爬虫学习之创建项目
Apr 12 Python
Python Flask框架扩展操作示例
May 03 Python
python 按钮点击关闭窗口的实现
Mar 04 Python
浅谈Python实现opencv之图片色素的数值运算和逻辑运算
Jun 23 Python
python音频处理用到的操作的示例代码
Oct 27 #Python
彻底理解Python list切片原理
Oct 27 #Python
Python在不同目录下导入模块的实现方法
Oct 27 #Python
Django视图之ORM数据库查询操作API的实例
Oct 27 #Python
浅谈python函数之作用域(python3.5)
Oct 27 #Python
python+pyqt实现右下角弹出框
Oct 26 #Python
python中模块的__all__属性详解
Oct 26 #Python
You might like
文件上传类
2006/10/09 PHP
PHP读取CSV大文件导入数据库的实例
2017/07/24 PHP
javascript跨域刷新实现代码
2011/01/01 Javascript
jQuery cdn使用介绍
2013/05/08 Javascript
js给onclick赋值传参数的两种方法
2013/11/25 Javascript
js实现俄罗斯方块小游戏分享
2014/01/31 Javascript
使用jQuery实现图片遮罩半透明坠落遮挡
2015/03/16 Javascript
JS实现可关闭的对联广告效果代码
2015/09/14 Javascript
BootStrap无限级分类(无限极分类封装版)
2016/08/26 Javascript
微信小程序开发之实现自定义Toast弹框
2017/06/08 Javascript
记一次webpack3升级webpack4的踩坑经历
2018/06/12 Javascript
如何在微信小程序中存setStorage
2019/12/13 Javascript
[02:17]2016国际邀请赛中国区预选赛VG战队领队采访
2016/06/26 DOTA
[01:04:14]VP vs TNC 2018国际邀请赛小组赛BO2 第二场 8.17
2018/08/20 DOTA
Python面向对象特殊成员
2017/04/24 Python
解决pandas中读取中文名称的csv文件报错的问题
2018/07/04 Python
Python  Django 母版和继承解析
2019/08/09 Python
python或C++读取指定文件夹下的所有图片
2019/08/31 Python
新手入门学习python Numpy基础操作
2020/03/02 Python
pyqt5数据库使用详细教程(打包解决方案)
2020/03/25 Python
python3 使用openpyxl将mysql数据写入xlsx的操作
2020/05/15 Python
简单介绍一下pyinstaller打包以及安全性的实现
2020/06/02 Python
部署Django到阿里云服务器教程示例
2020/06/03 Python
Pytorch 高效使用GPU的操作
2020/06/27 Python
python 多线程共享全局变量的优劣
2020/09/24 Python
CSS3 :default伪类选择器使用简介
2018/03/15 HTML / CSS
G-Form护具官方网站:美国运动保护装备
2019/09/04 全球购物
介绍一下Java中的Class类
2015/04/10 面试题
网络工程师的自我评价
2013/10/02 职场文书
大一学生的职业生涯规划书范文
2014/01/19 职场文书
求职信的七个关键技巧
2014/02/05 职场文书
英文求职信写作小建议
2014/02/16 职场文书
创业大赛策划书
2014/03/01 职场文书
公证书标准格式
2014/04/10 职场文书
处级干部反四风个人对照检查材料思想汇报
2014/09/27 职场文书
学生违纪检讨书200字
2014/10/21 职场文书