Python自定义线程池实现方法分析


Posted in Python onFebruary 07, 2018

本文实例讲述了Python自定义线程池实现方法。分享给大家供大家参考,具体如下:

关于python的多线程,由与GIL的存在被广大群主所诟病,说python的多线程不是真正的多线程。但多线程处理IO密集的任务效率还是可以杠杠的。

我实现的这个线程池其实是根据银角的思路来实现的。

主要思路:

任务获取和执行:

1、任务加入队列,等待线程来获取并执行。
2、按需生成线程,每个线程循环取任务。

线程销毁:

1、获取任务是终止符时,线程停止。
2、线程池close()时,向任务队列加入和已生成线程等量的终止符。
3、线程池terminate()时,设置线程下次任务取到为终止符。

流程概要设计:

Python自定义线程池实现方法分析

详细代码:

import threading
import contextlib
from Queue import Queue
import time
class ThreadPool(object):
  def __init__(self, max_num):
    self.StopEvent = 0#线程任务终止符,当线程从队列获取到StopEvent时,代表此线程可以销毁。可设置为任意与任务有区别的值。
    self.q = Queue()
    self.max_num = max_num #最大线程数
    self.terminal = False  #是否设置线程池强制终止
    self.created_list = [] #已创建线程的线程列表
    self.free_list = [] #空闲线程的线程列表
    self.Deamon=False #线程是否是后台线程
  def run(self, func, args, callback=None):
    """
    线程池执行一个任务
    :param func: 任务函数
    :param args: 任务函数所需参数
    :param callback:
    :return: 如果线程池已经终止,则返回True否则None
    """
    if len(self.free_list) == 0 and len(self.created_list) < self.max_num:
      self.create_thread()
    task = (func, args, callback,)
    self.q.put(task)
  def create_thread(self):
    """
    创建一个线程
    """
    t = threading.Thread(target=self.call)
    t.setDaemon(self.Deamon)
    t.start()
    self.created_list.append(t)#将当前线程加入已创建线程列表created_list
  def call(self):
    """
    循环去获取任务函数并执行任务函数
    """
    current_thread = threading.current_thread()  #获取当前线程对象·
    event = self.q.get()  #从任务队列获取任务
    while event != self.StopEvent:  #判断获取到的任务是否是终止符
      func, arguments, callback = event#从任务中获取函数名、参数、和回调函数名
      try:
        result = func(*arguments)
        func_excute_status =True#func执行成功状态
      except Exception as e:
        func_excute_status = False
        result =None
        print '函数执行产生错误', e#打印错误信息
      if func_excute_status:#func执行成功后才能执行回调函数
        if callback is not None:#判断回调函数是否是空的
          try:
            callback(result)
          except Exception as e:
            print '回调函数执行产生错误', e # 打印错误信息
      with self.worker_state(self.free_list,current_thread):
        #执行完一次任务后,将线程加入空闲列表。然后继续去取任务,如果取到任务就将线程从空闲列表移除
        if self.terminal:#判断线程池终止命令,如果需要终止,则使下次取到的任务为StopEvent。
          event = self.StopEvent
        else: #否则继续获取任务
          event = self.q.get() # 当线程等待任务时,q.get()方法阻塞住线程,使其持续等待
    else:#若线程取到的任务是终止符,就销毁线程
      #将当前线程从已创建线程列表created_list移除
      self.created_list.remove(current_thread)
  def close(self):
    """
    执行完所有的任务后,所有线程停止
    """
    full_size = len(self.created_list)#按已创建的线程数量往线程队列加入终止符。
    while full_size:
      self.q.put(self.StopEvent)
      full_size -= 1
  def terminate(self):
    """
    无论是否还有任务,终止线程
    """
    self.terminal = True
    while self.created_list:
      self.q.put(self.StopEvent)
    self.q.queue.clear()#清空任务队列
  def join(self):
    """
    阻塞线程池上下文,使所有线程执行完后才能继续
    """
    for t in self.created_list:
      t.join()
  @contextlib.contextmanager#上下文处理器,使其可以使用with语句修饰
  def worker_state(self, state_list, worker_thread):
    """
    用于记录线程中正在等待的线程数
    """
    state_list.append(worker_thread)
    try:
      yield
    finally:
      state_list.remove(worker_thread)
if __name__ == '__main__':
  def Foo(arg):
    return arg
    # time.sleep(0.1)
  def Bar(res):
    print res
  pool=ThreadPool(5)
  # pool.Deamon=True#需在pool.run之前设置
  for i in range(1000):
    pool.run(func=Foo,args=(i,),callback=Bar)
  pool.close()
  pool.join()
  # pool.terminate()
  print "任务队列里任务数%s" %pool.q.qsize()
  print "当前存活子线程数量:%d" % threading.activeCount()
  print "当前线程创建列表:%s" %pool.created_list
  print "当前线程创建列表:%s" %pool.free_list

关于上下文处理:

来个简单例子说明:

下面的代码手动自定义了一个myopen方法,模拟我们常见的with open() as f:语句。具体的contextlib模块使用,会单独开章来将。

# coding:utf-8
import contextlib
@contextlib.contextmanager#定义该函数支持上下文with语句
def myopen(filename,mode):
  f=open(filename,mode)
  try:
    yield f.readlines()#正常执行返回f.readlines()
  except Exception as e:
    print e
  finally:
    f.close()#最后在with代码快执行完毕后返回执行finally下的f.close()实现关闭文件
if __name__ == '__main__':
  with myopen(r'c:\ip1.txt','r') as f:
    for line in f:
      print line

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Python中使用pprint函数进行格式化输出的教程
Apr 07 Python
详解Python的Django框架中inclusion_tag的使用
Jul 21 Python
分享6个隐藏的python功能
Dec 07 Python
numpy返回array中元素的index方法
Jun 27 Python
Python+Pandas 获取数据库并加入DataFrame的实例
Jul 25 Python
Python爬虫之正则表达式基本用法实例分析
Aug 08 Python
python生成lmdb格式的文件实例
Nov 08 Python
详解Python打包分发工具setuptools
Aug 05 Python
详解mac python+selenium+Chrome 简单案例
Nov 08 Python
WxPython实现无边框界面
Nov 18 Python
Python 批量读取文件中指定字符的实现
Mar 06 Python
python打包多类型文件的操作方法
Sep 21 Python
使用apidoc管理RESTful风格Flask项目接口文档方法
Feb 07 #Python
Python列表推导式、字典推导式与集合推导式用法实例分析
Feb 07 #Python
浅析Python3爬虫登录模拟
Feb 07 #Python
Python实现的三层BP神经网络算法示例
Feb 07 #Python
Python 12306抢火车票脚本
Feb 07 #Python
django限制匿名用户访问及重定向的方法实例
Feb 07 #Python
Python用 KNN 进行验证码识别的实现方法
Feb 06 #Python
You might like
PHP var_dump遍历对象属性的函数与应用代码
2010/06/04 PHP
Mac系统下使用brew搭建PHP(LNMP/LAMP)开发环境
2015/03/03 PHP
javascript 事件绑定问题
2011/01/01 Javascript
JS无法捕获滚动条上的mouse up事件的原因猜想
2012/03/21 Javascript
jQuery 瀑布流 绝对定位布局(二)(延迟AJAX加载图片)
2012/05/23 Javascript
html+js实现动态显示本地时间
2013/09/21 Javascript
JavaScript运行机制之事件循环(Event Loop)详解
2014/10/10 Javascript
Nodejs中调用系统命令、Shell脚本和Python脚本的方法和实例
2015/01/01 NodeJs
JavaScript位置与大小(1)之正确理解和运用与尺寸大小相关的DOM属性
2015/12/26 Javascript
BootStrap点击下拉菜单项后显示一个新的输入框实现代码
2016/05/16 Javascript
jQuery使用经验小技巧(推荐)
2016/05/31 Javascript
原生 JS Ajax,GET和POST 请求实例代码
2016/06/08 Javascript
JS HTML5实现拖拽移动列表效果
2020/08/27 Javascript
jQuery实现点击行选中或取消CheckBox的方法
2016/08/01 Javascript
jQuery.form.js插件不能解决连接超时(timeout)的原因分析及解决方法
2016/10/14 Javascript
JS搜狐面试题分析
2016/12/16 Javascript
JavaScript的setter与getter方法
2017/11/29 Javascript
js实现蒙版效果
2020/01/11 Javascript
Vue列表如何实现滚动到指定位置样式改变效果
2020/05/09 Javascript
vue中watch的用法汇总
2020/12/28 Vue.js
python根据出生日期获得年龄的方法
2015/03/31 Python
深入浅析python定时杀进程
2016/06/06 Python
python 按不同维度求和,最值,均值的实例
2018/06/28 Python
matplotlib实现区域颜色填充
2019/03/18 Python
使用python制作一个为hex文件增加版本号的脚本实例
2019/06/12 Python
Python 硬币兑换问题
2019/07/29 Python
python kafka 多线程消费者&amp;手动提交实例
2019/12/21 Python
python 带时区的日期格式化操作
2020/10/23 Python
pytorch 移动端部署之helloworld的使用
2020/10/30 Python
佳能英国官方网站:Canon UK
2017/08/08 全球购物
意大利顶级奢侈品电商:LUISAVIAROMA(支持中文)
2020/05/26 全球购物
银行会计财务工作个人的自我评价
2013/10/29 职场文书
交通事故检查书范文
2014/01/30 职场文书
优秀班组长事迹
2014/05/31 职场文书
党员对照检查剖析材料
2014/10/13 职场文书
剖析后OpLog订阅MongoDB的数据变更就没那么难了
2022/02/24 MongoDB