Python自定义线程池实现方法分析


Posted in Python onFebruary 07, 2018

本文实例讲述了Python自定义线程池实现方法。分享给大家供大家参考,具体如下:

关于python的多线程,由与GIL的存在被广大群主所诟病,说python的多线程不是真正的多线程。但多线程处理IO密集的任务效率还是可以杠杠的。

我实现的这个线程池其实是根据银角的思路来实现的。

主要思路:

任务获取和执行:

1、任务加入队列,等待线程来获取并执行。
2、按需生成线程,每个线程循环取任务。

线程销毁:

1、获取任务是终止符时,线程停止。
2、线程池close()时,向任务队列加入和已生成线程等量的终止符。
3、线程池terminate()时,设置线程下次任务取到为终止符。

流程概要设计:

Python自定义线程池实现方法分析

详细代码:

import threading
import contextlib
from Queue import Queue
import time
class ThreadPool(object):
  def __init__(self, max_num):
    self.StopEvent = 0#线程任务终止符,当线程从队列获取到StopEvent时,代表此线程可以销毁。可设置为任意与任务有区别的值。
    self.q = Queue()
    self.max_num = max_num #最大线程数
    self.terminal = False  #是否设置线程池强制终止
    self.created_list = [] #已创建线程的线程列表
    self.free_list = [] #空闲线程的线程列表
    self.Deamon=False #线程是否是后台线程
  def run(self, func, args, callback=None):
    """
    线程池执行一个任务
    :param func: 任务函数
    :param args: 任务函数所需参数
    :param callback:
    :return: 如果线程池已经终止,则返回True否则None
    """
    if len(self.free_list) == 0 and len(self.created_list) < self.max_num:
      self.create_thread()
    task = (func, args, callback,)
    self.q.put(task)
  def create_thread(self):
    """
    创建一个线程
    """
    t = threading.Thread(target=self.call)
    t.setDaemon(self.Deamon)
    t.start()
    self.created_list.append(t)#将当前线程加入已创建线程列表created_list
  def call(self):
    """
    循环去获取任务函数并执行任务函数
    """
    current_thread = threading.current_thread()  #获取当前线程对象·
    event = self.q.get()  #从任务队列获取任务
    while event != self.StopEvent:  #判断获取到的任务是否是终止符
      func, arguments, callback = event#从任务中获取函数名、参数、和回调函数名
      try:
        result = func(*arguments)
        func_excute_status =True#func执行成功状态
      except Exception as e:
        func_excute_status = False
        result =None
        print '函数执行产生错误', e#打印错误信息
      if func_excute_status:#func执行成功后才能执行回调函数
        if callback is not None:#判断回调函数是否是空的
          try:
            callback(result)
          except Exception as e:
            print '回调函数执行产生错误', e # 打印错误信息
      with self.worker_state(self.free_list,current_thread):
        #执行完一次任务后,将线程加入空闲列表。然后继续去取任务,如果取到任务就将线程从空闲列表移除
        if self.terminal:#判断线程池终止命令,如果需要终止,则使下次取到的任务为StopEvent。
          event = self.StopEvent
        else: #否则继续获取任务
          event = self.q.get() # 当线程等待任务时,q.get()方法阻塞住线程,使其持续等待
    else:#若线程取到的任务是终止符,就销毁线程
      #将当前线程从已创建线程列表created_list移除
      self.created_list.remove(current_thread)
  def close(self):
    """
    执行完所有的任务后,所有线程停止
    """
    full_size = len(self.created_list)#按已创建的线程数量往线程队列加入终止符。
    while full_size:
      self.q.put(self.StopEvent)
      full_size -= 1
  def terminate(self):
    """
    无论是否还有任务,终止线程
    """
    self.terminal = True
    while self.created_list:
      self.q.put(self.StopEvent)
    self.q.queue.clear()#清空任务队列
  def join(self):
    """
    阻塞线程池上下文,使所有线程执行完后才能继续
    """
    for t in self.created_list:
      t.join()
  @contextlib.contextmanager#上下文处理器,使其可以使用with语句修饰
  def worker_state(self, state_list, worker_thread):
    """
    用于记录线程中正在等待的线程数
    """
    state_list.append(worker_thread)
    try:
      yield
    finally:
      state_list.remove(worker_thread)
if __name__ == '__main__':
  def Foo(arg):
    return arg
    # time.sleep(0.1)
  def Bar(res):
    print res
  pool=ThreadPool(5)
  # pool.Deamon=True#需在pool.run之前设置
  for i in range(1000):
    pool.run(func=Foo,args=(i,),callback=Bar)
  pool.close()
  pool.join()
  # pool.terminate()
  print "任务队列里任务数%s" %pool.q.qsize()
  print "当前存活子线程数量:%d" % threading.activeCount()
  print "当前线程创建列表:%s" %pool.created_list
  print "当前线程创建列表:%s" %pool.free_list

关于上下文处理:

来个简单例子说明:

下面的代码手动自定义了一个myopen方法,模拟我们常见的with open() as f:语句。具体的contextlib模块使用,会单独开章来将。

# coding:utf-8
import contextlib
@contextlib.contextmanager#定义该函数支持上下文with语句
def myopen(filename,mode):
  f=open(filename,mode)
  try:
    yield f.readlines()#正常执行返回f.readlines()
  except Exception as e:
    print e
  finally:
    f.close()#最后在with代码快执行完毕后返回执行finally下的f.close()实现关闭文件
if __name__ == '__main__':
  with myopen(r'c:\ip1.txt','r') as f:
    for line in f:
      print line

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Python 冒泡,选择,插入排序使用实例
Feb 05 Python
介绍Python中几个常用的类方法
Apr 08 Python
Python文件右键找不到IDLE打开项解决办法
Jun 08 Python
在Python的Django框架中加载模版的方法
Jul 16 Python
Pipenv一键搭建python虚拟环境的方法
May 22 Python
python 对给定可迭代集合统计出现频率,并排序的方法
Oct 18 Python
用Python获取摄像头并实时控制人脸的实现示例
Jul 11 Python
Python3实现将一维数组按标准长度分隔为二维数组
Nov 29 Python
python range实例用法分享
Feb 06 Python
Python 实现黑客帝国中的字符雨的示例代码
Feb 20 Python
Python 实现平台类游戏添加跳跃功能
Mar 27 Python
使用keras2.0 将Merge层改为函数式
May 23 Python
使用apidoc管理RESTful风格Flask项目接口文档方法
Feb 07 #Python
Python列表推导式、字典推导式与集合推导式用法实例分析
Feb 07 #Python
浅析Python3爬虫登录模拟
Feb 07 #Python
Python实现的三层BP神经网络算法示例
Feb 07 #Python
Python 12306抢火车票脚本
Feb 07 #Python
django限制匿名用户访问及重定向的方法实例
Feb 07 #Python
Python用 KNN 进行验证码识别的实现方法
Feb 06 #Python
You might like
轻松入门: 煮好咖啡的七个诀窍
2021/03/03 冲泡冲煮
虚拟主机中对PHP的特殊设置
2006/10/09 PHP
PHP中is_file()函数使用指南
2015/05/08 PHP
thinkphp中AJAX返回ajaxReturn()方法分析
2016/12/06 PHP
解决Laravel无法使用COOKIE和SESSION的问题
2019/10/16 PHP
laravel框架中视图的基本使用方法分析
2019/11/23 PHP
javascript权威指南 学习笔记之null和undefined
2011/09/25 Javascript
JavaScript中常用的运算符小结
2012/01/18 Javascript
JavaScript使用cookie实现记住账号密码功能
2015/04/27 Javascript
JavaScript实现单击下拉框选择直接跳转页面的方法
2015/07/02 Javascript
非常实用的12个jquery代码片段
2015/11/02 Javascript
jQuery插件formValidator实现表单验证
2016/05/23 Javascript
js时间戳和c#时间戳互转方法(推荐)
2017/02/15 Javascript
vue实现图片滚动的示例代码(类似走马灯效果)
2018/03/03 Javascript
Node.js笔记之process模块解读
2018/05/31 Javascript
JavaScript ECMA-262-3 深入解析(二):变量对象实例详解
2020/04/25 Javascript
解决vue-loader加载不上的问题
2020/10/21 Javascript
nuxt.js 在middleware(中间件)中实现路由鉴权操作
2020/11/06 Javascript
[02:33]2014DOTA2 TI每日综述 LGD涉险晋级DK闯入胜者组
2014/07/14 DOTA
详解Django中的权限和组以及消息
2015/07/23 Python
Python爬虫爬取美剧网站的实现代码
2016/09/03 Python
django日志默认打印request请求信息的方法示例
2020/05/17 Python
Python利用Faiss库实现ANN近邻搜索的方法详解
2020/08/03 Python
Python调用jar包方法实现过程解析
2020/08/11 Python
牵手50香港:专为黄金岁月的单身人士而设的交友网站
2020/08/14 全球购物
厨师岗位职责
2013/11/12 职场文书
初三家长会邀请函
2014/01/18 职场文书
党的群众路线教育实践活动心得体会
2014/03/03 职场文书
计算机求职自荐信范文
2014/04/19 职场文书
学校欢迎标语
2014/06/18 职场文书
2015年度信用社工作总结
2015/05/04 职场文书
会议室使用管理制度
2015/08/06 职场文书
使用canvas对video视频某一刻截图功能
2021/09/25 HTML / CSS
python人工智能human learn绘图可创建机器学习模型
2021/11/23 Python
Windows Server 2012 修改远程默认端口3389的方法
2022/04/28 Servers
SQLServer常见数学函数梳理总结
2022/08/05 MySQL