用Python实现一个简单的线程池


Posted in Python onApril 07, 2015

线程池的概念是什么?

在面向对象编程中,创建和销毁对象是很费时间的,因为创建一个对象要获取内存资源或者其它更多资源。在Java中更是 如此,虚拟机将试图跟踪每一个对象,以便能够在对象销毁后进行垃圾回收。所以提高服务程序效率的一个手段就是尽可能减少创建和销毁对象的次数,特别是一些 很耗资源的对象创建和销毁。如何利用已有对象来服务就是一个需要解决的关键问题,其实这就是一些"池化资源"技术产生的原因。

我理解为线程池是一个存放很多线程的单位,同时还有一个对应的任务队列。整个执行过程其实就是使用线程池中已有有限的线程把任务 队列中的任务做完。这样做的好处就是你不需要为每个任务都创建一个线程,因为当你创建第100个线程来执行第100个任务的时候,可能前面已经有50个线 程结束工作了。因此重复利用线程来执行任务,减少系统资源的开销。

一个不怎么恰当的比喻就是,有100台电脑主机箱需要从1楼搬到2楼,你不需要喊来100人帮忙搬,你只需要叫十个或者二十个人就足以,每个人分配十个或者五个甚至是谁搬的快谁就多搬知道完成未知。(这个比喻好像。。。。。)

不管如何吧,大体上理解了线程池的概念。那么怎么用python实现呢?

代码如下
 

# !/usr/bin/env python
# -*- coding:utf-8 -*-
# ref_blog:http://www.open-open.com/home/space-5679-do-blog-id-3247.html
import Queue
import threading
import time
class WorkManager(object):
  def __init__(self, work_num=1000,thread_num=2):
    self.work_queue = Queue.Queue()
    self.threads = []
    self.__init_work_queue(work_num)
    self.__init_thread_pool(thread_num)
  """
    初始化线程
  """
  def __init_thread_pool(self,thread_num):
    for i in range(thread_num):
      self.threads.append(Work(self.work_queue))
  """
    初始化工作队列
  """
  def __init_work_queue(self, jobs_num):
    for i in range(jobs_num):
      self.add_job(do_job, i)
  """
    添加一项工作入队
  """
  def add_job(self, func, *args):
    self.work_queue.put((func, list(args)))#任务入队,Queue内部实现了同步机制
  """
    检查剩余队列任务
  """
  def check_queue(self):
    return self.work_queue.qsize()
  """
    等待所有线程运行完毕
  """ 
  def wait_allcomplete(self):
    for item in self.threads:
      if item.isAlive():item.join()
class Work(threading.Thread):
  def __init__(self, work_queue):
    threading.Thread.__init__(self)
    self.work_queue = work_queue
    self.start()
  def run(self):
    #死循环,从而让创建的线程在一定条件下关闭退出
    while True:
      try:
        do, args = self.work_queue.get(block=False)#任务异步出队,Queue内部实现了同步机制
        do(args)
        self.work_queue.task_done()#通知系统任务完成
      except Exception,e:
        print str(e)
        break
#具体要做的任务
def do_job(args):
  print args
  time.sleep(0.1)#模拟处理时间
  print threading.current_thread(), list(args)
if __name__ == '__main__':
  start = time.time()
  work_manager = WorkManager(10, 2)#或者work_manager = WorkManager(10000, 20)
  work_manager.wait_allcomplete()
  end = time.time()
  print "cost all time: %s" % (end-start)

这个代码清晰易懂。

整个代码只有两个类:WorkManager和Work,前者确实如命名所示,是一个管理者,管理线程池和任务队列,而后者就是具体的一个线程。

它的整个运行逻辑就是,给WorkManager分配制定的任务量和线程数,然后每个线程都从任务队列中获取任务来执行,直到队列中没有任务。这里面也用到了Queue内部的同步机制(至于是啥同步机制目前还没去研究)。

总结一下这样一个线程池的作用,对于我本来的目的其实这个东西是永不上的,因为我需要在web页面来控制线程的启动和停止,而这个线程池看起来只是用来并发完任务的。不过我想虽然在控制线程方面没有作用,但是它的并发执行任务的作用还是蛮不错,或许可以用在爬网页的部分。

Python 相关文章推荐
Python map和reduce函数用法示例
Feb 26 Python
Python通过正则表达式选取callback的方法
Jul 18 Python
python字符串的常用操作方法小结
May 21 Python
python面试题Python2.x和Python3.x的区别
May 28 Python
Python matplotlib学习笔记之坐标轴范围
Jun 28 Python
python 实现多线程下载m3u8格式视频并使用fmmpeg合并
Nov 15 Python
通过实例学习Python Excel操作
Jan 06 Python
python爬虫开发之selenium模块详细使用方法与实例全解
Mar 09 Python
基于python实现ROC曲线绘制广场解析
Jun 28 Python
python上下文管理器异常问题解决方法
Feb 07 Python
在pycharm中无法import所安装的库解决方案
May 31 Python
python分分钟绘制精美地图海报
Feb 15 Python
浅谈Python程序与C++程序的联合使用
Apr 07 #Python
浅要分析Python程序与C程序的结合使用
Apr 07 #Python
python实现根据用户输入从电影网站获取影片信息的方法
Apr 07 #Python
python中列表元素连接方法join用法实例
Apr 07 #Python
简单介绍Python中的filter和lambda函数的使用
Apr 07 #Python
解析Python中的变量、引用、拷贝和作用域的问题
Apr 07 #Python
在Python中利用Pandas库处理大数据的简单介绍
Apr 07 #Python
You might like
受疫情影响 动画《Re从零开始的异世界生活》第二季延期至7月
2020/03/10 日漫
一个颜色轮换的简单例子
2006/10/09 PHP
使用PHP实现密保卡功能实现代码<打包下载直接运行>
2011/10/09 PHP
解决laravel id非自增 模型取回为0 的问题
2019/10/11 PHP
用js实现的模拟jquery的animate自定义动画(2.5K)
2010/07/20 Javascript
CSS和JS标签style属性对照表(方便js开发的朋友)
2010/11/11 Javascript
js 幻灯片的实现
2011/12/06 Javascript
js 3种归并操作的实例代码
2013/10/30 Javascript
jQuery中delegate与on的用法与区别示例介绍
2013/12/20 Javascript
file控件选择上传文件确定后触发的js事件是哪个
2014/03/17 Javascript
浅谈Javascript变量作用域问题
2014/12/16 Javascript
JavaScript中的bold()方法使用详解
2015/06/08 Javascript
jQuery模拟select实现下拉菜单功能
2016/06/20 Javascript
AngularJS 在同一个界面启动多个ng-app应用模块详解
2016/12/20 Javascript
深入理解Vue 的钩子函数
2018/09/05 Javascript
javascript获取元素的计算样式
2019/05/24 Javascript
帮你彻底搞懂JS中的prototype、__proto__与constructor(图解)
2019/08/23 Javascript
微信小程序聊天功能的示例代码
2020/01/13 Javascript
微信小程序中使用 async/await的方法实例分析
2020/05/06 Javascript
用Python进行一些简单的自然语言处理的教程
2015/03/31 Python
Django查询数据库的性能优化示例代码
2017/09/24 Python
Python通过Pygame绘制移动的矩形实例代码
2018/01/03 Python
matplotlib 纵坐标轴显示数据值的实例
2018/05/25 Python
python初学者,用python实现基本的学生管理系统(python3)代码实例
2019/04/10 Python
Python实现图片批量加入水印代码实例
2019/11/30 Python
Python实现画图软件功能方法详解
2020/07/28 Python
python 装饰器的基本使用
2021/01/13 Python
MIKI HOUSE美国官方网上商店:日本领先的婴儿和儿童高级时装品牌
2020/06/21 全球购物
工作表扬信的范文
2014/01/10 职场文书
微笑服务标语
2014/06/24 职场文书
门卫岗位职责说明书
2014/08/18 职场文书
车辆年检委托书范本
2014/10/14 职场文书
病人写给医生的感谢信
2015/01/23 职场文书
家长高考寄语
2015/02/27 职场文书
《蚂蚁和蝈蝈》教学反思
2016/02/22 职场文书
Python实战实现爬取天气数据并完成可视化分析详解
2022/06/16 Python