用Python实现一个简单的线程池


Posted in Python onApril 07, 2015

线程池的概念是什么?

在面向对象编程中,创建和销毁对象是很费时间的,因为创建一个对象要获取内存资源或者其它更多资源。在Java中更是 如此,虚拟机将试图跟踪每一个对象,以便能够在对象销毁后进行垃圾回收。所以提高服务程序效率的一个手段就是尽可能减少创建和销毁对象的次数,特别是一些 很耗资源的对象创建和销毁。如何利用已有对象来服务就是一个需要解决的关键问题,其实这就是一些"池化资源"技术产生的原因。

我理解为线程池是一个存放很多线程的单位,同时还有一个对应的任务队列。整个执行过程其实就是使用线程池中已有有限的线程把任务 队列中的任务做完。这样做的好处就是你不需要为每个任务都创建一个线程,因为当你创建第100个线程来执行第100个任务的时候,可能前面已经有50个线 程结束工作了。因此重复利用线程来执行任务,减少系统资源的开销。

一个不怎么恰当的比喻就是,有100台电脑主机箱需要从1楼搬到2楼,你不需要喊来100人帮忙搬,你只需要叫十个或者二十个人就足以,每个人分配十个或者五个甚至是谁搬的快谁就多搬知道完成未知。(这个比喻好像。。。。。)

不管如何吧,大体上理解了线程池的概念。那么怎么用python实现呢?

代码如下
 

# !/usr/bin/env python
# -*- coding:utf-8 -*-
# ref_blog:http://www.open-open.com/home/space-5679-do-blog-id-3247.html
import Queue
import threading
import time
class WorkManager(object):
  def __init__(self, work_num=1000,thread_num=2):
    self.work_queue = Queue.Queue()
    self.threads = []
    self.__init_work_queue(work_num)
    self.__init_thread_pool(thread_num)
  """
    初始化线程
  """
  def __init_thread_pool(self,thread_num):
    for i in range(thread_num):
      self.threads.append(Work(self.work_queue))
  """
    初始化工作队列
  """
  def __init_work_queue(self, jobs_num):
    for i in range(jobs_num):
      self.add_job(do_job, i)
  """
    添加一项工作入队
  """
  def add_job(self, func, *args):
    self.work_queue.put((func, list(args)))#任务入队,Queue内部实现了同步机制
  """
    检查剩余队列任务
  """
  def check_queue(self):
    return self.work_queue.qsize()
  """
    等待所有线程运行完毕
  """ 
  def wait_allcomplete(self):
    for item in self.threads:
      if item.isAlive():item.join()
class Work(threading.Thread):
  def __init__(self, work_queue):
    threading.Thread.__init__(self)
    self.work_queue = work_queue
    self.start()
  def run(self):
    #死循环,从而让创建的线程在一定条件下关闭退出
    while True:
      try:
        do, args = self.work_queue.get(block=False)#任务异步出队,Queue内部实现了同步机制
        do(args)
        self.work_queue.task_done()#通知系统任务完成
      except Exception,e:
        print str(e)
        break
#具体要做的任务
def do_job(args):
  print args
  time.sleep(0.1)#模拟处理时间
  print threading.current_thread(), list(args)
if __name__ == '__main__':
  start = time.time()
  work_manager = WorkManager(10, 2)#或者work_manager = WorkManager(10000, 20)
  work_manager.wait_allcomplete()
  end = time.time()
  print "cost all time: %s" % (end-start)

这个代码清晰易懂。

整个代码只有两个类:WorkManager和Work,前者确实如命名所示,是一个管理者,管理线程池和任务队列,而后者就是具体的一个线程。

它的整个运行逻辑就是,给WorkManager分配制定的任务量和线程数,然后每个线程都从任务队列中获取任务来执行,直到队列中没有任务。这里面也用到了Queue内部的同步机制(至于是啥同步机制目前还没去研究)。

总结一下这样一个线程池的作用,对于我本来的目的其实这个东西是永不上的,因为我需要在web页面来控制线程的启动和停止,而这个线程池看起来只是用来并发完任务的。不过我想虽然在控制线程方面没有作用,但是它的并发执行任务的作用还是蛮不错,或许可以用在爬网页的部分。

Python 相关文章推荐
PHP魔术方法__ISSET、__UNSET使用实例
Nov 25 Python
Python中类的定义、继承及使用对象实例详解
Apr 30 Python
Python通过select实现异步IO的方法
Jun 04 Python
python实现红包裂变算法
Feb 16 Python
对Python生成汉字字库文字,以及转换为文字图片的实例详解
Jan 29 Python
python+openCV调用摄像头拍摄和处理图片的实现
Aug 06 Python
Python imageio读取视频并进行编解码详解
Dec 10 Python
Tensorflow 多线程设置方式
Feb 06 Python
Python使用matplotlib绘制圆形代码实例
May 27 Python
Python Flask框架实现简单加法工具过程解析
Jun 03 Python
利用Python优雅的登录校园网
Oct 21 Python
python request 模块详细介绍
Nov 10 Python
浅谈Python程序与C++程序的联合使用
Apr 07 #Python
浅要分析Python程序与C程序的结合使用
Apr 07 #Python
python实现根据用户输入从电影网站获取影片信息的方法
Apr 07 #Python
python中列表元素连接方法join用法实例
Apr 07 #Python
简单介绍Python中的filter和lambda函数的使用
Apr 07 #Python
解析Python中的变量、引用、拷贝和作用域的问题
Apr 07 #Python
在Python中利用Pandas库处理大数据的简单介绍
Apr 07 #Python
You might like
星际玩家的三大定律
2020/03/04 星际争霸
php 进度条实现代码
2009/03/10 PHP
php微信公众平台开发类实例
2015/04/01 PHP
php 数组处理函数extract详解及实例代码
2016/11/23 PHP
javascript之可拖动的iframe效果代码
2008/08/01 Javascript
javascript中负数算术右移、逻辑右移的奥秘探索
2013/10/17 Javascript
jquery easyui使用心得
2014/07/07 Javascript
javascript实现设置、获取和删除Cookie的方法
2015/06/01 Javascript
详解JavaScript正则表达式之RegExp对象
2015/12/13 Javascript
JS实现单击输入框弹出选择框效果完整实例
2015/12/14 Javascript
浏览器复制插件zeroclipboard使用指南
2016/03/26 Javascript
TableSort.js表格排序插件使用方法详解
2017/02/10 Javascript
angular2路由切换改变页面title的示例代码
2017/08/23 Javascript
浅谈jquery中ajax跨域提交的时候会有2次请求的问题
2017/11/10 jQuery
JS处理一些简单计算题
2018/02/24 Javascript
vue中锚点的三种方法
2018/07/06 Javascript
微信小程序学习笔记之文件上传、下载操作图文详解
2019/03/29 Javascript
vue基于better-scroll仿京东分类列表
2020/06/30 Javascript
JavaScript数组类型Array相关的属性与方法详解
2020/09/08 Javascript
关于小程序优化的一些建议(小结)
2020/12/10 Javascript
Python单例模式实例详解
2017/03/01 Python
pandas 透视表中文字段排序方法
2018/11/16 Python
Python实现Selenium自动化Page模式
2019/07/14 Python
django用户登录验证的完整示例代码
2019/07/21 Python
HTML5使用drawImage()方法绘制图像
2014/06/23 HTML / CSS
是什么让J2EE适合用来开发多层的分布式的应用
2015/01/16 面试题
餐厅销售主管职责范本
2014/02/19 职场文书
《钱学森》听课反思
2014/03/01 职场文书
防沙治沙典型材料
2014/05/07 职场文书
银行委托书范本
2014/09/28 职场文书
裁员通知
2015/04/25 职场文书
2015年度物业公司工作总结
2015/04/27 职场文书
小学教代会开幕词
2016/03/04 职场文书
创业计划书之甜品店
2019/09/18 职场文书
教你用Python+selenium搭建自动化测试环境
2021/06/18 Python
JavaScript事件的委托(代理)的用法示例详解
2022/02/18 Javascript