用Python实现一个简单的线程池


Posted in Python onApril 07, 2015

线程池的概念是什么?

在面向对象编程中,创建和销毁对象是很费时间的,因为创建一个对象要获取内存资源或者其它更多资源。在Java中更是 如此,虚拟机将试图跟踪每一个对象,以便能够在对象销毁后进行垃圾回收。所以提高服务程序效率的一个手段就是尽可能减少创建和销毁对象的次数,特别是一些 很耗资源的对象创建和销毁。如何利用已有对象来服务就是一个需要解决的关键问题,其实这就是一些"池化资源"技术产生的原因。

我理解为线程池是一个存放很多线程的单位,同时还有一个对应的任务队列。整个执行过程其实就是使用线程池中已有有限的线程把任务 队列中的任务做完。这样做的好处就是你不需要为每个任务都创建一个线程,因为当你创建第100个线程来执行第100个任务的时候,可能前面已经有50个线 程结束工作了。因此重复利用线程来执行任务,减少系统资源的开销。

一个不怎么恰当的比喻就是,有100台电脑主机箱需要从1楼搬到2楼,你不需要喊来100人帮忙搬,你只需要叫十个或者二十个人就足以,每个人分配十个或者五个甚至是谁搬的快谁就多搬知道完成未知。(这个比喻好像。。。。。)

不管如何吧,大体上理解了线程池的概念。那么怎么用python实现呢?

代码如下
 

# !/usr/bin/env python
# -*- coding:utf-8 -*-
# ref_blog:http://www.open-open.com/home/space-5679-do-blog-id-3247.html
import Queue
import threading
import time
class WorkManager(object):
  def __init__(self, work_num=1000,thread_num=2):
    self.work_queue = Queue.Queue()
    self.threads = []
    self.__init_work_queue(work_num)
    self.__init_thread_pool(thread_num)
  """
    初始化线程
  """
  def __init_thread_pool(self,thread_num):
    for i in range(thread_num):
      self.threads.append(Work(self.work_queue))
  """
    初始化工作队列
  """
  def __init_work_queue(self, jobs_num):
    for i in range(jobs_num):
      self.add_job(do_job, i)
  """
    添加一项工作入队
  """
  def add_job(self, func, *args):
    self.work_queue.put((func, list(args)))#任务入队,Queue内部实现了同步机制
  """
    检查剩余队列任务
  """
  def check_queue(self):
    return self.work_queue.qsize()
  """
    等待所有线程运行完毕
  """ 
  def wait_allcomplete(self):
    for item in self.threads:
      if item.isAlive():item.join()
class Work(threading.Thread):
  def __init__(self, work_queue):
    threading.Thread.__init__(self)
    self.work_queue = work_queue
    self.start()
  def run(self):
    #死循环,从而让创建的线程在一定条件下关闭退出
    while True:
      try:
        do, args = self.work_queue.get(block=False)#任务异步出队,Queue内部实现了同步机制
        do(args)
        self.work_queue.task_done()#通知系统任务完成
      except Exception,e:
        print str(e)
        break
#具体要做的任务
def do_job(args):
  print args
  time.sleep(0.1)#模拟处理时间
  print threading.current_thread(), list(args)
if __name__ == '__main__':
  start = time.time()
  work_manager = WorkManager(10, 2)#或者work_manager = WorkManager(10000, 20)
  work_manager.wait_allcomplete()
  end = time.time()
  print "cost all time: %s" % (end-start)

这个代码清晰易懂。

整个代码只有两个类:WorkManager和Work,前者确实如命名所示,是一个管理者,管理线程池和任务队列,而后者就是具体的一个线程。

它的整个运行逻辑就是,给WorkManager分配制定的任务量和线程数,然后每个线程都从任务队列中获取任务来执行,直到队列中没有任务。这里面也用到了Queue内部的同步机制(至于是啥同步机制目前还没去研究)。

总结一下这样一个线程池的作用,对于我本来的目的其实这个东西是永不上的,因为我需要在web页面来控制线程的启动和停止,而这个线程池看起来只是用来并发完任务的。不过我想虽然在控制线程方面没有作用,但是它的并发执行任务的作用还是蛮不错,或许可以用在爬网页的部分。

Python 相关文章推荐
python进阶教程之函数对象(函数也是对象)
Aug 30 Python
Python中实现对list做减法操作介绍
Jan 09 Python
Python处理字符串之isspace()方法的使用
May 19 Python
详解python发送各类邮件的主要方法
Dec 22 Python
Django rest framework工具包简单用法示例
Jul 20 Python
python实现决策树分类(2)
Aug 30 Python
神经网络相关之基础概念的讲解
Dec 29 Python
python argparser的具体使用
Nov 10 Python
python使用opencv在Windows下调用摄像头实现解析
Nov 26 Python
Python 批量读取文件中指定字符的实现
Mar 06 Python
使用jupyter notebook将文件保存为Markdown,HTML等文件格式
Apr 14 Python
Python实例方法、类方法、静态方法区别详解
Sep 05 Python
浅谈Python程序与C++程序的联合使用
Apr 07 #Python
浅要分析Python程序与C程序的结合使用
Apr 07 #Python
python实现根据用户输入从电影网站获取影片信息的方法
Apr 07 #Python
python中列表元素连接方法join用法实例
Apr 07 #Python
简单介绍Python中的filter和lambda函数的使用
Apr 07 #Python
解析Python中的变量、引用、拷贝和作用域的问题
Apr 07 #Python
在Python中利用Pandas库处理大数据的简单介绍
Apr 07 #Python
You might like
PHP模板引擎SMARTY
2006/10/09 PHP
wiki-shan写的php在线加密的解密程序
2008/09/07 PHP
php 删除数组元素
2009/01/16 PHP
php while循环得到循环次数
2013/10/26 PHP
php实现批量下载百度云盘文件例子分享
2014/04/10 PHP
PHP中array_keys和array_unique函数源码的分析
2016/02/26 PHP
JavaScript修改css样式style
2008/04/15 Javascript
JS小功能(button选择颜色)简单实例
2013/11/29 Javascript
JavaScript实现的经典文件树菜单效果
2015/09/08 Javascript
js+html5操作sqlite数据库的方法
2016/02/02 Javascript
AngularJS向后端ASP.NET API控制器上传文件
2016/02/03 Javascript
学习Javascript闭包(Closure)知识
2016/08/07 Javascript
Vue.js 插件开发详解
2017/03/29 Javascript
javascript函数的节流[throttle]与防抖[debounce]
2017/11/15 Javascript
vue写一个组件
2018/04/09 Javascript
详解NodeJS Https HSM双向认证实现
2019/03/12 NodeJs
ES6入门教程之let、const的使用方法
2019/04/13 Javascript
koa-router路由参数和前端路由的结合详解
2019/05/19 Javascript
Vue中错误图片的处理的实现代码
2019/11/07 Javascript
JS实现旋转木马轮播图
2020/01/01 Javascript
15个简单的JS编码标准让你的代码更整洁(小结)
2020/07/16 Javascript
利用Django框架中select_related和prefetch_related函数对数据库查询优化
2015/04/01 Python
使用IPython来操作Docker容器的入门指引
2015/04/08 Python
Python函数参数类型*、**的区别
2015/04/11 Python
解析Python中while true的使用
2015/10/13 Python
python绘制铅球的运行轨迹代码分享
2017/11/14 Python
Windows下Python3.6安装第三方模块的方法
2018/11/22 Python
Python微医挂号网医生数据抓取
2019/01/24 Python
python查找重复图片并删除(图片去重)
2019/07/16 Python
Python3使用xlrd、xlwt处理Excel方法数据
2020/02/28 Python
Styleonme中文网:韩国高档人气品牌
2017/06/21 全球购物
Saucony澳大利亚官网:美国跑鞋品牌,运动鞋中的劳斯莱斯
2018/05/05 全球购物
韩国乐天网上商城:Lotte iMall
2021/02/03 全球购物
AJAX都有哪些有点和缺点
2012/11/03 面试题
介绍一下Ruby的特点
2013/01/20 面试题
个人简历中自我评价
2014/02/11 职场文书