用Python实现一个简单的线程池


Posted in Python onApril 07, 2015

线程池的概念是什么?

在面向对象编程中,创建和销毁对象是很费时间的,因为创建一个对象要获取内存资源或者其它更多资源。在Java中更是 如此,虚拟机将试图跟踪每一个对象,以便能够在对象销毁后进行垃圾回收。所以提高服务程序效率的一个手段就是尽可能减少创建和销毁对象的次数,特别是一些 很耗资源的对象创建和销毁。如何利用已有对象来服务就是一个需要解决的关键问题,其实这就是一些"池化资源"技术产生的原因。

我理解为线程池是一个存放很多线程的单位,同时还有一个对应的任务队列。整个执行过程其实就是使用线程池中已有有限的线程把任务 队列中的任务做完。这样做的好处就是你不需要为每个任务都创建一个线程,因为当你创建第100个线程来执行第100个任务的时候,可能前面已经有50个线 程结束工作了。因此重复利用线程来执行任务,减少系统资源的开销。

一个不怎么恰当的比喻就是,有100台电脑主机箱需要从1楼搬到2楼,你不需要喊来100人帮忙搬,你只需要叫十个或者二十个人就足以,每个人分配十个或者五个甚至是谁搬的快谁就多搬知道完成未知。(这个比喻好像。。。。。)

不管如何吧,大体上理解了线程池的概念。那么怎么用python实现呢?

代码如下
 

# !/usr/bin/env python
# -*- coding:utf-8 -*-
# ref_blog:http://www.open-open.com/home/space-5679-do-blog-id-3247.html
import Queue
import threading
import time
class WorkManager(object):
  def __init__(self, work_num=1000,thread_num=2):
    self.work_queue = Queue.Queue()
    self.threads = []
    self.__init_work_queue(work_num)
    self.__init_thread_pool(thread_num)
  """
    初始化线程
  """
  def __init_thread_pool(self,thread_num):
    for i in range(thread_num):
      self.threads.append(Work(self.work_queue))
  """
    初始化工作队列
  """
  def __init_work_queue(self, jobs_num):
    for i in range(jobs_num):
      self.add_job(do_job, i)
  """
    添加一项工作入队
  """
  def add_job(self, func, *args):
    self.work_queue.put((func, list(args)))#任务入队,Queue内部实现了同步机制
  """
    检查剩余队列任务
  """
  def check_queue(self):
    return self.work_queue.qsize()
  """
    等待所有线程运行完毕
  """ 
  def wait_allcomplete(self):
    for item in self.threads:
      if item.isAlive():item.join()
class Work(threading.Thread):
  def __init__(self, work_queue):
    threading.Thread.__init__(self)
    self.work_queue = work_queue
    self.start()
  def run(self):
    #死循环,从而让创建的线程在一定条件下关闭退出
    while True:
      try:
        do, args = self.work_queue.get(block=False)#任务异步出队,Queue内部实现了同步机制
        do(args)
        self.work_queue.task_done()#通知系统任务完成
      except Exception,e:
        print str(e)
        break
#具体要做的任务
def do_job(args):
  print args
  time.sleep(0.1)#模拟处理时间
  print threading.current_thread(), list(args)
if __name__ == '__main__':
  start = time.time()
  work_manager = WorkManager(10, 2)#或者work_manager = WorkManager(10000, 20)
  work_manager.wait_allcomplete()
  end = time.time()
  print "cost all time: %s" % (end-start)

这个代码清晰易懂。

整个代码只有两个类:WorkManager和Work,前者确实如命名所示,是一个管理者,管理线程池和任务队列,而后者就是具体的一个线程。

它的整个运行逻辑就是,给WorkManager分配制定的任务量和线程数,然后每个线程都从任务队列中获取任务来执行,直到队列中没有任务。这里面也用到了Queue内部的同步机制(至于是啥同步机制目前还没去研究)。

总结一下这样一个线程池的作用,对于我本来的目的其实这个东西是永不上的,因为我需要在web页面来控制线程的启动和停止,而这个线程池看起来只是用来并发完任务的。不过我想虽然在控制线程方面没有作用,但是它的并发执行任务的作用还是蛮不错,或许可以用在爬网页的部分。

Python 相关文章推荐
Python中的对象,方法,类,实例,函数用法分析
Jan 15 Python
详解Python中的循环语句的用法
Apr 09 Python
Python中的Matplotlib模块入门教程
Apr 15 Python
python中偏函数partial用法实例分析
Jul 08 Python
简单的python后台管理程序
Apr 13 Python
Python常用时间操作总结【取得当前时间、时间函数、应用等】
May 11 Python
python爬虫URL重试机制的实现方法(python2.7以及python3.5)
Dec 18 Python
使用python对多个txt文件中的数据进行筛选的方法
Jul 10 Python
PyQt5实现登录页面
May 30 Python
Python爬取数据并实现可视化代码解析
Aug 12 Python
浅析python中的del用法
Sep 02 Python
Django模型验证器介绍与源码分析
Sep 08 Python
浅谈Python程序与C++程序的联合使用
Apr 07 #Python
浅要分析Python程序与C程序的结合使用
Apr 07 #Python
python实现根据用户输入从电影网站获取影片信息的方法
Apr 07 #Python
python中列表元素连接方法join用法实例
Apr 07 #Python
简单介绍Python中的filter和lambda函数的使用
Apr 07 #Python
解析Python中的变量、引用、拷贝和作用域的问题
Apr 07 #Python
在Python中利用Pandas库处理大数据的简单介绍
Apr 07 #Python
You might like
实现“上一页”和“下一页按钮
2006/10/09 PHP
win10环境PHP 7 安装配置【教程】
2016/05/09 PHP
Jquery 插件开发笔记整理
2011/01/17 Javascript
jquery操作select option 的代码小结
2011/06/21 Javascript
JavaScript中for-in遍历方式示例介绍
2014/02/11 Javascript
JsRender for index循环索引用法详解
2014/10/31 Javascript
浅谈javascript中for in 和 for each in的区别
2015/04/23 Javascript
javascript中setInterval的用法
2015/07/19 Javascript
浅谈javascript的Touch事件
2015/09/27 Javascript
JS实现浏览器状态栏文字从右向左弹出效果代码
2015/10/27 Javascript
jquery.validate使用详解
2016/06/02 Javascript
jQuery实现点击弹出背景变暗遮罩效果实例代码
2016/06/24 Javascript
jQuery插件HighCharts绘制的基本折线图效果示例【附demo源码下载】
2017/03/07 Javascript
BootStrap 页签切换失效的解决方法
2017/08/17 Javascript
浅谈angular.js跨域post解决方案
2017/08/30 Javascript
Node之简单的前后端交互(实例讲解)
2017/11/14 Javascript
使用webpack4编译并压缩ES6代码的方法示例
2019/04/24 Javascript
vue css 引入asstes中的图片无法显示的四种解决方法
2020/03/16 Javascript
JavaScript实现字符串与HTML格式相互转换
2020/03/17 Javascript
JS检测浏览器开发者工具是否打开的方法详解
2020/10/02 Javascript
解决新建一个vue项目过程中遇到的问题
2020/10/22 Javascript
用Python制作检测Linux运行信息的工具的教程
2015/04/01 Python
简单介绍Python中的floor()方法
2015/05/15 Python
python3 深浅copy对比详解
2019/08/12 Python
Python用input输入列表的实例代码
2020/02/07 Python
Python如何输出百分比
2020/07/31 Python
使用html2canvas.js实现页面截图并显示或上传的示例代码
2018/12/18 HTML / CSS
Vince官网:全球著名设计师品牌,休闲而优雅的服饰
2017/01/15 全球购物
预订奥兰多和佛罗里达州公园门票:FloridaTix
2018/01/03 全球购物
自我评价正确写法范文
2013/12/10 职场文书
参观接待方案
2014/03/17 职场文书
竞聘演讲稿
2014/04/24 职场文书
乡镇党建工作汇报材料
2014/08/14 职场文书
班主任寄语2016
2015/12/04 职场文书
2016学校先进集体事迹材料
2016/02/29 职场文书
微信小程序scroll-view不能左右滑动问题的解决方法
2021/07/09 Javascript