用Python实现一个简单的线程池


Posted in Python onApril 07, 2015

线程池的概念是什么?

在面向对象编程中,创建和销毁对象是很费时间的,因为创建一个对象要获取内存资源或者其它更多资源。在Java中更是 如此,虚拟机将试图跟踪每一个对象,以便能够在对象销毁后进行垃圾回收。所以提高服务程序效率的一个手段就是尽可能减少创建和销毁对象的次数,特别是一些 很耗资源的对象创建和销毁。如何利用已有对象来服务就是一个需要解决的关键问题,其实这就是一些"池化资源"技术产生的原因。

我理解为线程池是一个存放很多线程的单位,同时还有一个对应的任务队列。整个执行过程其实就是使用线程池中已有有限的线程把任务 队列中的任务做完。这样做的好处就是你不需要为每个任务都创建一个线程,因为当你创建第100个线程来执行第100个任务的时候,可能前面已经有50个线 程结束工作了。因此重复利用线程来执行任务,减少系统资源的开销。

一个不怎么恰当的比喻就是,有100台电脑主机箱需要从1楼搬到2楼,你不需要喊来100人帮忙搬,你只需要叫十个或者二十个人就足以,每个人分配十个或者五个甚至是谁搬的快谁就多搬知道完成未知。(这个比喻好像。。。。。)

不管如何吧,大体上理解了线程池的概念。那么怎么用python实现呢?

代码如下
 

# !/usr/bin/env python
# -*- coding:utf-8 -*-
# ref_blog:http://www.open-open.com/home/space-5679-do-blog-id-3247.html
import Queue
import threading
import time
class WorkManager(object):
  def __init__(self, work_num=1000,thread_num=2):
    self.work_queue = Queue.Queue()
    self.threads = []
    self.__init_work_queue(work_num)
    self.__init_thread_pool(thread_num)
  """
    初始化线程
  """
  def __init_thread_pool(self,thread_num):
    for i in range(thread_num):
      self.threads.append(Work(self.work_queue))
  """
    初始化工作队列
  """
  def __init_work_queue(self, jobs_num):
    for i in range(jobs_num):
      self.add_job(do_job, i)
  """
    添加一项工作入队
  """
  def add_job(self, func, *args):
    self.work_queue.put((func, list(args)))#任务入队,Queue内部实现了同步机制
  """
    检查剩余队列任务
  """
  def check_queue(self):
    return self.work_queue.qsize()
  """
    等待所有线程运行完毕
  """ 
  def wait_allcomplete(self):
    for item in self.threads:
      if item.isAlive():item.join()
class Work(threading.Thread):
  def __init__(self, work_queue):
    threading.Thread.__init__(self)
    self.work_queue = work_queue
    self.start()
  def run(self):
    #死循环,从而让创建的线程在一定条件下关闭退出
    while True:
      try:
        do, args = self.work_queue.get(block=False)#任务异步出队,Queue内部实现了同步机制
        do(args)
        self.work_queue.task_done()#通知系统任务完成
      except Exception,e:
        print str(e)
        break
#具体要做的任务
def do_job(args):
  print args
  time.sleep(0.1)#模拟处理时间
  print threading.current_thread(), list(args)
if __name__ == '__main__':
  start = time.time()
  work_manager = WorkManager(10, 2)#或者work_manager = WorkManager(10000, 20)
  work_manager.wait_allcomplete()
  end = time.time()
  print "cost all time: %s" % (end-start)

这个代码清晰易懂。

整个代码只有两个类:WorkManager和Work,前者确实如命名所示,是一个管理者,管理线程池和任务队列,而后者就是具体的一个线程。

它的整个运行逻辑就是,给WorkManager分配制定的任务量和线程数,然后每个线程都从任务队列中获取任务来执行,直到队列中没有任务。这里面也用到了Queue内部的同步机制(至于是啥同步机制目前还没去研究)。

总结一下这样一个线程池的作用,对于我本来的目的其实这个东西是永不上的,因为我需要在web页面来控制线程的启动和停止,而这个线程池看起来只是用来并发完任务的。不过我想虽然在控制线程方面没有作用,但是它的并发执行任务的作用还是蛮不错,或许可以用在爬网页的部分。

Python 相关文章推荐
python使用os模块的os.walk遍历文件夹示例
Jan 27 Python
Python Socket编程入门教程
Jul 11 Python
Python爬取三国演义的实现方法
Sep 12 Python
基于Django用户认证系统详解
Feb 21 Python
python numpy实现文件存取的示例代码
May 26 Python
python3+PyQt5 实现Rich文本的行编辑方法
Jun 17 Python
Python基于Tensor FLow的图像处理操作详解
Jan 15 Python
Python包和模块的分发详细介绍
Jun 19 Python
如何使用Python处理HDF格式数据及可视化问题
Jun 24 Python
关于python3.9安装wordcloud出错的问题及解决办法
Nov 02 Python
python des,aes,rsa加解密的实现
Jan 16 Python
Python基础教程,Python入门教程(超详细)
Jun 24 Python
浅谈Python程序与C++程序的联合使用
Apr 07 #Python
浅要分析Python程序与C程序的结合使用
Apr 07 #Python
python实现根据用户输入从电影网站获取影片信息的方法
Apr 07 #Python
python中列表元素连接方法join用法实例
Apr 07 #Python
简单介绍Python中的filter和lambda函数的使用
Apr 07 #Python
解析Python中的变量、引用、拷贝和作用域的问题
Apr 07 #Python
在Python中利用Pandas库处理大数据的简单介绍
Apr 07 #Python
You might like
在线竞拍系统的PHP实现框架(二)
2006/10/09 PHP
php 模拟post_验证页面的返回状态(实例讲解)
2013/10/28 PHP
php中数组最简单的使用方法
2020/12/27 PHP
利用ASP发送和接收XML数据的处理方法与代码
2007/11/13 Javascript
Javascript 判断函数类型完美解决方案
2009/09/02 Javascript
jQuery EasyUI API 中文文档 - TimeSpinner时间微调器
2011/10/23 Javascript
javascript学习(一)构建自己的JS库
2013/01/02 Javascript
javascript事件模型实例分析
2015/01/30 Javascript
angularjs学习笔记之简单介绍
2015/09/26 Javascript
Javascript类型转换的规则实例解析
2016/02/23 Javascript
jQuery ajax全局函数处理session过期后的ajax跳转问题
2016/06/03 Javascript
JavaScript学习小结之使用canvas画“哆啦A梦”时钟
2016/07/24 Javascript
谈谈jQuery之Deferred源码剖析
2016/12/19 Javascript
Angular4 中内置指令的基本用法
2017/07/31 Javascript
angular $watch 一个变量的变化(实例讲解)
2017/08/02 Javascript
jQuery实现全选、反选和不选功能
2017/08/16 jQuery
jQuery实现对网页节点的增删改查功能示例
2017/09/18 jQuery
使用JavaScript中的lodash编写双色球效果
2018/06/24 Javascript
vuejs 动态添加input框的实例讲解
2018/08/24 Javascript
前端天气插件tpwidget使用方法详解
2019/06/24 Javascript
JavaScript中的惰性载入函数及优势
2020/02/18 Javascript
javascript实现移动端红包雨页面
2020/06/23 Javascript
[00:09]DOTA2新版本PA至宝特效动作展示
2014/11/19 DOTA
详解PyCharm安装MicroPython插件的教程
2019/06/24 Python
python爬虫开发之selenium模块详细使用方法与实例全解
2020/03/09 Python
Dower & Hall官网:英国小众轻奢珠宝品牌
2019/01/31 全球购物
环境工程专业个人求职信
2013/12/05 职场文书
演讲稿开场白
2014/01/13 职场文书
人事专员的职责
2014/02/26 职场文书
委托公证书范本
2014/04/03 职场文书
先进教育工作者事迹材料
2014/12/23 职场文书
电视新闻稿
2015/07/17 职场文书
教师研修随笔感言
2015/11/18 职场文书
使用javascript解析二维码的三种方式
2021/11/11 Javascript
Nginx配置https的实现
2021/11/27 Servers
Redis基本数据类型Zset有序集合常用操作
2022/06/01 Redis