Python实现的自定义多线程多进程类示例


Posted in Python onMarch 23, 2018

本文实例讲述了Python实现的自定义多线程多进程类。分享给大家供大家参考,具体如下:

最近经常使用到对大量文件进行操作的程序以前每次写的时候都要在函数中再写一个多线程多进程的函数,做了些重复的工作遇到新的任务时还要重写,因此将多线程与多进程的一些简单功能写成一个类,方便使用。功能简单只为以后方便使用。

使用中发现bug会再进行更新

#!/usr/bin/env python
  # -*- coding: utf-8 -*-
  # @Time  : 2017/5/10 12:47
  # @Author : zhaowen.zhu
  # @Site  :
  # @File  : MultiThread.py
  # @Software: Python Idle
  import threading,time,sys,multiprocessing
  from multiprocessing import Pool
  class MyTMultithread(threading.Thread):
    '''''
    自定义的线程函数,
    功能:使用多线程运行函数,函数的参数只有一个file,并且未实现结果值的返回
    args:
      filelist  函数的参数为列表格式,
      funname  函数的名字为字符串,函数仅有一个参数为file
      delay   每个线程之间的延迟,
      max_threads 线程的最大值
    '''
    def __init__(self,filelist,delay,funname,max_threads = 50):
      threading.Thread.__init__(self)
      self.funname = funname
      self.filelist = filelist[:]
      self.delay = delay
      self.max_threads = max_threads
    def startrun(self):
      def runs():
        time.sleep(self.delay)
        while True:
          try:
            file = self.filelist.pop()
          except IndexError as e:
            break
          else:
            self.funname(file)
      threads = []
      while threads or self.filelist:
        for thread in threads:
          if not thread.is_alive():
            threads.remove(thread)
        while len(threads) < self.max_threads and self.filelist:
          thread = threading.Thread(target = runs)
          thread.setDaemon(True)
          thread.start()
          threads.append(thread)
  class Mymultiprocessing (MyTMultithread):
  '''''
  多进程运行函数,多进程多线程运行函数
  args:
    filelist  函数的参数为列表格式,
    funname  函数的名字为字符串,函数仅有一个参数为file
    delay   每个线程\进程之间的延迟,
    max_threads 最大的线程数
    max_multiprocess 最大的进程数
  '''
    def __init__(self,filelist,delay,funname,max_multiprocess = 1,max_threads = 1):
      self.funname = funname
      self.filelist = filelist[:]
      self.delay = delay
      self.max_threads = max_threads
      self.max_multiprocess = max_multiprocess
      self.num_cpus = multiprocessing.cpu_count()
    def multiprocessingOnly(self):
      '''''
    只使用多进程
      '''
      num_process = min(self.num_cpus,self.max_multiprocess)
      processes = []
      while processes or self.filelist:
        for p in processes:
          if not p.is_alive():
            # print(p.pid,p.name,len(self.filelist))
            processes.remove(p)
        while len(processes) < num_process and self.filelist:
          try:
            file = self.filelist.pop()
          except IndexError as e:
            break
          else:
            p = multiprocessing.Process(target=self.funname,args=(file,))
            p.start()
            processes.append(p)
    def multiprocessingThreads(self):
      num_process = min(self.num_cpus,self.max_multiprocess)
      p = Pool(num_process)
      DATALISTS = []
      tempmod = len(self.filelist) % (num_process)
      CD = int((len(self.filelist) + 1 + tempmod)/ (num_process))
      for i in range(num_process):
        if i == num_process:
          DATALISTS.append(self.filelist[i*CD:-1])
        DATALISTS.append(self.filelist[(i*CD):((i+1)*CD)])
      try:
        processes = []
        for i in range(num_process):
          #print('wait add process:',i+1,time.clock())
          #print(eval(self.funname),DATALISTS[i])
          MultThread = MyTMultithread(DATALISTS[i],self.delay,self.funname,self.max_threads)
          p = multiprocessing.Process(target=MultThread.startrun())
          #print('pid & name:',p.pid,p.name)
          processes.append(p)
        for p in processes:
          print('wait join ')
          p.start()
        print('waite over')
      except Exception as e:
        print('error :',e)
      print ('end process')
  def func1(file):
    print(file)
  if __name__ == '__main__':
    a = list(range(0,97))
    '''''
    测试使用5线程
    '''
    st = time.clock()
    asc = MyTMultithread(a,0,'func1',5)
    asc.startrun()
    end = time.clock()
    print('*'*50)
    print('多线程使用时间:',end-st)
    #测试使用5个进程
    st = time.clock()
    asd = Mymultiprocessing(a,0,'func1',5)
    asd.multiprocessingOnly()
    end = time.clock()
    print('*'*50)
    print('多进程使用时间:',end-st)
    #测试使用5进程10线程
    st = time.clock()
    multiPT = Mymultiprocessing(a,0,'func1',5,10)
    multiPT.multiprocessingThreads()
    end = time.clock()
    print('*'*50)
    print('多进程多线程使用时间:',end-st)

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Python数据类型详解(四)字典:dict
May 12 Python
python 编程之twisted详解及简单实例
Jan 28 Python
详解Python之数据序列化(json、pickle、shelve)
Mar 30 Python
Python可变参数用法实例分析
Apr 02 Python
深入理解Python3 内置函数大全
Nov 23 Python
python+Splinter实现12306抢票功能
Sep 25 Python
Python字符串的一些操作方法总结
Jun 10 Python
python自动化测试之DDT数据驱动的实现代码
Jul 23 Python
python3.6中@property装饰器的使用方法示例
Aug 17 Python
pytorch加载自定义网络权重的实现
Jan 07 Python
django admin 根据choice字段选择的不同来显示不同的页面方式
May 13 Python
两行代码解决Jupyter Notebook中文不能显示的问题
Apr 24 Python
python爬取各类文档方法归类汇总
Mar 22 #Python
关于Python正则表达式 findall函数问题详解
Mar 22 #Python
Django自定义过滤器定义与用法示例
Mar 22 #Python
Python实现基于TCP UDP协议的IPv4 IPv6模式客户端和服务端功能示例
Mar 22 #Python
Python cookbook(数据结构与算法)将名称映射到序列元素中的方法
Mar 22 #Python
Python cookbook(数据结构与算法)从字典中提取子集的方法示例
Mar 22 #Python
python实现将excel文件转化成CSV格式
Mar 22 #Python
You might like
PHP优于Node.js的五大理由分享
2012/09/15 PHP
Zend Framework入门之环境配置及第一个Hello World示例(附demo源码下载)
2016/03/21 PHP
PHP Mysqli 常用代码集合
2016/11/12 PHP
JS解密入门 最终变量劫持
2008/06/25 Javascript
Extjs学习笔记之四 工具栏和菜单
2010/01/07 Javascript
为调试JavaScript添加输出窗口的代码
2010/02/07 Javascript
new Date()问题在ie8下面的处理方法
2014/07/31 Javascript
JS数组去掉重复数据只保留一条的实现代码
2016/08/11 Javascript
jQuery的ready方法实现原理分析
2016/10/26 Javascript
Vue+Element使用富文本编辑器的示例代码
2017/08/14 Javascript
实例详解带参数的 npm script
2019/05/28 Javascript
vuex 中插件的编写案例解析
2019/06/10 Javascript
BootstrapValidator实现表单验证功能
2019/11/08 Javascript
vuex存取值和映射函数使用说明
2020/07/24 Javascript
vue实现在进行增删改操作后刷新页面
2020/08/05 Javascript
JavaScript实现网页留言板功能
2020/11/23 Javascript
Python实现的计数排序算法示例
2017/11/29 Python
Tensorflow的可视化工具Tensorboard的初步使用详解
2018/02/11 Python
Django migrations 默认目录修改的方法教程
2018/09/28 Python
Python爬虫之正则表达式的使用教程详解
2018/10/25 Python
在PyCharm中批量查找及替换的方法
2019/01/20 Python
Python3爬虫中关于Ajax分析方法的总结
2020/07/10 Python
利用Python pandas对Excel进行合并的方法示例
2020/11/04 Python
python爬虫中抓取指数的实例讲解
2020/12/01 Python
使用CSS3实现圆角,阴影,透明
2014/12/23 HTML / CSS
怀俄明州飞钓:Platte River Fly Shop
2017/12/28 全球购物
莫斯科大型旅游休闲商品超市:Camping.ru
2020/09/16 全球购物
自我评价格式
2014/01/06 职场文书
大学生未来职业生涯规划书
2014/02/15 职场文书
完美的中文自荐信
2014/05/24 职场文书
领导干部群众路线剖析材料
2014/10/09 职场文书
幼儿园父亲节活动总结
2015/02/12 职场文书
农业项目合作意向书
2015/05/08 职场文书
初中数学课堂教学反思
2016/02/17 职场文书
「睡美人」爱洛公主粘土人开订
2022/03/22 日漫
MySQL数据库中的锁、解锁以及删除事务
2022/05/06 MySQL