Python2.7实现多进程下开发多线程示例


Posted in Python onMay 31, 2019

简单的基于Python2.7版本的多进程下开发多线程的示例,供大家参考,具体内容如下

可以使得程序执行效率至少提升10倍

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
 @Time : 2018/10/24
 @Author : LiuXueWen
 @Site : 
 @File : transfer.py
 @Software: PyCharm
 @Description: 
"""

import os
import traceback
import threading
from multiprocessing import Pool
from multiprocessing.dummy import Pool as ThreadPool


# 兼容python2.7上多线程的bug,不加上下面的反代理程序不能正常执行
def proxy(cls_instance, i):
 return cls_instance.multiprocess_thread(i)
def proxy2(cls_instance, i):
 return cls_instance.file_operation(i)

class file2transfer():
 # 多进程执行程序
 def multiprocessingTransferFiles(self):
  try:
   # 创建进程池
   p = Pool()
   //参数末尾必须加上逗号
   p.apply_async(proxy, args=(self, self.root_path,))
   p.close()
   p.join()
  except Exception as e:
   print(e)

 # 每个进程下的多线程执行,线程数等于当前机器的核数
 def multiprocess_thread(self, root_path):
  try:
   # 创建线程锁
   lock = threading.RLock()
   lock.acquire()
   # 获取每个文件
   for pfile in os.listdir(root_path):
    # 获取文件的完整路径
    full_file_path = os.path.join(root_path, pfile)
    # 多线程读写文件
    p = ThreadPool()
    # 执行线程
    p.apply_async(proxy2, args=(self, full_file_path,))
    p.close()
    p.join()
  except Exception as e:
   print(e)
  finally:
   # 释放线程锁
   lock.release()

 # 对每个文件夹下的每个文件进行操作
 def file_operation(self, full_file_path):
  try:
   // TODO 真正需要单独执行的操作
   pass
  except Exception as e:
   print(e)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现以时间换空间的缓存替换算法
Feb 19 Python
Python中创建字典的几种方法总结(推荐)
Apr 27 Python
浅谈python中的正则表达式(re模块)
Oct 17 Python
python实现类之间的方法互相调用
Apr 29 Python
numpy.where() 用法详解
May 27 Python
pandas实现to_sql将DataFrame保存到数据库中
Jul 03 Python
Python制作词云图代码实例
Sep 09 Python
Django-xadmin+rule对象级权限的实现方式
Mar 30 Python
Python调用SMTP服务自动发送Email的实现步骤
Feb 07 Python
如何用Python和JS实现的Web SSH工具
Feb 23 Python
pytest进阶教程之fixture函数详解
Mar 29 Python
Python中的turtle画箭头,矩形,五角星
Mar 16 Python
Python3内置模块之json编解码方法小结【推荐】
Dec 09 #Python
一文了解Python并发编程的工程实现方法
May 31 #Python
Python微信操控itchat的方法
May 31 #Python
python基于SMTP协议发送邮件
May 31 #Python
python 使用turtule绘制递归图形(螺旋、二叉树、谢尔宾斯基三角形)
May 30 #Python
Python自定义函数计算给定日期是该年第几天的方法示例
May 30 #Python
基于Python打造账号共享浏览器功能
May 30 #Python
You might like
解决MySQL中文输出变成问号的问题
2008/06/05 PHP
基于php缓存的详解
2013/05/15 PHP
PHP 异步执行方法,模拟多线程的应用分析
2013/06/03 PHP
PHP回溯法解决0-1背包问题实例分析
2015/03/23 PHP
利用JQuery为搜索栏增加tag提示
2009/06/22 Javascript
js怎么终止程序return不行换jfslk
2013/05/30 Javascript
Javascript实现页面跳转的几种方式分享
2013/10/26 Javascript
javascript向后台传送相同属性的参数即数组参数
2014/02/17 Javascript
JavaScript实现信用卡校验方法
2015/04/07 Javascript
JS实现兼容性好,自动置顶的淘宝悬浮工具栏效果
2015/09/18 Javascript
基于JS实现移动端访问PC端页面时跳转到对应的移动端网页
2020/12/24 Javascript
jQuery基于扩展简单实现倒计时功能的方法
2016/05/14 Javascript
JS对HTML表格进行增删改操作
2016/08/22 Javascript
学习使用Bootstrap页面排版样式
2017/05/11 Javascript
jQuery鼠标移动图片上实现放大效果
2017/06/25 jQuery
Angular 2父子组件数据传递之@ViewChild获取子组件详解
2017/07/04 Javascript
jQuery 禁止表单用户名、密码自动填充功能
2017/10/30 jQuery
vue组件的写法汇总
2018/04/12 Javascript
ES6 class的应用实例分析
2019/06/27 Javascript
Python中的Classes和Metaclasses详解
2015/04/02 Python
Python 修改列表中的元素方法
2018/06/26 Python
Python 带有参数的装饰器实例代码详解
2018/12/06 Python
python 实现分页显示从es中获取的数据方法
2018/12/26 Python
Python企业编码生成系统之主程序模块设计详解
2019/07/26 Python
window环境pip切换国内源(pip安装异常缓慢的问题)
2019/12/31 Python
python使用dlib进行人脸检测和关键点的示例
2020/12/05 Python
伦敦最受欢迎的蛋糕店:Konditor & Cook
2019/11/01 全球购物
大学竞选班长演讲稿
2014/04/24 职场文书
音乐学专业求职信
2014/07/22 职场文书
就业意向书
2014/07/29 职场文书
乡镇群众路线教育实践活动整改措施
2014/10/04 职场文书
教师辞职信范文
2015/02/28 职场文书
2015年师德表现自我评价
2015/03/05 职场文书
为自己工作观后感
2015/06/11 职场文书
关于感恩的歌曲整理(8首)
2019/08/14 职场文书
Python中的tkinter库简单案例详解
2022/01/22 Python