Python实现的多进程拷贝文件并显示百分比功能示例


Posted in Python onApril 09, 2019

本文实例讲述了Python实现的多进程拷贝文件并显示百分比功能。分享给大家供大家参考,具体如下:

centos7下查看cup核数:

# 总核数 = 物理CPU个数 X 每颗物理CPU的核数
# 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数
# 查看物理CPU个数
cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l
# 查看每个物理CPU中core的个数(即核数)
cat /proc/cpuinfo| grep "cpu cores"| uniq
# 查看逻辑CPU的个数
cat /proc/cpuinfo| grep "processor"| wc -l

本示例拷贝文件采用的是最简单的但是有最复杂的方式:

1,根据要拷贝的文件夹名称,创建一个新的文件夹用来存储文件

2,读取源文件夹下的文件内容,将其写入目的文件夹下同名的文件中

直接上代码:

# coding=utf-8
from multiprocessing import Pool, Manager
import os
import traceback
import time
def copyFileTask(name, oldFolderName, newFolderName, queue):
  """copy文件"""
  fr = open(oldFolderName+"/"+name)
  fw = open(newFolderName+"/"+name, "w")
  content = fr.read()
  fw.write(content)
  fr.close()
  fw.close()
  # 将copy完成的文件名称put进队列
  queue.put(name)
def main():
  try:
    # 0. 获取要copy的文件夹
    # oldFolderName = input("请输入文件夹的名字:") # python3
    oldFolderName = raw_input("请输入文件夹的名字:") # python2
    # 1. 创建一个新的文件夹
    print 'mkdir new file ------'
    newFolderName = str(oldFolderName) + "-copy"
    # print(newFolderName)
    os.mkdir(newFolderName)
    # 2. 获取old文件夹中的所有的文件名字
    fileNames = os.listdir(oldFolderName)
    # print(fileNames)
    # 3. 使用多进程的方式copy 原文件夹中的所有文件到新的文件夹中
    pool = Pool(5)
    # 创建一个队列
    queue = Manager().Queue()
    for name in fileNames:
      pool.apply_async(copyFileTask, args=(name, oldFolderName, newFolderName, queue))
    pool.close() # 关闭进程池,不再接受请求
    pool.join() # 等待所有的子进程结束
    num = 0
    # 需要copy的文件总数
    allNum = len(fileNames)
    while num < allNum:
      # 收数据
      queue.get()
      num += 1
      copyRate = float(num) / allNum
      # 打印copy的进度
      time.sleep(0.1) # 容易看出来打印百分比的变化,延长百分比更新的时间
      print "\rcopy的进度是:%.2f%%" % (copyRate*100),
    print "\ncopy success ------"
  except:
    traceback.print_exc()
if __name__ == "__main__":
  main()

下面采用python模块shutil模块进行copy操作:

# coding=utf-8
from multiprocessing import Pool, Manager
import os
import traceback
import time
import shutil
def copyFileTask(name, old_path, new_path, queue):
  """copy文件"""
  src_path = os.path.join(old_path, name)
  dst_path = os.path.join(new_path, name)
  shutil.copy(src_path, dst_path) # 拷贝文件
  # shitil.move(src_path, dst_path) # 移动文件
  # 将copy完成的文件名称put进队列
  queue.put(name)
def main():
  try:
    # 0. 获取要copy的文件夹
    oldFolderName = raw_input("请输入文件夹的名字:")
    print '要拷贝的源文件夹: ', oldFolderName
    # 1. 创建一个新的文件夹
    newFolderName = raw_input("请输入文件夹的名字:")
    print '目标文件夹:', newFolderName
    # 获取当前所在的路径
    now_path = os.getcwd()
    print "当前所在路径: ", now_path
    old_path = os.path.join(now_path, oldFolderName)
    print '源文件夹路径: ', old_path
    new_path = os.path.join(now_path, newFolderName)
    print '目标文件夹路径: ', new_path
    if not os.path.exists(new_path):
      os.mkdir(new_path)
    # 3. 使用多进程的方式copy 原文件夹中的所有文件到新的文件夹中
    pool = Pool(5) # 创建5条进程
    queue = Manager().Queue() # 创建一个队列
    # 遍历源文件夹
    for root, dirs, files in os.walk(oldFolderName):
      """
      root 所指的是当前正在遍历的这个文件夹的本身的地址
      dirs 是一个 list ,内容是该文件夹中所有的目录的名字(不包括子目录)
      files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录)
      """
      print '源文件夹下的文件数量::', len(files)
      s_t = time.time()
      for file in files:
        pool.apply_async(copyFileTask, args=(file, old_path, new_path, queue)) # 向进程池中添加任务
      pool.close() # 关闭进程池,不再接受请求
      pool.join() # 等待所有的子进程结束
      print '耗时:{} 秒'.format(time.time() - s_t)
      num = 0
      # 需要copy的文件总数
      allNum = len(files)
      print 'len(fileNames) = ', allNum
      while True:
        # 收数据
        # print '收数据 ------'
        queue.get()
        # print 'queue.get() ------', queue.get()
        num += 1
        copyRate = float(num) / allNum
        # 打印copy的进度
        print "\rcopy的进度是:%.2f%%" % (copyRate*100),
        if num == allNum:
          break
    print "\ncopy success ------"
  except:
    traceback.print_exc()
if __name__ == "__main__":
  main()

输出:(由于我的cup核数为1核,在使用多进程的过程中,操作系统在轮询的时候,频繁的切换任务,浪费时间导致多进程比单进程耗时更长。)

[root@centos7 mnt]# python copy_file_test.py
请输入文件夹的名字:hdfs
要拷贝的源文件夹:  hdfs
请输入文件夹的名字:test01
目标文件夹: test01
当前所在路径:  /mnt
源文件夹路径:  /mnt/hdfs
目标文件夹路径:  /mnt/test01
源文件夹下的文件数量:: 8165
耗时:253.655323982 秒
len(fileNames) =  8165
copy的进度是:100.00%
copy success ------

单进程拷贝文件:

# coding=utf-8
from Queue import Queue
import os
import traceback
import time
import shutil
def copyFileTask(name, old_path, new_path, queue):
  """copy文件"""
  src_path = os.path.join(old_path, name)
  dst_path = os.path.join(new_path, name)
  shutil.copy(src_path, dst_path) # 拷贝文件
  # shitil.move(src_path, dst_path) # 移动文件
  # 将copy完成的文件名称put进队列
  queue.put(name)
def main():
  try:
    # 0. 获取要copy的文件夹
    oldFolderName = raw_input("请输入文件夹的名字:")
    print '要拷贝的源文件夹: ', oldFolderName
    # 1. 创建一个新的文件夹
    newFolderName = raw_input("请输入文件夹的名字:")
    print '目标文件夹:', newFolderName
    # 获取当前所在的路径
    now_path = os.getcwd()
    print "当前所在路径: ", now_path
    old_path = os.path.join(now_path, oldFolderName)
    print '源文件夹路径: ', old_path
    new_path = os.path.join(now_path, newFolderName)
    print '目标文件夹路径: ', new_path
    if not os.path.exists(new_path):
      os.mkdir(new_path)
    queue = Queue() # 创建一个队列
    # 遍历源文件夹
    for root, dirs, files in os.walk(oldFolderName):
      """
      root 所指的是当前正在遍历的这个文件夹的本身的地址
      dirs 是一个 list ,内容是该文件夹中所有的目录的名字(不包括子目录)
      files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录)
      """
      print '源文件夹下的文件数量::', len(files)
      s_t = time.time()
      # 调用函数拷贝文件
      for file in files:
        copyFileTask(file, old_path, new_path, queue)
      print '耗时:{} 秒'.format(time.time() - s_t)
      num = 0
      # 需要copy的文件总数
      allNum = len(files)
      print 'len(fileNames) = ', allNum
      while True:
        # 收数据
        # print '收数据 ------'
        queue.get()
        # print 'queue.get() ------', queue.get()
        num += 1
        copyRate = float(num) / allNum
        # 打印copy的进度
        print "\rcopy的进度是:%.2f%%" % (copyRate*100),
        if num == allNum:
          break
    print "\ncopy success ------"
  except:
    traceback.print_exc()
if __name__ == "__main__":
  main()

输出:

[root@centos7 mnt]# python copy_file_test_dan.py
请输入文件夹的名字:hdfs
要拷贝的源文件夹:  hdfs
请输入文件夹的名字:test02
目标文件夹: test02
当前所在路径:  /mnt
源文件夹路径:  /mnt/hdfs
目标文件夹路径:  /mnt/test02
源文件夹下的文件数量:: 8165
耗时:122.284090996 秒
len(fileNames) =  8165
copy的进度是:100.00%
copy success ------

我的虚拟机cpu核数:1

如下:

[root@centos7 mnt]# cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l
1
[root@centos7 mnt]# cat /proc/cpuinfo| grep "cpu cores"| uniq
cpu cores : 1
[root@centos7 mnt]# cat /proc/cpuinfo| grep "processor"| wc -l
1

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Python 变量类型及命名规则介绍
Jun 08 Python
Python安装Imaging报错:The _imaging C module is not installed问题解决方法
Aug 22 Python
Python文件处理
Feb 29 Python
对python中return和print的一些理解
Aug 18 Python
使用Python实现毫秒级抢单功能
Jun 06 Python
pandas实现将dataframe满足某一条件的值选出
Jun 12 Python
python字符串替换第一个字符串的方法
Jun 26 Python
pygame实现五子棋游戏
Oct 29 Python
python实现udp传输图片功能
Mar 20 Python
Jupyter notebook如何修改平台字体
May 13 Python
Keras 中Leaky ReLU等高级激活函数的用法
Jul 05 Python
python实现简易自习室座位预约系统
Jun 30 Python
Python使用crontab模块设置和清除定时任务操作详解
Apr 09 #Python
Python实现的读取文件内容并写入其他文件操作示例
Apr 09 #Python
Python实现根据日期获取当天凌晨时间戳的方法示例
Apr 09 #Python
Python匿名函数及应用示例
Apr 09 #Python
用Python中的turtle模块画图两只小羊方法
Apr 09 #Python
python3实现表白神器
Apr 09 #Python
详解python配置虚拟环境
Apr 08 #Python
You might like
PHP 和 XML: 使用expat函数(二)
2006/10/09 PHP
使用php测试硬盘写入速度示例
2014/01/27 PHP
php中simplexml_load_string使用实例分享
2014/02/13 PHP
php设计模式之委托模式
2016/02/13 PHP
php无限级分类实现评论及回复功能
2019/02/18 PHP
Laravel 微信小程序后端实现用户登录的示例代码
2019/11/26 PHP
JS 对象介绍
2010/01/20 Javascript
分享一个我自己写的ToolTip提示插件(附源码)
2013/01/20 Javascript
关于js注册事件的常用方法
2013/04/03 Javascript
javascript计算当月剩余天数(天数计算器)示例代码
2014/01/09 Javascript
jQuery-ui引入后Vs2008的无智能提示问题解决方法
2014/02/10 Javascript
通过Jquery的Ajax方法读取将table转换为Json
2014/05/31 Javascript
JavaScript中的alert()函数使用技巧详解
2014/12/29 Javascript
javascript函数式编程程序员的工具集
2015/10/11 Javascript
jQuery 1.9.1源码分析系列(十三)之位置大小操作
2015/12/02 Javascript
JavaScript中数组Array.sort()排序方法详解
2017/03/01 Javascript
Vue2 SSR渲染根据不同页面修改 meta
2017/11/20 Javascript
vue 实现通过手机发送短信验证码注册功能
2018/04/19 Javascript
Vue中对拿到的数据进行A-Z排序的实例
2018/09/25 Javascript
node 文件上传接口的转发的实现
2019/09/23 Javascript
vue-cli和v-charts实现可视化图表过程解析
2019/10/08 Javascript
在Vue中使用Echarts可视化库的完整步骤记录
2020/11/18 Vue.js
[47:52]DOTA2-DPC中国联赛正赛 iG vs LBZS BO3 第二场 3月4日
2021/03/11 DOTA
python列表操作使用示例分享
2014/02/21 Python
python中元类用法实例
2014/10/10 Python
Python模拟自动存取款机的查询、存取款、修改密码等操作
2018/09/02 Python
解决python opencv无法显示图片的问题
2018/10/28 Python
Python使用docx模块实现刷题功能代码
2020/02/13 Python
在keras中对单一输入图像进行预测并返回预测结果操作
2020/07/09 Python
Python用SSH连接到网络设备
2021/02/18 Python
会计电算化应届生求职信
2013/11/03 职场文书
美容院经理岗位职责
2014/04/03 职场文书
旅游活动总结
2014/08/27 职场文书
学习礼仪心得体会
2014/09/01 职场文书
争当四好少年演讲稿
2014/09/13 职场文书
贷款承诺书
2015/01/20 职场文书