Python实现的多进程拷贝文件并显示百分比功能示例


Posted in Python onApril 09, 2019

本文实例讲述了Python实现的多进程拷贝文件并显示百分比功能。分享给大家供大家参考,具体如下:

centos7下查看cup核数:

# 总核数 = 物理CPU个数 X 每颗物理CPU的核数
# 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数
# 查看物理CPU个数
cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l
# 查看每个物理CPU中core的个数(即核数)
cat /proc/cpuinfo| grep "cpu cores"| uniq
# 查看逻辑CPU的个数
cat /proc/cpuinfo| grep "processor"| wc -l

本示例拷贝文件采用的是最简单的但是有最复杂的方式:

1,根据要拷贝的文件夹名称,创建一个新的文件夹用来存储文件

2,读取源文件夹下的文件内容,将其写入目的文件夹下同名的文件中

直接上代码:

# coding=utf-8
from multiprocessing import Pool, Manager
import os
import traceback
import time
def copyFileTask(name, oldFolderName, newFolderName, queue):
  """copy文件"""
  fr = open(oldFolderName+"/"+name)
  fw = open(newFolderName+"/"+name, "w")
  content = fr.read()
  fw.write(content)
  fr.close()
  fw.close()
  # 将copy完成的文件名称put进队列
  queue.put(name)
def main():
  try:
    # 0. 获取要copy的文件夹
    # oldFolderName = input("请输入文件夹的名字:") # python3
    oldFolderName = raw_input("请输入文件夹的名字:") # python2
    # 1. 创建一个新的文件夹
    print 'mkdir new file ------'
    newFolderName = str(oldFolderName) + "-copy"
    # print(newFolderName)
    os.mkdir(newFolderName)
    # 2. 获取old文件夹中的所有的文件名字
    fileNames = os.listdir(oldFolderName)
    # print(fileNames)
    # 3. 使用多进程的方式copy 原文件夹中的所有文件到新的文件夹中
    pool = Pool(5)
    # 创建一个队列
    queue = Manager().Queue()
    for name in fileNames:
      pool.apply_async(copyFileTask, args=(name, oldFolderName, newFolderName, queue))
    pool.close() # 关闭进程池,不再接受请求
    pool.join() # 等待所有的子进程结束
    num = 0
    # 需要copy的文件总数
    allNum = len(fileNames)
    while num < allNum:
      # 收数据
      queue.get()
      num += 1
      copyRate = float(num) / allNum
      # 打印copy的进度
      time.sleep(0.1) # 容易看出来打印百分比的变化,延长百分比更新的时间
      print "\rcopy的进度是:%.2f%%" % (copyRate*100),
    print "\ncopy success ------"
  except:
    traceback.print_exc()
if __name__ == "__main__":
  main()

下面采用python模块shutil模块进行copy操作:

# coding=utf-8
from multiprocessing import Pool, Manager
import os
import traceback
import time
import shutil
def copyFileTask(name, old_path, new_path, queue):
  """copy文件"""
  src_path = os.path.join(old_path, name)
  dst_path = os.path.join(new_path, name)
  shutil.copy(src_path, dst_path) # 拷贝文件
  # shitil.move(src_path, dst_path) # 移动文件
  # 将copy完成的文件名称put进队列
  queue.put(name)
def main():
  try:
    # 0. 获取要copy的文件夹
    oldFolderName = raw_input("请输入文件夹的名字:")
    print '要拷贝的源文件夹: ', oldFolderName
    # 1. 创建一个新的文件夹
    newFolderName = raw_input("请输入文件夹的名字:")
    print '目标文件夹:', newFolderName
    # 获取当前所在的路径
    now_path = os.getcwd()
    print "当前所在路径: ", now_path
    old_path = os.path.join(now_path, oldFolderName)
    print '源文件夹路径: ', old_path
    new_path = os.path.join(now_path, newFolderName)
    print '目标文件夹路径: ', new_path
    if not os.path.exists(new_path):
      os.mkdir(new_path)
    # 3. 使用多进程的方式copy 原文件夹中的所有文件到新的文件夹中
    pool = Pool(5) # 创建5条进程
    queue = Manager().Queue() # 创建一个队列
    # 遍历源文件夹
    for root, dirs, files in os.walk(oldFolderName):
      """
      root 所指的是当前正在遍历的这个文件夹的本身的地址
      dirs 是一个 list ,内容是该文件夹中所有的目录的名字(不包括子目录)
      files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录)
      """
      print '源文件夹下的文件数量::', len(files)
      s_t = time.time()
      for file in files:
        pool.apply_async(copyFileTask, args=(file, old_path, new_path, queue)) # 向进程池中添加任务
      pool.close() # 关闭进程池,不再接受请求
      pool.join() # 等待所有的子进程结束
      print '耗时:{} 秒'.format(time.time() - s_t)
      num = 0
      # 需要copy的文件总数
      allNum = len(files)
      print 'len(fileNames) = ', allNum
      while True:
        # 收数据
        # print '收数据 ------'
        queue.get()
        # print 'queue.get() ------', queue.get()
        num += 1
        copyRate = float(num) / allNum
        # 打印copy的进度
        print "\rcopy的进度是:%.2f%%" % (copyRate*100),
        if num == allNum:
          break
    print "\ncopy success ------"
  except:
    traceback.print_exc()
if __name__ == "__main__":
  main()

输出:(由于我的cup核数为1核,在使用多进程的过程中,操作系统在轮询的时候,频繁的切换任务,浪费时间导致多进程比单进程耗时更长。)

[root@centos7 mnt]# python copy_file_test.py
请输入文件夹的名字:hdfs
要拷贝的源文件夹:  hdfs
请输入文件夹的名字:test01
目标文件夹: test01
当前所在路径:  /mnt
源文件夹路径:  /mnt/hdfs
目标文件夹路径:  /mnt/test01
源文件夹下的文件数量:: 8165
耗时:253.655323982 秒
len(fileNames) =  8165
copy的进度是:100.00%
copy success ------

单进程拷贝文件:

# coding=utf-8
from Queue import Queue
import os
import traceback
import time
import shutil
def copyFileTask(name, old_path, new_path, queue):
  """copy文件"""
  src_path = os.path.join(old_path, name)
  dst_path = os.path.join(new_path, name)
  shutil.copy(src_path, dst_path) # 拷贝文件
  # shitil.move(src_path, dst_path) # 移动文件
  # 将copy完成的文件名称put进队列
  queue.put(name)
def main():
  try:
    # 0. 获取要copy的文件夹
    oldFolderName = raw_input("请输入文件夹的名字:")
    print '要拷贝的源文件夹: ', oldFolderName
    # 1. 创建一个新的文件夹
    newFolderName = raw_input("请输入文件夹的名字:")
    print '目标文件夹:', newFolderName
    # 获取当前所在的路径
    now_path = os.getcwd()
    print "当前所在路径: ", now_path
    old_path = os.path.join(now_path, oldFolderName)
    print '源文件夹路径: ', old_path
    new_path = os.path.join(now_path, newFolderName)
    print '目标文件夹路径: ', new_path
    if not os.path.exists(new_path):
      os.mkdir(new_path)
    queue = Queue() # 创建一个队列
    # 遍历源文件夹
    for root, dirs, files in os.walk(oldFolderName):
      """
      root 所指的是当前正在遍历的这个文件夹的本身的地址
      dirs 是一个 list ,内容是该文件夹中所有的目录的名字(不包括子目录)
      files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录)
      """
      print '源文件夹下的文件数量::', len(files)
      s_t = time.time()
      # 调用函数拷贝文件
      for file in files:
        copyFileTask(file, old_path, new_path, queue)
      print '耗时:{} 秒'.format(time.time() - s_t)
      num = 0
      # 需要copy的文件总数
      allNum = len(files)
      print 'len(fileNames) = ', allNum
      while True:
        # 收数据
        # print '收数据 ------'
        queue.get()
        # print 'queue.get() ------', queue.get()
        num += 1
        copyRate = float(num) / allNum
        # 打印copy的进度
        print "\rcopy的进度是:%.2f%%" % (copyRate*100),
        if num == allNum:
          break
    print "\ncopy success ------"
  except:
    traceback.print_exc()
if __name__ == "__main__":
  main()

输出:

[root@centos7 mnt]# python copy_file_test_dan.py
请输入文件夹的名字:hdfs
要拷贝的源文件夹:  hdfs
请输入文件夹的名字:test02
目标文件夹: test02
当前所在路径:  /mnt
源文件夹路径:  /mnt/hdfs
目标文件夹路径:  /mnt/test02
源文件夹下的文件数量:: 8165
耗时:122.284090996 秒
len(fileNames) =  8165
copy的进度是:100.00%
copy success ------

我的虚拟机cpu核数:1

如下:

[root@centos7 mnt]# cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l
1
[root@centos7 mnt]# cat /proc/cpuinfo| grep "cpu cores"| uniq
cpu cores : 1
[root@centos7 mnt]# cat /proc/cpuinfo| grep "processor"| wc -l
1

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
python使用cookie库操保存cookie详解
Mar 03 Python
用Python代码来解图片迷宫的方法整理
Apr 02 Python
git进行版本控制心得详谈
Dec 10 Python
python3使用matplotlib绘制散点图
Mar 19 Python
Python:Numpy 求平均向量的实例
Jun 29 Python
Python何时应该使用Lambda函数
Jul 02 Python
python实现多进程通信实例分析
Sep 01 Python
Python3变量与基本数据类型用法实例分析
Feb 14 Python
简单了解Python多态与属性运行原理
Jun 15 Python
python中return不返回值的问题解析
Jul 22 Python
python Selenium 库的使用技巧
Oct 16 Python
Pycharm plot独立窗口显示的操作
Dec 11 Python
Python使用crontab模块设置和清除定时任务操作详解
Apr 09 #Python
Python实现的读取文件内容并写入其他文件操作示例
Apr 09 #Python
Python实现根据日期获取当天凌晨时间戳的方法示例
Apr 09 #Python
Python匿名函数及应用示例
Apr 09 #Python
用Python中的turtle模块画图两只小羊方法
Apr 09 #Python
python3实现表白神器
Apr 09 #Python
详解python配置虚拟环境
Apr 08 #Python
You might like
snoopy PHP版的网络客户端提供本地下载
2008/04/15 PHP
php 获取mysql数据库信息代码
2009/03/12 PHP
PHP 批量更新网页内容实现代码
2010/01/05 PHP
php getimagesize 上传图片的长度和宽度检测代码
2010/05/15 PHP
PHP 数组遍历方法大全(foreach,list,each)
2010/06/30 PHP
解密ThinkPHP3.1.2版本之模板继承
2014/06/19 PHP
详解PHP发送邮件知识点
2018/05/06 PHP
php中如何执行linux命令详解
2018/11/06 PHP
JavaScript 更严格的相等 [译]
2012/09/20 Javascript
jquery获得option的值和对option进行操作
2013/12/13 Javascript
弹出窗口并且此窗口带有半透明的遮罩层效果
2014/03/13 Javascript
PhotoShop给图片自动添加边框及EXIF信息的JS脚本
2015/02/15 Javascript
javascript中DOM复选框选择用法实例
2015/05/14 Javascript
javascript中 try catch用法
2015/08/16 Javascript
浅析AngularJS Filter用法
2015/12/28 Javascript
JavaScript实现图片自动加载的瀑布流效果
2016/04/11 Javascript
基于CSS3和jQuery实现跟随鼠标方位的Hover特效
2016/07/25 Javascript
在微信小程序中渲染HTML内容的方法示例
2018/09/28 Javascript
javascript实现小型区块链功能
2019/04/03 Javascript
JS画布动态实现黑客帝国背景效果
2020/11/08 Javascript
python刷投票的脚本实现代码
2014/11/08 Python
浅谈pymysql查询语句中带有in时传递参数的问题
2020/06/05 Python
python中pandas库中DataFrame对行和列的操作使用方法示例
2020/06/14 Python
使用html5新特性轻松监听任何App自带返回键的示例
2018/03/13 HTML / CSS
全球最大的网上自行车商店:Chain Reaction Cycles
2016/12/02 全球购物
美国护肤咨询及美容产品电商:Askderm
2017/02/24 全球购物
手工制作的意大利礼服鞋:Ace Marks
2018/12/15 全球购物
宿舍违规检讨书
2014/01/12 职场文书
红领巾心向党广播稿
2014/01/19 职场文书
咖啡厅创业计划书范本
2014/01/22 职场文书
市场营销专业求职信
2014/06/17 职场文书
男方婚前保证书
2015/02/28 职场文书
限期整改通知书
2015/04/22 职场文书
2015年绩效考核工作总结
2015/05/23 职场文书
寒假致家长的一封信
2015/10/10 职场文书
Nginx动静分离配置实现与说明
2022/04/07 Servers