Python实现SVN的目录周期性备份实例


Posted in Python onJuly 17, 2015

本文实例讲述了Python实现SVN的目录周期性备份方法。分享给大家供大家参考。具体如下:

起因:今天用SVN时,不小心把远程SVN服务器上的目录删掉了,然后在本地又手贱地还原了一下项目(eclipse中右键项目team => 还原),导致写了大半天的代码全部丢失,用多款数据恢复软件恢复也无果。一怒之下写了这个目录周期性备份小工具,每隔5秒备份源目录中的所有文件到目标目录(保留结构),保证目标目录中的文件只增不减。且每次只拷贝发生变化的文件(比较两个文件的MD5值)。

思考:虽然SVN也是一个版本管理软件,但在使用过程总觉得它的诸多操作挺别扭,相比而言Git更强大灵活。我自己理想中的版本控制软件至少应该考虑到一些让用户产生较强挫败的使用场景(也许大部分情况是因为用户误用,但如果误用情况也能考虑到,才能更体现软件的终极人文关怀嘛),比如删除远程服务器上的文件,我觉得应该设计成这样:即使用户删除了文件,文件还应该在一个缓冲区中呆1天(或几个小时,可以配置),然后由一个定时任务定时删除缓冲区中停留时间超过1天的文件。而不是立即物理删除。

TODO:
增加配置文件,做成命令行程序

md5_caculate.py:

# -*- coding: utf-8 -*-
#!/usr/bin/python
from hashlib import md5
import os 
def calMD5(str):
  m = md5()
  m.update(str)
  return m.hexdigest()
def calMD5ForFile(file):
  statinfo = os.stat(file)
  if int(statinfo.st_size) / (1024*1024) >= 1000:
#     print("File size > 1000, move to big file...")
    return calMD5ForBigFile(file)
  m = md5()
  f = open(file, 'rb')
  m.update(f.read())
  f.close()
  return m.hexdigest()
def calMD5ForFolder(dir, MD5File):
  outfile = open(MD5File,'w')
  for root, subdirs, files in os.walk(dir):
    for file in files:
      filefullpath = os.path.join(root, file)
      """print filefullpath"""
      filerelpath = os.path.relpath(filefullpath, dir)
      md5 = calMD5ForFile(filefullpath)
      outfile.write(filerelpath+' '+md5+"\n")
  outfile.close()
def calMD5ForBigFile(file):
  m = md5()
  f = open(file, 'rb')
  buffer = 8192  # why is 8192 | 8192 is fast than 2048
  while 1:
    chunk = f.read(buffer)
    if not chunk : break
    m.update(chunk)
  f.close()
  return m.hexdigest()
if __name__=="__main__":
  print(calMD5ForFile("e:/test/target/a/b/rabbit.txt"))

file_util.py:

# -*- coding: utf-8 -*-
#!/usr/bin/python
import os,shutil
from md5_caculate import calMD5ForFile
# 拷贝源目录到目标目录
def copyDir(srcDir, dstDir):
  if srcDir in dstDir: # 源目录包含在目标目录,则直接返回
    return
  if not os.path.isdir(srcDir):
    print(srcDir, "路径指定的源目录不存在!")
    return;
  if not os.path.exists(dstDir): # 目标目录不存在时则创建
    os.makedirs(dstDir)
  for fileOrDirName in os.listdir(srcDir): # 源目录下的所有文件(包括文件和目录) TODO BUG:如果srcDir为一个空目录?
#     fileOrDirPath = srcDir + "/" + fileOrDirName
    fileOrDirPath = os.path.join(srcDir, fileOrDirName)
    if os.path.isfile(fileOrDirPath): # 如果当前是一个子文件,则直接复制文件
      copyFile(fileOrDirPath, dstDir)
    if os.path.isdir(fileOrDirPath): # 如果当前是一个子目录,则递归复制目录
      copyDir(fileOrDirPath, os.path.join(dstDir, fileOrDirName))
# 拷贝源文件到目标目录
def copyFile(srcFile, dstDir):
  if not os.path.isfile(srcFile):
    print(srcFile, "路径指定的源文件不存在!")
    return
  fileName = os.path.basename(srcFile)
  dstFile = os.path.join(dstDir, fileName)
  if os.path.isfile(dstFile): # 有同名的目标文件,则检查MD5值是否相同,如果不同才Copy
    if calMD5ForFile(srcFile) != calMD5ForFile(dstFile):
      try:
        shutil.copy(srcFile, dstDir)
      except PermissionError:
        print("PermissionError occurs: ", srcFile)
  else:
    shutil.copy(srcFile, dstDir)
if __name__=="__main__":
  copyDir("e:/test/src", "e:/test/target")

backuper.py:

# -*- coding: utf-8 -*-
#!/usr/bin/python
import os, time
from file_util import copyDir
# -------------------------------------------------------------
# 定时备份源目录到目标目录
# version = 1.0
# author = Will
# -------------------------------------------------------------
# 定时备份源目录到目标目录,sleepIntervalSeconds为备份时间间隔秒数
def backupDir(srcDir, dstDir, sleepIntervalSeconds):
  if not os.path.isdir(srcDir):
    print("请指定要备份源目录并确保目录存在!")
    return;
  while True:
    print("备份:", srcDir, ",到:", dstDir)
    copyDir(srcDir, dstDir)
    print("开始休眠", sleepIntervalSeconds, "秒...")
    time.sleep(sleepIntervalSeconds)
if __name__=="__main__":
  backupDir("d:/Documents/workspace/workspace/griddle", "e:/backup/griddle", 20)

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
python实现字符串和日期相互转换的方法
May 13 Python
python字典操作实例详解
Nov 16 Python
分享一个简单的python读写文件脚本
Nov 25 Python
Python中单、双下划线的区别总结
Dec 01 Python
python读取中文txt文本的方法
Apr 12 Python
django 解决manage.py migrate无效的问题
May 27 Python
python+mysql实现学生信息查询系统
Feb 21 Python
记录Python脚本的运行日志的方法
Jun 05 Python
Django 对IP访问频率进行限制的例子
Aug 30 Python
Python HTMLTestRunner可视化报告实现过程解析
Apr 10 Python
基于python判断字符串括号是否闭合{}[]()
Sep 21 Python
Python爬取股票信息,并可视化数据的示例
Sep 26 Python
Python的Django框架中设置日期和字段可选的方法
Jul 17 #Python
Python的Django框架下管理站点的基本方法
Jul 17 #Python
Django中更新多个对象数据与删除对象的方法
Jul 17 #Python
Django框架中数据的连锁查询和限制返回数据的方法
Jul 17 #Python
Django中对数据查询结果进行排序的方法
Jul 17 #Python
在Python的Django框架中获取单个对象数据的简单方法
Jul 17 #Python
Python的Django框架中的数据过滤功能
Jul 17 #Python
You might like
COM in PHP (winows only)
2006/10/09 PHP
PHP5常用函数列表(分享)
2013/06/07 PHP
PHP+MYSQL实现用户的增删改查
2015/03/24 PHP
RR vs IO BO3 第二场2.13
2021/03/10 DOTA
读jQuery之八 包装事件对象
2011/06/21 Javascript
JavaScript实现网页图片等比例缩放实现代码及调用方式
2013/02/25 Javascript
JQuery中如何传递参数如click(),change()等具体实现
2013/04/28 Javascript
用jquery写的菜单从左往右滑动出现
2014/04/11 Javascript
Jquery Ajax xmlhttp请求成功问题
2015/02/04 Javascript
在Python中使用glob模块查找文件路径的方法
2015/06/17 Javascript
JavaScript解八皇后问题的方法总结
2016/06/12 Javascript
javascript 利用arguments实现可变长参数
2016/11/21 Javascript
localStorage的黑科技-js和css缓存机制
2017/02/06 Javascript
jQuery动态产生select option下拉列表
2017/03/15 Javascript
Ajax异步文件上传与NodeJS express服务端处理
2017/04/01 NodeJs
聊聊JavaScript如何实现继承及特点
2017/04/07 Javascript
jQuery遍历节点方法汇总(推荐)
2017/05/13 jQuery
关闭Vue计算属性自带的缓存功能方法
2018/03/02 Javascript
Vue异步组件处理路由组件加载状态的解决方案
2018/09/07 Javascript
微信小程序首页的分类功能和搜索功能的实现思路及代码详解
2018/09/11 Javascript
详解从react转职到vue开发的项目准备
2019/01/14 Javascript
ES6中new Function()语法及应用实例分析
2020/02/19 Javascript
JS this关键字在ajax中使用出现问题解决方案
2020/07/17 Javascript
python 中的int()函数怎么用
2017/10/17 Python
python3库numpy数组属性的查看方法
2018/04/17 Python
django框架模板语言使用方法详解
2019/07/18 Python
python多线程实现代码(模拟银行服务操作流程)
2020/01/13 Python
Python函数参数定义及传递方式解析
2020/06/10 Python
银行实习自我鉴定
2013/10/12 职场文书
餐厅经理岗位职责和岗位目标
2014/02/13 职场文书
任命书范本大全
2014/06/06 职场文书
小学优秀教师事迹材料
2014/12/16 职场文书
个人欠条范本
2015/07/03 职场文书
生日祝酒词大全
2015/08/10 职场文书
忠诚教育学习心得体会
2016/01/23 职场文书
工作汇报材料难写?方法都在这里了!
2019/07/01 职场文书