Python脚本实现自动将数据库备份到 Dropbox


Posted in Python onFebruary 06, 2017

最近,正好发生了一件大事,就是 GitLab 的运维同学不小心删除了生产的数据,虽然 GitLab 已经骇人听闻的准备了五种备份机制,但是,仍然导致他们丢失了将近 6 个小时的用户数据,尤其对他们声誉的损失,是根本无法估量的。反思一下,这个博客 Becomin' Charles,也是没有完善的备份的,真是冷汗直冒啊,主要考虑到这是我的个人博客,但是想想已经坚持了快十年了,如果真的丢了的话,还是非常痛心的。

正好,老婆最近正在学习Python 编程,我在教她,其实,我是PHP 程序员,一点也不喜欢 Python,但是说实在,一个外行学编程的话,Python 确实比PHP 友好太多了,只能推荐她学 Python 了。正好,借着这个机会,我决定自己也学学 Python 编程吧,于是,我决定要用 Python 做一个数据库的自动备份脚本。备份的位置,就用Dropbox 来做吧,因为我的服务器是 Linode 提供的,美国 fremont 机房,选择美国的存储服务,比较合适。以下是我写得代码,Python 小白,敬请指教:

#!/usr/bin/python
#coding:utf-8
 
import sys
import os
from yamlimport load
from datetime import datetime
import dropbox
from dropbox.filesimport WriteMode
from dropbox.exceptions import ApiError, AuthError
 
if len(sys.argv) < 2:
  print >>sys.stderr, "Usage: %s <config_file>" % sys.argv[0]
  sys.exit(0)
 
conf = load(file(sys.argv[1], 'r'))
 
# config file is a YAML looks like
# ---
# server-name: 127.0.0.1
# local-backup-path: /tmp
# remote-backup-path: /backup
# dropbox-token: jdkgjdkjg
# databases:
#  - host:  localhost
#   port:  3306
#   user:  user
#   pass:  password
#   name:  database1
#   charset: utf8
#  - host:  localhost
#   port:  3306
#   user:  user2
#   pass:  password2
#   name:  database2
#   charset: utf8
 
for dbin conf['databases'] :
  filename = "%s_%s.sql" % (db['name'], datetime.now().strftime("%Y%m%d-%H-%M-%S")) 
  filepath = "%s/%s" % (conf['local-backup-path'], filename)
  cmd = "mysqldump -h%s -u%s -p%s -P%s --single-transaction %s > %s" % (
      db['host'],
      db['user'], 
      db['pass'], 
      db['port'], 
      db['name'], 
      filepath
      )
  os.system(cmd)
  cmd = "gzip %s" % filepath
  os.system(cmd)
  filepath = filepath + '.gz'
  dbx = dropbox.Dropbox(conf['dropbox-token'])
  backuppath = "%s/%s/%s/%s" % (
      conf['remote-backup-path'],    # remote path
      datetime.now().strftime("%Y%m%d"), # date string
      conf['server-name'],       # server name
      filename + '.gz')
  with open(filepath, 'rb') as f:
    time = datetime.now().strftime("%Y-%m-%d %H:%M:%S ")
    print(time + "Uploading " + filepath + " to Dropbox as " + backuppath)
    try:
      dbx.files_upload(f.read(), backuppath, mode=WriteMode('overwrite'))
    except ApiErroras err:
      # This checks for the specific error where a user doesn't have
      # enough Dropbox space quota to upload this file
      if (err.error.is_path() and
          err.error.get_path().error.is_insufficient_space()):
        sys.exit("ERROR: Cannot back up; insufficient space.")
      elif err.user_message_text:
        print(err.user_message_text)
        sys.exit()
      else:
        print(err)
        sys.exit()

简单描述下这个代码的思路,这个程序应该满足这个几个要求:

  • 使用 mysqldump 备份数据库到本地
  • 应该支持配置文件,允许配置多个数据库
  • 可以上传到 Dropbox

为了完成这些要求,首先碰到的难题是怎么支持配置文件,一搜,原来 Python 下有个默认的 ConfigParser,可以完成这个任务,但是正常东西比较恶心的是,配置文件必须是以 [Section] 为单位组织的。其实我的配置显然有些全局配置,还有就是数据库的各种信息是多次重复的,这种配置文件,嵌套能力简直糟糕,必须两层的结构,就很恶心。于是我去网上搜配置文件的格式,好多文章比较了各种配置文件的优劣,其实这文章挺多的,我想了想,以后或许我也可以写文章讲讲我自己的感受了。反正就是很多文章最后都公认 YAML 是配置文件里最完美的。于是我也决定用这个,果然也有现成的类库,就是 PyYAML,特方便,就俩函数 load 和 dump,直接就把文件变成 dict 格式了。

第二个难题,就是上传 Dropbox,后来发现,官方提供了很丰富的 API,而且直接就有 SDK,(让我眼红的是,官方竟然没有 PHP 的 SDK,这么不受待见么?),研究 SDK 用法,发现直接就有代码范例,于是直接抄到我的代码里,瞬间完成了 50% 的代码,爽!

整个代码完成后,我发现,写代码一共也没花多少时间,而且,我学会的 Python 的方式,我以前一直抱怨 Python 的文档难用,我发现,其实,最好的方式其实是在交互式的 Shell 里,用 help 来查询 API,再辅佐以官方文档,才是比较正确的方式。这是刷新了一个我以前的认识的地方。实践下来感觉还不错的。Python 的包管理器 pip 也很好用。

pip install PyYAML
pip install dropbox
Python 相关文章推荐
Python中的is和==比较两个对象的两种方法
Sep 06 Python
基于python实现在excel中读取与生成随机数写入excel中
Jan 04 Python
Python爬虫实战:分析《战狼2》豆瓣影评
Mar 26 Python
Python实现的直接插入排序算法示例
Apr 29 Python
django+echart绘制曲线图的方法示例
Nov 26 Python
Python实现的简单线性回归算法实例分析
Dec 26 Python
pyqt5之将textBrowser的内容写入txt文档的方法
Jun 21 Python
java中的控制结构(if,循环)详解
Jun 26 Python
Django 权限认证(根据不同的用户,设置不同的显示和访问权限)
Jul 24 Python
使用jupyter notebook直接打开.md格式的文件
Apr 10 Python
python实现sm2和sm4国密(国家商用密码)算法的示例
Sep 26 Python
PyQt5 显示超清高分辨率图片的方法
Apr 11 Python
一张图带我们入门Python基础教程
Feb 05 #Python
详解python脚本自动生成需要文件实例代码
Feb 04 #Python
Python中文件I/O高效操作处理的技巧分享
Feb 04 #Python
Django应用程序中如何发送电子邮件详解
Feb 04 #Python
Python算法应用实战之栈详解
Feb 04 #Python
Python算法应用实战之队列详解
Feb 04 #Python
python模块之re正则表达式详解
Feb 03 #Python
You might like
PHP简单预防sql注入的方法
2016/09/27 PHP
jquery.alert 弹出式复选框实现代码
2009/06/15 Javascript
jQuery ui1.7 dialog只能弹出一次问题
2009/08/27 Javascript
利用百度地图JSAPI生成h7n9禽流感分布图实现代码
2013/04/15 Javascript
javascript操纵OGNL标签示例代码
2014/06/16 Javascript
js字符串完全替换函数分享
2014/12/03 Javascript
浅谈jquery回调函数callback的使用
2015/01/30 Javascript
js类式继承与原型式继承详解
2016/04/07 Javascript
json的使用小结
2016/06/08 Javascript
Node.js Streams文件读写操作详解
2016/07/04 Javascript
Extjs 点击复选框在表格中增加相关信息行
2016/07/12 Javascript
NodeJs读取JSON文件格式化时的注意事项
2016/09/25 NodeJs
JavaScript实现英语单词题库
2019/12/24 Javascript
[01:05:32]DOTA2上海特级锦标赛主赛事日 - 3 败者组第三轮#1COL VS Alliance第一局
2016/03/04 DOTA
Python Socket传输文件示例
2017/01/16 Python
利用django如何解析用户上传的excel文件
2017/07/24 Python
python中in在list和dict中查找效率的对比分析
2018/05/04 Python
对python中array.sum(axis=?)的用法介绍
2018/06/28 Python
python+flask实现API的方法
2018/11/21 Python
Python button选取本地图片并显示的实例
2019/06/13 Python
python文档字符串(函数使用说明)使用详解
2019/07/30 Python
Python中list循环遍历删除数据的正确方法
2019/09/02 Python
tensorflow实现测试时读取任意指定的check point的网络参数
2020/01/21 Python
Python 格式化输出_String Formatting_控制小数点位数的实例详解
2020/02/04 Python
多个python文件调用logging模块报错误
2020/02/12 Python
将数据集制作成VOC数据集格式的实例
2020/02/17 Python
Keras自定义IOU方式
2020/06/10 Python
详解用python -m http.server搭一个简易的本地局域网
2020/09/24 Python
Python常用断言函数实例汇总
2020/11/30 Python
澳大利亚珍珠首饰购物网站:Vayo Pearls
2019/03/11 全球购物
Camille Jewelry官网:现代女性时尚首饰
2019/07/07 全球购物
四查四看整改措施
2014/09/19 职场文书
2015年大学社团工作总结
2015/04/09 职场文书
使用php的mail()函数实现发送邮件功能
2021/06/03 PHP
DBCA命令行搭建Oracle ADG的流程
2021/06/11 Oracle
tomcat的catalina.out日志按自定义时间格式进行分割的操作方法
2022/04/02 Servers