Python脚本实现自动将数据库备份到 Dropbox


Posted in Python onFebruary 06, 2017

最近,正好发生了一件大事,就是 GitLab 的运维同学不小心删除了生产的数据,虽然 GitLab 已经骇人听闻的准备了五种备份机制,但是,仍然导致他们丢失了将近 6 个小时的用户数据,尤其对他们声誉的损失,是根本无法估量的。反思一下,这个博客 Becomin' Charles,也是没有完善的备份的,真是冷汗直冒啊,主要考虑到这是我的个人博客,但是想想已经坚持了快十年了,如果真的丢了的话,还是非常痛心的。

正好,老婆最近正在学习Python 编程,我在教她,其实,我是PHP 程序员,一点也不喜欢 Python,但是说实在,一个外行学编程的话,Python 确实比PHP 友好太多了,只能推荐她学 Python 了。正好,借着这个机会,我决定自己也学学 Python 编程吧,于是,我决定要用 Python 做一个数据库的自动备份脚本。备份的位置,就用Dropbox 来做吧,因为我的服务器是 Linode 提供的,美国 fremont 机房,选择美国的存储服务,比较合适。以下是我写得代码,Python 小白,敬请指教:

#!/usr/bin/python
#coding:utf-8
 
import sys
import os
from yamlimport load
from datetime import datetime
import dropbox
from dropbox.filesimport WriteMode
from dropbox.exceptions import ApiError, AuthError
 
if len(sys.argv) < 2:
  print >>sys.stderr, "Usage: %s <config_file>" % sys.argv[0]
  sys.exit(0)
 
conf = load(file(sys.argv[1], 'r'))
 
# config file is a YAML looks like
# ---
# server-name: 127.0.0.1
# local-backup-path: /tmp
# remote-backup-path: /backup
# dropbox-token: jdkgjdkjg
# databases:
#  - host:  localhost
#   port:  3306
#   user:  user
#   pass:  password
#   name:  database1
#   charset: utf8
#  - host:  localhost
#   port:  3306
#   user:  user2
#   pass:  password2
#   name:  database2
#   charset: utf8
 
for dbin conf['databases'] :
  filename = "%s_%s.sql" % (db['name'], datetime.now().strftime("%Y%m%d-%H-%M-%S")) 
  filepath = "%s/%s" % (conf['local-backup-path'], filename)
  cmd = "mysqldump -h%s -u%s -p%s -P%s --single-transaction %s > %s" % (
      db['host'],
      db['user'], 
      db['pass'], 
      db['port'], 
      db['name'], 
      filepath
      )
  os.system(cmd)
  cmd = "gzip %s" % filepath
  os.system(cmd)
  filepath = filepath + '.gz'
  dbx = dropbox.Dropbox(conf['dropbox-token'])
  backuppath = "%s/%s/%s/%s" % (
      conf['remote-backup-path'],    # remote path
      datetime.now().strftime("%Y%m%d"), # date string
      conf['server-name'],       # server name
      filename + '.gz')
  with open(filepath, 'rb') as f:
    time = datetime.now().strftime("%Y-%m-%d %H:%M:%S ")
    print(time + "Uploading " + filepath + " to Dropbox as " + backuppath)
    try:
      dbx.files_upload(f.read(), backuppath, mode=WriteMode('overwrite'))
    except ApiErroras err:
      # This checks for the specific error where a user doesn't have
      # enough Dropbox space quota to upload this file
      if (err.error.is_path() and
          err.error.get_path().error.is_insufficient_space()):
        sys.exit("ERROR: Cannot back up; insufficient space.")
      elif err.user_message_text:
        print(err.user_message_text)
        sys.exit()
      else:
        print(err)
        sys.exit()

简单描述下这个代码的思路,这个程序应该满足这个几个要求:

  • 使用 mysqldump 备份数据库到本地
  • 应该支持配置文件,允许配置多个数据库
  • 可以上传到 Dropbox

为了完成这些要求,首先碰到的难题是怎么支持配置文件,一搜,原来 Python 下有个默认的 ConfigParser,可以完成这个任务,但是正常东西比较恶心的是,配置文件必须是以 [Section] 为单位组织的。其实我的配置显然有些全局配置,还有就是数据库的各种信息是多次重复的,这种配置文件,嵌套能力简直糟糕,必须两层的结构,就很恶心。于是我去网上搜配置文件的格式,好多文章比较了各种配置文件的优劣,其实这文章挺多的,我想了想,以后或许我也可以写文章讲讲我自己的感受了。反正就是很多文章最后都公认 YAML 是配置文件里最完美的。于是我也决定用这个,果然也有现成的类库,就是 PyYAML,特方便,就俩函数 load 和 dump,直接就把文件变成 dict 格式了。

第二个难题,就是上传 Dropbox,后来发现,官方提供了很丰富的 API,而且直接就有 SDK,(让我眼红的是,官方竟然没有 PHP 的 SDK,这么不受待见么?),研究 SDK 用法,发现直接就有代码范例,于是直接抄到我的代码里,瞬间完成了 50% 的代码,爽!

整个代码完成后,我发现,写代码一共也没花多少时间,而且,我学会的 Python 的方式,我以前一直抱怨 Python 的文档难用,我发现,其实,最好的方式其实是在交互式的 Shell 里,用 help 来查询 API,再辅佐以官方文档,才是比较正确的方式。这是刷新了一个我以前的认识的地方。实践下来感觉还不错的。Python 的包管理器 pip 也很好用。

pip install PyYAML
pip install dropbox
Python 相关文章推荐
详解python之简单主机批量管理工具
Jan 27 Python
Python cookbook(数据结构与算法)找到最大或最小的N个元素实现方法示例
Feb 13 Python
python3调用R的示例代码
Feb 23 Python
Python实现输出某区间范围内全部素数的方法
May 02 Python
Python使用装饰器模拟用户登陆验证功能示例
Aug 24 Python
把JSON数据格式转换为Python的类对象方法详解(两种方法)
Jun 04 Python
selenium跳过webdriver检测并模拟登录淘宝
Jun 12 Python
对python特殊函数 __call__()的使用详解
Jul 02 Python
详解python itertools功能
Feb 07 Python
python dict乱码如何解决
Jun 07 Python
pycharm激活码2020最新分享适用pycharm2020最新版亲测可用
Nov 22 Python
pycharm 复制代码出现空格的解决方式
Jan 15 Python
一张图带我们入门Python基础教程
Feb 05 #Python
详解python脚本自动生成需要文件实例代码
Feb 04 #Python
Python中文件I/O高效操作处理的技巧分享
Feb 04 #Python
Django应用程序中如何发送电子邮件详解
Feb 04 #Python
Python算法应用实战之栈详解
Feb 04 #Python
Python算法应用实战之队列详解
Feb 04 #Python
python模块之re正则表达式详解
Feb 03 #Python
You might like
用Php实现链结人气统计
2006/10/09 PHP
thinkphp循环结构用法实例
2014/11/24 PHP
php查看网页源代码的方法
2015/03/13 PHP
yum命令安装php7和相关扩展
2016/07/04 PHP
PHP实现数组array转换成xml的方法
2016/07/19 PHP
php文件类型MIME对照表(比较全)
2016/10/07 PHP
PHP实现的堆排序算法详解
2017/08/17 PHP
Laravel 5.5 的自定义验证对象/类示例代码详解
2017/08/29 PHP
数组Array进行原型prototype扩展后带来的for in遍历问题
2010/02/07 Javascript
Js 回车换行处理的办法及replace方法应用
2013/01/24 Javascript
JS控制阿拉伯数字转为中文大写示例代码
2013/09/04 Javascript
Javascript基础 函数“重载” 详细介绍
2013/10/25 Javascript
JavaScript设计模式之原型模式(Object.create与prototype)介绍
2014/12/28 Javascript
jquery实现简单实用的打分程序实例
2015/07/23 Javascript
js跨浏览器的事件侦听器和事件对象的使用方法
2015/12/17 Javascript
jQuery插件制作的实例教程
2016/05/16 Javascript
JS实现点击事件统计的简单实例
2016/07/10 Javascript
js删除Array数组中指定元素的两种方法
2016/08/03 Javascript
原生js jquery ajax请求以及jsonp的调用方法
2017/08/04 jQuery
详解在express站点中使用ejs模板引擎
2017/09/21 Javascript
vue中父子组件注意事项,传值及slot应用技巧
2018/05/09 Javascript
vue-cli V3.0版本的使用详解
2018/10/24 Javascript
JS/HTML5游戏常用算法之碰撞检测 包围盒检测算法详解【矩形情况】
2018/12/13 Javascript
vue基础之data存储数据及v-for循环用法示例
2019/03/08 Javascript
Python序列化基础知识(json/pickle)
2017/10/19 Python
基于DataFrame筛选数据与loc的用法详解
2018/05/18 Python
Flask框架URL管理操作示例【基于@app.route】
2018/07/23 Python
python爬虫selenium和phantomJs使用方法解析
2019/08/08 Python
Python中and和or如何使用
2020/05/28 Python
介绍一下SQL中union,intersect和minus
2012/04/05 面试题
药学专业个人的自我评价
2013/12/31 职场文书
市场营销个人求职信范文
2014/02/02 职场文书
2014年最新版离婚协议书范本
2014/11/25 职场文书
家长会开场白和结束语
2015/05/29 职场文书
导游词之安徽九华山
2019/09/18 职场文书
MySQL实战记录之如何快速定位慢SQL
2022/03/23 MySQL