Python脚本实现自动将数据库备份到 Dropbox


Posted in Python onFebruary 06, 2017

最近,正好发生了一件大事,就是 GitLab 的运维同学不小心删除了生产的数据,虽然 GitLab 已经骇人听闻的准备了五种备份机制,但是,仍然导致他们丢失了将近 6 个小时的用户数据,尤其对他们声誉的损失,是根本无法估量的。反思一下,这个博客 Becomin' Charles,也是没有完善的备份的,真是冷汗直冒啊,主要考虑到这是我的个人博客,但是想想已经坚持了快十年了,如果真的丢了的话,还是非常痛心的。

正好,老婆最近正在学习Python 编程,我在教她,其实,我是PHP 程序员,一点也不喜欢 Python,但是说实在,一个外行学编程的话,Python 确实比PHP 友好太多了,只能推荐她学 Python 了。正好,借着这个机会,我决定自己也学学 Python 编程吧,于是,我决定要用 Python 做一个数据库的自动备份脚本。备份的位置,就用Dropbox 来做吧,因为我的服务器是 Linode 提供的,美国 fremont 机房,选择美国的存储服务,比较合适。以下是我写得代码,Python 小白,敬请指教:

#!/usr/bin/python
#coding:utf-8
 
import sys
import os
from yamlimport load
from datetime import datetime
import dropbox
from dropbox.filesimport WriteMode
from dropbox.exceptions import ApiError, AuthError
 
if len(sys.argv) < 2:
  print >>sys.stderr, "Usage: %s <config_file>" % sys.argv[0]
  sys.exit(0)
 
conf = load(file(sys.argv[1], 'r'))
 
# config file is a YAML looks like
# ---
# server-name: 127.0.0.1
# local-backup-path: /tmp
# remote-backup-path: /backup
# dropbox-token: jdkgjdkjg
# databases:
#  - host:  localhost
#   port:  3306
#   user:  user
#   pass:  password
#   name:  database1
#   charset: utf8
#  - host:  localhost
#   port:  3306
#   user:  user2
#   pass:  password2
#   name:  database2
#   charset: utf8
 
for dbin conf['databases'] :
  filename = "%s_%s.sql" % (db['name'], datetime.now().strftime("%Y%m%d-%H-%M-%S")) 
  filepath = "%s/%s" % (conf['local-backup-path'], filename)
  cmd = "mysqldump -h%s -u%s -p%s -P%s --single-transaction %s > %s" % (
      db['host'],
      db['user'], 
      db['pass'], 
      db['port'], 
      db['name'], 
      filepath
      )
  os.system(cmd)
  cmd = "gzip %s" % filepath
  os.system(cmd)
  filepath = filepath + '.gz'
  dbx = dropbox.Dropbox(conf['dropbox-token'])
  backuppath = "%s/%s/%s/%s" % (
      conf['remote-backup-path'],    # remote path
      datetime.now().strftime("%Y%m%d"), # date string
      conf['server-name'],       # server name
      filename + '.gz')
  with open(filepath, 'rb') as f:
    time = datetime.now().strftime("%Y-%m-%d %H:%M:%S ")
    print(time + "Uploading " + filepath + " to Dropbox as " + backuppath)
    try:
      dbx.files_upload(f.read(), backuppath, mode=WriteMode('overwrite'))
    except ApiErroras err:
      # This checks for the specific error where a user doesn't have
      # enough Dropbox space quota to upload this file
      if (err.error.is_path() and
          err.error.get_path().error.is_insufficient_space()):
        sys.exit("ERROR: Cannot back up; insufficient space.")
      elif err.user_message_text:
        print(err.user_message_text)
        sys.exit()
      else:
        print(err)
        sys.exit()

简单描述下这个代码的思路,这个程序应该满足这个几个要求:

  • 使用 mysqldump 备份数据库到本地
  • 应该支持配置文件,允许配置多个数据库
  • 可以上传到 Dropbox

为了完成这些要求,首先碰到的难题是怎么支持配置文件,一搜,原来 Python 下有个默认的 ConfigParser,可以完成这个任务,但是正常东西比较恶心的是,配置文件必须是以 [Section] 为单位组织的。其实我的配置显然有些全局配置,还有就是数据库的各种信息是多次重复的,这种配置文件,嵌套能力简直糟糕,必须两层的结构,就很恶心。于是我去网上搜配置文件的格式,好多文章比较了各种配置文件的优劣,其实这文章挺多的,我想了想,以后或许我也可以写文章讲讲我自己的感受了。反正就是很多文章最后都公认 YAML 是配置文件里最完美的。于是我也决定用这个,果然也有现成的类库,就是 PyYAML,特方便,就俩函数 load 和 dump,直接就把文件变成 dict 格式了。

第二个难题,就是上传 Dropbox,后来发现,官方提供了很丰富的 API,而且直接就有 SDK,(让我眼红的是,官方竟然没有 PHP 的 SDK,这么不受待见么?),研究 SDK 用法,发现直接就有代码范例,于是直接抄到我的代码里,瞬间完成了 50% 的代码,爽!

整个代码完成后,我发现,写代码一共也没花多少时间,而且,我学会的 Python 的方式,我以前一直抱怨 Python 的文档难用,我发现,其实,最好的方式其实是在交互式的 Shell 里,用 help 来查询 API,再辅佐以官方文档,才是比较正确的方式。这是刷新了一个我以前的认识的地方。实践下来感觉还不错的。Python 的包管理器 pip 也很好用。

pip install PyYAML
pip install dropbox
Python 相关文章推荐
在Python的Flask框架中实现单元测试的教程
Apr 20 Python
Python多线程爬虫简单示例
Mar 04 Python
Python爬虫爬验证码实现功能详解
Apr 14 Python
python3利用smtplib通过qq邮箱发送邮件方法示例
Dec 03 Python
Python实现的维尼吉亚密码算法示例
Apr 12 Python
Python中的枚举类型示例介绍
Jan 09 Python
python实现在cmd窗口显示彩色文字
Jun 24 Python
Python使用指定端口进行http请求的例子
Jul 25 Python
python tkinter组件使用详解
Sep 16 Python
如何让python的运行速度得到提升
Jul 08 Python
Python selenium键盘鼠标事件实现过程详解
Jul 28 Python
用Python实现Newton插值法
Apr 17 Python
一张图带我们入门Python基础教程
Feb 05 #Python
详解python脚本自动生成需要文件实例代码
Feb 04 #Python
Python中文件I/O高效操作处理的技巧分享
Feb 04 #Python
Django应用程序中如何发送电子邮件详解
Feb 04 #Python
Python算法应用实战之栈详解
Feb 04 #Python
Python算法应用实战之队列详解
Feb 04 #Python
python模块之re正则表达式详解
Feb 03 #Python
You might like
关于file_get_contents返回为空或函数不可用的解决方案
2013/06/24 PHP
php使用fsockopen函数发送post,get请求获取网页内容的方法
2014/11/15 PHP
php轻量级的性能分析工具xhprof的安装使用
2015/08/12 PHP
PHP将MySQL的查询结果转换为数组并用where拼接的示例
2016/05/13 PHP
创建无限极分类树型结构的简单方法
2017/06/20 PHP
点图片上一页下一页翻页效果
2008/07/09 Javascript
jquery下json数组的操作实现代码
2010/08/09 Javascript
jQuery EasyUI API 中文文档 - DataGrid数据表格
2011/11/17 Javascript
20行代码实现的一个CSS覆盖率测试脚本
2013/07/07 Javascript
javascript for-in有序遍历json数据并探讨各个浏览器差异
2015/11/30 Javascript
JavaScript仿支付宝密码输入框
2015/12/29 Javascript
js实现prototype扩展的方法(字符串,日期,数组扩展)
2016/01/14 Javascript
json与jsonp知识小结(推荐)
2016/08/16 Javascript
微信小程序 Toast自定义实例详解
2017/01/20 Javascript
JavaScript实现向select下拉框中添加和删除元素的方法
2017/03/07 Javascript
AngularJS实现动态添加Option的方法
2017/05/17 Javascript
vue axios 表单提交上传图片的实例
2018/03/16 Javascript
使用JavaScript中的lodash编写双色球效果
2018/06/24 Javascript
详解Vue取消eslint语法限制
2018/08/04 Javascript
js核心基础之构造函数constructor用法实例分析
2019/05/11 Javascript
小程序自定义导航栏兼容适配所有机型(附完整案例)
2020/04/26 Javascript
[38:31]完美世界DOTA2联赛PWL S3 Magma vs GXR 第一场 12.13
2020/12/17 DOTA
利用Python学习RabbitMQ消息队列
2015/11/30 Python
python动态网页批量爬取
2016/02/14 Python
python 打印直角三角形,等边三角形,菱形,正方形的代码
2017/11/21 Python
Python通过paramiko远程下载Linux服务器上的文件实例
2018/12/27 Python
Python代码太长换行的实现
2019/07/05 Python
Python HTMLTestRunner库安装过程解析
2020/05/25 Python
Eagle Eyes Optics鹰眼光学:高性能太阳镜
2018/12/07 全球购物
银行求职信个人范文
2013/12/16 职场文书
上课说话检讨书500字
2014/11/01 职场文书
个人政治思想总结
2015/03/05 职场文书
优秀大学生自荐信
2015/03/26 职场文书
班级班风口号大全
2015/12/25 职场文书
Go语言 go程释放操作(退出/销毁)
2021/04/30 Golang
Python使用pandas导入csv文件内容的示例代码
2022/12/24 Python