python实现数据库跨服务器迁移


Posted in Python onApril 12, 2018

 基于Python2.7的版本环境,Python实现的数据库跨服务器(跨库)迁移, 每以5000条一查询一提交,代码中可以自行更改每次查询提交数目.

# -*- coding: utf-8 -*-

import MySQLdb
import time
import warnings

warnings.filterwarnings("ignore")


class ConnectMysql(object):
  def __init__(self):
#     这里设置分页查询, 每页查询多少数据
    self.page_size = 5000

  def getTable(self):
    conn = MySQLdb.connect(
      host="***.***.**.**",
      user="****",
      passwd="*************",
      db='****',
      charset='utf8'
    )
    conn_local = MySQLdb.connect(
      host="********************************",
      user="**********",
      passwd="********",
      db='*******',
      charset='utf8'
    )
    cur = conn.cursor()
    cur_local = conn_local.cursor()
    cur.execute('show tables')
    tables = cur.fetchall()
    for table in tables:
      print str(table[0]).lower()
      # 需要迁移的数据库查询表的列数
      cur.execute("SELECT COUNT(*) FROM information_schema.COLUMNS WHERE table_schema='china' AND table_name='" + table[0] + "'")
      table_col_count = cur.fetchone()
      # print table_col_count[0]
      # 需要迁移的数据库查询表的结构
      cur.execute('show create table ' + table[0])
      result = cur.fetchall()
      create_sql = result[0][1]
      # 查询需要迁移的数据库表的数据条数
      cur.execute('select count(*) from ' + table[0])
      total = cur.fetchone()
      page = total[0] / self.page_size
      page1 = total[0] % self.page_size
      if page1 != 0:
        page = page + 1

      # 阿里云数据库创建表
      cur_local.execute("SELECT table_name FROM information_schema.`TABLES` WHERE table_schema='user' AND table_name='" + str(table[0]).lower() + "'")
      table_name = cur_local.fetchone()
      if table_name is None:
        cur_local.execute(create_sql)
      for p in range(0, page):
        while True:
          try:
            print '开始', table[0], '的第', p + 1, '页查询'
            if p == 0:
              limit_param = ' limit ' + str(p * self.page_size) + ',' + str(self.page_size)
            else:
              limit_param = ' limit ' + str(p * self.page_size + 1) + ',' + str(self.page_size)
            cur.execute('select * from ' + table[0] + limit_param)
            inserts = cur.fetchall()
            print '查询成功'
            param = ''
            for i in range(0, table_col_count[0]):
              param = param + '%s,'
            print '开始插入'
            cur_local.executemany('replace into ' + table[0] + ' values (' + param[0:-1] + ')', inserts)
            print table[0], '的第', p + 1, '页, 插入完成, 还有', page - p - 1, '页, 任重而道远'
            conn_local.commit()
            break
          except Exception as e:
            print e
            time.sleep(60)
            cur = conn.cursor()
            cur_local = conn_local.cursor()
        print table[0], ' 插入完成'
        print '\n \n ======================================================================== \n\n'
    cur_local.close()
    conn_local.close()
    cur.close()
    conn.close()


if __name__ == '__main__':
  conn_mysql = ConnectMysql()
  conn_mysql.getTable()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python使用正则表达式提取网页URL的方法
May 26 Python
Python实现合并两个列表的方法分析
May 28 Python
python实现requests发送/上传多个文件的示例
Jun 04 Python
python文件操作之批量修改文件后缀名的方法
Aug 10 Python
Django跨域请求CSRF的方法示例
Nov 11 Python
解决pycharm上的jupyter notebook端口被占用问题
Dec 17 Python
PyTorch中topk函数的用法详解
Jan 02 Python
python代码如何实现余弦相似性计算
Feb 09 Python
Tensorflow:转置函数 transpose的使用详解
Feb 11 Python
python写文件时覆盖原来的实例方法
Jul 22 Python
Python自动化之UnitTest框架实战记录
Sep 08 Python
使用Django的JsonResponse返回数据的实现
Jan 15 Python
解决python3爬虫无法显示中文的问题
Apr 12 #Python
python读取中文txt文本的方法
Apr 12 #Python
基于python 处理中文路径的终极解决方法
Apr 12 #Python
解决Python2.7读写文件中的中文乱码问题
Apr 12 #Python
python 实现对文件夹内的文件排序编号
Apr 12 #Python
pandas数值计算与排序方法
Apr 12 #Python
python搭建服务器实现两个Android客户端间收发消息
Apr 12 #Python
You might like
如何将数据从文本导入到mysql
2006/10/09 PHP
PHP 中常量的知识整理
2017/04/14 PHP
深入分析PHP设计模式
2020/06/15 PHP
extjs 学习笔记(二) Ext.Element类
2009/10/13 Javascript
jquery获取input的value问题说明
2010/08/19 Javascript
js中关于String对象的replace使用详解
2011/05/24 Javascript
用javascript作一个通用向导说明
2011/08/30 Javascript
JavaScript中的变量声明早于赋值分析
2012/03/01 Javascript
提高javascript效率 一次判断,而不要次次判断
2012/03/30 Javascript
Jquery实现兼容各大浏览器的Enter回车切换输入焦点的方法
2014/09/01 Javascript
JavaScript的null和undefined区别示例介绍
2014/09/15 Javascript
javascript解析json实例详解
2014/11/05 Javascript
js实现鼠标触发图片抖动效果的方法
2015/02/27 Javascript
jQuery插件datalist实现很好看的input下拉列表
2015/07/14 Javascript
javascript中对Date类型的常用操作小结
2016/05/19 Javascript
深入理解JavaScript 函数
2016/06/06 Javascript
JS库之Particles.js中文开发手册及参数详解
2017/09/13 Javascript
vue+ts下对axios的封装实现
2020/02/18 Javascript
vue动画—通过钩子函数实现半场动画操作
2020/08/09 Javascript
[46:58]完美世界DOTA2联赛PWL S3 Forest vs LBZS 第一场 12.17
2020/12/19 DOTA
Pyhthon中使用compileall模块编译源文件为pyc文件
2015/04/28 Python
Ubuntu 16.04 LTS中源码安装Python 3.6.0的方法教程
2016/12/27 Python
Python 数据结构之旋转链表
2017/02/25 Python
Django的分页器实例(paginator)
2017/12/01 Python
Python实现的远程登录windows系统功能示例
2018/06/21 Python
解决django前后端分离csrf验证的问题
2019/02/03 Python
Python爬虫爬取Bilibili弹幕过程解析
2019/10/10 Python
python cv2截取不规则区域图片实例
2019/12/21 Python
git查看、创建、删除、本地、远程分支方法详解
2020/02/18 Python
Python并发请求下限制QPS(每秒查询率)的实现代码
2020/06/05 Python
基于html5实现的图片墙效果
2014/10/16 HTML / CSS
Mio Skincare美国官网:身体紧致及孕期身体护理
2017/03/05 全球购物
购买正版游戏和游戏激活码:Green Man Gaming
2019/11/06 全球购物
Java里面如何把一个Array数组转换成Collection, List
2013/07/26 面试题
通信工程毕业生自荐信
2013/11/01 职场文书
经贸日语毕业生自荐信
2013/11/03 职场文书