Python增量循环删除MySQL表数据的方法


Posted in Python onSeptember 23, 2016

需求场景:

有一业务数据库,使用MySQL 5.5版本,每天会写入大量数据,需要不定期将多表中“指定时期前“的数据进行删除,在SQL SERVER中很容易实现,写几个WHILE循环就搞定,虽然MySQL中也存在类似功能,怎奈自己不精通,于是采用Python来实现

话不多少,上脚本:

# coding: utf-8
import MySQLdb
import time
# delete config
DELETE_DATETIME = '2016-08-31 23:59:59'
DELETE_ROWS = 10000
EXEC_DETAIL_FILE = 'exec_detail.txt'
SLEEP_SECOND_PER_BATCH = 0.5
DATETIME_FORMAT = '%Y-%m-%d %X'
# MySQL Connection Config
Default_MySQL_Host = 'localhost'
Default_MySQL_Port = 3358
Default_MySQL_User = "root"
Default_MySQL_Password = 'roo@01239876'
Default_MySQL_Charset = "utf8"
Default_MySQL_Connect_TimeOut = 120
Default_Database_Name = 'testdb001'
def get_time_string(dt_time):
"""
获取指定格式的时间字符串
:param dt_time: 要转换成字符串的时间
:return: 返回指定格式的字符串
"""
global DATETIME_FORMAT
return time.strftime(DATETIME_FORMAT, dt_time)
def print_info(message):
"""
将message输出到控制台,并将message写入到日志文件
:param message: 要输出的字符串
:return: 无返回
"""
print(message)
global EXEC_DETAIL_FILE
new_message = get_time_string(time.localtime()) + chr(13) + str(message)
write_file(EXEC_DETAIL_FILE, new_message)
def write_file(file_path, message):
"""
将传入的message追加写入到file_path指定的文件中
请先创建文件所在的目录
:param file_path: 要写入的文件路径
:param message: 要写入的信息
:return:
"""
file_handle = open(file_path, 'a')
file_handle.writelines(message)
# 追加一个换行以方便浏览
file_handle.writelines(chr(13))
file_handle.close()
def get_mysql_connection():
"""
根据默认配置返回数据库连接
:return: 数据库连接
"""
conn = MySQLdb.connect(
host=Default_MySQL_Host,
port=Default_MySQL_Port,
user=Default_MySQL_User,
passwd=Default_MySQL_Password,
connect_timeout=Default_MySQL_Connect_TimeOut,
charset=Default_MySQL_Charset,
db=Default_Database_Name
)
return conn
def mysql_exec(sql_script, sql_param=None):
"""
执行传入的脚本,返回影响行数
:param sql_script:
:param sql_param:
:return: 脚本最后一条语句执行影响行数
"""
try:
conn = get_mysql_connection()
print_info("在服务器{0}上执行脚本:{1}".format(
conn.get_host_info(), sql_script))
cursor = conn.cursor()
if sql_param is not None:
cursor.execute(sql_script, sql_param)
row_count = cursor.rowcount
else:
cursor.execute(sql_script)
row_count = cursor.rowcount
conn.commit()
cursor.close()
conn.close()
except Exception, e:
print_info("execute exception:" + str(e))
row_count = 0
return row_count
def mysql_query(sql_script, sql_param=None):
"""
执行传入的SQL脚本,并返回查询结果
:param sql_script:
:param sql_param:
:return: 返回SQL查询结果
"""
try:
conn = get_mysql_connection()
print_info("在服务器{0}上执行脚本:{1}".format(
conn.get_host_info(), sql_script))
cursor = conn.cursor()
if sql_param != '':
cursor.execute(sql_script, sql_param)
else:
cursor.execute(sql_script)
exec_result = cursor.fetchall()
cursor.close()
conn.close()
return exec_result
except Exception, e:
print_info("execute exception:" + str(e))
def get_id_range(table_name):
"""
按照传入的表获取要删除数据最大ID、最小ID、删除总行数
:param table_name: 要删除的表
:return: 返回要删除数据最大ID、最小ID、删除总行数
"""
global DELETE_DATETIME
sql_script = """
SELECT
MAX(ID) AS MAX_ID,
MIN(ID) AS MIN_ID,
COUNT(1) AS Total_Count
FROM {0}
WHERE create_time <='{1}';
""".format(table_name, DELETE_DATETIME)
query_result = mysql_query(sql_script=sql_script, sql_param=None)
max_id, min_id, total_count = query_result[0]
# 此处有一坑,可能出现total_count不为0 但是max_id 和min_id 为None的情况
# 因此判断max_id和min_id 是否为NULL
if (max_id is None) or (min_id is None):
max_id, min_id, total_count = 0, 0, 0
return max_id, min_id, total_count
def delete_data(table_name):
max_id, min_id, total_count = get_id_range(table_name)
temp_id = min_id
while temp_id <= max_id:
sql_script = """
DELETE FROM {0}
WHERE id <= {1}
and id >= {2}
AND create_time <='{3}';
""".format(table_name, temp_id + DELETE_ROWS, temp_id, DELETE_DATETIME)
temp_id += DELETE_ROWS
print(sql_script)
row_count = mysql_exec(sql_script)
print_info("影响行数:{0}".format(row_count))
current_percent = (temp_id - min_id) * 1.0 / (max_id - min_id)
print_info("当前进度{0}/{1},剩余{2},进度为{3}%".format(temp_id, max_id, max_id - temp_id, "%.2f" % current_percent))
time.sleep(SLEEP_SECOND_PER_BATCH)
print_info("当前表{0}已无需要删除的数据".format(table_name))
delete_data('TB001')
delete_data('TB002')
delete_data('TB003')

执行效果:

Python增量循环删除MySQL表数据的方法

实现原理:

由于表存在自增ID,于是给我们增量循环删除的机会,查找出满足删除条件的最大值ID和最小值ID,然后按ID 依次递增,每次小范围内(如10000条)进行删除。

实现优点:

实现“小斧子砍大柴”的效果,事务小,对线上影响较小,打印出当前处理到的“ID”,可以随时关闭,稍微修改下代码便可以从该ID开始,方便。

实现不足:

为防止主从延迟太高,采用每次删除SLEEP1秒的方式,相对比较糙,最好的方式应该是周期扫描这条复制链路,根据延迟调整SLEEP的周期,反正都脚本化,再智能化点又何妨!

以上所述是小编给大家介绍的Python增量循环删除MySQL表数据,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
让Python代码更快运行的5种方法
Jun 21 Python
Python Requests安装与简单运用
Apr 07 Python
Python爬虫DOTA排行榜爬取实例(分享)
Jun 13 Python
Django自定义分页效果
Jun 27 Python
微信跳一跳辅助python代码实现
Jan 05 Python
安装python时MySQLdb报错的问题描述及解决方法
Mar 20 Python
python基于Selenium的web自动化框架
Jul 14 Python
Django1.11自带分页器paginator的使用方法
Oct 31 Python
pytorch进行上采样的种类实例
Feb 18 Python
Python OrderedDict字典排序方法详解
May 21 Python
Python爬虫抓取指定网页图片代码实例
Jul 24 Python
Python根据字符串调用函数过程解析
Nov 05 Python
教你用Python脚本快速为iOS10生成图标和截屏
Sep 22 #Python
Python 制作糗事百科爬虫实例
Sep 22 #Python
Python 使用SMTP发送邮件的代码小结
Sep 21 #Python
Python 使用requests模块发送GET和POST请求的实现代码
Sep 21 #Python
Python中将字典转换为列表的方法
Sep 21 #Python
Python 两个列表的差集、并集和交集实现代码
Sep 21 #Python
python代码 if not x: 和 if x is not None: 和 if not x is None:使用介绍
Sep 21 #Python
You might like
php实现html标签闭合检测与修复方法
2015/07/09 PHP
PHP实现基于面向对象的mysqli扩展库增删改查操作工具类
2017/07/18 PHP
greybox——不开新窗口看新的网页
2007/02/20 Javascript
javascript实现的网页局布刷新效果
2008/12/01 Javascript
JavaScript 获取事件对象的注意点
2009/07/29 Javascript
javascript 事件绑定问题
2011/01/01 Javascript
常见的jQuery选择器汇总
2014/11/24 Javascript
Angular2 (RC4) 路由与导航详解
2016/09/21 Javascript
xmlplus组件设计系列之图标(ICON)(1)
2017/05/05 Javascript
Vue实现动态添加或者删除对象和对象数组的操作方法
2018/09/21 Javascript
解决vue 使用setTimeout,离开当前路由setTimeout未销毁的问题
2020/07/21 Javascript
Vue Render函数原理及代码实例解析
2020/07/30 Javascript
jQuery zTree如何改变指定节点文本样式
2020/10/16 jQuery
python避免死锁方法实例分析
2015/06/04 Python
Python base64编码解码实例
2015/06/21 Python
django admin添加数据自动记录user到表中的实现方法
2018/01/05 Python
使用python制作一个为hex文件增加版本号的脚本实例
2019/06/12 Python
python requests使用socks5的例子
2019/07/25 Python
pytorch 指定gpu训练与多gpu并行训练示例
2019/12/31 Python
python3注册全局热键的实现
2020/03/22 Python
python如何将图片转换素描画
2020/09/08 Python
python爬取音频下载的示例代码
2020/10/19 Python
浅析与CSS3的loading动画加载相关的transition优化
2015/05/18 HTML / CSS
印度首选时尚目的地:Reliance Trends
2018/01/17 全球购物
Yummie官方网站:塑身衣和衣柜必需品
2019/10/29 全球购物
乐高西班牙官方商店:LEGO Shop ES
2019/12/01 全球购物
职工运动会感言
2014/02/07 职场文书
3.12植树节活动总结2014
2014/03/13 职场文书
经济职业学院毕业生自荐书
2014/03/17 职场文书
市政工程技术专业自荐书
2014/07/06 职场文书
2014年教学管理工作总结
2014/12/02 职场文书
库房管理员岗位职责
2015/02/12 职场文书
2015年检验科工作总结
2015/04/27 职场文书
聊聊redis-dump工具安装问题
2022/01/18 Redis
Android在Sqlite3中的应用及多线程使用数据库的建议
2022/04/24 Java/Android
MySQL脏读,幻读和不可重复读
2022/05/11 MySQL