Django数据库连接丢失问题的解决方法


Posted in Python onDecember 29, 2018

问题

在Django中使用mysql偶尔会出现数据库连接丢失的情况,错误通常有如下两种

OperationalError: (2006, 'MySQL server has gone away')
OperationalError: (2013, 'Lost connection to MySQL server during query')

查询mysql全局变量SHOW GLOBAL VARIABLES;可以看到wait_timeout,此变量表示连接空闲时间。如果客户端使用一个连接查询多次数据库,如果连续查询则没有问题,如果查询几次后停顿超过wait_timeout后再次查询就会出现数据库连接丢失。

复现

下面用Django复现下次问题:

将mysql的wait_timeout设置为10秒,然后进入django shell模拟查询(以下错误信息只保留了部分)

In[1]:import time
In[2]:from django.contrib.auth.models import User
In[3]:list(User.objects.filter(id=1))
Out[3]:[<User: admin>]
In[4]:time.sleep(15) # 模拟比较慢的代码(其中没有查询数据库的代码),或者空闲什么都不操作一段时间,此时间要比`wait_timeout`大一些
list(User.objects.filter(id=1))
Traceback (most recent call last):

  File "<ipython-input-4-3574ae8220ee>", line 1, in <module>
    list(User.objects.filter(id=1))

  File "/usr/lib/python3.6/site-packages/pymysql/connections.py", line 1037, in _read_bytes
    CR.CR_SERVER_LOST, "Lost connection to MySQL server during query")
django.db.utils.OperationalError: (2013, 'Lost connection to MySQL server during query')

寻求

那么以上问题就基本说明了是空闲时间过长导致的错误。

django为了减少不必要的数据库连接、关闭,复用了数据库连接,当开始一个请求后建立一个连接池存放连接,之后此次请求都复用一个连接。那猜测就是django保存连接的比wait_timeout长了,如果保存时间短一些就可以重新建立连接避免此错误了。 没错,官方文档也已经说明了此问题,设置数据库 CONN_MAX_AGE参数,示例:

DATABASES = {
 "default": {
 'ENGINE': 'django.db.backends.mysql',
 'NAME': '',
 'USER': '',
 'PASSWORD': '',
 'HOST': '',
 'CONN_MAX_AGE': 9 # 比wait_timeout小一些
 }
}

当我们测试后却发现,事情并非想想中那么简单。为何错误依旧出现?这一切的背后, 是人性的扭曲还是道德的沦丧?敬请收看下节《突破》。

突破

对django源码中CONN_MAX_AGE进行了一番搜索,顺藤摸瓜发现了django关闭失效连接的方法django.db.close_old_connections():

# Register an event to reset transaction state and close connections past
# their lifetime.
def close_old_connections(**kwargs):
 for conn in connections.all():
  conn.close_if_unusable_or_obsolete()

signals.request_started.connect(close_old_connections)
signals.request_finished.connect(close_old_connections)

重点在最后两行,通过signal实现特定事件时执行此方法,两个特定事件顾名思义是请求开始和请求结束。而我们报错的是在一次请求中,所以此法通常无效,仅仅是实现每个请求关闭并重新建立连接。

解决

复现问题的django shell不要关闭,继续执行如下代码:

In[5]:from django.db import close_old_connections
In[6]:close_old_connections()
In[7]:list(User.objects.filter(id=1))
Out[7]: [<User: admin>]

调用django.db.close_old_connections后再次查询就没有错误了。 那么我们要避免此错误就要执行每个数据库查询前调用django.db.close_old_connections方法。

一般情况不会出现此类问题,因为一个请求中不间断进行数据库查询,无需每个请求调用此方法,杞人忧天。

有时候一个请求中数据量较大,会查询数据库后进行一段时间其他(不涉及数据库)处理,比如先查询一些数据,然后将数据处理、生成excel、保存文件并生成url。已知此过长需要非常长时间,那么最终url保存数据库就最好先调用django.db.close_old_connections防止连接丢失

题外话 实际上②所述情况最好从根本上解决处理慢的问题,也可以换作异步处理,从根本上解决问题。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
深入解析Python中的descriptor描述器的作用及用法
Jun 27 Python
Python 基础教程之闭包的使用方法
Sep 29 Python
Ubuntu下Python2与Python3的共存问题
Oct 31 Python
python3实现网络爬虫之BeautifulSoup使用详解
Dec 19 Python
PyCharm的设置方法和第一个Python程序的建立
Jan 16 Python
python开发准备工作之配置虚拟环境(非常重要)
Feb 11 Python
Win10系统下安装labelme及json文件批量转化方法
Jul 30 Python
python3 enum模块的应用实例详解
Aug 12 Python
详解Python3 pandas.merge用法
Sep 05 Python
Python StringIO及BytesIO包使用方法解析
Jun 15 Python
Java如何基于wsimport调用wcf接口
Jun 17 Python
python简单利用字典破解zip文件口令
Sep 07 Python
Python Cookie 读取和保存方法
Dec 28 #Python
Python编程flask使用页面模版的方法
Dec 28 #Python
Python编程中flask的简介与简单使用
Dec 28 #Python
Python3 Post登录并且保存cookie登录其他页面的方法
Dec 28 #Python
Python3 使用cookiejar管理cookie的方法
Dec 28 #Python
Python编程在flask中模拟进行Restful的CRUD操作
Dec 28 #Python
python获取服务器响应cookie的实例
Dec 28 #Python
You might like
php获取本地图片文件并生成xml文件输出具体思路
2013/04/27 PHP
深入理解require与require_once与include以及include_once的区别
2013/06/05 PHP
PHP编程之设置apache虚拟目录
2016/07/08 PHP
javascript获取当前ip的代码
2009/05/10 Javascript
js动态设置鼠标事件示例代码
2013/10/30 Javascript
javascript实现iframe框架延时加载的方法
2014/10/30 Javascript
node.js使用require()函数加载模块
2014/11/26 Javascript
jQuery中position()方法用法实例
2015/01/16 Javascript
Javascript基于对象三大特性(封装性、继承性、多态性)
2016/01/04 Javascript
jQuery实现从身份证号中获取出生日期和性别的方法分析
2016/02/25 Javascript
JavaScript中的ajax功能的概念和示例详解
2016/10/17 Javascript
利用node.js如何创建子进程详解
2017/12/09 Javascript
原生js实现Flappy Bird小游戏
2018/12/24 Javascript
Node.js fs模块(文件模块)创建、删除目录(文件)读取写入文件流的方法
2019/09/03 Javascript
vue 父组件通过$refs获取子组件的值和方法详解
2019/11/07 Javascript
详解vue中v-on事件监听指令的基本用法
2020/07/22 Javascript
js实现3D粒子酷炫动态旋转特效
2020/09/13 Javascript
[02:35]DOTA2超级联赛专访XB 难忘一年九冠称王
2013/06/20 DOTA
Python解析nginx日志文件
2015/05/11 Python
Python自动化测试ConfigParser模块读写配置文件
2016/08/15 Python
解析Python中的eval()、exec()及其相关函数
2017/12/20 Python
python 处理string到hex脚本的方法
2018/10/26 Python
详解python Todo清单实战
2018/11/01 Python
Python实现计算长方形面积(带参数函数demo)
2020/01/18 Python
python类共享变量操作
2020/09/03 Python
纯CSS3实现鼠标悬停提示气泡效果
2014/02/28 HTML / CSS
html5用video标签流式加载的实现
2020/05/20 HTML / CSS
全球航班旅行搜索网站:Cheapflights
2017/05/19 全球购物
Giglio美国站:意大利奢侈品购物网
2018/02/10 全球购物
三星英国官网:Samsung英国
2018/09/25 全球购物
蔻驰法国官网:COACH法国
2018/11/14 全球购物
Antonioli美国在线商店:时尚前卫奢华
2019/07/29 全球购物
个人求职信范例
2014/01/29 职场文书
意向协议书范本
2014/04/23 职场文书
信用社竞聘演讲稿
2014/05/16 职场文书
教师对照四风自我剖析材料
2014/09/30 职场文书