详解多线程Django程序耗尽数据库连接的问题


Posted in Python onOctober 08, 2018

Django的ORM是非常好用的,哪怕不是做Web项目也值得一用,所以网上也可以找到不少使用 Django 开发非Web项目的资料,因为除了ORM之个,命令行、配置文件等组件也非常好用。

最近用这种方式开发了一个非Web项目,而且是多线程的。有N个工作线程从DB中获取jobs,并把结果写回DB。简单来说就是这样。

项目运行一段时间后,发现数据库连接耗尽了,幸好内存大,然后一直往上调,最后连接数都上九千多一万了。耗尽连接数的时候,PostgreSQL 会出现类似这样的错误:

FATAL: remaining connection slots are reserved for non-replication superuser connections

然后就各种看文档、代码,找问题,其中艰难略下不表,最后大概是这么些个知识点:

  1. Django里的数据库连接是放在线程的 local() 实例中的。
  2. 任何时候,需要一个数据库连接的话,Django就会创建一条出来,或者用本线程已有的那条。
  3. 如果是Web项目,在请求结束的时候,Django会去关闭掉连接。是的,没有连接池。
  4. 因为我们是非Web项目,所以不存在请求结束事件,所以一直没的关闭连接。但本来这个应该也不会造成问题的,因为没关闭就一直用呗,但不知道哪里出了问题,会出现连接泄漏,所以连接数据会一直增长。

最后的解决方案是找时机主动关闭数据库连接,具体到我们项目,就是每次工作线程完成一个任务后,就把它相关的连接关掉,因为我们用的是 ThreadPoolExecutor ,所以Django很容易做到这一点。

重点代码如下:

from django.db import connections

def on_done(future):
  # 因为每一个线程都有一个 connections,所以这里可以调用 close_all(),把本线程名下的所有连接关闭。
  connections.close_all()

def main():
  # ...
  with ThreadPoolExecutor() as executor:
    while True:
      future = executor.submit(do, get_a_job())
      future.add_done_callback(on_done)

主动关闭后,数据库连接数降到与工作线程数相近,并保持稳定。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Django自定义分页效果
Jun 27 Python
django项目运行因中文而乱码报错的几种情况解决
Nov 07 Python
使用Python的package机制如何简化utils包设计详解
Dec 11 Python
解决python删除文件的权限错误问题
Apr 24 Python
Python多线程处理实例详解【单进程/多进程】
Jan 30 Python
python写日志文件操作类与应用示例
Jul 01 Python
浅谈django不使用restframework自定义接口与使用的区别
Jul 15 Python
Python 必须了解的5种高级特征
Sep 10 Python
pycharm-professional-2020.1下载与激活的教程
Sep 21 Python
python画图时设置分辨率和画布大小的实现(plt.figure())
Jan 08 Python
Python实现钉钉/企业微信自动打卡的示例代码
Feb 02 Python
Python基础知识之变量的详解
Apr 14 Python
JSON文件及Python对JSON文件的读写操作
Oct 07 #Python
Python实现登陆文件验证方法
Oct 06 #Python
python对日志进行处理的实例代码
Oct 06 #Python
浅析Python函数式编程
Oct 06 #Python
Python实现iOS自动化打包详解步骤
Oct 03 #Python
Python中GIL的使用详解
Oct 03 #Python
Python线程同步的实现代码
Oct 03 #Python
You might like
php代码审计比较有意思的例子
2014/05/07 PHP
php表单敏感字符过滤类
2014/12/08 PHP
用javascript实现无刷新更新数据的详细步骤 asp
2006/12/26 Javascript
Mootools 1.2教程(2) DOM选择器
2009/09/14 Javascript
jQuery lazyload 的重复加载错误以及修复方法
2010/11/19 Javascript
jquery插件制作简单示例说明
2012/02/03 Javascript
JavaScript高级程序设计 读书笔记之八 Function类及闭包
2012/02/27 Javascript
在表单提交前进行验证的几种方式整理
2013/07/31 Javascript
JS替换字符串中字符即替换全部而不是第一个
2014/06/04 Javascript
js与jquery实时监听输入框值的oninput与onpropertychange方法
2015/02/05 Javascript
jquery实现全屏滚动
2015/12/28 Javascript
使用JavaScript脚本判断页面是否在微信中被打开
2016/03/06 Javascript
jquery ajax后台返回list,前台用jquery遍历list的实现
2016/10/30 Javascript
Jquery Easyui自定义下拉框组件使用详解(21)
2020/12/31 Javascript
JavaScript实现图片的放大缩小及拖拽功能示例
2019/05/14 Javascript
浅谈Express.js解析Post数据类型的正确姿势
2019/05/30 Javascript
VUE路由动态加载实例代码讲解
2019/08/26 Javascript
小程序跳转H5页面的方法步骤
2020/03/06 Javascript
[03:42]2014DOTA2西雅图国际邀请赛 Navi战队巡礼
2014/07/07 DOTA
[05:22]DOTA2 2015国际邀请赛中国区预选赛首日TOP10
2015/05/26 DOTA
Python高效编程技巧
2013/01/07 Python
Python易忽视知识点小结
2015/05/25 Python
django 开发忘记密码通过邮箱找回功能示例
2018/04/17 Python
解决django 新增加用户信息出现错误的问题
2019/07/28 Python
python turtle工具绘制四叶草的实例分享
2020/02/14 Python
Python接口测试环境搭建过程详解
2020/06/29 Python
Python虚拟环境的创建和使用详解
2020/09/07 Python
HTML5中的websocket实现直播功能
2018/05/21 HTML / CSS
西班牙英格列斯百货官网:El Corte Inglés
2016/09/25 全球购物
欧铁通票官方在线销售网站:Eurail.com
2017/10/14 全球购物
我看到了用指针调用函数的不同语法形式
2014/07/16 面试题
环保标语大全
2014/06/12 职场文书
党员个人党性分析材料
2014/12/18 职场文书
英文邀请函
2015/02/02 职场文书
干货:如何写好工作总结报告!
2019/05/10 职场文书
SpringCloud中分析讲解Feign组件添加请求头有哪些坑梳理
2022/06/21 Java/Android