Django异步任务线程池实现原理


Posted in Python onDecember 17, 2019

这篇文章主要介绍了Django异步任务线程池实现原理,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

当数据库数据量很大时(百万级),许多批量数据修改请求的响应会非常慢,一些不需要即时响应的任务可以放到后台的异步线程中完成,发起异步任务的请求就可以立即响应

选择用线程池的原因是:线程比进程更为可控。不像子进程,子线程会在所属进程结束时立即结束。线程可共享内存。

请求任务异步处理的原理

使用python manage.py runserver模式启动的Django应用只有一个进程,对于每个请求,主线程会开启一个子线程来处理请求。请求子线程向主线程申请一个新线程,然后把耗时的任务交给新线程,自身立即响应,这就是请求任务异步处理的原理。

可视化线程池

如果想要管理这批异步线程,知道他们是否在运行中,可以使用线程池(ThreadPoolExecutor)。

线程池会先启动若干数量的线程,并让这些线程都处于睡眠状态,当向线程池submit一个任务后,会唤醒线程池中的某一个睡眠线程,让它来处理这个任务,当处理完这个任务,线程又处于睡眠状态。

submit任务后会返回一个期程(future),这个对象可以查看线程池中执行此任务的线程是否仍在处理中

因此可以构建一个全局可视化线程池:

from concurrent.futures.thread import ThreadPoolExecutor


class ThreadPool(object):
  def __init__(self):
    # 线程池
    self.executor = ThreadPoolExecutor(20)
    # 用于存储每个项目批量任务的期程
    self.future_dict = {}

  # 检查某个项目是否有正在运行的批量任务
  def is_project_thread_running(self, project_id):
    future = self.future_dict.get(project_id, None)
    if future and future.running():
      # 存在正在运行的批量任务
      return True
    return False

  # 展示所有的异步任务
  def check_future(self):
    data = {}
    for project_id, future in self.future_dict.items():
      data[project_id] = future.running()
    return data

  def __del__(self):
    self.executor.shutdown()

# 主线程中的全局线程池
# global_thread_pool的生命周期是Django主线程运行的生命周期
global_thread_pool = ThreadPool()

使用:

# 检查异步任务
if global_thread_pool.is_project_thread_running(project_id):
  raise exceptions.ValidationError(detail='存在正在处理的批量任务,请稍后重试')

# 提交一个异步任务
future = global_thread_pool.executor.submit(self.batch_thread, project_id)
global_thread_pool.future_dict[project_id] = future

# 查看所有异步任务
@login_required
def check_future(request):
  data = global_thread_pool.check_future()
  return HttpResponse(status=status.HTTP_200_OK, content=json.dumps(data))

串行执行

使用线程锁

在全局线程池中初始化线程锁

class ThreadPool(object):
  def __init__(self):
    self.executor = ThreadPoolExecutor(20)
    self.future_dict = {}
    self.lock = threading.Lock()

然后执行线程前需要获取锁并再执行结束后释放锁

def batch_thread(self):
  global_thread_pool.lock.acquire()
  try:
    ...
    global_thread_pool.lock.release()
  except Exception:
    trace_log = traceback.format_exc()
    logger.error('异步任务执行失败:\n %s' % trace_log)
    global_thread_pool.lock.release()

需要捕捉异常预防子线程出错而无法释放锁的情况

异步线程任务执行前先检查数据库连接是否可用,然后关掉不可用连接

由于django的数据库连接是保存到线程本地变量中的,通过ThreadPoolExecutor创建的线程会保存各自的数据库连接。

当连接被保存的时间超过mysql连接的最大超时时间,连接失效,但不会被线程释放。

之后再调起线程执行涉及到数据库操作的异步任务时,会用到失效的数据库连接,导致报错“MySQL server has gone away”。

解决方案是在线程池的所有异步任务执行前先检查数据库连接是否可用,然后关掉不可用连接

def batch_thread(self):
  for conn in connections.all():
    conn.close_if_unusable_or_obsolete()
  ...

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中mechanize库的简单使用示例
Jan 10 Python
python计算方程式根的方法
May 07 Python
Python 数据结构之旋转链表
Feb 25 Python
Python检测网络延迟的代码
May 15 Python
对numpy中shape的深入理解
Jun 15 Python
python3监控CentOS磁盘空间脚本
Jun 21 Python
Python3删除排序数组中重复项的方法分析
Jan 31 Python
对Python3使运行暂停的方法详解
Feb 18 Python
Python在OpenCV里实现极坐标变换功能
Sep 02 Python
python实发邮件实例详解
Nov 11 Python
Pyorch之numpy与torch之间相互转换方式
Dec 31 Python
Pillow图像处理库安装及使用
Apr 12 Python
python 求10个数的平均数实例
Dec 16 #Python
python 经典数字滤波实例
Dec 16 #Python
Python实现把类当做字典来访问
Dec 16 #Python
python中p-value的实现方式
Dec 16 #Python
基于python读取.mat文件并取出信息
Dec 16 #Python
python基于plotly实现画饼状图代码实例
Dec 16 #Python
python 实现让字典的value 成为列表
Dec 16 #Python
You might like
经典的PHPer为什么被认为是草根?
2007/04/02 PHP
CI框架源码解读之利用Hook.php文件完成功能扩展的方法
2016/05/18 PHP
PHP实现简单登录界面
2019/10/23 PHP
jquery 操作DOM案例代码分享
2012/04/05 Javascript
javascript学习笔记(十二) RegExp类型介绍
2012/06/20 Javascript
JS获取IP、MAC和主机名的五种方法
2013/11/14 Javascript
Extjs中RowExpander控件的默认展开问题示例探讨
2014/01/24 Javascript
jQuery瀑布流插件Wookmark使用实例
2014/04/02 Javascript
JavaScript字符串对象toUpperCase方法入门实例(用于把字母转换为大写)
2014/10/17 Javascript
JavaScript中return false的用法
2015/03/12 Javascript
JS动态改变表格边框宽度的方法
2015/03/31 Javascript
在JavaScript中使用JSON数据
2016/02/15 Javascript
利用jsonp跨域调用百度js实现搜索框智能提示
2016/08/24 Javascript
轻松实现js选项卡切换效果
2016/09/24 Javascript
浅谈jquery上下滑动的注意事项
2016/10/13 Javascript
React-Native中props具体使用详解
2017/09/04 Javascript
vuex state及mapState的基础用法详解
2018/04/19 Javascript
JS如何操作DOM基于表格动态展示数据
2020/10/15 Javascript
python 获取本机ip地址的两个方法
2013/02/25 Python
Python的装饰器模式与面向切面编程详解
2015/06/21 Python
读写json中文ASCII乱码问题的解决方法
2016/11/05 Python
Python 字符串大小写转换的简单实例
2017/01/21 Python
浅谈Scrapy网络爬虫框架的工作原理和数据采集
2019/02/07 Python
Django MEDIA的配置及用法详解
2019/07/25 Python
PyTorch中Tensor的拼接与拆分的实现
2019/08/18 Python
如何用python写个模板引擎
2021/01/14 Python
CSS3中伪元素::before和::after的用法示例
2017/09/18 HTML / CSS
Ray-Ban雷朋美国官网:全球领先的太阳眼镜品牌
2016/07/20 全球购物
swtich是否能作用在byte上,是否能作用在long上,是否能作用在String上
2013/07/06 面试题
2014年元旦活动方案
2014/02/15 职场文书
年会搞笑主持词串词
2014/03/24 职场文书
让生命充满爱演讲稿
2014/05/10 职场文书
乡镇干部党的群众路线教育实践活动个人对照检查材料
2014/09/24 职场文书
工作态度不端正检讨书
2014/10/04 职场文书
2014年文秘工作总结
2014/11/25 职场文书
结婚十年感言
2015/07/31 职场文书