Python celery原理及运行流程解析


Posted in Python onJune 13, 2020

celery简介

celery是一个基于分布式消息传输的异步任务队列,它专注于实时处理,同时也支持任务调度。它的执行单元为任务(task),利用多线程,如Eventlet,gevent等,它们能被并发地执行在单个或多个职程服务器(worker servers)上。任务能异步执行(后台运行)或同步执行(等待任务完成)。

在生产系统中,celery能够一天处理上百万的任务。它的完整架构图如下:

Python celery原理及运行流程解析

组件介绍:

  • Producer:调用了Celery提供的API、函数或者装饰器而产生任务并交给任务队列处理的都是任务生产者。
  • Celery Beat:任务调度器,Beat进程会读取配置文件的内容,周期性地将配置中到期需要执行的任务发送给任务队列。
  • Broker:消息代理,又称消息中间件,接受任务生产者发送过来的任务消息,存进队列再按序分发给任务消费方(通常是消息队列或者数据库)。Celery目前支持RabbitMQ、Redis、MongoDB、Beanstalk、SQLAlchemy、Zookeeper等作为消息代理,但适用于生产环境的只有RabbitMQ和Redis, 官方推荐 RabbitMQ。
  • Celery Worker:执行任务的消费者,通常会在多台服务器运行多个消费者来提高执行效率。
  • Result Backend:任务处理完后保存状态信息和结果,以供查询。Celery默认已支持Redis、RabbitMQ、MongoDB、Django ORM、SQLAlchemy等方式。

工作原理

它的基本工作就是管理分配任务到不同的服务器,并且取得结果。至于说服务器之间是如何进行通信的?这个Celery本身不能解决。所以,RabbitMQ作为一个消息队列管理工具被引入到和Celery集成,负责处理服务器之间的通信任务。和rabbitmq的关系只是在于,celery没有消息存储功能,他需要介质,比如rabbitmq、redis、mysql、mongodb 都是可以的。推荐使用rabbitmq,他的速度和可用性都很高。

Celery安装及使用

1、安装celery

pip install celery

2、查看完整可用命令选项

celery worker --help

3、创建一个工程项目project,然后再项目内创建一个celery_tasks异步任务列表。如图:

Python celery原理及运行流程解析

4、首先是celery_tasks异步任务主程序main.py,代码如下:

from celery import Celery
# 生成celery应用
celery_app = Celery("caicai")
# 加载配置文件
celery_app.config_from_object('celery_tasks.config')
# 注册任务
celery_app.autodiscover_tasks(['celery_tasks.email']) # 注意:传递的参数是任务列表

分析一下这个程序:

  • "from celery import Celery"是导入celery中的Celery类。celery_app
  • celery_app是Celery类的实例。
  • 把Celery配置存放进project/config.py文件,使用celery_app.config_from_object加载配置。
  • 将任务注册到应用中

5、接着是配置文件config.py,代码如下:

BROKER_URL = 'redis://localhost:6379/1' # 使用Redis作为消息代理

CELERY_RESULT_BACKEND = 'redis://localhost:6379/0' # 把任务结果存在了Redis

# CELERY_TASK_SERIALIZER = 'msgpack' # 任务序列化和反序列化使用msgpack方案

CELERY_RESULT_SERIALIZER = 'json' # 读取任务结果一般性能要求不高,所以使用了可读性更好的JSON

CELERY_TASK_RESULT_EXPIRES = 60 * 60 * 24 # celery任务结果有效期

CELERY_ACCEPT_CONTENT = ['json', 'msgpack'] # 指定接受的内容类型

CELERY_TIMEZONE = 'Asia/Shanghai'       # celery使用的时区
CELERY_ENABLE_UTC = True            # 启动时区设置
CELERYD_LOG_FILE = "/var/log/celery/celery.log"   # celery日志存储位置

6、创建email目录,目录下创建tesks.py文件用来编写发送邮件的代码,代码如下:

import time
from celery_tasks.main import celery_app
@celery_app.task(name='seed_email')   # 添加celery_app.task这个装饰器,指定该任务的任务名name='seed_email'
def seed():
  time.sleep(1)
  return "我将发送邮件"

7、在项目app.py中,采用delay()用来调用任务。

from celery_tasks.email.tasks import seed
seed.delay()
seed.delay()
seed.delay()
seed.delay()
seed.delay()

8、项目运行

首先,我们需要启动redis。接着,切换至proj项目所在目录,并运行命令:

celery -A celery_tasks.main worker -l info

界面如下:

Python celery原理及运行流程解析

然后,我们运行app.py,app.py调用添加异步任务,输出的结果如下:

Python celery原理及运行流程解析

Python celery原理及运行流程解析

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
给Python的Django框架下搭建的BLOG添加RSS功能的教程
Apr 08 Python
python中尾递归用法实例详解
Apr 28 Python
python中__slots__用法实例
Jun 04 Python
剖析Python的Twisted框架的核心特性
May 25 Python
Python书单 不将就
Jul 11 Python
详解python如何在django中为用户模型添加自定义权限
Oct 15 Python
django admin 自定义替换change页面模板的方法
Aug 23 Python
Python 实现取多维数组第n维的前几位
Nov 26 Python
Python autoescape标签用法解析
Jan 17 Python
Python阶乘求和的代码详解
Feb 14 Python
分享PyCharm最新激活码(真永久激活方法)不用每月找安装参数或最新激活码了
Dec 27 Python
python math模块的基本使用教程
Jan 16 Python
基于Python实现视频的人脸融合功能
Jun 12 #Python
使用Keras实现简单线性回归模型操作
Jun 12 #Python
Python实现Keras搭建神经网络训练分类模型教程
Jun 12 #Python
简单了解Python变量作用域正确使用方法
Jun 12 #Python
keras 读取多标签图像数据方式
Jun 12 #Python
Python数据可视化图实现过程详解
Jun 12 #Python
浅谈cv2.imread()和keras.preprocessing中的image.load_img()区别
Jun 12 #Python
You might like
无数据库的详细域名查询程序PHP版(1)
2006/10/09 PHP
php中突破基于HTTP_REFERER的防盗链措施(stream_context_create)
2011/03/29 PHP
php中jpgraph类库的使用介绍
2013/08/08 PHP
php中PDO方式实现数据库的增删改查
2015/05/17 PHP
ubutu 16.04环境下,PHP与mysql数据库,网页登录验证实例讲解
2017/07/20 PHP
设定php简写功能的方法
2019/11/28 PHP
Javascript图像处理—虚拟边缘介绍及使用方法
2012/12/27 Javascript
javascript游戏开发之《三国志曹操传》零部件开发(二)人物行走的实现
2013/01/23 Javascript
原生javascript和jquery判断浏览器版本等信息
2013/07/04 Javascript
js禁止页面刷新禁止用F5键刷新禁止右键的示例代码
2013/09/23 Javascript
js实现input密码框提示信息的方法(附html5实现方法)
2016/01/14 Javascript
jQuery数据检索中根据关键字快速定位GridView指定行的实现方法
2016/06/08 Javascript
jQuery Ajax 加载数据时异步显示加载动画
2016/08/01 Javascript
jquery datatable服务端分页
2016/08/31 Javascript
JS 滚动事件window.onscroll与position:fixed写兼容IE6的回到顶部组件
2016/10/10 Javascript
Bootstrap轮播图学习使用
2017/02/10 Javascript
基于jQuery实现咖啡订单管理简单应用
2017/02/10 Javascript
javascript 单例模式详解及简单实例
2017/02/14 Javascript
jQuery选择器之子元素过滤选择器
2017/09/28 jQuery
AngularJS实现的select二级联动下拉菜单功能示例
2017/10/25 Javascript
angularjs 获取默认选中的单选按钮的value方法
2018/02/28 Javascript
Node.js创建一个Express服务的方法详解
2020/01/06 Javascript
开源Web应用框架Django图文教程
2017/03/09 Python
python实时分析日志的一个小脚本分享
2017/05/07 Python
python批量处理文件或文件夹
2020/07/28 Python
Python爬虫实现“盗取”微信好友信息的方法分析
2019/09/16 Python
Selenium基于PIL实现拼接滚动截图
2020/04/10 Python
html5 worker 实例(二) 图片变换效果
2013/06/24 HTML / CSS
自我鉴定范文
2013/11/10 职场文书
护理学院专科毕业生求职信
2014/06/28 职场文书
2014感恩节演讲稿大全
2014/10/11 职场文书
学生穿着不得体检讨书
2014/10/12 职场文书
叶问观后感
2015/06/15 职场文书
二年级作文之动物作文
2019/11/13 职场文书
宫崎骏十大动画电影,宫崎骏好看的动画电影排名
2022/03/22 日漫
JavaWeb Servlet开发注册页面实例
2022/04/11 Java/Android