Python celery原理及运行流程解析


Posted in Python onJune 13, 2020

celery简介

celery是一个基于分布式消息传输的异步任务队列,它专注于实时处理,同时也支持任务调度。它的执行单元为任务(task),利用多线程,如Eventlet,gevent等,它们能被并发地执行在单个或多个职程服务器(worker servers)上。任务能异步执行(后台运行)或同步执行(等待任务完成)。

在生产系统中,celery能够一天处理上百万的任务。它的完整架构图如下:

Python celery原理及运行流程解析

组件介绍:

  • Producer:调用了Celery提供的API、函数或者装饰器而产生任务并交给任务队列处理的都是任务生产者。
  • Celery Beat:任务调度器,Beat进程会读取配置文件的内容,周期性地将配置中到期需要执行的任务发送给任务队列。
  • Broker:消息代理,又称消息中间件,接受任务生产者发送过来的任务消息,存进队列再按序分发给任务消费方(通常是消息队列或者数据库)。Celery目前支持RabbitMQ、Redis、MongoDB、Beanstalk、SQLAlchemy、Zookeeper等作为消息代理,但适用于生产环境的只有RabbitMQ和Redis, 官方推荐 RabbitMQ。
  • Celery Worker:执行任务的消费者,通常会在多台服务器运行多个消费者来提高执行效率。
  • Result Backend:任务处理完后保存状态信息和结果,以供查询。Celery默认已支持Redis、RabbitMQ、MongoDB、Django ORM、SQLAlchemy等方式。

工作原理

它的基本工作就是管理分配任务到不同的服务器,并且取得结果。至于说服务器之间是如何进行通信的?这个Celery本身不能解决。所以,RabbitMQ作为一个消息队列管理工具被引入到和Celery集成,负责处理服务器之间的通信任务。和rabbitmq的关系只是在于,celery没有消息存储功能,他需要介质,比如rabbitmq、redis、mysql、mongodb 都是可以的。推荐使用rabbitmq,他的速度和可用性都很高。

Celery安装及使用

1、安装celery

pip install celery

2、查看完整可用命令选项

celery worker --help

3、创建一个工程项目project,然后再项目内创建一个celery_tasks异步任务列表。如图:

Python celery原理及运行流程解析

4、首先是celery_tasks异步任务主程序main.py,代码如下:

from celery import Celery
# 生成celery应用
celery_app = Celery("caicai")
# 加载配置文件
celery_app.config_from_object('celery_tasks.config')
# 注册任务
celery_app.autodiscover_tasks(['celery_tasks.email']) # 注意:传递的参数是任务列表

分析一下这个程序:

  • "from celery import Celery"是导入celery中的Celery类。celery_app
  • celery_app是Celery类的实例。
  • 把Celery配置存放进project/config.py文件,使用celery_app.config_from_object加载配置。
  • 将任务注册到应用中

5、接着是配置文件config.py,代码如下:

BROKER_URL = 'redis://localhost:6379/1' # 使用Redis作为消息代理

CELERY_RESULT_BACKEND = 'redis://localhost:6379/0' # 把任务结果存在了Redis

# CELERY_TASK_SERIALIZER = 'msgpack' # 任务序列化和反序列化使用msgpack方案

CELERY_RESULT_SERIALIZER = 'json' # 读取任务结果一般性能要求不高,所以使用了可读性更好的JSON

CELERY_TASK_RESULT_EXPIRES = 60 * 60 * 24 # celery任务结果有效期

CELERY_ACCEPT_CONTENT = ['json', 'msgpack'] # 指定接受的内容类型

CELERY_TIMEZONE = 'Asia/Shanghai'       # celery使用的时区
CELERY_ENABLE_UTC = True            # 启动时区设置
CELERYD_LOG_FILE = "/var/log/celery/celery.log"   # celery日志存储位置

6、创建email目录,目录下创建tesks.py文件用来编写发送邮件的代码,代码如下:

import time
from celery_tasks.main import celery_app
@celery_app.task(name='seed_email')   # 添加celery_app.task这个装饰器,指定该任务的任务名name='seed_email'
def seed():
  time.sleep(1)
  return "我将发送邮件"

7、在项目app.py中,采用delay()用来调用任务。

from celery_tasks.email.tasks import seed
seed.delay()
seed.delay()
seed.delay()
seed.delay()
seed.delay()

8、项目运行

首先,我们需要启动redis。接着,切换至proj项目所在目录,并运行命令:

celery -A celery_tasks.main worker -l info

界面如下:

Python celery原理及运行流程解析

然后,我们运行app.py,app.py调用添加异步任务,输出的结果如下:

Python celery原理及运行流程解析

Python celery原理及运行流程解析

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中关于时间和日期函数的常用计算总结(time和datatime)
Mar 08 Python
初学Python函数的笔记整理
Apr 07 Python
初步探究Python程序的执行原理
Apr 11 Python
详解Python中expandtabs()方法的使用
May 18 Python
Python sys.argv用法实例
May 28 Python
Python 对象中的数据类型
May 13 Python
Python常见数据结构之栈与队列用法示例
Jan 14 Python
浅谈Python_Openpyxl使用(最全总结)
Sep 05 Python
PyQt5多线程刷新界面防假死示例
Dec 13 Python
pytorch实现特殊的Module--Sqeuential三种写法
Jan 15 Python
基于Python下载网络图片方法汇总代码实例
Jun 24 Python
Python3如何使用多线程升程序运行速度
Aug 11 Python
基于Python实现视频的人脸融合功能
Jun 12 #Python
使用Keras实现简单线性回归模型操作
Jun 12 #Python
Python实现Keras搭建神经网络训练分类模型教程
Jun 12 #Python
简单了解Python变量作用域正确使用方法
Jun 12 #Python
keras 读取多标签图像数据方式
Jun 12 #Python
Python数据可视化图实现过程详解
Jun 12 #Python
浅谈cv2.imread()和keras.preprocessing中的image.load_img()区别
Jun 12 #Python
You might like
用mysql触发器自动更新memcache的实现代码
2009/10/11 PHP
php实现的遍历文件夹下所有文件,编辑删除
2010/01/05 PHP
php缓冲 output_buffering和ob_start使用介绍
2014/01/30 PHP
php上传图片之时间戳命名(保存路径)
2014/08/15 PHP
php生成RSS订阅的方法
2015/02/13 PHP
详解ThinkPHP3.2.3验证码显示、刷新、校验
2016/12/29 PHP
Nigma vs Alliance BO5 第五场2.14
2021/03/10 DOTA
XML的代替者----JSON
2007/07/21 Javascript
可实现多表单提交的javascript函数
2007/08/01 Javascript
基于jquery自己写tab滑动门(通用版)
2012/10/30 Javascript
jquery checkbox实现单选小例
2013/11/27 Javascript
javascript中不等于的代码是什么怎么写
2013/12/29 Javascript
兼容最新firefox、chrome和IE的javascript图片预览实现代码
2014/08/08 Javascript
深入理解JavaScript编程中的同步与异步机制
2015/06/24 Javascript
继续学习javascript闭包
2015/12/03 Javascript
AngularJS全局scope与Isolate scope通信用法示例
2016/11/22 Javascript
Mongoose中document与object的区别示例详解
2017/09/18 Javascript
微信小程序如何利用getCurrentPages进行页面传值
2019/07/01 Javascript
JS插件amCharts实现绘制柱形图默认显示数值功能示例
2019/11/26 Javascript
Vue 封装防刷新考试倒计时组件的实现
2020/06/05 Javascript
[02:41]辉夜杯现场一家三口 “我爸玩风行 我玩血魔”
2015/12/27 DOTA
Python中使用ElementTree解析XML示例
2015/06/02 Python
深入解析Python中的线程同步方法
2016/06/14 Python
Django自定义插件实现网站登录验证码功能
2017/04/19 Python
win10系统下Anaconda3安装配置方法图文教程
2018/09/19 Python
python 自动批量打开网页的示例
2019/02/21 Python
python操作日志的封装方法(两种方法)
2019/05/23 Python
Python之变量类型和if判断方式
2020/05/05 Python
使用before和:after伪类制作css3圆形按钮
2014/04/08 HTML / CSS
澳大利亚床上用品、浴巾和家居用品购物网站:Bambury
2020/04/16 全球购物
linux面试题参考答案(6)
2016/06/23 面试题
小学师德标兵先进事迹材料
2014/05/25 职场文书
六一儿童节新闻稿
2015/07/17 职场文书
公司人力资源管理制度
2015/08/05 职场文书
关于JavaScript轮播图的实现
2021/11/20 Javascript
B站评分公认最好看的动漫,你的名字评分9.9,第六备受喜欢
2022/03/18 日漫