Python celery原理及运行流程解析


Posted in Python onJune 13, 2020

celery简介

celery是一个基于分布式消息传输的异步任务队列,它专注于实时处理,同时也支持任务调度。它的执行单元为任务(task),利用多线程,如Eventlet,gevent等,它们能被并发地执行在单个或多个职程服务器(worker servers)上。任务能异步执行(后台运行)或同步执行(等待任务完成)。

在生产系统中,celery能够一天处理上百万的任务。它的完整架构图如下:

Python celery原理及运行流程解析

组件介绍:

  • Producer:调用了Celery提供的API、函数或者装饰器而产生任务并交给任务队列处理的都是任务生产者。
  • Celery Beat:任务调度器,Beat进程会读取配置文件的内容,周期性地将配置中到期需要执行的任务发送给任务队列。
  • Broker:消息代理,又称消息中间件,接受任务生产者发送过来的任务消息,存进队列再按序分发给任务消费方(通常是消息队列或者数据库)。Celery目前支持RabbitMQ、Redis、MongoDB、Beanstalk、SQLAlchemy、Zookeeper等作为消息代理,但适用于生产环境的只有RabbitMQ和Redis, 官方推荐 RabbitMQ。
  • Celery Worker:执行任务的消费者,通常会在多台服务器运行多个消费者来提高执行效率。
  • Result Backend:任务处理完后保存状态信息和结果,以供查询。Celery默认已支持Redis、RabbitMQ、MongoDB、Django ORM、SQLAlchemy等方式。

工作原理

它的基本工作就是管理分配任务到不同的服务器,并且取得结果。至于说服务器之间是如何进行通信的?这个Celery本身不能解决。所以,RabbitMQ作为一个消息队列管理工具被引入到和Celery集成,负责处理服务器之间的通信任务。和rabbitmq的关系只是在于,celery没有消息存储功能,他需要介质,比如rabbitmq、redis、mysql、mongodb 都是可以的。推荐使用rabbitmq,他的速度和可用性都很高。

Celery安装及使用

1、安装celery

pip install celery

2、查看完整可用命令选项

celery worker --help

3、创建一个工程项目project,然后再项目内创建一个celery_tasks异步任务列表。如图:

Python celery原理及运行流程解析

4、首先是celery_tasks异步任务主程序main.py,代码如下:

from celery import Celery
# 生成celery应用
celery_app = Celery("caicai")
# 加载配置文件
celery_app.config_from_object('celery_tasks.config')
# 注册任务
celery_app.autodiscover_tasks(['celery_tasks.email']) # 注意:传递的参数是任务列表

分析一下这个程序:

  • "from celery import Celery"是导入celery中的Celery类。celery_app
  • celery_app是Celery类的实例。
  • 把Celery配置存放进project/config.py文件,使用celery_app.config_from_object加载配置。
  • 将任务注册到应用中

5、接着是配置文件config.py,代码如下:

BROKER_URL = 'redis://localhost:6379/1' # 使用Redis作为消息代理

CELERY_RESULT_BACKEND = 'redis://localhost:6379/0' # 把任务结果存在了Redis

# CELERY_TASK_SERIALIZER = 'msgpack' # 任务序列化和反序列化使用msgpack方案

CELERY_RESULT_SERIALIZER = 'json' # 读取任务结果一般性能要求不高,所以使用了可读性更好的JSON

CELERY_TASK_RESULT_EXPIRES = 60 * 60 * 24 # celery任务结果有效期

CELERY_ACCEPT_CONTENT = ['json', 'msgpack'] # 指定接受的内容类型

CELERY_TIMEZONE = 'Asia/Shanghai'       # celery使用的时区
CELERY_ENABLE_UTC = True            # 启动时区设置
CELERYD_LOG_FILE = "/var/log/celery/celery.log"   # celery日志存储位置

6、创建email目录,目录下创建tesks.py文件用来编写发送邮件的代码,代码如下:

import time
from celery_tasks.main import celery_app
@celery_app.task(name='seed_email')   # 添加celery_app.task这个装饰器,指定该任务的任务名name='seed_email'
def seed():
  time.sleep(1)
  return "我将发送邮件"

7、在项目app.py中,采用delay()用来调用任务。

from celery_tasks.email.tasks import seed
seed.delay()
seed.delay()
seed.delay()
seed.delay()
seed.delay()

8、项目运行

首先,我们需要启动redis。接着,切换至proj项目所在目录,并运行命令:

celery -A celery_tasks.main worker -l info

界面如下:

Python celery原理及运行流程解析

然后,我们运行app.py,app.py调用添加异步任务,输出的结果如下:

Python celery原理及运行流程解析

Python celery原理及运行流程解析

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python格式化字符串实例总结
Sep 28 Python
Python定时器实例代码
Nov 01 Python
python2.7 json 转换日期的处理的示例
Mar 07 Python
Python+OpenCV采集本地摄像头的视频
Apr 25 Python
pytorch 输出中间层特征的实例
Aug 17 Python
python Popen 获取输出,等待运行完成示例
Dec 30 Python
python实现跨excel sheet复制代码实例
Mar 03 Python
python 19个值得学习的编程技巧
Aug 15 Python
python 爬取小说并下载的示例
Dec 07 Python
python中doctest库实例用法
Dec 31 Python
浅谈matplotlib默认字体设置探索
Feb 03 Python
Django框架模板用法详解
Jun 10 Python
基于Python实现视频的人脸融合功能
Jun 12 #Python
使用Keras实现简单线性回归模型操作
Jun 12 #Python
Python实现Keras搭建神经网络训练分类模型教程
Jun 12 #Python
简单了解Python变量作用域正确使用方法
Jun 12 #Python
keras 读取多标签图像数据方式
Jun 12 #Python
Python数据可视化图实现过程详解
Jun 12 #Python
浅谈cv2.imread()和keras.preprocessing中的image.load_img()区别
Jun 12 #Python
You might like
用php来检测proxy
2006/10/09 PHP
木翼下载系统中说明的PHP安全配置方法
2007/06/16 PHP
PHP用GD库生成高质量的缩略图片
2011/03/09 PHP
ThinkPHP中自定义错误页面和提示页面实例
2014/11/22 PHP
PHP生成json和xml类型接口数据格式
2015/05/17 PHP
WordPress中对访客评论功能的一些优化方法
2015/11/24 PHP
thinkphp微信开之安全模式消息加密解密不成功的解决办法
2015/12/02 PHP
优化WordPress中文章与评论的时间显示
2016/01/12 PHP
yii框架使用分页的方法分析
2019/07/25 PHP
php实现银联商务公众号+服务窗支付的示例代码
2019/10/12 PHP
JavaScript面象对象设计
2008/04/28 Javascript
超级24小时弹窗代码 24小时退出弹窗代码 100%弹窗代码(IE only)
2010/06/11 Javascript
setTimeout和setInterval的区别你真的了解吗?
2011/03/31 Javascript
分页栏的web标准实现
2011/11/01 Javascript
JS两种定义方式的区别、内部原理
2013/11/21 Javascript
js 调用百度地图api并在地图上进行打点添加标注
2014/05/13 Javascript
javascript使用smipleChart实现简单图表
2015/01/02 Javascript
BootStrap tooltip提示框使用小结
2016/10/26 Javascript
vue2和vue3的v-if与v-for优先级对比学习
2020/10/10 Javascript
vue-quill-editor插入图片路径太长问题解决方法
2021/01/08 Vue.js
35个Python编程小技巧
2014/04/01 Python
python使用pyhook监控键盘并实现切换歌曲的功能
2014/07/18 Python
python通过elixir包操作mysql数据库实例代码
2018/01/31 Python
Python统计单词出现的次数
2018/04/04 Python
详解Python的循环结构知识点
2019/05/20 Python
python如何爬取网站数据并进行数据可视化
2019/07/08 Python
Python3操作MongoDB增册改查等方法详解
2020/02/10 Python
HTML5 video循环播放多个视频的方法步骤
2020/08/06 HTML / CSS
美国顶级防滑鞋:Shoes For Crews
2017/03/27 全球购物
介绍一下sql server的安全性
2014/08/10 面试题
环境工程与管理大学毕业生求职信
2013/10/02 职场文书
汽车销售经理岗位职责
2014/06/09 职场文书
超市仓管员岗位职责范本
2014/09/18 职场文书
营业用房租赁协议书
2014/11/26 职场文书
小学教师求职信范文
2015/03/20 职场文书
2015年小学体育教师工作总结
2015/10/23 职场文书