Python celery原理及运行流程解析


Posted in Python onJune 13, 2020

celery简介

celery是一个基于分布式消息传输的异步任务队列,它专注于实时处理,同时也支持任务调度。它的执行单元为任务(task),利用多线程,如Eventlet,gevent等,它们能被并发地执行在单个或多个职程服务器(worker servers)上。任务能异步执行(后台运行)或同步执行(等待任务完成)。

在生产系统中,celery能够一天处理上百万的任务。它的完整架构图如下:

Python celery原理及运行流程解析

组件介绍:

  • Producer:调用了Celery提供的API、函数或者装饰器而产生任务并交给任务队列处理的都是任务生产者。
  • Celery Beat:任务调度器,Beat进程会读取配置文件的内容,周期性地将配置中到期需要执行的任务发送给任务队列。
  • Broker:消息代理,又称消息中间件,接受任务生产者发送过来的任务消息,存进队列再按序分发给任务消费方(通常是消息队列或者数据库)。Celery目前支持RabbitMQ、Redis、MongoDB、Beanstalk、SQLAlchemy、Zookeeper等作为消息代理,但适用于生产环境的只有RabbitMQ和Redis, 官方推荐 RabbitMQ。
  • Celery Worker:执行任务的消费者,通常会在多台服务器运行多个消费者来提高执行效率。
  • Result Backend:任务处理完后保存状态信息和结果,以供查询。Celery默认已支持Redis、RabbitMQ、MongoDB、Django ORM、SQLAlchemy等方式。

工作原理

它的基本工作就是管理分配任务到不同的服务器,并且取得结果。至于说服务器之间是如何进行通信的?这个Celery本身不能解决。所以,RabbitMQ作为一个消息队列管理工具被引入到和Celery集成,负责处理服务器之间的通信任务。和rabbitmq的关系只是在于,celery没有消息存储功能,他需要介质,比如rabbitmq、redis、mysql、mongodb 都是可以的。推荐使用rabbitmq,他的速度和可用性都很高。

Celery安装及使用

1、安装celery

pip install celery

2、查看完整可用命令选项

celery worker --help

3、创建一个工程项目project,然后再项目内创建一个celery_tasks异步任务列表。如图:

Python celery原理及运行流程解析

4、首先是celery_tasks异步任务主程序main.py,代码如下:

from celery import Celery
# 生成celery应用
celery_app = Celery("caicai")
# 加载配置文件
celery_app.config_from_object('celery_tasks.config')
# 注册任务
celery_app.autodiscover_tasks(['celery_tasks.email']) # 注意:传递的参数是任务列表

分析一下这个程序:

  • "from celery import Celery"是导入celery中的Celery类。celery_app
  • celery_app是Celery类的实例。
  • 把Celery配置存放进project/config.py文件,使用celery_app.config_from_object加载配置。
  • 将任务注册到应用中

5、接着是配置文件config.py,代码如下:

BROKER_URL = 'redis://localhost:6379/1' # 使用Redis作为消息代理

CELERY_RESULT_BACKEND = 'redis://localhost:6379/0' # 把任务结果存在了Redis

# CELERY_TASK_SERIALIZER = 'msgpack' # 任务序列化和反序列化使用msgpack方案

CELERY_RESULT_SERIALIZER = 'json' # 读取任务结果一般性能要求不高,所以使用了可读性更好的JSON

CELERY_TASK_RESULT_EXPIRES = 60 * 60 * 24 # celery任务结果有效期

CELERY_ACCEPT_CONTENT = ['json', 'msgpack'] # 指定接受的内容类型

CELERY_TIMEZONE = 'Asia/Shanghai'       # celery使用的时区
CELERY_ENABLE_UTC = True            # 启动时区设置
CELERYD_LOG_FILE = "/var/log/celery/celery.log"   # celery日志存储位置

6、创建email目录,目录下创建tesks.py文件用来编写发送邮件的代码,代码如下:

import time
from celery_tasks.main import celery_app
@celery_app.task(name='seed_email')   # 添加celery_app.task这个装饰器,指定该任务的任务名name='seed_email'
def seed():
  time.sleep(1)
  return "我将发送邮件"

7、在项目app.py中,采用delay()用来调用任务。

from celery_tasks.email.tasks import seed
seed.delay()
seed.delay()
seed.delay()
seed.delay()
seed.delay()

8、项目运行

首先,我们需要启动redis。接着,切换至proj项目所在目录,并运行命令:

celery -A celery_tasks.main worker -l info

界面如下:

Python celery原理及运行流程解析

然后,我们运行app.py,app.py调用添加异步任务,输出的结果如下:

Python celery原理及运行流程解析

Python celery原理及运行流程解析

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python验证码识别实例代码
Feb 03 Python
解决python3捕获cx_oracle抛出的异常错误问题
Oct 18 Python
详解PyTorch中Tensor的高阶操作
Aug 18 Python
Python 类方法和实例方法(@classmethod),静态方法(@staticmethod)原理与用法分析
Sep 20 Python
Flask 上传自定义头像的实例详解
Jan 09 Python
使用tensorflow实现矩阵分解方式
Feb 07 Python
使用Bazel编译TensorBoard教程
Feb 15 Python
Python 实现网课实时监控自动签到、打卡功能
Mar 12 Python
Python实现快速大文件比较代码解析
Sep 04 Python
Python函数调用追踪实现代码
Nov 27 Python
python实现PolynomialFeatures多项式的方法
Jan 06 Python
Python通过m3u8文件下载合并ts视频的操作
Apr 16 Python
基于Python实现视频的人脸融合功能
Jun 12 #Python
使用Keras实现简单线性回归模型操作
Jun 12 #Python
Python实现Keras搭建神经网络训练分类模型教程
Jun 12 #Python
简单了解Python变量作用域正确使用方法
Jun 12 #Python
keras 读取多标签图像数据方式
Jun 12 #Python
Python数据可视化图实现过程详解
Jun 12 #Python
浅谈cv2.imread()和keras.preprocessing中的image.load_img()区别
Jun 12 #Python
You might like
用PHP和MySQL保存和输出图片
2006/10/09 PHP
php学习笔记 面向对象中[接口]与[多态性]的应用
2011/06/16 PHP
解决phpmyadmin中缺少mysqli扩展问题的方法
2013/05/06 PHP
php实现在多维数组中查找特定value的方法
2015/07/29 PHP
Javascript select控件操作大全(新增、修改、删除、选中、清空、判断存在等)
2008/12/19 Javascript
JavaScript动态添加style节点的方法
2015/06/09 Javascript
简述AngularJS相关的一些编程思想
2015/06/23 Javascript
javascript对象的相关操作小结
2016/05/16 Javascript
JavaScript“尽快失败”的原则实例详解
2016/10/08 Javascript
详解用原生JavaScript实现jQuery的某些简单功能
2016/12/19 Javascript
bootstrap实现每隔5秒自动轮播效果
2016/12/20 Javascript
Javascript面试经典套路reduce函数查重
2017/03/23 Javascript
JS实现的合并多个数组去重算法示例
2018/04/11 Javascript
从0到1构建vueSSR项目之node以及vue-cli3的配置
2019/03/07 Javascript
Nodejs中的require函数的具体使用方法
2019/04/02 NodeJs
Websocket 向指定用户发消息的方法
2020/01/09 Javascript
[04:03]辉夜杯主赛事 12月25日RECAP精彩回顾
2015/12/26 DOTA
Python通过PIL获取图片主要颜色并和颜色库进行对比的方法
2015/03/19 Python
Python中的两个内置模块介绍
2015/04/05 Python
Python中pandas模块DataFrame创建方法示例
2018/06/20 Python
python中类的属性和方法介绍
2018/11/27 Python
python去除拼音声调字母,替换为字母的方法
2018/11/28 Python
Pandas读取并修改excel的示例代码
2019/02/17 Python
Django的性能优化实现解析
2019/07/30 Python
浅谈Pytorch中的torch.gather函数的含义
2019/08/18 Python
Python3.7基于hashlib和Crypto实现加签验签功能(实例代码)
2019/12/04 Python
pytorch 数据处理:定义自己的数据集合实例
2019/12/31 Python
Staples英国官方网站:办公用品一站式采购
2017/10/06 全球购物
英国高级健康和美容产品零售商:Life and Looks
2019/08/01 全球购物
实习会计求职自荐信范文
2014/03/10 职场文书
个人考核材料
2014/05/15 职场文书
十佳文明家庭事迹
2014/05/25 职场文书
服务标语口号
2014/07/01 职场文书
诚实守信道德模范事迹材料
2014/08/15 职场文书
委托证明模板
2014/09/16 职场文书
为Java项目添加Redis缓存的方法
2021/05/18 Redis