详解Python Celery和RabbitMQ实战教程


Posted in Python onJanuary 20, 2021

前言

Celery是一个异步任务队列。它可以用于需要异步运行的任何内容。RabbitMQ是Celery广泛使用的消息代理。在本这篇文章中,我将使用RabbitMQ来介绍Celery的基本概念,然后为一个小型演示项目设置Celery 。最后,设置一个Celery Web控制台来监视我的任务

基本概念

  来!看图说话:

详解Python Celery和RabbitMQ实战教程

Broker
Broker(RabbitMQ)负责创建任务队列,根据一些路由规则将任务分派到任务队列,然后将任务从任务队列交付给worker

Consumer (Celery Workers)
Consumer是执行任务的一个或多个Celery workers。可以根据用例启动许多workers

Result Backend
后端用于存储任务的结果。但是,它不是必需的元素,如果不在设置中包含它,就无法访问任务的结果

安装Celery

  首先,需要安装好Celery,可以使用PyPI:

pip install celery

选择一个Broker:RabbitMQ

  为什么我们需要broker呢?这是因为Celery本身并不构造消息队列,所以它需要一个额外的消息传输来完成这项工作。这里可以将Celery看作消息代理的包装器

实际上,也可以从几个不同的代理中进行选择,比如RabbitMQ、Redis或数据库(例如Django数据库)

在这里使用RabbitMQ作为代理,因为它功能完整、稳定,Celery推荐使用它。由于演示我的环境是在Mac OS中,安装RabbitMQ使用Homebrew即可:

brew install rabbitmq
#如果是Ubuntu的话使用apt-get安装

启动RabbitMQ

  程序将在/usr/local/sbin中安装RabbitMQ,虽然有些系统可能会有所不同。可以将此路径添加到环境变量路径,以便以后方便地使用。例如,打开shell启动文件~/.bash_profile添加:

PATH=$PATH:/usr/local/sbin

现在,可以使用rabbitmq-server命令启动我们的RabbitMQ服务器。检查RabbitMQ服务器成功启动,将看到类似的输出:

详解Python Celery和RabbitMQ实战教程

为Celery配置RabbitMQ

  RabbitMQ使用Celery之前,需要对RabbitMQ进行一些配置。简单地说,我们需要创建一个虚拟主机和用户,然后设置用户权限,以便它可以访问虚拟主机

# 添加用户跟密码
$ rabbitmqctl add_user test test123
# 添加虚拟主机
$ rabbitmqctl add_vhost test_vhost
# 为用户添加标签
$ rabbitmqctl set_user_tags test test_tag
# 设置用户权限
$ rabbitmqctl set_permissions -p test_vhost test ".*" ".*" ".*"

敲黑板!RabbitMQ中有三种操作:配置、写入和读取

上面命令末尾的字符串表示用户test将拥有所有配置、写入和读取权限

演示项目

现在让我们创建一个简单的项目来演示Celery的使用

详解Python Celery和RabbitMQ实战教程

celery.py中添加以下代码:

from __future__ import absolute_import
from celery import Celery

app = Celery('test_celery',
broker='amqp://test:test123@localhost/test_vhost',
backend='rpc://',
include=['test_celery.tasks'])

在这里,初始化了一个名为app的Celery实例,将用于创建一个任务。Celery的第一个参数只是项目包的名称,即“test_celery”。

broker参数指定代理URL,对于RabbitMQ,传输是amqp。

后端参数指定后端URL。Celery中的后端用于存储任务结果。因此,如果需要在任务完成时访问任务的结果,应该为Celery设置一个后端。

rpc意味着将结果作为AMQP消息发送回去,这对本次演示来说是一种可接受的格式

include参数指定了在Celery工作程序启动时要导入的模块列表。我们在这里添加了tasks模块,以便找到我们的任务。

tasks.py这个文件中,定义了我们的任务add_longtime:

from __future__ import absolute_import
from test_celery.celery import app
import time

@app.task
def add_longtime(a, b):
  print 'long time task begins'
  # sleep 5 seconds
  time.sleep(5)
  print 'long time task finished'
  return a + b

可以看到,导入了在前面的Celery模块中定义的应用程序,并将其用作任务方法的装饰器。另外注意!app.task只是一个装饰器。此外,我们在add_longtime任务中休眠5秒,以模拟一个耗时较长的Task

在设置好Celery之后,我们需要开始运行任务,它包含在runs_tasks.py:

from .tasks import add_longtime
import time

if __name__ == '__main__':
  result = add_longtime.delay(1,2)
	#此时,任务还未完成,它将返回False
  print 'Task finished? ', result.ready()
  print 'Task result: ', result.result
  # 延长到10秒以确保任务已经完成
  time.sleep(10)
  # 现在任务完成,ready方法将返回True
  print 'Task finished? ', result.ready()
  print 'Task result: ', result.result

这里,我们使用delay方法调用任务add_longtime,如果我们想异步处理任务,就需要使用delay方法。此外,保存任务的结果并打印一些信息。如果任务已经完成,ready方法将返回True,否则返回False。result属性是任务的结果,如果任务尚未完成,则返回None。

启动Celery

现在,可以使用下面的命令启动Celery(注:在项目文件夹中运行):

celery -A test_celery worker --loglevel=info

Celery成功连接到RabbitMQ,你会看到这样的东西:

详解Python Celery和RabbitMQ实战教程

运行任务

再项目文件中输入以下命令运行它:

python -m test_celery.run_tasks

查看Celery控制台,看到运行任务:

[2020-05-15 17:15:21,508: INFO/MainProcess]
Received task: test_celery.tasks.add_longtime[25ba9c87-69a7-4383-b983-1cefdb32f8b3]
[2020-05-15 17:15:21,508: WARNING/Worker-3] long time task begins
[2020-05-15 17:15:31,510: WARNING/Worker-3] long time task finished
[2020-05-15 17:15:31,512: INFO/MainProcess]
Task test_celery.tasks.add_longtime[25ba9c87-69a7-4383-b983-1cefdb32f8b3] succeeded in 15.003732774s: 3

当Celery收到一个任务,它打印出任务名称与任务id(在括号中):

Received task: test_celery.tasks.add_longtime[7d942984-8ea6-4e4d-8097-225616f797d5]

在这一行下面是我们的任务add_longtime打印的两行,时间延迟为5秒:

long time task begins
long time task finished

最后一行显示我们的任务在5秒内完成,任务结果为3:

Task test_celery.tasks.add_longtime[7d942984-8ea6-4e4d-8097-225616f797d5] succeeded in 5.025242167s: 3

在当前控制台中,您将看到以下输出:

详解Python Celery和RabbitMQ实战教程

实时监控Celery

Flower是一款基于网络的Celery实时监控软件。使用Flower,可以轻松地监视任务进度和历史记录

使用pip来安装Flower:

pip install flower

要启动Flower web控制台,需要运行以下命令:

celery -A test_celery flower

Flower将运行具有默认端口5555的服务器,可以通过http://localhost:5555访问web控制台

详解Python Celery和RabbitMQ实战教程

到此这篇关于详解Python Celery和RabbitMQ实战教程的文章就介绍到这了,更多相关Python Celery和RabbitMQ实战内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python实现可将字符转换成大写的tcp服务器实例
Apr 29 Python
Python中用PIL库批量给图片加上序号的教程
May 06 Python
Python中常见的数据类型小结
Aug 29 Python
python字符串,数值计算
Oct 05 Python
flask中使用蓝图将路由分开写在不同文件实例解析
Jan 19 Python
tensorflow实现softma识别MNIST
Mar 12 Python
Python操作mongodb数据库的方法详解
Dec 08 Python
python GUI库图形界面开发之PyQt5工具栏控件QToolBar的详细使用方法与实例
Feb 28 Python
快速解决Django关闭Debug模式无法加载media图片与static静态文件
Apr 07 Python
Python读取JSON数据操作实例解析
May 18 Python
python怎么调用自己的函数
Jul 01 Python
python中的被动信息搜集
Apr 29 Python
详解python3类型注释annotations实用案例
Jan 20 #Python
python-jwt用户认证食用教学的实现方法
Jan 19 #Python
使用Python爬虫爬取小红书完完整整的全过程
Jan 19 #Python
python 自动识别并连接串口的实现
Jan 19 #Python
python爬取抖音视频的实例分析
Jan 19 #Python
python中的插入排序的简单用法
Jan 19 #Python
Python实现淘宝秒杀功能的示例代码
Jan 19 #Python
You might like
re0第二季蕾姆被制作组打入冷宫!艾米莉亚女主扶正,原因唏嘘
2020/04/02 日漫
spl_autoload_register与autoload的区别详解
2013/06/03 PHP
PHP 数组遍历foreach语法结构及实例
2016/06/13 PHP
PHP微信分享开发详解
2017/01/14 PHP
PHP实现简单日历类编写
2020/08/28 PHP
初学prototype,发个JS接受URL参数的代码
2006/09/25 Javascript
JS中Iframe之间传值的方法
2013/03/11 Javascript
兼容IE和Firefox火狐的上下、左右循环无间断滚动JS代码
2013/04/19 Javascript
js实现带圆角的多级下拉菜单效果
2015/08/28 Javascript
jQuery实现可编辑的表格实例讲解(2)
2015/09/17 Javascript
Javascript数组Array基础介绍
2016/03/13 Javascript
搞定immutable.js详细说明
2016/05/02 Javascript
JS定义类的六种方式详解
2016/05/12 Javascript
微信小程序 富文本转文本实例详解
2016/10/24 Javascript
Angularjs使用ng-repeat中$even和$odd属性的注意事项
2016/12/31 Javascript
微信小程序教程系列之设置标题栏和导航栏(7)
2020/06/29 Javascript
bootstrap时间插件daterangepicker使用详解
2017/10/19 Javascript
详解HTML5 使用video标签实现选择摄像头功能
2017/10/25 Javascript
利用jquery如何从json中读取数据追加到html中
2017/12/01 jQuery
VUE-Table上绑定Input通过render实现双向绑定数据的示例
2018/08/27 Javascript
vue模仿网易云音乐的单页面应用
2019/04/24 Javascript
vue3.0中使用postcss-pxtorem的具体方法
2019/11/20 Javascript
在vue中使用image-webpack-loader实例
2020/11/12 Javascript
[10:18]2018DOTA2国际邀请赛寻真——找回自信的TNCPredator
2018/08/13 DOTA
Python实例一个类背后发生了什么
2016/02/09 Python
Python 实现网页自动截图的示例讲解
2018/05/17 Python
python自动生成sql语句的脚本
2021/02/24 Python
美国Rue La La闪购网站:奢侈品、中高档品牌限时折扣
2016/10/19 全球购物
JD Sports西班牙:英国领先的运动服装公司
2020/01/06 全球购物
批评与自我批评总结
2014/10/17 职场文书
亲戚关系证明
2015/06/24 职场文书
水浒传读书笔记
2015/06/25 职场文书
会计实训总结范文
2015/08/03 职场文书
合理缓解职场压力,让你随时保持最佳状态!
2019/06/21 职场文书
Python中的matplotlib绘制百分比堆叠柱状图,并为每一个类别设置不同的填充图案
2022/04/20 Python
Python find()、rfind()方法及作用
2022/12/24 Python