详解Python Celery和RabbitMQ实战教程


Posted in Python onJanuary 20, 2021

前言

Celery是一个异步任务队列。它可以用于需要异步运行的任何内容。RabbitMQ是Celery广泛使用的消息代理。在本这篇文章中,我将使用RabbitMQ来介绍Celery的基本概念,然后为一个小型演示项目设置Celery 。最后,设置一个Celery Web控制台来监视我的任务

基本概念

  来!看图说话:

详解Python Celery和RabbitMQ实战教程

Broker
Broker(RabbitMQ)负责创建任务队列,根据一些路由规则将任务分派到任务队列,然后将任务从任务队列交付给worker

Consumer (Celery Workers)
Consumer是执行任务的一个或多个Celery workers。可以根据用例启动许多workers

Result Backend
后端用于存储任务的结果。但是,它不是必需的元素,如果不在设置中包含它,就无法访问任务的结果

安装Celery

  首先,需要安装好Celery,可以使用PyPI:

pip install celery

选择一个Broker:RabbitMQ

  为什么我们需要broker呢?这是因为Celery本身并不构造消息队列,所以它需要一个额外的消息传输来完成这项工作。这里可以将Celery看作消息代理的包装器

实际上,也可以从几个不同的代理中进行选择,比如RabbitMQ、Redis或数据库(例如Django数据库)

在这里使用RabbitMQ作为代理,因为它功能完整、稳定,Celery推荐使用它。由于演示我的环境是在Mac OS中,安装RabbitMQ使用Homebrew即可:

brew install rabbitmq
#如果是Ubuntu的话使用apt-get安装

启动RabbitMQ

  程序将在/usr/local/sbin中安装RabbitMQ,虽然有些系统可能会有所不同。可以将此路径添加到环境变量路径,以便以后方便地使用。例如,打开shell启动文件~/.bash_profile添加:

PATH=$PATH:/usr/local/sbin

现在,可以使用rabbitmq-server命令启动我们的RabbitMQ服务器。检查RabbitMQ服务器成功启动,将看到类似的输出:

详解Python Celery和RabbitMQ实战教程

为Celery配置RabbitMQ

  RabbitMQ使用Celery之前,需要对RabbitMQ进行一些配置。简单地说,我们需要创建一个虚拟主机和用户,然后设置用户权限,以便它可以访问虚拟主机

# 添加用户跟密码
$ rabbitmqctl add_user test test123
# 添加虚拟主机
$ rabbitmqctl add_vhost test_vhost
# 为用户添加标签
$ rabbitmqctl set_user_tags test test_tag
# 设置用户权限
$ rabbitmqctl set_permissions -p test_vhost test ".*" ".*" ".*"

敲黑板!RabbitMQ中有三种操作:配置、写入和读取

上面命令末尾的字符串表示用户test将拥有所有配置、写入和读取权限

演示项目

现在让我们创建一个简单的项目来演示Celery的使用

详解Python Celery和RabbitMQ实战教程

celery.py中添加以下代码:

from __future__ import absolute_import
from celery import Celery

app = Celery('test_celery',
broker='amqp://test:test123@localhost/test_vhost',
backend='rpc://',
include=['test_celery.tasks'])

在这里,初始化了一个名为app的Celery实例,将用于创建一个任务。Celery的第一个参数只是项目包的名称,即“test_celery”。

broker参数指定代理URL,对于RabbitMQ,传输是amqp。

后端参数指定后端URL。Celery中的后端用于存储任务结果。因此,如果需要在任务完成时访问任务的结果,应该为Celery设置一个后端。

rpc意味着将结果作为AMQP消息发送回去,这对本次演示来说是一种可接受的格式

include参数指定了在Celery工作程序启动时要导入的模块列表。我们在这里添加了tasks模块,以便找到我们的任务。

tasks.py这个文件中,定义了我们的任务add_longtime:

from __future__ import absolute_import
from test_celery.celery import app
import time

@app.task
def add_longtime(a, b):
  print 'long time task begins'
  # sleep 5 seconds
  time.sleep(5)
  print 'long time task finished'
  return a + b

可以看到,导入了在前面的Celery模块中定义的应用程序,并将其用作任务方法的装饰器。另外注意!app.task只是一个装饰器。此外,我们在add_longtime任务中休眠5秒,以模拟一个耗时较长的Task

在设置好Celery之后,我们需要开始运行任务,它包含在runs_tasks.py:

from .tasks import add_longtime
import time

if __name__ == '__main__':
  result = add_longtime.delay(1,2)
	#此时,任务还未完成,它将返回False
  print 'Task finished? ', result.ready()
  print 'Task result: ', result.result
  # 延长到10秒以确保任务已经完成
  time.sleep(10)
  # 现在任务完成,ready方法将返回True
  print 'Task finished? ', result.ready()
  print 'Task result: ', result.result

这里,我们使用delay方法调用任务add_longtime,如果我们想异步处理任务,就需要使用delay方法。此外,保存任务的结果并打印一些信息。如果任务已经完成,ready方法将返回True,否则返回False。result属性是任务的结果,如果任务尚未完成,则返回None。

启动Celery

现在,可以使用下面的命令启动Celery(注:在项目文件夹中运行):

celery -A test_celery worker --loglevel=info

Celery成功连接到RabbitMQ,你会看到这样的东西:

详解Python Celery和RabbitMQ实战教程

运行任务

再项目文件中输入以下命令运行它:

python -m test_celery.run_tasks

查看Celery控制台,看到运行任务:

[2020-05-15 17:15:21,508: INFO/MainProcess]
Received task: test_celery.tasks.add_longtime[25ba9c87-69a7-4383-b983-1cefdb32f8b3]
[2020-05-15 17:15:21,508: WARNING/Worker-3] long time task begins
[2020-05-15 17:15:31,510: WARNING/Worker-3] long time task finished
[2020-05-15 17:15:31,512: INFO/MainProcess]
Task test_celery.tasks.add_longtime[25ba9c87-69a7-4383-b983-1cefdb32f8b3] succeeded in 15.003732774s: 3

当Celery收到一个任务,它打印出任务名称与任务id(在括号中):

Received task: test_celery.tasks.add_longtime[7d942984-8ea6-4e4d-8097-225616f797d5]

在这一行下面是我们的任务add_longtime打印的两行,时间延迟为5秒:

long time task begins
long time task finished

最后一行显示我们的任务在5秒内完成,任务结果为3:

Task test_celery.tasks.add_longtime[7d942984-8ea6-4e4d-8097-225616f797d5] succeeded in 5.025242167s: 3

在当前控制台中,您将看到以下输出:

详解Python Celery和RabbitMQ实战教程

实时监控Celery

Flower是一款基于网络的Celery实时监控软件。使用Flower,可以轻松地监视任务进度和历史记录

使用pip来安装Flower:

pip install flower

要启动Flower web控制台,需要运行以下命令:

celery -A test_celery flower

Flower将运行具有默认端口5555的服务器,可以通过http://localhost:5555访问web控制台

详解Python Celery和RabbitMQ实战教程

到此这篇关于详解Python Celery和RabbitMQ实战教程的文章就介绍到这了,更多相关Python Celery和RabbitMQ实战内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
简单介绍Python中的decode()方法的使用
May 18 Python
python实现感知器
Dec 19 Python
Python编程二分法实现冒泡算法+快速排序代码示例
Jan 15 Python
Python模拟登录的多种方法(四种)
Jun 01 Python
Python不使用int()函数把字符串转换为数字的方法
Jul 09 Python
Python中修改字符串的四种方法
Nov 02 Python
pycharm 取消默认的右击运行unittest的方法
Nov 29 Python
Pandas时间序列重采样(resample)方法中closed、label的作用详解
Dec 10 Python
Python socket连接中的粘包、精确传输问题实例分析
Mar 24 Python
Python中实现输入一个整数的案例
May 03 Python
Django haystack实现全文搜索代码示例
Nov 28 Python
Python Pandas知识点之缺失值处理详解
May 11 Python
详解python3类型注释annotations实用案例
Jan 20 #Python
python-jwt用户认证食用教学的实现方法
Jan 19 #Python
使用Python爬虫爬取小红书完完整整的全过程
Jan 19 #Python
python 自动识别并连接串口的实现
Jan 19 #Python
python爬取抖音视频的实例分析
Jan 19 #Python
python中的插入排序的简单用法
Jan 19 #Python
Python实现淘宝秒杀功能的示例代码
Jan 19 #Python
You might like
星际争霸任务指南——虫族
2020/03/04 星际争霸
php 随机生成10位字符代码
2009/03/26 PHP
PHP 异步执行方法,模拟多线程的应用分析
2013/06/03 PHP
探讨GDFONTPATH能否被winxp下的php支持
2013/06/21 PHP
Php无限级栏目分类读取的实现代码
2014/02/19 PHP
javascript写的日历类(基于pj)
2010/12/28 Javascript
js 函数的副作用分析
2011/08/23 Javascript
禁止空格提交表单的js代码
2013/11/17 Javascript
自己动手实现jQuery Callbacks完整功能代码详解
2013/11/25 Javascript
Javascript Ajax异步读取RSS文档具体实现
2013/12/12 Javascript
JQuery中$.ajax()方法参数详解及应用
2013/12/12 Javascript
基于NodeJS的前后端分离的思考与实践(二)模版探索
2014/09/26 NodeJs
浅谈Javascript中的Function与Object
2015/01/26 Javascript
javascript实现表单提交后,提交按钮不可用的方法
2015/04/18 Javascript
分享我对JS插件开发的一些感想和心得
2016/02/04 Javascript
Gulp实现静态网页模块化的方法详解
2018/01/09 Javascript
Vue-cli项目部署到Nginx服务器的方法
2019/11/01 Javascript
Node.js API详解之 timer模块用法实例分析
2020/05/07 Javascript
用Python进行一些简单的自然语言处理的教程
2015/03/31 Python
python定时利用QQ邮件发送天气预报的实例
2017/11/17 Python
微信跳一跳python辅助脚本(总结)
2018/01/11 Python
详解Python中where()函数的用法
2018/03/27 Python
python re模块的高级用法详解
2018/06/06 Python
Python爬虫设置代理IP(图文)
2018/12/23 Python
对numpy下的轴交换transpose和swapaxes的示例解读
2019/06/26 Python
Python+OpenCV+pyQt5录制双目摄像头视频的实例
2019/06/28 Python
python如何实现不用装饰器实现登陆器小程序
2019/12/14 Python
解决Python3.8运行tornado项目报NotImplementedError错误
2020/09/02 Python
英国排名第一的最新设计师品牌手表独立零售商:TIC Watches
2016/09/24 全球购物
德国最大的拼图在线商店:Puzzle.de
2016/12/17 全球购物
通信工程专业求职信
2014/06/04 职场文书
班主任2015新年寄语
2014/12/08 职场文书
英语导游词
2015/02/13 职场文书
地雷战观后感
2015/06/09 职场文书
2021-4-3课程——SQL Server查询【2】
2021/04/05 SQL Server
浅谈MySQL next-key lock 加锁范围
2021/06/07 MySQL