python3中celery异步框架简单使用+守护进程方式启动


Posted in Python onJanuary 20, 2021

安装celery

sudo pip install celery

实例化 celery

from celery import Celery
app = Celery("testapp")
# 导入配置
app.config_from_object('celery_tasks.config')
 
# 自动添加任务
app.autodiscover_tasks(["celery_tasks.test","celery_tasks.test2"])

简单配置

# 任务队列的地址
broker_url = "redis://127.0.0.1/14"
# 任务处理结果的保存地址[如果不需要接收任务处理结果,那么,可以不设置下面]
result_backend = "redis://127.0.0.1/15"

文件目录如下

.
├── config.py
├── main.py
├── test
│  └── tasks.py
└── test2
  ├── __init__.py
  └── tasks.py

一个应用一个文件夹

异步任务的文件名必须是tasks.py

在需要执行该任务的地方导入该任务

from celery_tasks.test.tasks import test
from celery_tasks.test2.tasks import test as test2
 
test_id = test.delay()
test2_id = test2.delay()
 
print(test_id)
print(test2_id)

调用该异步任务会马上放回一个id,执行结果可以在result_backend中通过id找到

/home/python/.virtualenvs/kol_site_py3/bin/python /home/python/projects/supervisor/supervisor/celery_tasks/test.py
a6e13745-c05b-496d-bbbe-2b636f84009c
d92d50b4-0ba1-4b05-9e96-eeb92a854929
 
Process finished with exit code 0
127.0.0.1:6379[15]> keys *
 1) "celery-task-meta-2a9c0a4b-5b40-4121-9986-a8430fc6b235"
 2) "celery-task-meta-0f16e227-393f-48ea-b41b-3419df84528e"
 3) "celery-task-meta-fbf31a20-6eee-4298-8a91-214d2e5c9399"
 4) "celery-task-meta-61f012c0-bde1-4344-9e1c-b5e8a7b93902"
 5) "celery-task-meta-074a659f-d76f-4818-8516-f098d1b900ed"
 6) "celery-task-meta-8a89c4db-f2e2-484b-94ee-e1af9911c69f"
 7) "celery-task-meta-0012966d-e8fd-483b-b8ac-d160d65c8221"
 8) "celery-task-meta-f97a452d-3812-4950-bfd9-02ff9e69a4b2"
 9) "celery-task-meta-4bebe710-7725-43f5-b0f7-9a35b57ba3b1"
10) "celery-task-meta-4b1cca23-31c3-4c82-a99f-bbe306846191"
11) "celery-task-meta-4cdf3a68-7df4-4bdf-8f54-abe6be83df3a"
12) "celery-task-meta-d92d50b4-0ba1-4b05-9e96-eeb92a854929"
13) "celery-task-meta-17265693-ba36-4f6c-80c8-d89a52f549f7"
14) "celery-task-meta-d62bbf16-6469-40a7-bc25-61b553014d76"
15) "celery-task-meta-4cca0f47-2f2d-45e6-8341-52264e50d969"
16) "celery-task-meta-1fd1e52a-00e1-486a-a224-36bd0fbb5d4a"
17) "celery-task-meta-af3b9536-91a6-4ae3-ab9b-59755bfb4883"
18) "celery-task-meta-b5710e2a-1905-44fd-8b11-4d7057113291"
19) "celery-task-meta-bebeb902-cce1-4edb-bdac-734ed6dc16ae"
20) "celery-task-meta-2771b961-694f-4727-9b19-07928834475e"
21) "celery-task-meta-8c683476-5cec-4933-8370-73793d656e23"
22) "celery-task-meta-6c8e6763-a416-4c02-9689-a0bb38bf26a6"
23) "celery-task-meta-7a4edb71-b13b-4f0f-b882-408716bb3ba9"
24) "celery-task-meta-4e368ca3-f686-4215-aed7-f0c6463cfac9"
25) "celery-task-meta-757f196d-c377-4f38-982d-700fa4f45c6b"
26) "celery-task-meta-094ea32e-5cf8-41c5-bf63-fb629e0e1e67"
27) "celery-task-meta-2e1f2188-0806-41f1-8eb8-4a0f73ec2aca"
28) "celery-task-meta-fd7e8fea-c738-4d49-b13d-c5d782eeaa96"
29) "celery-task-meta-e476f036-7192-4687-b9b7-c6a06556b4c3"
30) "celery-task-meta-2463c15f-5903-4381-8646-1b2aa6418ca0"
31) "celery-task-meta-a6e13745-c05b-496d-bbbe-2b636f84009c"
32) "celery-task-meta-f4f2d940-3e16-4d78-a0c4-3766eb91c908"
33) "celery-task-meta-5a1eaba8-0675-4e82-aedc-fee801ff31ef"
127.0.0.1:6379[15]>

启动celery的方法

# 最终在终端运行这个main文件
celery -A 应用包名 worker -l info
 
# 我们当前项目,在后端项目根目录下运行
celery -A celery_tasks.main worker -l info
# 守护进程
celery multi start w1 -A celery_tasks.main -l info --logfile=./celerylog.log
# 停止和重启 分别将 start 改为 stop / restart

守护进程的另一种方式,使用supervisor,这是一个管理进程的工具,这种启动方式就是用supervisor接管celery。

到此这篇关于python3中celery异步框架简单使用+守护进程方式启动的文章就介绍到这了,更多相关python3 celery异步使用内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python根据经纬度计算距离示例
Feb 16 Python
使用Python的Twisted框架构建非阻塞下载程序的实例教程
May 25 Python
python安装cx_Oracle模块常见问题与解决方法
Feb 21 Python
浅谈python正则的常用方法 覆盖范围70%以上
Mar 14 Python
Python发送http请求解析返回json的实例
Mar 26 Python
Python安装图文教程 Pycharm安装教程
Mar 27 Python
Django1.9 加载通过ImageField上传的图片方法
May 25 Python
Python栈的实现方法示例【列表、单链表】
Feb 22 Python
Python+Selenium实现自动化的环境搭建的步骤(图文)
Sep 01 Python
python基础之停用词过滤详解
Apr 21 Python
Python提取PDF指定内容并生成新文件
Jun 09 Python
浅谈Python3中datetime不同时区转换介绍与踩坑
Aug 02 Python
Django+Django-Celery+Celery的整合实战
Jan 20 #Python
详解Python Celery和RabbitMQ实战教程
Jan 20 #Python
详解python3类型注释annotations实用案例
Jan 20 #Python
python-jwt用户认证食用教学的实现方法
Jan 19 #Python
使用Python爬虫爬取小红书完完整整的全过程
Jan 19 #Python
python 自动识别并连接串口的实现
Jan 19 #Python
python爬取抖音视频的实例分析
Jan 19 #Python
You might like
用php写的serv-u的web申请账号的程序
2006/10/09 PHP
将数字格式的计算结果转为汉字格式
2006/10/09 PHP
PHP4.04简明安装
2006/10/09 PHP
实用PHP会员权限控制实现原理分析
2011/05/29 PHP
php 记录进行累加并显示总时长为秒的结果
2011/11/04 PHP
php中rename函数用法分析
2014/11/15 PHP
php 自定义错误日志实例详解
2016/11/12 PHP
Ajax提交与传统表单提交的区别说明
2014/02/07 Javascript
window.print打印指定div指定网页指定区域的方法
2014/08/04 Javascript
JS设置下拉列表框当前所选值的方法
2015/12/22 Javascript
jQuery动态添加可拖动元素完整实例(附demo源码下载)
2016/06/21 Javascript
js实现动态创建的元素绑定事件
2016/07/19 Javascript
浅谈jquery中next与siblings的区别
2016/10/27 Javascript
JavaScript实现点击按钮复制指定区域文本(推荐)
2016/11/25 Javascript
angularjs下拉框空白的解决办法
2017/06/20 Javascript
深入理解Vue-cli搭建项目后的目录结构探秘
2017/07/13 Javascript
三步实现ionic3点击退出app程序
2019/09/17 Javascript
简单了解vue中的v-if和v-show的区别
2019/10/08 Javascript
js实现拾色器插件(ColorPicker)
2020/05/21 Javascript
二种python发送邮件实例讲解(python发邮件附件可以使用email模块实现)
2013/12/03 Python
python下如何查询CS反恐精英的服务器信息
2017/01/17 Python
python3中使用__slots__限定实例属性操作分析
2020/02/14 Python
python3 正则表达式基础廖雪峰
2020/03/25 Python
python3 re返回形式总结
2020/11/20 Python
python tqdm库的使用
2020/11/30 Python
HTML5自定义属性前缀data-及dataset的使用方法(html5 新特性)
2017/08/24 HTML / CSS
KIKO比利时官网:意大利彩妆品牌
2017/07/23 全球购物
应届生骨科医生求职信
2013/10/31 职场文书
给老婆的婚前保证书
2014/02/01 职场文书
学校课外活动总结
2014/05/08 职场文书
英语教师求职信
2014/06/16 职场文书
民事二审代理词
2015/05/25 职场文书
nginx简单配置多个server的方法
2021/03/31 Servers
如何用JavaScipt测网速
2021/05/09 Javascript
用Python监控你的朋友都在浏览哪些网站?
2021/05/27 Python
微信小程序APP的事件绑定以及传递参数时的冒泡和捕获
2022/04/19 Javascript