如何用RabbitMQ和Swoole实现一个异步任务系统


Posted in PHP onMay 29, 2021

系统介绍

如何用RabbitMQ和Swoole实现一个异步任务系统

从图中可以看到,我们这个系统是一个基于事件的异步任务系统。就是说当一个事件产生时,生产者将事件抛给调度器,调度器负责查询事件下有哪些任务,然后将这些任务丢到相应的队列中,最后由消费者消费任务队列中的任务。

在整个系统中主要分为三大部分

1.事件生产者,即产生消息事件的一方。

2.任务调度器(Scheduler),负责注册事件并调度任务。

3.消费者(Worker),负责消费任务队列中的任务。

事件生产者

事件生产者很简单,在业务系统中直接调用即可,代码如下。

<?php
 
require_once DIR.'/../autoload.php';
 
use Asynclib\Ebats\Event;
 
try{
 
    $event = new Event('order_paied');  //定义事件
 
    $event->setOptions(['order_id' => 'FB138020392193312']); //事件产生的参数
 
    $event->publish();
 
}catch (Exception $exc){
 
    echo $exc->getMessage();
 
}

任务调度器

调度器主要做两件事,一是注册事件,另一个是调度任务。

注册事件代码如下:

//注册事件
 
EventManager::register('order_create', 'closeOrder', 'demo', 10);//关闭未付款订单(延迟任务)
 
EventManager::register('order_paied', 'virtualShipping', 'demo'); //虚拟商品自动发货

这样就注册了两个事件,事件下各有一个任务。

具体调度部分代码很简单,就不多赘述,有兴趣的可以去看代码。

消费者

重头戏来了,一个异步任务系统最重要的就是消费端了,现在让我们来看下Worker的流程图。

如何用RabbitMQ和Swoole实现一个异步任务系统

可以看到,在这里我们采用了两个交换器和两个队列,一个负责处理正常的任务即ntask,另一个负责处理需要延迟执行的任务即dtask。简单描述下一个任务的生命周期。

正常任务

1、task产生,进入正常任务的交换器Exchange[ebats_core_ntask]

2、交换器根据topic将任务分发到对应的队列中

3、子进程ntask阻塞等待成功获取到task,并执行该任务

4、执行失败,需要重试时抛出RetryException,不需要重试时抛出TaskException

5、子进程ntask捕获到重试异常将任务抛给延迟任务的交换器Exchange[ebats_core_dtask]

6、将任务执行信息回调给上层开发者以便保存查看

延迟任务

1、子进程dtask阻塞等待成功获取到task,并执行该任务
2、执行失败,需要重试时抛出RetryException,不需要重试时抛出TaskException
3、子进程dtask捕获到重试异常将任务抛给延迟任务的交换器Exchange[ebats_core_dtask]
4、将任务执行信息回调给上层开发者以便保存查看

消费者代码如下:

require_once DIR.'/../autoload.php';
 
require_once DIR.'/task/TaskDemoModel.php';
 
use Asynclib\Ebats\Worker;
 
  
 
//执行结果回调函数
 
$callback = function ($topic, $taskid, $taskname, $params, $timeuse, $message){
 
  
 
};
 
$worker = new Worker($callback);  //支持多进程消费默认为1
 
$worker->setQueue('demo');  //队列名和事件的topic一一对应
 
$worker->run();

自定义调度器

一般来说这是一个基于事件的任务系统,那么能不能直接产生任务呢。答案是肯定的。

只需要创建一个自定义调度器,由您自行实现调度逻辑,最终生成一个任务即可。代码如下:

<?php
 
require_once DIR.'/../autoload.php';
 
use Asynclib\Ebats\Task;
 
use Asynclib\Core\Consumer;
 
use Asynclib\Amq\ExchangeTypes;
 
use Asynclib\Exception\ExceptionInterface;
 
  
 
/**
 
 * 本示例演示了如何创建一个自定义调度器,开发者可以根据自身需求开发自己的任务调度器
 
 */
 
try{
 
    $worker = new Consumer();
 
    $worker->setExchange('order_fanout', ExchangeTypes::TOPIC);
 
    $worker->setQueue('shzf_order_paied', ['*.*.WAIT_SELLER_SEND_GOODS']);
 
    $worker->run(function($key, $msg){
 
        $order_data = json_encode($msg);
 
        echo " [$key] $order_data \n";
 
        Task::create('demo', 'orderAsync', $msg);//创建任务,之后消息将作为参数由任务接管处理
 
    });
 
}catch (ExceptionInterface $exc){
 
    echo $exc->getMessage();
 
}

这样,当接收到消息时就会产生一个orderAsync的任务,您只需要启动一个用来消费这个Topic的Worker即可。

也许你会觉得这里直接写业务逻辑的代码就可以了,实际上也确实可以。当你可以忍受一个进程慢慢消费的时候是可以这样做的。但大多数情况下我们还是希望它能够尽快的消费掉,所以建议这里只负责创建任务,具体任务的业务逻辑由worker去执行。

以上就是如何用RabbitMQ和Swoole实现一个异步任务系统的详细内容,更多关于用RabbitMQ和Swoole实现一个异步任务系统的资料请关注三水点靠木其它相关文章!

PHP 相关文章推荐
追求程序速度,而不是编程的速度
Apr 23 PHP
mysql limit查询优化分析
Nov 12 PHP
PHP之COOKIE支持详解
Sep 20 PHP
定义php常量的详解
Jun 09 PHP
php获取apk包信息的方法
Aug 15 PHP
php批量删除数据库下指定前缀的表以prefix_为例
Aug 24 PHP
PHP输出两个数字中间有多少个回文数的方法
Mar 23 PHP
twig模板获取全局变量的方法
Feb 05 PHP
Yii2使用dropdownlist实现地区三级联动功能的方法
Jul 18 PHP
PHP数据分析引擎计算余弦相似度算法示例
Aug 08 PHP
PDO操作MySQL的基础教程(推荐)
Aug 18 PHP
thinkphp5实现微信扫码支付
Dec 23 PHP
浅谈Laravel中使用Slack进行异常通知
May 29 #PHP
详解Go与PHP的语法对比
May 29 #PHP
详解php中流行的rpc框架
如何在Mac上通过docker配置PHP开发环境
浅谈如何提高PHP代码质量之端到端集成测试
May 28 #PHP
浅谈如何提高PHP代码质量之单元测试
May 28 #PHP
浅谈如何提高PHP代码的质量
May 28 #PHP
You might like
php curl常见错误:SSL错误、bool(false)
2011/12/28 PHP
curl实现站外采集的方法和技巧
2014/01/31 PHP
PHP处理大量表单字段的便捷方法
2015/02/07 PHP
UTF-8正则表达式如何匹配汉字
2015/08/03 PHP
PHP cURL获取微信公众号access_token的实例
2018/04/28 PHP
PHP实现的ID混淆算法类与用法示例
2018/08/10 PHP
php+laravel依赖注入知识点总结
2019/11/04 PHP
简单的Jquery全选功能
2013/11/07 Javascript
Jquery原生态实现表格header头随滚动条滚动而滚动
2014/03/18 Javascript
jQuery的$.proxy()应用示例介绍
2014/04/03 Javascript
jQuery实现响应浏览器缩放大小并改变背景颜色
2014/10/31 Javascript
jQuery插件FusionCharts绘制的2D双柱状图效果示例【附demo源码】
2017/05/13 jQuery
ComboBox(下拉列表框)通过url加载调用远程数据的方法
2017/08/06 Javascript
实例讲解javascript实现异步图片上传方法
2017/12/05 Javascript
微信小程序实现漂亮的弹窗效果
2020/05/26 Javascript
微信小程序有旋转动画效果的音乐组件实例代码
2018/08/22 Javascript
vue keep-alive列表页缓存 详情页返回上一页不刷新,定位到之前位置
2019/11/26 Javascript
鸿蒙系统中的 JS 开发框架
2020/09/18 Javascript
element-ui中el-upload多文件一次性上传的实现
2020/12/02 Javascript
Vue中避免滥用this去读取data中数据
2021/03/02 Vue.js
python使用BeautifulSoup分页网页中超链接的方法
2015/04/04 Python
python从入门到精通(DAY 3)
2015/12/20 Python
python编码总结(编码类型、格式、转码)
2016/07/01 Python
python 同时读取多个文件的例子
2019/07/16 Python
Python学习笔记之错误和异常及访问错误消息详解
2019/08/08 Python
解决python DataFrame 打印结果不换行问题
2020/04/09 Python
什么是python的函数体
2020/06/19 Python
Django配置跨域并开发测试接口
2020/11/04 Python
中国网上药店领导者:1药网
2017/02/16 全球购物
优衣库台湾官网:UNIQLO台湾
2019/02/01 全球购物
怀旧香味蜡烛:Homesick
2019/11/02 全球购物
大学生个人简历自我评价
2013/11/16 职场文书
高二英语教学反思
2014/01/19 职场文书
网络管理员岗位职责
2014/03/17 职场文书
效能监察建议书
2014/05/19 职场文书
浪漫的婚礼主持词
2015/06/30 职场文书