Laravel使用消息队列需要注意的一些问题


Posted in PHP onDecember 13, 2017

前言

消息队列对于大型的Web项目来说是必不可少的一个模块,通过消息队列可以解决大并发和多种语言通信接口等问题。对于大并发的问题,可以将耗时的任务或者不能同时大量并行的任务封装起来传输到消息队列中,由处理程序不断从消息队列中提取消息并进行处理,这样通过消息队列的缓冲可以使得在大并发情况下不再阻塞,如果性能不够用还可以添加多个处理任务从消息队列中获取消息进行处理。比如数据库的操作,当对数据库的读、写操作过多时就会存在锁表等问题,读的问题可以通过缓存等方案解决,写的问题就需要消息队列来解决。而且,在大型的Web项目开发中,很多情况下不可能通过一种语言实现,需要发挥不同语言的优势,比如PHP,虽然在理论意义上它可以做Web开发中的所有事情,但是有些问题用它解决效率将会非常低,比如实时socket连接和分布式事务处理等。

使用 Laravel 的消息队列处理异步任务,Redis 作为队列数据库,Supervisor 监控脚本异常中断并自动重启,这是 Laravel 处理队列任务的标准流程,但是实际中可能还会出现各种各样的问题,为了保证系统可靠性,还要注意几个问题。

一、执行失败重试次数设置

一定要设置任务执行失败重试次数,避免无限失败重试,超过重试次数 Laravel 会默认写到失败任务表中,也可以自己写执行失败后续处理逻辑。

php artisan queue:work redis --tries=3

需要先执行以下命令创建数据表:

php artisan queue:failed-table
php artisan migrate

二、程序异常的处理

有时候程序执行过程会发生异常,比如依赖其他接口,请求 HTTP 接口超时等等,如果不捕捉异常,那么当前这个队列就会中断不能继续运行下去,比如给 10000 个用户推送内容,需要依赖接口推送,如果中间的请求挂了就会影响到后面的推送。

这里的异常是指程序执行过程中发生的异常,不是指常驻进程挂掉,程序异常不一定导致常驻进程中断,况且进程中断有 Supervisor 监控并重启。

如捕获异常代码片段:

try {
 $r = $client->request('POST', '', [
  'query' => [
   'client_name'  => 'filemail',
   'client_version' => '1.0',
   'client_sequence' => 0,
   'uid'    => 692934013,//119481237
   'r'    => 1508312484,
  ],
  'body' => \GuzzleHttp\json_encode($body),
 ]);
 $result = $r->getBody()->getContents();
 $result = json_decode($result, true);
 if ($result['result'] == 0) {
  info("sendMail fail:" . json_encode($result));
  $this->pushLog($task['id'], $task['mail_id'], implode(',', $userIds), json_encode($result), 0);
 } else {
  Log::warning("sendMail fail:" . json_encode($result));
  $this->pushLog($task['id'], $task['mail_id'], implode(',', $userIds), json_encode($result), $result['result']);
 }
} catch (RequestException $e) {
 Log::warning('RequestException' . $e->getMessage());
} catch (Exception $e) {
 Log::emergency('Exception' . $e->getMessage());
}

三、修改代码记得重启 Supervisor

最后一点,修改了处理队列的程序,记得要重启 Supervisor,否则脚本不会生效。

Laravel 往 Redis 写队列的数据结构

队列用 list 类型存储,如图:

Laravel使用消息队列需要注意的一些问题 

value 内容如下:

{
 "job": "Illuminate\\Queue\\CallQueuedHandler@call",
 "data": {
 "commandName": "App\\Jobs\\SendFile",
 "command": "O:17:\"App\\Jobs\\SendFile\":5:{s:23:\"\u0000App\\Jobs\\SendFile\u0000task\";a:8:{s:5:\"title\";s:4:\"1111\";s:4:\"note\";s:2:\"11\";s:6:\"reward\";s:0:\"\";s:7:\"mail_id\";s:5:\"66681\";s:4:\"nums\";i:20;s:8:\"uid_file\";s:33:\"uidfile\/file-66681-1513058185.txt\";s:5:\"gcids\";s:40:\"1B9DD95645AAE8119F7DA9B9FF738D52BC8A1BD5\";s:2:\"id\";i:29;}s:6:\"\u0000*\u0000job\";N;s:10:\"connection\";N;s:5:\"queue\";s:8:\"sendfile\";s:5:\"delay\";N;}"
 },
 "id": "l0mjsUthbxm4TgIJNUH13km9N8DIpErK",
 "attempts": 1
}

包含失败重试次数,队列标识,处理队列的类,以及队列的数据等等。

参考链接

Laravel 官方文档 Queue 队列:

https://laravel.com/docs/5.5/queues

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

PHP 相关文章推荐
php5.3 废弃函数小结
May 16 PHP
php中判断数组是一维,二维,还是多维的解决方法
May 04 PHP
基于PHP文件操作的详细诠释
Jun 21 PHP
php登陆页的密码处理方式分享
Oct 14 PHP
PHP中使用匿名函数操作数据库的例子
Nov 17 PHP
在PHP程序中使用Rust扩展的方法
Jul 03 PHP
详解PHP的Laravel框架中Eloquent对象关系映射使用
Feb 26 PHP
php版微信公众平台开发之验证步骤实例详解
Sep 23 PHP
Swoole实现异步投递task任务案例详解
Apr 02 PHP
Laravel框架查询构造器简单示例
May 08 PHP
PHP的new static和new self的区别与使用
Nov 27 PHP
阿里云服务器搭建Php+Apache运行环境的详细过程
May 15 PHP
实例分析PHP中PHPMailer发邮件
Dec 13 #PHP
使用XHProf查找PHP性能瓶颈的实例
Dec 13 #PHP
PHP让数组中有相同值的组成新的数组实例
Dec 31 #PHP
详谈PHP中public,private,protected,abstract等关键字的用法
Dec 31 #PHP
php中通用的excel导出方法实例
Dec 30 #PHP
利用Laravel生成Gravatar头像地址的优雅方法
Dec 30 #PHP
PHP如何实现订单的延时处理详解
Dec 30 #PHP
You might like
PHP的substr_replace将指定两位置之间的字符替换为*号
2011/05/04 PHP
解析thinkphp import 文件内容变量失效的问题
2013/06/20 PHP
php查找字符串出现次数的方法
2014/12/01 PHP
PHP实现的简单mock json脚本分享
2015/02/10 PHP
ThinkPHP在Cli模式下使用模板引擎的方法
2015/09/25 PHP
js页面滚动时层智能浮动定位实现(jQuery/MooTools)
2011/08/23 Javascript
jQuery仿Excel表格编辑功能的实现代码
2013/05/01 Javascript
JavaScript事件委托的技术原理探讨示例
2014/04/17 Javascript
JavaScript Length 属性的总结
2015/11/02 Javascript
AngualrJS中的Directive制作一个菜单
2016/01/26 Javascript
javascript对象的相关操作小结
2016/05/16 Javascript
详解Node.js模块间共享数据库连接的方法
2016/05/24 Javascript
Ajax+FormData+javascript实现无刷新表单信息提交
2016/10/24 Javascript
微信公众平台开发教程(四) 实例入门:机器人回复(附源码)
2016/12/02 Javascript
JavaScript数组去重的6个方法
2017/01/21 Javascript
浅谈Express异步进化史
2017/09/09 Javascript
Java设计中的Builder模式的介绍
2018/03/22 Javascript
原生JS实现轮播图效果
2018/10/12 Javascript
详解VUE Element-UI多级菜单动态渲染的组件
2019/04/25 Javascript
小程序实现密码输入框
2020/11/16 Javascript
JavaScript实现商品评价五星好评
2020/11/30 Javascript
Python NumPy库安装使用笔记
2015/05/18 Python
在Pytorch中计算自己模型的FLOPs方式
2019/12/30 Python
pytorch实现MNIST手写体识别
2020/02/14 Python
详解django中Template语言
2020/02/22 Python
Python tempfile模块生成临时文件和临时目录
2020/09/30 Python
python3中布局背景颜色代码分析
2020/12/01 Python
html5绘制时钟动画
2014/12/15 HTML / CSS
基于Html5 canvas实现裁剪图片和马赛克功能及又拍云上传图片 功能
2019/07/09 HTML / CSS
斯洛伐克时尚服装网上商店:Cellbes
2016/10/20 全球购物
Ibatis的核心配置文件都有什么
2014/09/08 面试题
学校创先争优活动总结
2014/08/28 职场文书
2014年最新版离婚协议书范本
2014/11/25 职场文书
英文商务邀请函范文
2015/01/31 职场文书
个人求职自荐信范文
2015/03/06 职场文书
tomcat的catalina.out日志按自定义时间格式进行分割的操作方法
2022/04/02 Servers