源码分析 Laravel 重复执行同一个队列任务的原因


Posted in PHP onDecember 25, 2017

前言

laravel 的队列服务对各种不同的后台队列服务提供了统一的 API。队列允许你延迟执行消耗时间的任务,比如发送一封邮件。这样可以有效的降低请求响应的时间。

发现问题

在 Laravel 中使用 Redis 处理队列任务,框架提供的功能非常强大,但是最近遇到一个问题,就是发现一个任务被多次执行,这是为什么呢?

源码分析 Laravel 重复执行同一个队列任务的原因

先说原因:

因为在 Laravel 中如果一个队列(任务)执行时间大于 60 秒,就会被认为执行失败并重新加入队列中,这样就会导致重复执行同一个任务。

这个任务的逻辑就是给用户推送内容,需要根据队列内容取出用户并遍历,通过请求后端 HTTP 接口发送。比如有 10000 个用户,在用户数量多或接口处理速度没那么快的情况下,执行时间肯定会大于 60 秒,于是这个任务就被重新加入队列。情况更糟糕一点,前面的任务如果都没有在 60 秒执行完,就都会重新加入队列,这样同一个任务就不止重复执行一次了,而是多次。

下面从 Laravel 源代码找一下罪魁祸首。

源代码文件:vendor/laravel/framework/src/Illuminate/Queue/RedisQueue.php

/**
 * The expiration time of a job.
 *
 * @var int|null
 */
protected $expire = 60;

这个 $expire 成员变量是一个固定的值,Laravel 认为一个队列再怎么 60 秒也该执行完了吧。取队列方法:

public function pop($queue = null)
{
 $original = $queue ?: $this->default; 
 $queue = $this->getQueue($queue); 
 $this->migrateExpiredJobs($queue.':delayed', $queue); 
 if (! is_null($this->expire)) {
  $this->migrateExpiredJobs($queue.':reserved', $queue);
 } 
 list($job, $reserved) = $this->getConnection()->eval(
  LuaScripts::pop(), 2, $queue, $queue.':reserved', $this->getTime() + $this->expire
 ); 
 if ($reserved) {
  return new RedisJob($this->container, $this, $job, $reserved, $original);
 }
}

取队列有几步操作,因为队列执行失败,或执行超时等都会放入另外的集合保存起来,以便重试,过程如下:

    1.把因执行失败的队列从 delayed 集合重新 rpush 到当前执行的队列中。

    2.把因执行超时的队列从 reserved 集合重新 rpush 到当前执行的队列中。

    3.然后才是从队列中取任务开始执行,同时把队列放入 reserved 的有序集合。

这里使用了 eval 命令执行这个过程,用到了几个 lua 脚本。

从要执行的队列中取任务:

local job = redis.call('lpop', KEYS[1])
local reserved = false
if(job ~= false) then
 reserved = cjson.decode(job)
 reserved['attempts'] = reserved['attempts'] + 1
 reserved = cjson.encode(reserved)
 redis.call('zadd', KEYS[2], ARGV[1], reserved)
end
return {job, reserved}

可以看到 Laravel 在取 Redis 要执行的队列的时候,同时会放一份到一个有序集合中,并使用过期时间戳作为分值。

只有当这个任务完成后,再把有序集合中这个任务移除。从这个有序集合移除队列的代码就省略,我们看一下 Laravel 如何处理执行时间大于 60 秒的队列。

也就是这段 lua 脚本执行的操作:

local val = redis.call('zrangebyscore', KEYS[1], '-inf', ARGV[1])
if(next(val) ~= nil) then
 redis.call('zremrangebyrank', KEYS[1], 0, #val - 1)
 for i = 1, #val, 100 do
  redis.call('rpush', KEYS[2], unpack(val, i, math.min(i+99, #val)))
 end
end
return true

这里 zrangebyscore 找出分值从无限小到当前时间戳的元素,也就是 60 秒之前加入到集合的任务,然后通过 zremrangebyrank 从集合移除这些元素并 rpush 到队列中。

看到这里应该就恍然大悟了。

如果一个队列 60 秒没执行完,那么进程在取队列的时候从 reserved 集合中把这些任务又重新 rpush 到队列中。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

PHP 相关文章推荐
PHP中动态显示签名和ip原理
Mar 28 PHP
php的access操作类
Apr 09 PHP
php session 错误
May 21 PHP
PHP n个不重复的随机数生成代码
Jun 23 PHP
PHP源码之 ext/mysql扩展部分
Jul 17 PHP
php中数字、字符与对象判断函数用法实例
Nov 26 PHP
php自定义hash函数实例
May 05 PHP
简单谈谈PHP vs Node.js
Jul 17 PHP
Thinkphp5 微信公众号token验证不成功的原因及解决方法
Nov 12 PHP
实例讲解PHP中使用命名空间
Jan 27 PHP
Yii2框架配置文件(Application属性)与调试技巧实例分析
May 27 PHP
laravel入门知识点整理
Sep 15 PHP
浅析PHP中的闭包和匿名函数
Dec 25 #PHP
thinkphp5 加载静态资源路径与常量的方法
Dec 24 #PHP
PHP读取并输出XML文件数据的简单实现方法
Dec 22 #PHP
ajax+php实现无刷新验证手机号的实例
Dec 22 #PHP
Thinkphp5行为使用方法汇总
Dec 21 #PHP
PHP二维数组实现去除重复项的方法【保留各个键值】
Dec 21 #PHP
Laravel 5.5基于内置的Auth模块实现前后台登陆详解
Dec 21 #PHP
You might like
用php实现让页面只能被百度gogole蜘蛛访问的方法
2009/12/29 PHP
使用php实现截取指定长度
2013/08/06 PHP
php获取访问者浏览页面的浏览器类型
2017/01/23 PHP
JavaScript 注册事件代码
2011/01/27 Javascript
jQuery筛选器children()案例详解(图文)
2013/02/17 Javascript
将查询条件的input、select清空
2014/01/14 Javascript
jQuery向后台传入json格式数据的方法
2015/02/13 Javascript
浅谈Nodejs应用主文件index.js
2016/08/28 NodeJs
Vue响应式添加、修改数组和对象的值
2017/03/20 Javascript
AngularJS的脏检查深入分析
2017/04/22 Javascript
详解Vue用axios发送post请求自动set cookie
2017/05/10 Javascript
vue使用Axios做ajax请求详解
2017/06/07 Javascript
vue修改vue项目运行端口号的方法
2017/08/04 Javascript
菊花转动的jquery加载动画效果
2018/08/19 jQuery
vue vue-Router默认hash模式修改为history需要做的修改详解
2018/09/13 Javascript
node微信开发之获取access_token+自定义菜单
2019/03/17 Javascript
Vue-CLI项目中路由传参的方式详解
2019/09/01 Javascript
微信小程序实现滚动加载更多的代码
2019/12/06 Javascript
es5 类与es6中class的区别小结
2020/11/09 Javascript
python数据结构之图深度优先和广度优先实例详解
2015/07/08 Python
pandas 转换成行列表进行读取与Nan处理的方法
2018/10/30 Python
python实现车牌识别的示例代码
2019/08/05 Python
Django如何重置migration的几种情景
2021/02/24 Python
CSS3 实现发光边框特效
2020/11/11 HTML / CSS
HTML5组件Canvas实现图像灰度化(步骤+实例效果)
2013/04/22 HTML / CSS
施华洛世奇韩国官网:SWAROVSKI韩国
2018/06/05 全球购物
HEMA英国:荷兰原创设计
2018/08/28 全球购物
荣耀俄罗斯官网:HONOR俄罗斯
2020/10/31 全球购物
食堂个人先进事迹
2014/01/22 职场文书
春季运动会开幕词
2015/01/28 职场文书
单位证明范文
2015/06/18 职场文书
英文投诉信格式
2015/07/03 职场文书
《你在为谁工作》心得体会(共8篇)
2016/01/20 职场文书
《王国之心》迎来了发售的20周年, 野村哲发布贺图
2022/04/11 其他游戏
Tomcat配置访问日志和线程数
2022/05/06 Servers
AndroidStudio图片压缩工具ImgCompressPlugin使用实例
2022/08/05 Java/Android