源码分析 Laravel 重复执行同一个队列任务的原因


Posted in PHP onDecember 25, 2017

前言

laravel 的队列服务对各种不同的后台队列服务提供了统一的 API。队列允许你延迟执行消耗时间的任务,比如发送一封邮件。这样可以有效的降低请求响应的时间。

发现问题

在 Laravel 中使用 Redis 处理队列任务,框架提供的功能非常强大,但是最近遇到一个问题,就是发现一个任务被多次执行,这是为什么呢?

源码分析 Laravel 重复执行同一个队列任务的原因

先说原因:

因为在 Laravel 中如果一个队列(任务)执行时间大于 60 秒,就会被认为执行失败并重新加入队列中,这样就会导致重复执行同一个任务。

这个任务的逻辑就是给用户推送内容,需要根据队列内容取出用户并遍历,通过请求后端 HTTP 接口发送。比如有 10000 个用户,在用户数量多或接口处理速度没那么快的情况下,执行时间肯定会大于 60 秒,于是这个任务就被重新加入队列。情况更糟糕一点,前面的任务如果都没有在 60 秒执行完,就都会重新加入队列,这样同一个任务就不止重复执行一次了,而是多次。

下面从 Laravel 源代码找一下罪魁祸首。

源代码文件:vendor/laravel/framework/src/Illuminate/Queue/RedisQueue.php

/**
 * The expiration time of a job.
 *
 * @var int|null
 */
protected $expire = 60;

这个 $expire 成员变量是一个固定的值,Laravel 认为一个队列再怎么 60 秒也该执行完了吧。取队列方法:

public function pop($queue = null)
{
 $original = $queue ?: $this->default; 
 $queue = $this->getQueue($queue); 
 $this->migrateExpiredJobs($queue.':delayed', $queue); 
 if (! is_null($this->expire)) {
  $this->migrateExpiredJobs($queue.':reserved', $queue);
 } 
 list($job, $reserved) = $this->getConnection()->eval(
  LuaScripts::pop(), 2, $queue, $queue.':reserved', $this->getTime() + $this->expire
 ); 
 if ($reserved) {
  return new RedisJob($this->container, $this, $job, $reserved, $original);
 }
}

取队列有几步操作,因为队列执行失败,或执行超时等都会放入另外的集合保存起来,以便重试,过程如下:

    1.把因执行失败的队列从 delayed 集合重新 rpush 到当前执行的队列中。

    2.把因执行超时的队列从 reserved 集合重新 rpush 到当前执行的队列中。

    3.然后才是从队列中取任务开始执行,同时把队列放入 reserved 的有序集合。

这里使用了 eval 命令执行这个过程,用到了几个 lua 脚本。

从要执行的队列中取任务:

local job = redis.call('lpop', KEYS[1])
local reserved = false
if(job ~= false) then
 reserved = cjson.decode(job)
 reserved['attempts'] = reserved['attempts'] + 1
 reserved = cjson.encode(reserved)
 redis.call('zadd', KEYS[2], ARGV[1], reserved)
end
return {job, reserved}

可以看到 Laravel 在取 Redis 要执行的队列的时候,同时会放一份到一个有序集合中,并使用过期时间戳作为分值。

只有当这个任务完成后,再把有序集合中这个任务移除。从这个有序集合移除队列的代码就省略,我们看一下 Laravel 如何处理执行时间大于 60 秒的队列。

也就是这段 lua 脚本执行的操作:

local val = redis.call('zrangebyscore', KEYS[1], '-inf', ARGV[1])
if(next(val) ~= nil) then
 redis.call('zremrangebyrank', KEYS[1], 0, #val - 1)
 for i = 1, #val, 100 do
  redis.call('rpush', KEYS[2], unpack(val, i, math.min(i+99, #val)))
 end
end
return true

这里 zrangebyscore 找出分值从无限小到当前时间戳的元素,也就是 60 秒之前加入到集合的任务,然后通过 zremrangebyrank 从集合移除这些元素并 rpush 到队列中。

看到这里应该就恍然大悟了。

如果一个队列 60 秒没执行完,那么进程在取队列的时候从 reserved 集合中把这些任务又重新 rpush 到队列中。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

PHP 相关文章推荐
判“新”函数:得到今天与明天的秒数
Oct 09 PHP
PHP 长文章分页函数 带使用方法,不会分割段落,翻页在底部
Oct 22 PHP
PHP网页游戏学习之Xnova(ogame)源码解读(三)
Jun 23 PHP
Ubuntu12下编译安装PHP5.3开发环境
Mar 27 PHP
一个完整的PHP类包含的七种语法说明
Jun 04 PHP
PHP编写的图片验证码类文件分享
Jun 06 PHP
PHP中的多种加密技术及代码示例解析
Oct 20 PHP
PHP使用mysqli操作MySQL数据库的简单方法
Feb 04 PHP
php 函数使用可变数量的参数方法
May 02 PHP
如何修改yii2.0自带的user表为其它的表
Aug 01 PHP
Laravel框架分页实现方法分析
Jun 12 PHP
PHP dirname简单使用代码实例
Nov 13 PHP
浅析PHP中的闭包和匿名函数
Dec 25 #PHP
thinkphp5 加载静态资源路径与常量的方法
Dec 24 #PHP
PHP读取并输出XML文件数据的简单实现方法
Dec 22 #PHP
ajax+php实现无刷新验证手机号的实例
Dec 22 #PHP
Thinkphp5行为使用方法汇总
Dec 21 #PHP
PHP二维数组实现去除重复项的方法【保留各个键值】
Dec 21 #PHP
Laravel 5.5基于内置的Auth模块实现前后台登陆详解
Dec 21 #PHP
You might like
PHP分页显示制作详细讲解
2006/10/09 PHP
聊天室php&mysql(二)
2006/10/09 PHP
php cookie 作用范围?不要在当前页面使用你的cookie
2009/03/24 PHP
如何阻止网站被恶意反向代理访问(防网站镜像)
2014/03/18 PHP
Yii2.0 Basic代码中路由链接被转义的处理方法
2016/09/21 PHP
Yii2.0使用阿里云OSS的SDK上传图片、下载、删除图片示例
2017/09/20 PHP
详解php与ethereum客户端交互
2018/04/28 PHP
javascript 简练的几个函数
2009/08/29 Javascript
Mootools 1.2教程 正则表达式
2009/09/15 Javascript
js字符串的各种格式的转换 ToString,Format
2011/08/08 Javascript
jquery之超简单的div显示和隐藏特效demo(分享)
2013/07/09 Javascript
原生js做的手风琴效果的导航菜单
2013/11/08 Javascript
JavaScript中的关联数组问题
2015/03/04 Javascript
js获取当前日期时间及其它操作汇总
2015/04/17 Javascript
javascript运动框架用法实例分析(实现放大与缩小效果)
2016/01/08 Javascript
基于KO+BootStrap+MVC实现的分页控件代码分享
2016/11/07 Javascript
javaScript中定义类或对象的五种方式总结
2016/12/04 Javascript
jQuery实现切换隐藏与显示同时切换图标功能
2017/10/29 jQuery
基于React+Redux的SSR实现方法
2018/07/03 Javascript
vue项目中引入vue-datepicker插件的详解
2019/05/14 Javascript
[42:52]IG vs VGJ.T 2018国际邀请赛小组赛BO2 第二场 8.18
2018/08/19 DOTA
Python实现CET查分的方法
2015/03/10 Python
python搭建微信公众平台
2016/02/09 Python
Python使用Matplotlib实现Logos设计代码
2017/12/25 Python
简单了解Python3里的一些新特性
2019/07/13 Python
使用 Python 写一个简易的抽奖程序
2019/12/08 Python
关于Python字符编码与二进制不得不说的一些事
2020/10/04 Python
python爬取天气数据的实例详解
2020/11/20 Python
h5网页水印SDK的实现代码示例
2019/02/19 HTML / CSS
英国奢侈品网站:MatchesFashion
2016/12/16 全球购物
laravel使用redis队列实例讲解
2021/03/23 PHP
资产评估专业学生的自我鉴定
2013/11/14 职场文书
奥林匹克运动会口号
2014/06/19 职场文书
如何写好开幕词?
2019/06/24 职场文书
中国式结婚:司仪主持词(范文)
2019/07/25 职场文书
CSS 实现多彩、智能的阴影效果
2021/05/12 HTML / CSS