源码分析 Laravel 重复执行同一个队列任务的原因


Posted in PHP onDecember 25, 2017

前言

laravel 的队列服务对各种不同的后台队列服务提供了统一的 API。队列允许你延迟执行消耗时间的任务,比如发送一封邮件。这样可以有效的降低请求响应的时间。

发现问题

在 Laravel 中使用 Redis 处理队列任务,框架提供的功能非常强大,但是最近遇到一个问题,就是发现一个任务被多次执行,这是为什么呢?

源码分析 Laravel 重复执行同一个队列任务的原因

先说原因:

因为在 Laravel 中如果一个队列(任务)执行时间大于 60 秒,就会被认为执行失败并重新加入队列中,这样就会导致重复执行同一个任务。

这个任务的逻辑就是给用户推送内容,需要根据队列内容取出用户并遍历,通过请求后端 HTTP 接口发送。比如有 10000 个用户,在用户数量多或接口处理速度没那么快的情况下,执行时间肯定会大于 60 秒,于是这个任务就被重新加入队列。情况更糟糕一点,前面的任务如果都没有在 60 秒执行完,就都会重新加入队列,这样同一个任务就不止重复执行一次了,而是多次。

下面从 Laravel 源代码找一下罪魁祸首。

源代码文件:vendor/laravel/framework/src/Illuminate/Queue/RedisQueue.php

/**
 * The expiration time of a job.
 *
 * @var int|null
 */
protected $expire = 60;

这个 $expire 成员变量是一个固定的值,Laravel 认为一个队列再怎么 60 秒也该执行完了吧。取队列方法:

public function pop($queue = null)
{
 $original = $queue ?: $this->default; 
 $queue = $this->getQueue($queue); 
 $this->migrateExpiredJobs($queue.':delayed', $queue); 
 if (! is_null($this->expire)) {
  $this->migrateExpiredJobs($queue.':reserved', $queue);
 } 
 list($job, $reserved) = $this->getConnection()->eval(
  LuaScripts::pop(), 2, $queue, $queue.':reserved', $this->getTime() + $this->expire
 ); 
 if ($reserved) {
  return new RedisJob($this->container, $this, $job, $reserved, $original);
 }
}

取队列有几步操作,因为队列执行失败,或执行超时等都会放入另外的集合保存起来,以便重试,过程如下:

    1.把因执行失败的队列从 delayed 集合重新 rpush 到当前执行的队列中。

    2.把因执行超时的队列从 reserved 集合重新 rpush 到当前执行的队列中。

    3.然后才是从队列中取任务开始执行,同时把队列放入 reserved 的有序集合。

这里使用了 eval 命令执行这个过程,用到了几个 lua 脚本。

从要执行的队列中取任务:

local job = redis.call('lpop', KEYS[1])
local reserved = false
if(job ~= false) then
 reserved = cjson.decode(job)
 reserved['attempts'] = reserved['attempts'] + 1
 reserved = cjson.encode(reserved)
 redis.call('zadd', KEYS[2], ARGV[1], reserved)
end
return {job, reserved}

可以看到 Laravel 在取 Redis 要执行的队列的时候,同时会放一份到一个有序集合中,并使用过期时间戳作为分值。

只有当这个任务完成后,再把有序集合中这个任务移除。从这个有序集合移除队列的代码就省略,我们看一下 Laravel 如何处理执行时间大于 60 秒的队列。

也就是这段 lua 脚本执行的操作:

local val = redis.call('zrangebyscore', KEYS[1], '-inf', ARGV[1])
if(next(val) ~= nil) then
 redis.call('zremrangebyrank', KEYS[1], 0, #val - 1)
 for i = 1, #val, 100 do
  redis.call('rpush', KEYS[2], unpack(val, i, math.min(i+99, #val)))
 end
end
return true

这里 zrangebyscore 找出分值从无限小到当前时间戳的元素,也就是 60 秒之前加入到集合的任务,然后通过 zremrangebyrank 从集合移除这些元素并 rpush 到队列中。

看到这里应该就恍然大悟了。

如果一个队列 60 秒没执行完,那么进程在取队列的时候从 reserved 集合中把这些任务又重新 rpush 到队列中。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

PHP 相关文章推荐
ftp类(myftp.php)
Oct 09 PHP
一个简单的自动发送邮件系统(三)
Oct 09 PHP
PHP中通过ADO调用Access数据库的方法测试不通过
Dec 31 PHP
PHP 获取MSN好友列表的代码(2009-05-14测试通过)
Sep 09 PHP
基于PHP 面向对象之成员方法详解
May 04 PHP
一组PHP可逆加密解密算法实例代码
Jan 21 PHP
Codeigniter上传图片出现“You did not select a file to upload”错误解决办法
Jun 12 PHP
PHP数字和字符串ID互转函数(类似优酷ID)
Jun 30 PHP
Zend Framework创建自己的动作助手详解
Mar 05 PHP
php多文件打包下载的实例代码
Jul 12 PHP
Laravel中服务提供者和门面模式的入门介绍
Nov 06 PHP
PHP curl批处理及多请求并发实现方法分析
Aug 15 PHP
浅析PHP中的闭包和匿名函数
Dec 25 #PHP
thinkphp5 加载静态资源路径与常量的方法
Dec 24 #PHP
PHP读取并输出XML文件数据的简单实现方法
Dec 22 #PHP
ajax+php实现无刷新验证手机号的实例
Dec 22 #PHP
Thinkphp5行为使用方法汇总
Dec 21 #PHP
PHP二维数组实现去除重复项的方法【保留各个键值】
Dec 21 #PHP
Laravel 5.5基于内置的Auth模块实现前后台登陆详解
Dec 21 #PHP
You might like
在Windows中安装Apache2和PHP4的权威指南
2006/10/09 PHP
PHP实现上一篇下一篇的方法实例总结
2016/09/22 PHP
thinkphp5.0自定义验证规则使用方法
2017/11/16 PHP
初步认识JavaScript函数库jQuery
2015/06/18 Javascript
jQuery Easyui Datagrid实现单行的上移下移及保存移动的结果
2016/08/15 Javascript
JQuery异步提交表单与文件上传功能示例
2017/01/12 Javascript
JS跨域请求的问题解析
2018/12/03 Javascript
Vue实现table上下移动功能示例
2019/02/21 Javascript
原生js实现拖拽移动与缩放效果
2020/08/24 Javascript
selenium 反爬虫之跳过淘宝滑块验证功能的实现代码
2020/08/27 Javascript
win系统下为Python3.5安装flask-mongoengine 库
2016/12/20 Python
python 接口测试response返回数据对比的方法
2018/02/11 Python
python+splinter实现12306网站刷票并自动购票流程
2018/09/25 Python
如何用Python来搭建一个简单的推荐系统
2019/08/07 Python
python 6.7 编写printTable()函数表格打印(完整代码)
2020/03/25 Python
基于SpringBoot构造器注入循环依赖及解决方式
2020/04/26 Python
python程序需要编译吗
2020/06/19 Python
HTML4和HTML5之间除了相似以外的10个主要不同
2012/12/13 HTML / CSS
萌新的HTML5 入门指南
2020/11/06 HTML / CSS
意大利婴儿产品网上商店:Mukako
2018/10/14 全球购物
WatchShop法国:英国排名第一的独立手表零售商
2020/02/17 全球购物
RIP版本1跟版本2的区别
2013/12/30 面试题
模具毕业生推荐信
2014/02/15 职场文书
信电学院毕业生自荐书
2014/05/24 职场文书
民生工作实施方案
2014/05/31 职场文书
学校搬迁方案
2014/06/15 职场文书
小学综治宣传月活动总结
2014/07/02 职场文书
2014年城管个人工作总结
2014/12/08 职场文书
英语辞职信怎么写
2015/02/28 职场文书
优秀班主任工作总结2015
2015/05/25 职场文书
党支部半年考察意见
2015/06/01 职场文书
唐山大地震的观后感
2015/06/05 职场文书
收入证明范本
2015/06/12 职场文书
MySQL索引知识的一些小妙招总结
2021/05/10 MySQL
Python中的程序流程控制语句
2022/02/24 Python
零基础学java之带参数以及返回值的方法
2022/04/10 Java/Android