PHP7生产环境队列Beanstalkd用法详解


Posted in PHP onMay 19, 2020

应用场景

为什么要用呢,有什么好处?这应该放在最开头说,一件东西你只有了解它是干什么的,适合干什么,才能更好的与自己的项目相结合,用到哪里学到哪里,学了不用等于不会,我们平时就应该多考虑一些这样的问题:自己做个什么项目功能能跟 xx 技术相结合呢?这个 xx 技术放在这种业务场景下行不行呢?而不是 “学了这个 xx 技术能干嘛呢,公司现在也没有用这个的呀,学了也没用啊”,带着这样心情去学习 xx 技术,肯定很痛苦。

队列大家都知道是将一些耗时的操作先不去做,先埋点,再异步去处理,这样对一些发邮件发短信之类的耗时操作,用户是感觉不到的,因为埋点结束,操作也就结束了,消费队列都是在服务器上做的。主要应用在短信或邮件通知,访问第三方接口订阅消息,商城的一些秒杀活动,都可以结合队列来完成。

Beanstalkd 介绍

Beanstalkd 是一个高性能,轻量级的分布式内存队列,C 代码,典型的类 Memcached 设计,协议和使用方式都是同样的风格,所以使用过 memcached 的用户会觉得 Beanstalkd 似曾相识。

beanstalkd 的最初设计意图是在高并发的网络请求下,通过异步执行耗时较多的请求,及时返回结果,减少请求的响应延迟。

Ubuntu 安装

sudo apt-get install beanstalkd

配置文件

vim /etc/default/beanstalkd

查看状态

service beanstalkd status
# 命令回显 #
root@:/www/server/php/72/etc# service beanstalkd status
● beanstalkd.service - Simple, fast work queue
  Loaded: loaded (/lib/systemd/system/beanstalkd.service; enabled; vendor preset: enabled)
  Active: active (running) since Tue 2018-10-16 10:42:28 CST; 6 days ago
   Docs: man:beanstalkd(1)
 Main PID: 7033 (beanstalkd)
  Tasks: 1 (limit: 4634)
  CGroup: /system.slice/beanstalkd.service
      └─7033 /usr/bin/beanstalkd -l 0.0.0.0 -p 11300 -b /var/lib/beanstalkd
Oct 16 10:42:28 ip-10-93-2-137 systemd[1]: Started Simple, fast work queue.

配置连通性 + 持久化

ip 用 0.0.0.0 允许所有连接,靠配置安全组或防火墙去约束连接,放开 -b 参数 (默认没有持久化),内存的队列消息可以落地到硬盘 binlog 实现持久化,断电可重新读取队列消息。

vim /etc/default/beanstalkd
BEANSTALKD_LISTEN_ADDR=0.0.0.0
BEANSTALKD_LISTEN_PORT=11300
BEANSTALKD_EXTRA="-b /var/lib/beanstalkd"

beanstalkd 任务状态

状态 注释
delayed 延迟状态
ready 准备好状态
reserved 消费者把任务读出来,处理时
buried 预留状态
delete 删除状态

管理工具

亲测了很多网上能找到的 beanstalkd 工具,这两款是我最中意的了,一个命令行,一个 web 的。

命令行:https://github.com/src-d/beanstool

web 界面:https://github.com/ptrofimov/beanstalk_console

编程语言客户端

PHP 客户端

https://packagist.org/packages/pda/pheanstalk

composer require pda/pheanstalk

写入 job

<?php
//创建队列消息
require_once('./vendor/autoload.php');
use Pheanstalk\Pheanstalk;
$pheanstalk = new Pheanstalk('127.0.0.1',11300);
$tubeName = 'email_list';
$jobData = [
  'email' => '123456@163.com',
  'message' => 'Hello World !!',
  'dtime' => date('Y-m-d H:i:s'),
];
$pheanstalk->useTube( $tubeName)->put( json_encode( $jobData ) );

消费 job

<?php
ini_set('default_socket_timeout', 86400*7);
ini_set( 'memory_limit', '256M' );
// 消费队列消息
require_once('./vendor/autoload.php');
use Pheanstalk\Pheanstalk;
$pheanstalk = new Pheanstalk('127.0.0.1',11300);
$tubeName = 'email_list';
while ( true )
{
  // 获取队列信息, reserve 阻塞获取
  $job = $pheanstalk->watch( $tubeName )->ignore( 'default' )->reserve();
  if ( $job !== false )
  {
    $data = $job->getData();
    /* TODO 逻辑操作 */
    /* 处理完成,删除 job */
    $pheanstalk->delete( $job );
  }
}

default_socket_timeout 这个参数是一定要加的,php 默认一般是 60s,假如您没有在代码里面设置,采用默认的话(60s),60s 之内如果没有 job 产生,脚本就会报 socket 错误,我写的是 7 天超时,您可以根据业务去调整,记住一定要配置,网上很多搜的 consumer 脚本都没有配置这个,根本不能投入生产环境使用,这是我亲自实践的结果。

关于 while true 是否死循环,很明确告诉你是死循环,但是不会一直耗性能的那样执行下去,它会在 reserve 这里阻塞不动,直到有消息产生才会往下走,所以大可放心使用,我的项目代码里面是使用了方法调用方法自身去实现循环的。

就是这样的代码,供参考:

public function watchJob()
{
  $job = $this->pheanstalk->watch( config( 'tube' ) )->ignore( 'default' )->reserve();
  if ( $job !== false )
  {
    $job_data = $job->getData();
    $this->subscribe( $job_data );
    $this->pheanstalk->delete( $job );
    /* 继续 Watch 下一个 job */
    $this->watchJob();
  }
  else
  {
    $this->log->error( 'reserve false', 'reserve false' );
  }
}

监控 beanstalkd 状态

<?php
//监控服务状态
require_once('./vendor/autoload.php');
use Pheanstalk\Pheanstalk;
$pheanstalk = new Pheanstalk('127.0.0.1',11300);
$isAlive = $pheanstalk->getConnection()->isServiceListening();
var_dump( $isAlive );

可以配合 email 做一个报警邮件,脚本每分钟去执行,判断状态是 false,就给管理员发送邮件报警。

一些相关命令

查看 beanstalkd 服务内存占用

top -u beanstalkd

后台运行 consumer 脚本

nohup php googlehome_subscribe.php &

查看 consumer 脚本运行时间

ps -A -opid,stime,etime,args | grep consumer.php

手工重启 consumer 脚本

ps auxf|grep 'googlehome_subscribe.php'|grep -v grep|awk '{print $2}'|xargs kill -9 
nohup php googlehome_subscribe.php &

一些总结

php 要把错误日志打开,方便收集 consumer 脚本 crash 的 log,脚本跑出一些致命的 error 一定要及时修复,因为一旦有错就会挂掉,这会影响你脚本的可用性,后期稳定之后可以上 supervisor 这种进程管理程序来管控脚本生命周期。

一些网络请求操作,一定要 try catch 到所有错误,一旦没有 catch 到,脚本就崩。我用的是 Guzzle 去做的网络请求,下面是我 catch 的一些错误,代码片段供参考。

try
{
  /* TODO: 逻辑操作 */
}
catch ( ClientException $e )
{
  $results['mid']  = $this->mid;
  $results['code']  = $e->getResponse()->getStatusCode();
  $results['reason'] = $e->getResponse()->getReasonPhrase();
  $this->log->error( 'properties-changed ClientException', $results );
}
catch ( ServerException $e )
{
  $results['mid']  = $this->mid;
  $results['code']  = $e->getResponse()->getStatusCode();
  $results['reason'] = $e->getResponse()->getReasonPhrase();
  $this->log->error( 'properties-changed ServerException', $results );
}
catch ( ConnectException $e )
{
  $results['mid'] = $this->mid;
  $this->log->error( 'properties-changed ConnectException', $results );
}

job 消费之后一定要删除掉,如果长时间不删除,php 客户端会有 false 返回,是因为有 DEADLINE_SOON 这个超时错误产生,所以处理完任务,一定要记得删除,这一点跟 kafka 不一样,beanstalkd 需要开发者自己去删除 job。

以上就是PHP7生产环境队列Beanstalkd用法详解的详细内容,更多关于PHP7中Beanstalkd正确用法的资料请关注三水点靠木其它相关文章!

PHP 相关文章推荐
php设计模式 Visitor 访问者模式
Jun 28 PHP
php中使用addslashes函数报错问题的解决方法
Feb 06 PHP
如何设置mysql允许外网访问
Jun 04 PHP
PHP 获取文件权限函数介绍
Jul 11 PHP
PHP实现的交通银行网银在线支付接口ECSHOP插件和使用例子
May 10 PHP
PHP读取配置文件类实例(可读取ini,yaml,xml等)
Jul 28 PHP
PHP YII框架开发小技巧之模型(models)中rules自定义验证规则
Nov 16 PHP
学习php设计模式 php实现合成模式(composite)
Dec 08 PHP
一个简单安全的PHP验证码类 附调用方法
Jun 24 PHP
Json_decode 解析json字符串为NULL的解决方法(必看)
Feb 17 PHP
php批量删除操作代码分享
Feb 26 PHP
详解PHP神奇又有用的Trait
Mar 25 PHP
PHP项目多语言配置平台实现过程解析
May 18 #PHP
Yii 框架使用Forms操作详解
May 18 #PHP
thinkphp 框架数据库切换实现方法分析
May 18 #PHP
PHP接口类(interface)的定义、特点和应用示例
May 18 #PHP
php + ajax 实现的写入数据库操作简单示例
May 16 #PHP
PHP date_default_timezone_set()设置时区操作实例分析
May 16 #PHP
Yii框架应用组件用法实例分析
May 15 #PHP
You might like
晶体管单管来复再生式收音机
2021/03/02 无线电
德生1994机评
2021/03/02 无线电
PHP编程开发怎么提高编程效率 提高PHP编程技术
2015/11/09 PHP
php断点续传之文件分割合并详解
2016/12/13 PHP
php常用日期时间函数实例小结
2019/07/04 PHP
php写app用的框架整理
2019/09/29 PHP
laravel 时间格式转时间戳的例子
2019/10/11 PHP
DOM精简教程
2006/10/03 Javascript
JavaScript 操作键盘的Enter事件(键盘任何事件),兼容多浏览器
2010/10/11 Javascript
循环 vs 递归浅谈
2013/02/28 Javascript
根据身份证号自动输出相关信息(籍贯,出身日期,性别)
2013/11/15 Javascript
推荐25个超炫的jQuery网格插件
2014/11/28 Javascript
JavaScript知识点总结(十六)之Javascript闭包(Closure)代码详解
2016/05/31 Javascript
解析浏览器端的AJAX缓存机制
2016/06/21 Javascript
jquery实现input框获取焦点的方法
2017/02/06 Javascript
Mui使用jquery并且使用点击跳转新窗口的实例
2017/08/19 jQuery
基于百度地图api清除指定覆盖物(Overlay)的方法
2018/01/26 Javascript
vue-cli初始化项目中使用less的方法
2018/08/09 Javascript
vue做移动端适配最佳解决方案(亲测有效)
2018/09/04 Javascript
JS与SQL方式随机生成高强度密码示例
2018/12/29 Javascript
用Vue编写抽象组件的方法
2019/05/06 Javascript
Vue实现push数组并删除的例子
2019/11/01 Javascript
Element图表初始大小及窗口自适应实现
2020/07/10 Javascript
vue setInterval 定时器失效的解决方式
2020/07/30 Javascript
[52:03]DOTA2-DPC中国联赛 正赛 Ehome vs iG BO3 第三场 1月31日
2021/03/11 DOTA
python中的函数用法入门教程
2014/09/02 Python
对numpy中数组元素的统一赋值实例
2018/04/04 Python
详解Python3之数据指纹MD5校验与对比
2019/06/11 Python
将keras的h5模型转换为tensorflow的pb模型操作
2020/05/25 Python
Python读写csv文件流程及异常解决
2020/10/20 Python
Python-split()函数实例用法讲解
2020/12/18 Python
Pycharm 解决自动格式化冲突的设置操作
2021/01/15 Python
css3实例教程 一款纯css3实现的环形导航菜单
2014/10/20 HTML / CSS
html5 canvas-2.用canvas制作一个猜字母的小游戏
2013/01/07 HTML / CSS
学籍证明模板
2015/06/18 职场文书
2019幼儿教师求职信(3篇)
2019/09/20 职场文书