PHP异步进程助手async-helper


Posted in PHP onFebruary 05, 2018

简介

PHP 的异步进程助手,借助于 AMQP 实现异步执行 PHP 的方法,将一些很耗时、追求高可用、需要重试机制的操作放到异步进程中去执行,将你的 HTTP 服务从繁重的业务逻辑中解脱出来。以一个较低的成本将传统 PHP 业务逻辑转换成非阻塞、高可用、可扩展的异步模式。

依赖

  • php 5.6+
  • ext-bcmath
  • ext-amqp 1.9.1+
  • ext-memcached 3.0.3+

安装

通过 composer 安装

composer require l669/async-helper

或直接下载项目源码

wget https://github.com/l669306630/async-helper/archive/master.zip

使用范例

业务逻辑:这里定义了很多等待被调用的类和方法,在你的项目中这可能是数据模型、或是一个发送邮件的类。

<?php
class SendMailHelper 
{
  /**
   * @param array $mail
   * @throws Exception
   */
  public static function request($mail)
  {
    // 在这里发送邮件,或是通过调用第三方提供的服务发送邮件
    // 发送失败的时候你抛出了异常,希望被进程捕获,并按设定的规则进行重试
  }  
}

生产者:通常是 HTTP 服务,传统的 PHP 项目或是一个命令行程序,接收到某个请求或指令后进行一系列的操作。

<?php 
use l669\AsyncHelper;
class UserController
{
  public function register()
  {
    // 假设这是一个用户注册的请求,用户提交了姓名、邮箱、验证码
    // 第一步、校验用户信息
    // 第二步、实例化异步助手,这时候会连接 AMQP
    $async_helper = new AsyncHelper([
      'host' => '127.0.0.1',
      'port' => '5672',
      'user' => 'root',
      'pass' => '123456',
      'vhost' => '/'
    ]);
    // 第三步、保存用户信息到数据库
    $mail = [
      'from' => 'service@yourdomain.com', 
      'to' => 'username@163.com', 
      'subject' => '恭喜你注册成功',
      'body' => '请点击邮件中的链接完成验证....'
    ];
    // 第四步、通过异步助手发送邮件
    $async_helper->run('\\SendMailHelper', 'request', [$mail]);
    
    // 这是同步的模式去发送邮件,如果邮件服务响应迟缓或异常,就会直接影响该请求的响应时间,甚至丢失这封重要邮件
    // SendMailHelper::request($mail);
  }
}

消费者:PHP 的异步进程,监听消息队列,执行你指定的方法。并且该消费者进程是可扩展的高可用的服务,这一切都得益于 AMQP,这是系统解耦、布局微服务的最佳方案。

consume.php

<?php
require_once('vendor/autoload.php');
require_once('SendMailHelper.php');

use l669\AsyncHelper;
use l669\CacheHelper;

$cache_helper = new CacheHelper('127.0.0.1', 11211);
while(true){
  try{
    $async_helper = new AsyncHelper([
      'host' => '127.0.0.1',
      'port' => '5672',
      'user' => 'root',
      'pass' => '123456',
      'vhost' => '/',
      'cacheHelper' => $cache_helper
    ]);
    $async_helper->consume();
  }catch(Exception $e){
    // 可以在这里记录一些日志
    sleep(2);
  }
}

# 在命令行下启动消费者进程,推荐使用 supervisor 来管理进程

php consume.php

支持事务:需要一次提交执行多个异步方法,事务可以确保完成性。

// 接着上面的示例来说,这里省略了一些重复的代码,下同
$async_helper->beginTransaction();
try{
  $async_helper->run('\\SendMailHelper', 'request', [$mail1]);
  $async_helper->run('\\SendMailHelper', 'request', [$mail2]);
  $async_helper->run('\\SendMailHelper', 'request', [$mail3]);
  $async_helper->commit();
}catch(\Exception $e){
  $async_helper->rollback();
}

阻塞式重试:当异步进程执行一个方法,方法内部抛出异常时进行重试,一些必须遵循执行顺序的业务就要采用阻塞式的重试,通过指定重试最大阻塞时长来控制。

use l669\CacheHelper;
use l669\AsyncHelper;
$async_helper = new AsyncHelper([
  'host' => '127.0.0.1',
  'port' => '5672',
  'user' => 'root',
  'pass' => '123456',
  'vhost' => '/',
  'cacheHelper' => new CacheHelper('127.0.0.1', 11211),
  'retryMode' => AsyncHelper::RETRY_MODE_REJECT, // 阻塞式重试
  'maxDuration' => 600              // 最长重试 10 分钟
]);
$send_mail_helper = new \SendMailHelper();
$mail = new \stdClass();
$mail->from = 'service@yourdomain.com';
$mail->to = 'username@163.com';
$mail->subject = '恭喜你注册成功';
$mail->body = '请点击邮件中的链接完成验证....';
$async_helper->run($send_mail_helper, 'request', [$mail]);

// 如果方法中需要抛出异常来结束程序,又不希望被异步进程重试,可以抛出以下几种错误码,进程捕获到这些异常后会放弃重试:
// l669\AsyncException::PARAMS_ERROR
// l669\AsyncException::METHOD_DOES_NOT_EXIST
// l669\AsyncException::KNOWN_ERROR

非阻塞式重试:当异步执行的方法内部抛出异常,async-helper 会将该方法重新放进队列的尾部,先执行新进入队列的方法,回头再重试刚才执行失败的方法,通过指定最大重试次数来控制。

use l669\CacheHelper;
use l669\AsyncHelper;
$async_helper = new AsyncHelper([
  'host' => '127.0.0.1',
  'port' => '5672',
  'user' => 'root',
  'pass' => '123456',
  'vhost' => 'new',
  'cacheHelper' => new CacheHelper('127.0.0.1', 11211),
  'queueName' => 'emails.vip',          // 给付费的大爷走 VIP 队列
  'retryMode' => AsyncHelper::RETRY_MODE_TTL,   // 非阻塞式重试
  'maxRetries' => 10               // 最多重试 10 次
]);
$mail = new \stdClass();
$mail->from = 'service@yourdomain.com';
$mail->to = 'username@163.com';
$mail->subject = '恭喜你注册成功';
$mail->body = '请点击邮件中的链接完成验证....';
$async_helper->run('\\SendMailHelper', 'request', [$mail]);

应用和解惑

  • 我们采用的是开源的 RabbitMQ 来为我们提供的 AMQP 服务。
  • 你的项目部署在拥有很多服务器节点的集群上,每个节点的程序都需要写日志文件,现在的问题就是要收集所有节点上面的日志到一个地方,方便我们及时发现问题或是做一些统计。所有节点都可以使用 async-helper 异步调用一个写日志的方法,而执行这个写日志的方法的进程只需要在一台机器上启动就可以了,这样所有节点的日志就都实时掌握在手里了。
  • 做过微信公众号开发的都知道,腾讯微信可以将用户的消息推送到我们的服务器,如果我们在 5s 内未及时响应,腾讯微信会重试 3 次,其实这就是消息队列的应用,使用 async-helper 可以轻松的做和这一样的事情。
  • 得益于 RabbitMQ,你可以轻松的横向扩展你的消费者进程的能力,因为 RabbitMQ 天生就支持集群部署,你可以轻松的启动多个消费者进程,或是将消费者进程分布到多台机器上。
  • 如果 RabbitMQ 服务不可用怎么办呢?部署 RabbitMQ 高可用服务是容易的,对外提供单一 IP,这个 IP 是个负载均衡,背后是 RabbitMQ 集群,负载均衡承担对后端集群节点的健康检查。
  • async-helper 能否承受高并发请求?async-helper 生产者使用的是短连接,也就说在你的 HTTP 还没有响应浏览器的时候 async-helper 就已经结束了工作,你连接 RabbitMQ 的时间是百分之百小于 HTTP 请求的时间的,换言之,只要 RabbitMQ 承受并发的能力超过你的 HTTP 服务的承受并发的能力,RabbitMQ 就永远不会崩,通过横向扩展 RabbitMQ 很容易做到的。

和传统 PHP 相比

  • 对任何 PHP 方法通过反射进行异步执行;
  • 高可用,执行方法进入消息队列,可持久化,即使服务器宕机,执行任务也不丢失;
  • 高可用,对异常可以进行不限次数和时间的重试,重试次数和时间可配置;
  • 支持对多个异步方法包含在事务中执行,支持回滚事务;
  • 方法的参数类型支持除资源类型(resource)和回调函数(callable)外的任意类型的参数;
  • 得益于 AMQP,异步方法可以承受高并发、高负载,支持集群部署、横向扩展;
  • 低延时,实测延时时间 0.016 ~ 0.021s;
  • 适用于:日常数据库操作、日志收集、金融交易、消息推送、发送邮件和短信、数据导入导出、计算大量数据生成报表;
PHP 相关文章推荐
MVC模式的PHP实现
Oct 09 PHP
PHP 实用代码收集
Jan 22 PHP
用PHP读取超大文件的实例代码
Apr 01 PHP
Linux下实现PHP多进程的方法分享
Aug 16 PHP
php实现utf-8和GB2312编码相互转换函数代码
Feb 07 PHP
使用php伪造referer的方法 利用referer防止图片盗链
Jan 20 PHP
深入浅析PHP7.0新特征(五大新特征)
Oct 29 PHP
WordPress中缩略图的使用以及相关技巧
Nov 24 PHP
Yii实现单用户博客系统文章详情页插入评论表单的方法
Dec 28 PHP
PHP数组操作简单案例分析
Oct 15 PHP
form自动提交实例讲解
Jul 10 PHP
php求斐波那契数的两种实现方式【递归与递推】
Sep 09 PHP
详解PHP中的外观模式facade pattern
Feb 05 #PHP
浅析PHP开发规范
Feb 05 #PHP
实例讲解PHP页面静态化
Feb 05 #PHP
PHP使用ActiveMQ实例
Feb 05 #PHP
详解PHP中mb_strpos的使用
Feb 04 #PHP
详解PHP文件的自动加载(autoloading)
Feb 04 #PHP
PHP实现QQ登录的开原理和实现过程
Feb 04 #PHP
You might like
新版mysql+apache+php Linux安装指南
2006/10/09 PHP
php下intval()和(int)转换使用与区别
2008/07/18 PHP
PHP开发需要注意的安全问题
2010/09/01 PHP
CI框架学习笔记(一) - 环境安装、基本术语和框架流程
2014/10/26 PHP
php经典算法集锦
2015/11/14 PHP
一个无限级XML绑定跨框架菜单(For IE)
2007/01/27 Javascript
几个常用的JavaScript字符串处理函数 - split()、join()、substring()和indexOf()
2009/06/02 Javascript
js window.onload 加载多个函数的方法
2009/11/02 Javascript
javascript Object与Function使用
2010/01/11 Javascript
jQuery实战之仿淘宝商城左侧导航效果
2011/04/12 Javascript
精心挑选的15个jQuery下拉菜单制作教程
2012/06/15 Javascript
js实现iPhone界面风格的单选框和复选框按钮实例
2015/08/18 Javascript
javascript实现动态标签云
2015/10/16 Javascript
js初始化验证实例详解
2016/11/26 Javascript
vue2.0开发实践总结之入门篇
2016/12/06 Javascript
分享一道关于闭包、bind和this的面试题
2017/02/20 Javascript
Vue动态实现评分效果
2017/05/24 Javascript
Angular2 组件交互实例详解
2017/08/24 Javascript
python获取远程图片大小和尺寸的方法
2015/03/26 Python
浅谈Python中的私有变量
2018/02/28 Python
python3 json数据格式的转换(dumps/loads的使用、dict to str/str to dict、json字符串/字典的相互转换)
2019/04/01 Python
用Python识别人脸,人种等各种信息
2019/07/15 Python
python多线程与多进程及其区别详解
2019/08/08 Python
python读取配置文件方式(ini、yaml、xml)
2020/04/09 Python
浅析python 通⽤爬⾍和聚焦爬⾍
2020/09/28 Python
PyQt5的QWebEngineView使用示例
2020/10/20 Python
日本最大的眼镜购物网站:Oh My Glasses
2016/11/13 全球购物
局部内部类是否可以访问非final变量?
2013/04/20 面试题
简述数据库的设计过程
2015/06/22 面试题
求职自荐信范文格式
2013/11/29 职场文书
汽车制造与装配专业自荐信范文
2014/01/02 职场文书
运动会获奖感言
2014/02/11 职场文书
党支部书记四风问题整改措施
2014/09/24 职场文书
庆祝国庆节标语
2014/10/09 职场文书
地道战观后感500字
2015/06/04 职场文书
工程款催款函
2015/06/24 职场文书