详解PHP中curl_multi并发的实现


Posted in PHP onJune 08, 2020

PHP中的curl_multi系列函数可以实现同时请求多个URL来实现并发,而不是像普通curl函数那样请求后会阻塞,直到结果返回才进行下一个请求。因此在批量请求URL时可通过curl_multi系列函数提升程序的运行效率。

curl普通请求

$startTime = microtime(true);
$chArr = [];
$optArr = [
  CURLOPT_URL => 'http://www.httpbin.org/ip',
  CURLOPT_HEADER => 0,
  CURLOPT_RETURNTRANSFER => 1,
];
$result = [];

//创建多个curl资源并执行
for ($i=0; $i<10; $i++) {
  $chArr[$i] = curl_init();
  curl_setopt_array($chArr[$i], $optArr);
  $result[$i] = curl_exec($chArr[$i]);
  curl_close($chArr[$i]);
}

$endTime = microtime(true);
echo sprintf("use time: %.3f s".PHP_EOL, $endTime - $startTime);

use time: 6.080 s

curl_multi并发请求

$startTime = microtime(true);
$chArr = [];
$optArr = [
  CURLOPT_URL => 'http://www.httpbin.org/ip',
  CURLOPT_HEADER => 0,
  CURLOPT_RETURNTRANSFER => 1,
];
$result = [];

//创建多个curl资源
for ($i=0; $i<10; $i++) {
  $chArr[$i] = curl_init();
  curl_setopt_array($chArr[$i], $optArr);
}
//创建批处理curl句柄
$mh = curl_multi_init();
//将单个curl句柄添加到批处理curl句柄中
foreach ($chArr as $ch) {
  curl_multi_add_handle($mh, $ch);
}
//判断操作是否仍在执行的标识的引用
$active = null;
/**
 * 本次循环第一次处理 $mh 批处理中的 $ch 句柄,并将 $mh 批处理的执行状态写入 $active,
 * 当状态值等于 CURLM_CALL_MULTI_PERFORM 时,表明数据还在写入或读取中,执行循环,
 * 当第一次 $ch 句柄的数据写入或读取成功后,状态值变为 CURLM_OK ,跳出本次循环,进入下面的大循环中。
 */
do {
  //处理在批处理栈中的每一个句柄
  $mrc = curl_multi_exec($mh, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
/**
 * 上面这段代码中,是可以直接使用 $active > 0 来作为 while 的条件,如下:
 * do {
 *  $mrc = curl_multi_exec($mh, $active);
 * } while ($active > 0);
 * 此时如果整个批处理句柄没有全部执行完毕时,系统会不停的执行 curl_multi_exec 函数,从而导致系统CPU占用会很高,
 * 因此一般不采用这种方案,可以通过 curl_multi_select 函数来达到没有需要读取的程序就阻塞住的目的。
 */

/**
 * $active 为 true 时,即 $mh 批处理之中还有 $ch 句柄等待处理,
 * $mrc == CURLM_OK,即上一次 $ch 句柄的读取或写入已经执行完毕。
 */
while ($active && $mrc == CURLM_OK) {
  /** 
   * 程序进入阻塞状态,直到批处理中有活动连接(即 $mh 批处理中还有可执行的 $ch 句柄),
   * 这样执行的好处是 $mh 批处理中的 $ch 句柄会在读取或写入数据结束后($mrc == CURLM_OK)进入阻塞阶段,
   * 而不会在整个 $mh 批处理执行时不停地执行 curl_multi_exec 函数,白白浪费CPU资源。
   */
   if (curl_multi_select($mh) != -1) {
    //程序退出阻塞状态继续执行需要处理的 $ch 句柄
    do {
      $mrc = curl_multi_exec($mh, $active);
    } while ($mrc == CURLM_CALL_MULTI_PERFORM);
  }
}

foreach ($chArr as $i=>$ch) {
  //获取某个curl句柄的返回值
  $result[$i] = curl_multi_getcontent($ch);
  //移除批处理句柄中的某个句柄资源
  curl_multi_remove_handle($mh, $ch);
}
//关闭一组curl句柄
curl_multi_close($mh);
$endTime = microtime(true);
echo sprintf("use time: %.3f s".PHP_EOL, $endTime - $startTime);

use time: 0.599 s

通过对比上述程序的运行时间可以得知,使用curl_multi系列函数并发请求要比普通的curl函数依次请求效率高很多。

到此这篇关于详解PHP中curl_multi并发的实现的文章就介绍到这了,更多相关PHP curl_multi并发内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木! 

PHP 相关文章推荐
用函数读出数据表内容放入二维数组
Oct 09 PHP
PHP date函数参数详解
Nov 27 PHP
DISCUZ 分页代码
Jan 02 PHP
使用php+apc实现上传进度条且在IE7下不显示的问题解决方法
Apr 25 PHP
yii上传文件或图片实例
Apr 01 PHP
PHP获取栏目的所有子级和孙级栏目的ID号示例
Apr 01 PHP
Codeigniter通过SimpleXML将xml转换成对象的方法
Mar 19 PHP
PHP数组相加操作及与array_merge的区别浅析
Nov 26 PHP
php微信公众平台开发(四)回复功能开发
Dec 06 PHP
PHP缩略图生成和图片水印制作
Jan 07 PHP
PHP微商城开源代码实例
Mar 27 PHP
Laravel5.1 框架数据库操作DB运行原生SQL的方法分析
Jan 07 PHP
THINKPHP5.1 Config的配置与获取详解
Jun 08 #PHP
ThinkPHP5.1验证码功能实现的示例代码
Jun 08 #PHP
php框架CI(codeigniter)自动加载与自主创建对象操作实例分析
Jun 06 #PHP
CI框架简单分页类用法示例
Jun 06 #PHP
简单的php购物车代码
Jun 05 #PHP
实例化php类时传参的方法分析
Jun 05 #PHP
PHP页面静态化――纯静态与伪静态用法详解
Jun 05 #PHP
You might like
php实现斐波那契数列的简单写法
2014/07/19 PHP
彻底删除thinkphp3.1案例blog标签的方法
2014/12/05 PHP
php实现递归抓取网页类实例
2015/04/03 PHP
php通过curl添加cookie伪造登陆抓取数据的方法
2016/04/02 PHP
PHP常用函数之根据生日计算年龄功能示例
2019/10/21 PHP
JavaScript 构造函数 面相对象学习必备知识
2010/06/09 Javascript
jquery中通过过滤器获取表单元素的实现代码
2011/07/05 Javascript
jquery按回车提交数据的代码示例
2013/11/05 Javascript
使用JS取得焦点(focus)元素代码
2014/03/22 Javascript
jQuery Dialog 取消右上角删除按钮事件
2016/09/07 Javascript
Vuejs实现带样式的单文件组件新方法
2017/05/02 Javascript
JS实现仿饿了么在浏览器标签页失去焦点时网页Title改变
2017/06/01 Javascript
利用JavaScript实现栈的数据结构示例代码
2017/08/02 Javascript
jQuery实现简单的回到顶部totop功能示例
2017/10/16 jQuery
vue.js2.0 实现better-scroll的滚动效果实例详解
2018/08/13 Javascript
vuex根据不同的用户权限展示不同的路由列表功能
2019/09/20 Javascript
浅谈vue3中effect与computed的亲密关系
2019/10/10 Javascript
[03:17]史诗级大片应援2018DOTA2国际邀请赛 致敬每一位坚守遗迹的勇士
2018/07/20 DOTA
python实现基本进制转换的方法
2015/07/11 Python
让python 3支持mysqldb的解决方法
2017/02/14 Python
Python单例模式的两种实现方法
2017/08/14 Python
Python利用递归实现文件的复制方法
2018/10/27 Python
Python中按值来获取指定的键
2019/03/04 Python
python进程池实现的多进程文件夹copy器完整示例
2019/11/27 Python
详解Python3中的 input() 函数
2020/03/18 Python
Python包资源下载路径报404解决方案
2020/11/05 Python
北美最大的手工艺品零售商之一:Michaels Stores
2019/02/27 全球购物
吉列剃须刀英国官网:Gillette英国
2019/03/28 全球购物
高中美术教学反思
2014/01/19 职场文书
初二生物教学反思
2014/02/03 职场文书
《青山处处埋忠骨》教学反思
2014/04/22 职场文书
党的群众路线对照检查材料
2014/08/27 职场文书
群众路线领导干部个人对照检查材料(集锦)
2014/09/23 职场文书
通报表扬范文
2015/01/17 职场文书
检讨书怎么写
2015/01/23 职场文书
2015年财务工作总结范文
2015/03/31 职场文书