PHP curl 并发最佳实践代码分享


Posted in PHP onSeptember 05, 2012

本文将探讨两种具体的实现方法, 并对不同的方法做简单的性能对比.

1. 经典cURL并发机制及其存在的问题

经典的cURL实现机制在网上很容易找到, 比如参考PHP在线手册的如下实现方式:

function classic_curl($urls, $delay) { 
$queue = curl_multi_init(); 
$map = array(); foreach ($urls as $url) { 
// create cURL resources 
$ch = curl_init(); 
// set URL and other appropriate options 
curl_setopt($ch, CURLOPT_URL, $url); 
curl_setopt($ch, CURLOPT_TIMEOUT, 1); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($ch, CURLOPT_HEADER, 0); 
curl_setopt($ch, CURLOPT_NOSIGNAL, true); 
// add handle 
curl_multi_add_handle($queue, $ch); 
$map[$url] = $ch; 
} 
$active = null; 
// execute the handles 
do { 
$mrc = curl_multi_exec($queue, $active); 
} while ($mrc == CURLM_CALL_MULTI_PERFORM); 
while ($active > 0 && $mrc == CURLM_OK) { 
if (curl_multi_select($queue, 0.5) != -1) { 
do { 
$mrc = curl_multi_exec($queue, $active); 
} while ($mrc == CURLM_CALL_MULTI_PERFORM); 
} 
} 
$responses = array(); 
foreach ($map as $url=>$ch) { 
$responses[$url] = callback(curl_multi_getcontent($ch), $delay); 
curl_multi_remove_handle($queue, $ch); 
curl_close($ch); 
} 
curl_multi_close($queue); 
return $responses; 
}

首先将所有的URL压入并发队列, 然后执行并发过程, 等待所有请求接收完之后进行数据的解析等后续处理. 在实际的处理过程中, 受网络传输的影响, 部分URL的内容会优先于其他URL返回, 但是经典cURL并发必须等待最慢的那个URL返回之后才开始处理, 等待也就意味着CPU的空闲和浪费. 如果URL队列很短, 这种空闲和浪费还处在可接受的范围, 但如果队列很长, 这种等待和浪费将变得不可接受.

2. 改进的Rolling cURL并发方式

仔细分析不难发现经典cURL并发还存在优化的空间, 优化的方式时当某个URL请求完毕之后尽可能快的去处理它, 边处理边等待其他的URL返回, 而不是等待那个最慢的接口返回之后才开始处理等工作, 从而避免CPU的空闲和浪费. 闲话不多说, 下面贴上具体的实现:

function rolling_curl($urls, $delay) { 
$queue = curl_multi_init(); 
$map = array(); foreach ($urls as $url) { 
$ch = curl_init(); 
curl_setopt($ch, CURLOPT_URL, $url); 
curl_setopt($ch, CURLOPT_TIMEOUT, 1); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($ch, CURLOPT_HEADER, 0); 
curl_setopt($ch, CURLOPT_NOSIGNAL, true); 
curl_multi_add_handle($queue, $ch); 
$map[(string) $ch] = $url; 
} 
$responses = array(); 
do { 
while (($code = curl_multi_exec($queue, $active)) == CURLM_CALL_MULTI_PERFORM) ; 
if ($code != CURLM_OK) { break; } 
// a request was just completed -- find out which one 
while ($done = curl_multi_info_read($queue)) { 
// get the info and content returned on the request 
$info = curl_getinfo($done['handle']); 
$error = curl_error($done['handle']); 
$results = callback(curl_multi_getcontent($done['handle']), $delay); 
$responses[$map[(string) $done['handle']]] = compact('info', 'error', 'results'); 
// remove the curl handle that just completed 
curl_multi_remove_handle($queue, $done['handle']); 
curl_close($done['handle']); 
} 
// Block for data in / output; error handling is done by curl_multi_exec 
if ($active > 0) { 
curl_multi_select($queue, 0.5); 
} 
} while ($active); 
curl_multi_close($queue); 
return $responses; 
}

3. 两种并发实现的性能对比

改进前后的性能对比试验在LINUX主机上进行, 测试时使用的并发队列如下:

http://item.taobao.com/item.htm?id=14392877692
http://item.taobao.com/item.htm?id=16231676302
http://item.taobao.com/item.htm?id=17037160462
http://item.taobao.com/item.htm?id=5522416710
http://item.taobao.com/item.htm?id=16551116403
http://item.taobao.com/item.htm?id=14088310973

简要说明下实验设计的原则和性能测试结果的格式: 为保证结果的可靠, 每组实验重复20次, 在单次实验中, 给定相同的接口URL集合, 分别测量Classic(指经典的并发机制)和Rolling(指改进后的并发机制)两种并发机制的耗时(秒为单位), 耗时短者胜出(Winner), 并计算节省的时间(Excellence, 秒为单位)以及性能提升比例(Excel. %). 为了尽量贴近真实的请求而又保持实验的简单, 在对返回结果的处理上只是做了简单的正则表达式匹配, 而没有进行其他复杂的操作. 另外, 为了确定结果处理回调对性能对比测试结果的影响, 可以使用usleep模拟现实中比较负责的数据处理逻辑(如提取, 分词, 写入文件或数据库等).

性能测试中用到的回调函数为:

function callback($data, $delay) { 
preg_match_all('/<h3>(.+)<\/h3>/iU', $data, $matches); 
usleep($delay); 
return compact('data', 'matches'); 
}

数据处理回调无延迟时: Rolling Curl略优, 但性能提升效果不明显.
数据处理回调延迟5毫秒: Rolling Curl完胜, 性能提升40%左右.
通过上面的性能对比, 在处理URL队列并发的应用场景中Rolling cURL应该是更加的选择, 并发量非常大(1000+)时, 可以控制并发队列的最大长度, 比如20, 每当1个URL返回并处理完毕之后立即加入1个尚未请求的URL到队列中, 这样写出来的代码会更加健壮, 不至于并发数太大而卡死或崩溃. 详细的实现请参考: http://code.google.com/p/rolling-curl/
PHP 相关文章推荐
BBS(php &amp; mysql)完整版(五)
Oct 09 PHP
php读取xml实例代码
Jan 28 PHP
PHPCMS的使用小结
Sep 20 PHP
QQ登录 PHP OAuth示例代码
Jul 20 PHP
php实现图片缩放功能类
Dec 18 PHP
php使用curl检测网页是否被百度收录的示例分享
Jan 31 PHP
PHP把数字转成人民币大写的函数分享
Jun 30 PHP
php构造函数的继承方法
Feb 09 PHP
php数组转成json格式的方法
Mar 09 PHP
PHP实现在线阅读PDF文件的方法
Jun 17 PHP
PHP实现打包zip并下载功能
Jun 12 PHP
Laravel框架自定义验证过程实例分析
Feb 01 PHP
PHP输出数组中重名的元素的几种处理方法
Sep 05 #PHP
PHP中使用crypt()实现用户身份验证的代码
Sep 05 #PHP
通过缓存数据库结果提高PHP性能的原理介绍
Sep 05 #PHP
PHP中使用foreach和引用导致程序BUG的问题介绍
Sep 05 #PHP
php循环语句 for()与foreach()用法区别介绍
Sep 05 #PHP
PHP手机号码归属地查询代码(API接口/mysql)
Sep 04 #PHP
PHP获取用户的浏览器与操作系统信息的代码
Sep 04 #PHP
You might like
php计划任务之ignore_user_abort函数实现方法
2015/01/08 PHP
Yii2实现多域名跨域同步登录退出
2017/02/04 PHP
thinkphp5.1 框架导入/导出excel文件操作示例
2020/05/25 PHP
PHP数组访问常用方法解析
2020/09/05 PHP
JAVASCRIPT对象及属性
2007/02/13 Javascript
基于jquery实现全屏滚动效果
2015/11/26 Javascript
JS模拟简易滚动条效果代码(附demo源码)
2016/04/05 Javascript
Javascript基础知识盲点总结之函数
2016/05/15 Javascript
JQuery 设置checkbox值二次无效的解决方法
2016/07/22 Javascript
深入讲解xhr(XMLHttpRequest)/jsonp请求之abort
2017/07/26 Javascript
vue-resouce设置请求头的三种方法
2017/09/12 Javascript
js获取文件里面的所有文件名(实例)
2017/10/17 Javascript
JS生成随机打乱数组的方法示例
2017/12/23 Javascript
你应该了解的JavaScript Array.map()五种用途小结
2018/11/14 Javascript
JavaScript页面倒计时功能完整示例
2019/05/15 Javascript
解读Python编程中的命名空间与作用域
2015/10/16 Python
python得到电脑的开机时间方法
2018/10/15 Python
Python UnboundLocalError和NameError错误根源案例解析
2018/10/31 Python
Pycharm 设置默认头的图文教程
2019/01/17 Python
Python使用Shelve保存对象方法总结
2019/01/28 Python
11个Python3字典内置方法大全与示例汇总
2019/05/13 Python
Python OpenCV读取显示视频的方法示例
2020/02/20 Python
python如何用matplotlib创建三维图表
2021/01/26 Python
收集的7个CSS3代码生成工具
2010/04/17 HTML / CSS
详解css3使用transform出现字体模糊的解决办法
2020/10/16 HTML / CSS
印度领先的在线时尚商店:Koovs
2016/08/28 全球购物
受外贸欢迎的美国主机:BlueHost
2017/05/16 全球购物
什么是动态端口(Dynamic Ports)?动态端口的范围是多少?
2014/12/12 面试题
J2EE中的容器都包括哪些
2013/08/21 面试题
运动会宣传口号
2014/06/09 职场文书
计划生育标语
2014/06/23 职场文书
小学课外阅读总结
2014/07/09 职场文书
文艺节目主持词
2015/07/06 职场文书
《作风建设永远在路上》心得体会
2016/01/21 职场文书
2016年小学端午节活动总结
2016/04/01 职场文书
Tomcat 与 maven 的安装与使用教程
2022/06/16 Servers