PHP curl 并发最佳实践代码分享


Posted in PHP onSeptember 05, 2012

本文将探讨两种具体的实现方法, 并对不同的方法做简单的性能对比.

1. 经典cURL并发机制及其存在的问题

经典的cURL实现机制在网上很容易找到, 比如参考PHP在线手册的如下实现方式:

function classic_curl($urls, $delay) { 
$queue = curl_multi_init(); 
$map = array(); foreach ($urls as $url) { 
// create cURL resources 
$ch = curl_init(); 
// set URL and other appropriate options 
curl_setopt($ch, CURLOPT_URL, $url); 
curl_setopt($ch, CURLOPT_TIMEOUT, 1); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($ch, CURLOPT_HEADER, 0); 
curl_setopt($ch, CURLOPT_NOSIGNAL, true); 
// add handle 
curl_multi_add_handle($queue, $ch); 
$map[$url] = $ch; 
} 
$active = null; 
// execute the handles 
do { 
$mrc = curl_multi_exec($queue, $active); 
} while ($mrc == CURLM_CALL_MULTI_PERFORM); 
while ($active > 0 && $mrc == CURLM_OK) { 
if (curl_multi_select($queue, 0.5) != -1) { 
do { 
$mrc = curl_multi_exec($queue, $active); 
} while ($mrc == CURLM_CALL_MULTI_PERFORM); 
} 
} 
$responses = array(); 
foreach ($map as $url=>$ch) { 
$responses[$url] = callback(curl_multi_getcontent($ch), $delay); 
curl_multi_remove_handle($queue, $ch); 
curl_close($ch); 
} 
curl_multi_close($queue); 
return $responses; 
}

首先将所有的URL压入并发队列, 然后执行并发过程, 等待所有请求接收完之后进行数据的解析等后续处理. 在实际的处理过程中, 受网络传输的影响, 部分URL的内容会优先于其他URL返回, 但是经典cURL并发必须等待最慢的那个URL返回之后才开始处理, 等待也就意味着CPU的空闲和浪费. 如果URL队列很短, 这种空闲和浪费还处在可接受的范围, 但如果队列很长, 这种等待和浪费将变得不可接受.

2. 改进的Rolling cURL并发方式

仔细分析不难发现经典cURL并发还存在优化的空间, 优化的方式时当某个URL请求完毕之后尽可能快的去处理它, 边处理边等待其他的URL返回, 而不是等待那个最慢的接口返回之后才开始处理等工作, 从而避免CPU的空闲和浪费. 闲话不多说, 下面贴上具体的实现:

function rolling_curl($urls, $delay) { 
$queue = curl_multi_init(); 
$map = array(); foreach ($urls as $url) { 
$ch = curl_init(); 
curl_setopt($ch, CURLOPT_URL, $url); 
curl_setopt($ch, CURLOPT_TIMEOUT, 1); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($ch, CURLOPT_HEADER, 0); 
curl_setopt($ch, CURLOPT_NOSIGNAL, true); 
curl_multi_add_handle($queue, $ch); 
$map[(string) $ch] = $url; 
} 
$responses = array(); 
do { 
while (($code = curl_multi_exec($queue, $active)) == CURLM_CALL_MULTI_PERFORM) ; 
if ($code != CURLM_OK) { break; } 
// a request was just completed -- find out which one 
while ($done = curl_multi_info_read($queue)) { 
// get the info and content returned on the request 
$info = curl_getinfo($done['handle']); 
$error = curl_error($done['handle']); 
$results = callback(curl_multi_getcontent($done['handle']), $delay); 
$responses[$map[(string) $done['handle']]] = compact('info', 'error', 'results'); 
// remove the curl handle that just completed 
curl_multi_remove_handle($queue, $done['handle']); 
curl_close($done['handle']); 
} 
// Block for data in / output; error handling is done by curl_multi_exec 
if ($active > 0) { 
curl_multi_select($queue, 0.5); 
} 
} while ($active); 
curl_multi_close($queue); 
return $responses; 
}

3. 两种并发实现的性能对比

改进前后的性能对比试验在LINUX主机上进行, 测试时使用的并发队列如下:

http://item.taobao.com/item.htm?id=14392877692
http://item.taobao.com/item.htm?id=16231676302
http://item.taobao.com/item.htm?id=17037160462
http://item.taobao.com/item.htm?id=5522416710
http://item.taobao.com/item.htm?id=16551116403
http://item.taobao.com/item.htm?id=14088310973

简要说明下实验设计的原则和性能测试结果的格式: 为保证结果的可靠, 每组实验重复20次, 在单次实验中, 给定相同的接口URL集合, 分别测量Classic(指经典的并发机制)和Rolling(指改进后的并发机制)两种并发机制的耗时(秒为单位), 耗时短者胜出(Winner), 并计算节省的时间(Excellence, 秒为单位)以及性能提升比例(Excel. %). 为了尽量贴近真实的请求而又保持实验的简单, 在对返回结果的处理上只是做了简单的正则表达式匹配, 而没有进行其他复杂的操作. 另外, 为了确定结果处理回调对性能对比测试结果的影响, 可以使用usleep模拟现实中比较负责的数据处理逻辑(如提取, 分词, 写入文件或数据库等).

性能测试中用到的回调函数为:

function callback($data, $delay) { 
preg_match_all('/<h3>(.+)<\/h3>/iU', $data, $matches); 
usleep($delay); 
return compact('data', 'matches'); 
}

数据处理回调无延迟时: Rolling Curl略优, 但性能提升效果不明显.
数据处理回调延迟5毫秒: Rolling Curl完胜, 性能提升40%左右.
通过上面的性能对比, 在处理URL队列并发的应用场景中Rolling cURL应该是更加的选择, 并发量非常大(1000+)时, 可以控制并发队列的最大长度, 比如20, 每当1个URL返回并处理完毕之后立即加入1个尚未请求的URL到队列中, 这样写出来的代码会更加健壮, 不至于并发数太大而卡死或崩溃. 详细的实现请参考: http://code.google.com/p/rolling-curl/
PHP 相关文章推荐
Apache设置虚拟WEB
Oct 09 PHP
一个连接两个不同MYSQL数据库的PHP程序
Oct 09 PHP
一个PHP模板,主要想体现一下思路
Dec 25 PHP
让PHP COOKIE立即生效,不用刷新就可以使用
Mar 09 PHP
ThinkPHP实例化模型的四种方法概述
Aug 22 PHP
php+mysqli数据库连接的两种方式
Jan 28 PHP
php计算给定时间之前的函数用法实例
Apr 03 PHP
php在数据库抽象层简单使用PDO的方法
Nov 03 PHP
php编程每天必学之表单验证
Mar 01 PHP
PHP中获取文件创建日期、修改日期、访问时间的方法
Nov 05 PHP
PHP 7安装调试工具Xdebug扩展的方法教程
Jun 17 PHP
laravel5.6实现数值转换
Oct 23 PHP
PHP输出数组中重名的元素的几种处理方法
Sep 05 #PHP
PHP中使用crypt()实现用户身份验证的代码
Sep 05 #PHP
通过缓存数据库结果提高PHP性能的原理介绍
Sep 05 #PHP
PHP中使用foreach和引用导致程序BUG的问题介绍
Sep 05 #PHP
php循环语句 for()与foreach()用法区别介绍
Sep 05 #PHP
PHP手机号码归属地查询代码(API接口/mysql)
Sep 04 #PHP
PHP获取用户的浏览器与操作系统信息的代码
Sep 04 #PHP
You might like
Smarty保留变量用法分析
2016/05/23 PHP
无需数据库在线投票调查php代码
2016/07/20 PHP
js 加载时自动调整图片大小
2008/05/28 Javascript
php gethostbyname获取域名ip地址函数详解
2010/01/24 Javascript
WEB 浏览器兼容 推荐收藏
2010/05/14 Javascript
动态载入/删除/更新外部 JavaScript/Css 文件的代码
2010/07/03 Javascript
jQuery EasyUI API 中文文档 - NumberSpinner数值微调器使用介绍
2011/10/21 Javascript
JS代码同步文本框内容的实例方法
2013/07/12 Javascript
js实现带有介绍的Select列表菜单实例
2015/08/18 Javascript
分享JavaScript与Java中MD5使用两个例子
2015/12/23 Javascript
jQuery实现选项联动轮播效果【附实例】
2016/04/19 Javascript
基于JS分页控件实现简单美观仿淘宝分页按钮效果
2016/11/07 Javascript
javascript常用的设计模式
2017/02/09 Javascript
jQuery Validate格式验证功能实例代码(包括重名验证)
2017/07/18 jQuery
详解Vue微信公众号开发踩坑全记录
2017/08/21 Javascript
详解利用 Vue.js 实现前后端分离的RBAC角色权限管理
2017/09/15 Javascript
详解10分钟学会vue滚动行为
2017/09/21 Javascript
VUE实现强制渲染,强制更新
2019/10/29 Javascript
js判断一个对象是数组(函数)的方法实例
2019/12/19 Javascript
原生JavaScript实现换肤
2021/02/19 Javascript
django限制匿名用户访问及重定向的方法实例
2018/02/07 Python
Python RabbitMQ消息队列实现rpc
2018/05/30 Python
python简易远程控制单线程版
2018/06/20 Python
python: 判断tuple、list、dict是否为空的方法
2018/10/22 Python
pygame游戏之旅 如何制作游戏障碍
2018/11/20 Python
Python学习笔记之集合的概念和简单使用示例
2019/08/22 Python
python rsync服务器之间文件夹同步脚本
2019/08/29 Python
为什么python比较流行
2020/06/19 Python
css3中仿放大镜效果的几种方式原理解析
2020/12/03 HTML / CSS
德国狗狗用品在线商店:Schecker
2017/03/17 全球购物
英国女性化妆品收纳和家具网站:Beautify
2019/12/07 全球购物
经理管理专业自荐信范文
2013/12/31 职场文书
网站推广策划方案
2014/06/04 职场文书
建筑施工安全生产责任书
2014/07/22 职场文书
2015年农村党员干部主题教育活动总结
2015/03/25 职场文书
nginx之内存池的实现
2022/06/28 Servers