php中的curl_multi系列函数使用例子


Posted in PHP onJuly 29, 2014

相信许多人对php手册中语焉不详的curl_multi一族的函数头疼不已,它们文档少,给的例子 更是简单的让你无从借鉴,我也曾经找了许多网页,都没见一个完整的应用例子。

  • curl_multi_add_handle
  • curl_multi_close
  • curl_multi_exec
  • curl_multi_getcontent
  • curl_multi_info_read
  • curl_multi_init
  • curl_multi_remove_handle
  • curl_multi_select

一般来说,想到要用这些函数时,目的显然应该是要同时请求多个url,而不是一个一个依次请求,否则不如自己循环去调curl_exec好了。

步骤总结如下:

第一步:调用curl_multi_init
第二步:循环调用curl_multi_add_handle
这一步需要注意的是,curl_multi_add_handle的第二个参数是由curl_init而来的子handle。
第三步:持续调用curl_multi_exec
第四步:根据需要循环调用curl_multi_getcontent获取结果
第五步:调用curl_multi_remove_handle,并为每个字handle调用curl_close
第六步:调用curl_multi_close

这里有一个网上找的简单例子,其作者称为dirty的例子,(稍后我会说明为何dirty):

/*

Here's a quick and dirty example for curl-multi from PHP, tested on PHP 5.0.0RC1 CLI / FreeBSD 5.2.1

*/
$connomains = array(

"http://www.baidu.com/",

"http://www.google.com/",

"https://3water.com/"

);

$mh = curl_multi_init();
foreach ($connomains as $i => $url) {

     $conn[$i]=curl_init($url);

      curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,1);

      curl_multi_add_handle ($mh,$conn[$i]);

}
do { $n=curl_multi_exec($mh,$active); } while ($active);
foreach ($connomains as $i => $url) {

      $res[$i]=curl_multi_getcontent($conn[$i]);

      curl_close($conn[$i]);

}
print_r($res);

整个使用过程差不多就是这样,但是,这个简单代码有个致命弱点,就是在do循环的那段,在整个url请求期间是个死循环,它会轻易导致CPU占用100%。

现在我们来改进它,这里要用到一个几乎没有任何文档的函数curl_multi_select了,虽然C的curl库对select有说明,但是,php里的接口和用法确与C中有不同。

把上面do的那段改成下面这样:

           do {

                        $mrc = curl_multi_exec($mh,$active);

                } while ($mrc == CURLM_CALL_MULTI_PERFORM);

                while ($active and $mrc == CURLM_OK) {

                        if (curl_multi_select($mh) != -1) {

                                do {

                                        $mrc = curl_multi_exec($mh, $active);

                                } while ($mrc == CURLM_CALL_MULTI_PERFORM);

                        }

                }

因为$active要等全部url数据接受完毕才变成false,所以这里用到了curl_multi_exec的返回值判断是否还有数据,当有数据的时候就不停调用curl_multi_exec,暂时没有数据就进入select阶段,新数据一来就可以被唤醒继续执行。这里的好处就是CPU的无谓消耗没有了。

另外:还有一些细节的地方可能有时候要遇到:

控制每一个请求的超时时间,在curl_multi_add_handle之前通过curl_setopt去做:

curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);

判断是否超时了或者其他错误,在curl_multi_getcontent之前用:curl_error($conn[$i]);

PHP 相关文章推荐
用PHP+MySql编写聊天室
Oct 09 PHP
PHP 在线翻译函数代码
May 07 PHP
PHP+MySQL 制作简单的留言本
Nov 02 PHP
php max_execution_time执行时间问题
Jul 17 PHP
深入PHP curl参数的详解
Jun 17 PHP
取得单条网站评论以数组形式进行输出
Jul 28 PHP
php中Y2K38的漏洞解决方法实例分析
Sep 22 PHP
PHP中怎样防止SQL注入分析
Oct 23 PHP
php中mt_rand()随机数函数用法
Nov 24 PHP
PHP常用的排序和查找算法
Aug 06 PHP
学习php设计模式 php实现策略模式(strategy)
Dec 07 PHP
使用php从身份证号中获取一系列线索(星座、生肖、生日等)
May 11 PHP
PHP使用CURL_MULTI实现多线程采集的例子
Jul 29 #PHP
PHP实现把文本中的URL转换为链接的auolink()函数分享
Jul 29 #PHP
PHP自带函数给数字或字符串自动补齐位数
Jul 29 #PHP
Win2003+apache+PHP+SqlServer2008 配置生产环境
Jul 29 #PHP
php实现读取超大文件的方法
Jul 28 #PHP
将CMYK颜色值和RGB颜色相互转换的PHP代码
Jul 28 #PHP
php Imagick获取图片RGB颜色值
Jul 28 #PHP
You might like
PHP base64+gzinflate压缩编码和解码代码
2008/10/03 PHP
thinkPHP显示不出验证码的原因与解决方法分析
2017/05/20 PHP
YII框架页面缓存操作示例
2019/04/29 PHP
php实现商城购物车的思路和源码分析
2020/07/23 PHP
CLASS_CONFUSION JS混淆 全源码
2007/12/12 Javascript
jquery ajax 检测用户注册时用户名是否存在
2009/11/03 Javascript
锋利的jQuery 要点归纳(三) jQuery中的事件和动画(上:事件篇)
2010/03/24 Javascript
CSS和JS标签style属性对照表(方便js开发的朋友)
2010/11/11 Javascript
jQuery ready函数滥用分析
2011/02/16 Javascript
JavaScript中跨域调用Flash的方法
2014/08/11 Javascript
form.submit()不能提交表单的错误原因及解决方法
2014/10/13 Javascript
jQuery实现的向下图文信息滚动效果
2015/05/03 Javascript
移除AngularJS下URL中的#字符的方法
2015/06/19 Javascript
js中substr,substring,indexOf,lastIndexOf,split,replace的用法详解
2015/11/09 Javascript
javascript 秒表计时器实现代码
2017/03/09 Javascript
yii form 表单提交之前JS在提交按钮的验证方法
2017/03/15 Javascript
JQuery 获取Dom元素的实例讲解
2017/07/08 jQuery
JS设计模式之策略模式概念与用法分析
2018/02/05 Javascript
详解微信小程序支付流程与梳理
2019/07/16 Javascript
JavaScript 反射和属性赋值实例解析
2019/10/28 Javascript
JavaScript面向对象核心知识与概念归纳整理
2020/05/09 Javascript
[01:04:29]DOTA2-DPC中国联赛 正赛 Phoenix vs XG BO3 第二场 1月31日
2021/03/11 DOTA
Python的Tornado框架实现异步非阻塞访问数据库的示例
2016/06/30 Python
Python 调用Java实例详解
2017/06/02 Python
python的exec、eval使用分析
2017/12/11 Python
tensorflow之获取tensor的shape作为max_pool的ksize实例
2020/01/04 Python
Ubuntu16安装Python3.9的实现步骤
2020/12/15 Python
P D PAOLA意大利官网:西班牙著名的珠宝首饰品牌
2019/09/24 全球购物
Linux如何命名文件--使用文件名时应注意
2012/01/22 面试题
电脑教师的教学自我评价
2013/11/26 职场文书
班级道德讲堂实施方案
2014/02/24 职场文书
聘用意向书范本
2014/04/01 职场文书
浅谈resultMap的用法及关联结果集映射
2021/06/30 Java/Android
Pycharm远程调试和MySQL数据库授权问题
2022/03/18 MySQL
分享几个简单MySQL优化小妙招
2022/03/31 MySQL
BCL经典机 SONY ICF-5900W电路分析
2022/04/24 无线电