PHP Curl多线程原理实例详解


Posted in PHP onNovember 06, 2013

给各位介绍一下Curl多线程实例与原理。不对之处请指教
相信许多人对php手册中语焉不详的curl_multi一族的函数头疼不已,它们文档少,给的例子 更是简单的让你无从借鉴,我也曾经找了许多网页,都没见一个完整的应用例子。
curl_multi_add_handle
curl_multi_close
curl_multi_exec
curl_multi_getcontent
curl_multi_info_read
curl_multi_init
curl_multi_remove_handle
curl_multi_select
一般来说,想到要用这些函数时,目的显然应该是要同时请求多个url,而不是一个一个依次请求,否则不如自己循环去调curl_exec好了。
步骤总结如下:
第一步:调用curl_multi_init
第二步:循环调用curl_multi_add_handle
这一步需要注意的是,curl_multi_add_handle的第二个参数是由curl_init而来的子handle。
第三步:持续调用curl_multi_exec
第四步:根据需要循环调用curl_multi_getcontent获取结果
第五步:调用curl_multi_remove_handle,并为每个字handle调用curl_close
第六步:调用curl_multi_close
这里有PHP手册上的例子:

<?php 
// 创建一对cURL资源 
$ch1 = curl_init(); 
$ch2 = curl_init(); // 设置URL和相应的选项 
curl_setopt($ch1, CURLOPT_URL, "https://3water.com/"); 
curl_setopt($ch1, CURLOPT_HEADER, 0); 
curl_setopt($ch2, CURLOPT_URL, "http://www.php.net/"); 
curl_setopt($ch2, CURLOPT_HEADER, 0); 
// 创建批处理cURL句柄 
$mh = curl_multi_init(); 
// 增加2个句柄 
curl_multi_add_handle($mh,$ch1); 
curl_multi_add_handle($mh,$ch2); 
$active = null; 
// 执行批处理句柄 
do { 
    $mrc = curl_multi_exec($mh, $active); 
} while ($mrc == CURLM_CALL_MULTI_PERFORM); 
while ($active && $mrc == CURLM_OK) { 
    if (curl_multi_select($mh) != -1) { 
        do { 
            $mrc = curl_multi_exec($mh, $active); 
        } while ($mrc == CURLM_CALL_MULTI_PERFORM); 
    } 
} 
// 关闭全部句柄 
curl_multi_remove_handle($mh, $ch1); 
curl_multi_remove_handle($mh, $ch2); 
curl_multi_close($mh); 
?>

整个使用过程差不多就是这样,但是,这个简单代码有个致命弱点,就是在do循环的那段,在整个url请求期间是个死循环,它会轻易导致CPU占用100%。
现在我们来改进它,这里要用到一个几乎没有任何文档的函数curl_multi_select了,虽然C的curl库对select有说明,但是,php里的接口和用法确与C中有不同。
把上面do的那段改成下面这样:
 
do { 
                        $mrc = curl_multi_exec($mh,$active); 
                 } while ($mrc == CURLM_CALL_MULTI_PERFORM); 
                while ($active and $mrc == CURLM_OK) { 
                        if (curl_multi_select($mh) != -1) { 
                                do { 
                                        $mrc = curl_multi_exec($mh, $active); 
                                 } while ($mrc == CURLM_CALL_MULTI_PERFORM); 
                         } 
                 }

因为$active要等全部url数据接受完毕才变成false,所以这里用到了curl_multi_exec的返回值判断是否还有数据,当有数据的时候就不停调用curl_multi_exec,暂时没有数据就进入select阶段,新数据一来就可以被唤醒继续执行。这里的好处就是CPU的无谓消耗没有了。
另外:还有一些细节的地方可能有时候要遇到:
控制每一个请求的超时时间,在curl_multi_add_handle之前通过curl_setopt去做:
curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);
判断是否超时了或者其他错误,在curl_multi_getcontent之前用:curl_error($conn[$i]);

本类的特点:
运行非常稳定。
设置一个并发就会始终以这个并发数进行工作,即使通过回调函数添加任务也不影响。
CPU占用极低,绝大部分CPU消耗在用户的回调函数上。
内存利用率高,任务数量较多(15W个任务占用内存会超过256M)可以使用回调函数添加任务,个数自定。
能够最大限度的占用带宽。
链式任务,比如一个任务需要从多个不同的地址采集数据,可以通过回调一气呵成。
能够对CURL错误进行多次尝试,次数自定(大并发一开始容易产生CURL错误,网络状况或对方服务器稳定性也有可能产生CURL错误)。
回调函数相当灵活,可以多种类型任务同时进行(比如下载文件,抓取网页,分析404可以在一个PHP进程中同时进行)。
可以非常容易的定制任务类型,比如检查404,获取redirect的最后url等。
可以设置缓存,挑战产品节操。
不足:
不能充分利用多核CPU(可以开多个进程解决,需要自己处理任务分割等逻辑)。
最大并发500(或512?),经过测试是CURL 内部限制,超过最大并发会导致总是返回失败。
目前没有断点续传功能。
目前任务是原子性的,不能对一个大文件分为几部分分别开线程下载。

PHP 相关文章推荐
win7下memCache的安装过程(具体操作步骤)
Jun 28 PHP
PHP开发框架Laravel数据库操作方法总结
Sep 03 PHP
thinkphp常见路径用法分析
Dec 02 PHP
PHP生成唯一订单号的方法汇总
Apr 16 PHP
PHP使用flock实现文件加锁的方法
Jul 01 PHP
给PHP开发者的编程指南 第一部分降低复杂程度
Jan 18 PHP
功能强大的PHP发邮件类
Aug 29 PHP
php使用正则表达式获取字符串中的URL
Dec 29 PHP
WHOOPS PHP调试库的使用
Sep 29 PHP
laravel + vue实现的数据统计绘图(今天、7天、30天数据)
Jul 31 PHP
Laravel中9个不经常用的小技巧汇总
Apr 16 PHP
Windows服务器中PHP如何安装redis扩展
Sep 27 PHP
php二维数组用键名分组相加实例函数
Nov 06 #PHP
php不用正则验证真假身份证
Nov 06 #PHP
php 中文字符串首字母的获取函数分享
Nov 04 #PHP
PHP图片上传代码
Nov 04 #PHP
PHP CURL获取cookies模拟登录的方法
Nov 04 #PHP
php Session存储到Redis的方法
Nov 04 #PHP
在PHP中使用redis
Nov 04 #PHP
You might like
php 用checkbox一次性删除多条记录的方法
2010/02/23 PHP
php在线代理转向代码
2012/05/05 PHP
将时间以距今多久的形式表示,PHP,js双版本
2012/09/25 PHP
Apache下禁止php文件被直接访问的解决方案
2013/04/25 PHP
PHP中redis的用法深入解析
2014/02/20 PHP
php面向对象中的魔术方法中文说明
2014/03/04 PHP
PHP中模拟处理HTTP PUT请求的例子
2014/07/22 PHP
php猜单词游戏
2015/09/29 PHP
PHP实现基于栈的后缀表达式求值功能
2017/11/10 PHP
return false,对阻止事件默认动作的一些测试代码
2010/11/17 Javascript
jQuery实现鼠标经过图片变亮其他变暗效果
2015/05/08 Javascript
Jquery实现顶部弹出框特效
2015/08/08 Javascript
微信小程序 toast 详解及实例代码
2016/11/09 Javascript
JS常用算法实现代码
2016/11/14 Javascript
vue iview组件表格 render函数的使用方法详解
2018/03/15 Javascript
React Native基础入门之初步使用Flexbox布局
2018/07/02 Javascript
微信小程序画布圆形进度条显示效果
2020/11/17 Javascript
vue+iview动态渲染表格详解
2019/03/19 Javascript
vue两组件间值传递 $router.push实现方法
2019/05/15 Javascript
vue-cli脚手架打包静态资源请求出错的原因与解决
2019/06/06 Javascript
基于Express框架使用POST传递Form数据
2019/08/10 Javascript
ES6 async、await的基本使用方法示例
2020/06/06 Javascript
[03:12]TI9战队档案 - Virtus Pro
2019/08/20 DOTA
Python 抓取动态网页内容方案详解
2014/12/25 Python
python logging 日志轮转文件不删除问题的解决方法
2016/08/02 Python
详解python多线程、锁、event事件机制的简单使用
2018/04/27 Python
python re库的正则表达式入门学习教程
2019/03/08 Python
如何通过Python实现RabbitMQ延迟队列
2020/11/28 Python
法务专员岗位职责
2014/01/02 职场文书
犯错检讨书
2014/02/21 职场文书
广告创意求职信
2014/03/17 职场文书
安全宣传标语口号
2014/06/06 职场文书
部门活动策划方案
2014/08/16 职场文书
面试感谢信范文
2015/01/22 职场文书
考研经验交流会策划书
2015/11/02 职场文书
Go语言入门exec的基本使用
2022/05/20 Golang