PHP Curl多线程原理实例详解


Posted in PHP onNovember 06, 2013

给各位介绍一下Curl多线程实例与原理。不对之处请指教
相信许多人对php手册中语焉不详的curl_multi一族的函数头疼不已,它们文档少,给的例子 更是简单的让你无从借鉴,我也曾经找了许多网页,都没见一个完整的应用例子。
curl_multi_add_handle
curl_multi_close
curl_multi_exec
curl_multi_getcontent
curl_multi_info_read
curl_multi_init
curl_multi_remove_handle
curl_multi_select
一般来说,想到要用这些函数时,目的显然应该是要同时请求多个url,而不是一个一个依次请求,否则不如自己循环去调curl_exec好了。
步骤总结如下:
第一步:调用curl_multi_init
第二步:循环调用curl_multi_add_handle
这一步需要注意的是,curl_multi_add_handle的第二个参数是由curl_init而来的子handle。
第三步:持续调用curl_multi_exec
第四步:根据需要循环调用curl_multi_getcontent获取结果
第五步:调用curl_multi_remove_handle,并为每个字handle调用curl_close
第六步:调用curl_multi_close
这里有PHP手册上的例子:

<?php 
// 创建一对cURL资源 
$ch1 = curl_init(); 
$ch2 = curl_init(); // 设置URL和相应的选项 
curl_setopt($ch1, CURLOPT_URL, "https://3water.com/"); 
curl_setopt($ch1, CURLOPT_HEADER, 0); 
curl_setopt($ch2, CURLOPT_URL, "http://www.php.net/"); 
curl_setopt($ch2, CURLOPT_HEADER, 0); 
// 创建批处理cURL句柄 
$mh = curl_multi_init(); 
// 增加2个句柄 
curl_multi_add_handle($mh,$ch1); 
curl_multi_add_handle($mh,$ch2); 
$active = null; 
// 执行批处理句柄 
do { 
    $mrc = curl_multi_exec($mh, $active); 
} while ($mrc == CURLM_CALL_MULTI_PERFORM); 
while ($active && $mrc == CURLM_OK) { 
    if (curl_multi_select($mh) != -1) { 
        do { 
            $mrc = curl_multi_exec($mh, $active); 
        } while ($mrc == CURLM_CALL_MULTI_PERFORM); 
    } 
} 
// 关闭全部句柄 
curl_multi_remove_handle($mh, $ch1); 
curl_multi_remove_handle($mh, $ch2); 
curl_multi_close($mh); 
?>

整个使用过程差不多就是这样,但是,这个简单代码有个致命弱点,就是在do循环的那段,在整个url请求期间是个死循环,它会轻易导致CPU占用100%。
现在我们来改进它,这里要用到一个几乎没有任何文档的函数curl_multi_select了,虽然C的curl库对select有说明,但是,php里的接口和用法确与C中有不同。
把上面do的那段改成下面这样:
 
do { 
                        $mrc = curl_multi_exec($mh,$active); 
                 } while ($mrc == CURLM_CALL_MULTI_PERFORM); 
                while ($active and $mrc == CURLM_OK) { 
                        if (curl_multi_select($mh) != -1) { 
                                do { 
                                        $mrc = curl_multi_exec($mh, $active); 
                                 } while ($mrc == CURLM_CALL_MULTI_PERFORM); 
                         } 
                 }

因为$active要等全部url数据接受完毕才变成false,所以这里用到了curl_multi_exec的返回值判断是否还有数据,当有数据的时候就不停调用curl_multi_exec,暂时没有数据就进入select阶段,新数据一来就可以被唤醒继续执行。这里的好处就是CPU的无谓消耗没有了。
另外:还有一些细节的地方可能有时候要遇到:
控制每一个请求的超时时间,在curl_multi_add_handle之前通过curl_setopt去做:
curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);
判断是否超时了或者其他错误,在curl_multi_getcontent之前用:curl_error($conn[$i]);

本类的特点:
运行非常稳定。
设置一个并发就会始终以这个并发数进行工作,即使通过回调函数添加任务也不影响。
CPU占用极低,绝大部分CPU消耗在用户的回调函数上。
内存利用率高,任务数量较多(15W个任务占用内存会超过256M)可以使用回调函数添加任务,个数自定。
能够最大限度的占用带宽。
链式任务,比如一个任务需要从多个不同的地址采集数据,可以通过回调一气呵成。
能够对CURL错误进行多次尝试,次数自定(大并发一开始容易产生CURL错误,网络状况或对方服务器稳定性也有可能产生CURL错误)。
回调函数相当灵活,可以多种类型任务同时进行(比如下载文件,抓取网页,分析404可以在一个PHP进程中同时进行)。
可以非常容易的定制任务类型,比如检查404,获取redirect的最后url等。
可以设置缓存,挑战产品节操。
不足:
不能充分利用多核CPU(可以开多个进程解决,需要自己处理任务分割等逻辑)。
最大并发500(或512?),经过测试是CURL 内部限制,超过最大并发会导致总是返回失败。
目前没有断点续传功能。
目前任务是原子性的,不能对一个大文件分为几部分分别开线程下载。

PHP 相关文章推荐
php的控制语句
Oct 09 PHP
MySQL数据库转移,access,sql server 转 MySQL 的图文教程
Sep 02 PHP
php面向对象全攻略 (十) final static const关键字的使用
Sep 30 PHP
ajax实现无刷新分页(php)
Jul 18 PHP
php5.3 不支持 session_register() 此函数已启用的解决方法
Nov 12 PHP
php中simplexml_load_string使用实例分享
Feb 13 PHP
php绘制一个矩形的方法
Jan 24 PHP
PHP.vs.JAVA
Apr 29 PHP
PHP正则表达式过滤html标签属性(DEMO)
May 04 PHP
php redis实现文章发布系统(用户投票系统)
Mar 04 PHP
PHP实现ASCII码与字符串相互转换的方法
Apr 29 PHP
PHP使用HTML5 FileApi实现Ajax上传文件功能示例
Jul 01 PHP
php二维数组用键名分组相加实例函数
Nov 06 #PHP
php不用正则验证真假身份证
Nov 06 #PHP
php 中文字符串首字母的获取函数分享
Nov 04 #PHP
PHP图片上传代码
Nov 04 #PHP
PHP CURL获取cookies模拟登录的方法
Nov 04 #PHP
php Session存储到Redis的方法
Nov 04 #PHP
在PHP中使用redis
Nov 04 #PHP
You might like
最令PHP初学者们头痛的十四个问题
2007/01/15 PHP
php feof用来识别文件末尾字符的方法
2010/08/01 PHP
PHP求最大子序列和的算法实现
2011/06/24 PHP
php文件操作实例代码
2012/05/10 PHP
编写PHP脚本使WordPress的主题支持Widget侧边栏
2015/12/14 PHP
yii2分页之实现跳转到具体某页的实例代码
2016/06/02 PHP
ecshop适应在PHP7的修改方法解决报错的实现
2016/11/01 PHP
php in_array() 检查数组中是否存在某个值详解
2016/11/23 PHP
详解php用static方法的原因
2018/09/12 PHP
javascript实现div浮动在网页最顶上并带关闭按钮效果实例
2013/08/13 Javascript
jquery和ajax的关系详细介绍
2013/11/29 Javascript
微信中一些常用的js方法汇总
2015/03/12 Javascript
简述JavaScript对传统文档对象模型的支持
2015/06/16 Javascript
原生js和jQuery实现淡入淡出轮播效果
2015/12/25 Javascript
javascript实现全角转半角的方法
2016/01/23 Javascript
浅谈jquery中的each方法$.each、this.each、$.fn.each
2016/06/23 Javascript
老生常谈js中的MVC
2017/07/25 Javascript
this.$toast() 了解一下?
2019/04/18 Javascript
vue仿淘宝滑动验证码功能(样式模仿)
2019/12/10 Javascript
[01:40]2014DOTA2国际邀请赛 三冰SOLO赛后采访恶搞
2014/07/09 DOTA
[01:10]DOTA2次级职业联赛 - EP战队宣传片
2014/12/01 DOTA
Python基于回溯法子集树模板解决全排列问题示例
2017/09/07 Python
Python实现的多进程和多线程功能示例
2018/05/29 Python
Python使用get_text()方法从大段html中提取文本的实例
2019/08/27 Python
详解pandas绘制矩阵散点图(scatter_matrix)的方法
2020/04/23 Python
Python 操作SQLite数据库的示例
2020/10/16 Python
Python爬虫之Selenium实现关闭浏览器
2020/12/04 Python
用css3写出气球样式的示例代码
2017/09/11 HTML / CSS
法国购买二手电子产品网站:Asgoodasnew
2020/03/27 全球购物
《会变的花树叶》教学反思
2014/02/10 职场文书
校园演讲稿汇总
2014/05/21 职场文书
第28个世界无烟日活动总结
2015/02/10 职场文书
大学运动会加油稿
2015/07/22 职场文书
廉政党课工作报告案例
2019/06/21 职场文书
Java如何实现树的同构?
2021/06/22 Java/Android
SQL SERVER中的流程控制语句
2022/05/25 SQL Server