CURL的学习和应用(附多线程实现)


Posted in PHP onJune 03, 2013

curl安装:

windows下面的安装
:修改php.ini文件的设置,找到php_curl.dll
//取消下在的注释extension=php_curl.dll
linux下面安装:

# wget http://curl.haxx.se/download/curl-7.17.1.tar.gz
# tar zxvf curl-7.17.1.tar.gz  //解压
#cd curl-7.17.1
# ./configure ?prefix=/usr/local/curl
# make
# make install

这是安装php之前安装的方法.
***************************phpinf查看是否加载成功!
使用curl的POST数据飞信接口
用curl 写了飞信接口吧,网上有很多,这里只是做个测试

$username = 13800138000;
$password = 123456;
$sendto = 13912345678;
$message = "测试一个试试看!";
$curlPost = 'username='.urlencode($username).'&password='.urlencode($password).'&sendto='.urlencode($sendto).'&message='.urlencode($message).'';
$ch = curl_init();//初始化curl
curl_setopt($ch,CURLOPT_URL,'http://sms.api.bz/fetion.php');//抓取指定网页
curl_setopt($ch, CURLOPT_HEADER, 0);//设置header
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//要求结果为字符串且输出到屏幕上
curl_setopt($ch, CURLOPT_POST, 1);//post提交方式
curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost);
$data = curl_exec($ch);//运行curl
curl_close($ch);
print_r($data);//输出结果

返回的结果是:短信已提交到发送队列!
飞信接口的地址是http://sms.api.bz/
飞信接口模式:
http://sms.api.bz/fetion.php?username=您的移动飞信登录手机号
&password=您的移动飞信登录密码
&sendto=接收短信的飞信好友手机号
&message=短信内容
格式:http://sms.api.bz/fetion.php?username=13800138000&password=123456&sendto=13912345678&message=短信内容
注意要保持utf-8格式的,这点我犯错了

总结一下使用curl方法:

初始化curl

使用curl_setopt设置目标url,和其他选项,这些选项方法详细参考:http://cn2.php.net/manual/zh/ref.curl.php

curl_exec,执行curl

执行后,关闭curl
最后一步就是输出
一个最要的curl函数:curl_getinfo
curl_getinfo ( resource $ch [, int $opt = 0 ] )

<?php
/*curl实例
*/
$curl = curl_init();
// 设置你需要抓取的URL
curl_setopt($curl, CURLOPT_URL, 'http://www.baidu.com');
// 设置header
curl_setopt($curl, CURLOPT_HEADER, 0);
// 设置cURL 参数,要求结果保存到字符串中还是输出到屏幕上。
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
// 运行cURL,请求网页
$data = curl_exec($curl);
if($data === false){
 echo curl_error($curl);exit;
}
$info = curl_getinfo($curl);
// 关闭URL请求
curl_close($curl);
// 显示获得的数据
var_dump($info);
var_dump($data);

可以返回:

URLINFO_EFFECTIVE_URL ? 最后一个有效的URL地址
CURLINFO_HTTP_CODE ? 最后一个收到的HTTP代码
CURLINFO_FILETIME ? 远程获取文档的时间,如果无法获取,则返回值为“-1”
CURLINFO_TOTAL_TIME ? 最后一次传输所消耗的时间
CURLINFO_NAMELOOKUP_TIME ? 名称解析所消耗的时间
CURLINFO_CONNECT_TIME ? 建立连接所消耗的时间
CURLINFO_PRETRANSFER_TIME ? 从建立连接到准备传输所使用的时间
CURLINFO_STARTTRANSFER_TIME ? 从建立连接到传输开始所使用的时间
CURLINFO_REDIRECT_TIME ? 在事务传输开始前重定向所使用的时间
CURLINFO_SIZE_UPLOAD ? 上传数据量的总值
CURLINFO_SIZE_DOWNLOAD ? 下载数据量的总值
CURLINFO_SPEED_DOWNLOAD ? 平均下载速度
CURLINFO_SPEED_UPLOAD ? 平均上传速度
CURLINFO_HEADER_SIZE ? header部分的大小
CURLINFO_HEADER_OUT ? 发送请求的字符串
CURLINFO_REQUEST_SIZE ? 在HTTP请求中有问题的请求的大小
CURLINFO_SSL_VERIFYRESULT ? 通过设置CURLOPT_SSL_VERIFYPEER返回的SSL证书验证请求的结果
CURLINFO_CONTENT_LENGTH_DOWNLOAD ? 从Content-Length: field中读取的下载内容长度
CURLINFO_CONTENT_LENGTH_UPLOAD ? 上传内容大小的说明
CURLINFO_CONTENT_TYPE ? 下载内容的Content-Type:值,NULL表示服务器没有发送有效的Content-Type: header   

使用curl实现多线程

curl一般用来抓取网页,第二种就是get或者post数据,第三种应用就是实现PHP的多线程任务
下面来实现多线程的

<?php
/*
curl 多线程抓取
*/
 /** 
     * curl 多线程 
     *  
     * @param array $array 并行网址 
     * @param int $timeout 超时时间
     * @return array 
     */ 
 function Curl_http($array,$timeout){
  $res = array();
  $mh = curl_multi_init();//创建多个curl语柄
 $startime = getmicrotime();
  foreach($array as $k=>$url){
   $conn[$k]=curl_init($url);        curl_setopt($conn[$k], CURLOPT_TIMEOUT, $timeout);//设置超时时间
        curl_setopt($conn[$k], CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; MSIE 5.01; Windows NT 5.0)');
        curl_setopt($conn[$k], CURLOPT_MAXREDIRS, 7);//HTTp定向级别
        curl_setopt($conn[$k], CURLOPT_HEADER, 0);//这里不要header,加块效率
        curl_setopt($conn[$k], CURLOPT_FOLLOWLOCATION, 1); // 302 redirect
        curl_setopt($conn[$k],CURLOPT_RETURNTRANSFER,1);
        curl_multi_add_handle ($mh,$conn[$k]);
  }
  //防止死循环耗死cpu 这段是根据网上的写法
  do {
   $mrc = curl_multi_exec($mh,$active);//当无数据,active=true
  } while ($mrc == CURLM_CALL_MULTI_PERFORM);//当正在接受数据时
  while ($active and $mrc == CURLM_OK) {//当无数据时或请求暂停时,active=true
   if (curl_multi_select($mh) != -1) {
    do {
     $mrc = curl_multi_exec($mh, $active);
    } while ($mrc == CURLM_CALL_MULTI_PERFORM);
   }
  }
  foreach ($array as $k => $url) {
     curl_error($conn[$k]);
       $res[$k]=curl_multi_getcontent($conn[$k]);//获得返回信息
       $header[$k]=curl_getinfo($conn[$k]);//返回头信息
       curl_close($conn[$k]);//关闭语柄
       curl_multi_remove_handle($mh  , $conn[$k]);   //释放资源  
  }
  curl_multi_close($mh);
  $endtime = getmicrotime();
  $diff_time = $endtime - $startime;
  return array('diff_time'=>$diff_time,
      'return'=>$res,
     'header'=>$header  
     );
 }
 //计算当前时间
 function getmicrotime() {
     list($usec, $sec) = explode(" ",microtime());
     return ((float)$usec + (float)$sec);
 }
 //测试一下,curl 三个网址
 $array = array(
    "http://www.weibo.com/",
    "http://www.renren.com/",
    "http://www.qq.com/"
    );
 $data = Curl_http($array,'10');//调用
 var_dump($data);//输出
?>

关于do while的那段解释:

因为$active要等全部url数据接受完毕才变成false,所以这里用到了curl_multi_exec的返回值判断是否还有数据,
当有数 据的时候就不停调用curl_multi_exec,暂时没有数据就进入select阶段,新数据一来就可以被唤醒继续执行。
这里的好处就是CPU的无谓 消耗没有了。更详细的说明:http://hi.baidu.com/%D4%C2%D2%B9%C4%FD%ED%F8/blog/item/9dfcf4fbe6b84374024f563d.html
 

这个多线程的写法步骤:
第一步:调用curl_multi_init
第二步:循环调用curl_multi_add_handle
这一步需要注意的是,curl_multi_add_handle的第二个参数是由curl_init而来的子handle。
第三步:持续调用curl_multi_exec
第四步:根据需要循环调用curl_multi_getcontent获取结果
第五步:调用curl_multi_remove_handle,并为每个字handle调用curl_close
第六步:调用curl_multi_close
多线程的测试效果图:

CURL的学习和应用(附多线程实现)

总结:36个http请求,从执行的是时间顺序上来看,三个网站的ip交叉,说明是同时并发的!
—————————————————————————
linux命令下的curl
几种常见的使用方式:
下载作用:
直接下载 相当于wget
curl -o 1.jpg http://cgi2.tky.3web.ne.jp/~zzh/screen1.JPG
批量下载screen1.JPG?screen10.JPG
curl -O http://cgi2.tky.3web.ne.jp/~zzh/screen[1-10].JPG
断点下载
curl -c -O http://cgi2.tky.3wb.ne.jp/~zzh/screen1.JPG

反向代理功能
curl -x 123.45.67.89:1080 -o page.html http://www.yahoo.com
显示头文件
curl -I www.sina.com

PHP 相关文章推荐
用PHP的ob_start();控制您的浏览器cache!
Feb 14 PHP
PHP 抓取网页图片并且另存为的实现代码
Mar 24 PHP
php 实现进制转换(二进制、八进制、十六进制)互相转换实现代码
Oct 22 PHP
centos 5.6 升级php到5.3的方法
May 14 PHP
使用PHP实现二分查找算法代码分享
Jun 24 PHP
基于PHP的简单采集数据入库程序【续篇】
Jul 30 PHP
PHP连接MSSQL时nvarchar字段长度被截断为255的解决方法
Dec 25 PHP
简单谈谈favicon
Jun 10 PHP
PHP结合jQuery实现找回密码
Jul 22 PHP
PHPMailer发送邮件
Dec 28 PHP
thinkphp整合系列之极验滑动验证码geetest功能
Jun 18 PHP
利用ajax+php实现商品价格计算
Mar 31 PHP
php魔术方法与魔术变量、内置方法与内置变量的深入分析
Jun 03 #PHP
PHP flush()与ob_flush()的区别详解
Jun 03 #PHP
PHP导出EXCEL快速开发指南--PHPEXCEL的使用详解
Jun 03 #PHP
PHP Cookie的使用教程详解
Jun 03 #PHP
PHP register_shutdown_function函数的深入解析
Jun 03 #PHP
深入PHP与浏览器缓存的分析
Jun 03 #PHP
PHP判断图片格式的七种方法小结
Jun 03 #PHP
You might like
那些年一起学习的PHP(一)
2012/03/21 PHP
Could not load type System.ServiceModel.Activation.HttpModule解决办法
2012/12/29 PHP
PHP仿博客园 个人博客(1) 数据库与界面设计
2013/07/05 PHP
php实现无限级分类查询(递归、非递归)
2016/03/10 PHP
php处理抢购类功能的高并发请求
2018/02/08 PHP
javascript下过滤数组重复值的代码
2007/09/10 Javascript
img标签中onerror用法
2009/08/13 Javascript
setTimeout与setInterval在不同浏览器下的差异
2010/01/24 Javascript
跨浏览器开发经验总结(四) 怎么写入剪贴板
2010/05/13 Javascript
jquery下json数组的操作实现代码
2010/08/09 Javascript
Jquery实现弹出层分享微博插件具备动画效果
2013/04/03 Javascript
jquery 实现二级/三级/多级联动菜单的思路及代码
2013/04/08 Javascript
jquery使用jquery.zclip插件复制对象的实例教程
2013/12/04 Javascript
a标签click和href执行顺序探讨
2014/06/23 Javascript
JavaScript中的对象与JSON
2015/07/03 Javascript
借助node实战JSONP跨域实例
2017/03/30 Javascript
nodejs前端自动化构建环境的搭建
2017/07/26 NodeJs
node文件批量重命名的方法示例
2017/10/23 Javascript
ES6 Promise对象的含义和基本用法分析
2019/06/14 Javascript
[59:08]Ti4 冒泡赛第二天 NEWBEE vs Titan 2
2014/07/15 DOTA
[48:32]2018DOTA2亚洲邀请赛 3.31 小组赛 A组 LGD vs VG
2018/04/01 DOTA
Python向日志输出中添加上下文信息
2017/05/24 Python
Python Request爬取seo.chinaz.com百度权重网站的查询结果过程解析
2019/08/13 Python
Python读取YAML文件过程详解
2019/12/30 Python
HTML5新增属性data-*和js/jquery之间的交互及注意事项
2017/08/08 HTML / CSS
美国市场上最实惠的送餐服务:Dinnerly
2018/03/18 全球购物
Derek Rose官网:英国高档睡衣、家居服和内衣品牌
2020/01/18 全球购物
交通法规咨询中心工作职责
2013/11/27 职场文书
银行优秀员工事迹
2014/02/06 职场文书
外联部演讲稿
2014/05/24 职场文书
学雷锋志愿者活动总结
2014/06/27 职场文书
中学生民族团结演讲稿
2014/08/27 职场文书
公司授权委托书格式样本
2014/10/01 职场文书
幼师辞职信怎么写
2015/02/27 职场文书
Django路由层如何获取正确的url
2021/07/15 Python
js作用域及作用域链工作引擎
2022/07/07 Javascript