php curl的深入解析


Posted in PHP onJune 02, 2013

curl可以说是php里一个非常强大的功能,每个php程序员都应该学习并熟悉curl,使用curl前确保你的php_curl扩展已经开启。

一、curl使用
例如:我们采集深圳智联招聘上PHP招聘的第一页信息

$url='http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E6%B7%B1%E5%9C%B3&kw=php&sm=0&p=1';
//初始化
$ch = curl_init();
//设置选项,包括URL
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动输出内容
curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息
//执行curl
$output = curl_exec($ch);
//错误提示
if(curl_exec($ch) === false){
    die(curl_error($ch));
}
//释放curl句柄
curl_close($ch);
header('Content-type: text/html; charset=utf-8');
echo $output;

当然我们必须对返回的数据使用<<正则表达式>>处理,找出我们想要的那一部分,然后根据你的需要把数据填充到你网站里
//职位名称
preg_match_all('/<td class="Jobname">.*?<a\s*href="(.*?)"\starget="_blank">(.*?)<\/a>/s', $output, $title);
$title[1];//链接
$title[2];//标题
//公司名称
preg_match_all('/<td class="Companyname">.*?<a href="(.*?)"\starget="_blank">(.*?)<\/a>/s', $output, $company);
$company[1];//链接
$company[2];//名字
//工作地点
preg_match_all('/<td class="Companyaddress">\s*(.*?)\s*<\/td>/s', $output, $address);
$address[1];//地点
//发布日期
preg_match_all('/<td class="releasetime">\s*(.*?)\s*<\/td>/s', $output, $time);
$time[1];//时间
var_dump($time[1]);

二、常用功能
curl的核心是通过设置各种选项来达到各种功能,这里我们介绍几种常用的选项。
1.post数据
$post=array(
'uid'=>'test',
'pwd'=>'curl123'
);
curl_setopt($ch, CURLOPT_POST, 1);//设置为POST方式
curl_setopt($ch, CURLOPT_POSTFIELDS, http_build_query($post));//POST数据

2.cookie
$savefile=dirname(__FILE__).'save.txt';
$getfile=dirname(__FILE__).'get.txt';
//可以分开使用
curl_setopt($ch, CURLOPT_COOKIEJAR, $savefile); //保存  
curl_setopt($ch, CURLOPT_COOKIEFILE, $getfile); //读取

3.伪造IP、来路
curl_setopt($ch, CURLOPT_HTTPHEADER, array('X-FORWARDED-FOR:8.8.8.8', 'CLIENT-IP:8.8.8.8'));//构造IP  
curl_setopt($ch, CURLOPT_REFERER, "http://www.baidu.com");//构造来路 

curl_setopt选项大全,详见PHP手册:http://www.php.net/manual/zh/function.curl-setopt.php
三、多线程
官方示例
// 创建一对cURL资源
$ch1 = curl_init();
$ch2 = curl_init();
// 设置URL和相应的选项
curl_setopt($ch1, CURLOPT_URL, "http://www.example.com/");
curl_setopt($ch1, CURLOPT_HEADER, 0);
curl_setopt($ch2, CURLOPT_URL, "http://www.php.net/");
curl_setopt($ch2, CURLOPT_HEADER, 0);
// 创建批处理cURL句柄
$mh = curl_multi_init();
// 增加2个句柄
curl_multi_add_handle($mh,$ch1);
curl_multi_add_handle($mh,$ch2);
$running=null;
// 执行批处理句柄
do {
    usleep(10000);
    curl_multi_exec($mh,$running);
} while ($running > 0);
// 关闭全部句柄
curl_multi_remove_handle($mh, $ch1);
curl_multi_remove_handle($mh, $ch2);
curl_multi_close($mh);

PHP 相关文章推荐
GD输出汉字的函数的分析
Oct 09 PHP
建立文件交换功能的脚本(二)
Oct 09 PHP
如何在WIN2K下安装PHP4.04
Oct 09 PHP
用来给图片加水印的PHP类
Apr 09 PHP
PHP加速 eAccelerator配置和使用指南
Jun 05 PHP
PHP原生模板引擎 最简单的模板引擎
Apr 25 PHP
php获取网卡的MAC地址支持WIN/LINUX系统
Apr 30 PHP
destoon网站转移服务器后搜索汉字出现乱码的解决方法
Jun 21 PHP
php mysql_real_escape_string addslashes及mysql绑定参数防SQL注入攻击
Dec 23 PHP
PHP文件管理之实现网盘及压缩包的功能操作
Sep 20 PHP
对laravel in 查询的使用方法详解
Oct 09 PHP
PHP单元测试配置与使用方法详解
Dec 27 PHP
Window 7/XP 安装Apache 2.4与PHP 5.4 的过程详解
Jun 02 #PHP
web站点获取用户IP的安全方法 HTTP_X_FORWARDED_FOR检验
Jun 01 #PHP
获取用户Ip地址通用方法与常见安全隐患(HTTP_X_FORWARDED_FOR)
Jun 01 #PHP
php源代码安装常见错误与解决办法分享
May 28 #PHP
如何批量替换相对地址为绝对地址(利用bat批处理实现)
May 27 #PHP
php 深入理解strtotime函数的使用详解
May 23 #PHP
如何使用PHP计算上一个月的今天
May 23 #PHP
You might like
php输入流php://input使用示例(php发送图片流到服务器)
2013/12/25 PHP
PHP设计模式之观察者模式实例
2016/02/22 PHP
PHP二维数组去重算法
2016/12/17 PHP
jquery dialog键盘事件代码
2010/08/01 Javascript
jquery实现非叠加式的搜索框提示效果
2014/01/07 Javascript
jQuery 滑动方法slideDown向下滑动元素
2014/01/16 Javascript
jquery实现的V字形显示效果代码
2015/10/27 Javascript
基于BootStrap Metronic开发框架经验小结【二】列表分页处理和插件JSTree的使用
2016/05/12 Javascript
一道优雅面试题分析js中fn()和return fn()的区别
2016/07/05 Javascript
jQuery操作cookie
2016/08/08 Javascript
React中如何引入Angular组件详解
2018/08/09 Javascript
JavaScript文本特效实例小结【3个示例】
2018/12/22 Javascript
[06:16]第十四期-国士无双绝地翻盘之撼地神牛
2014/06/24 DOTA
Python之eval()函数危险性浅析
2014/07/03 Python
Python过滤函数filter()使用自定义函数过滤序列实例
2014/08/26 Python
Python解析xml中dom元素的方法
2015/03/12 Python
解决pycharm运行出错,代码正确结果不显示的问题
2018/11/30 Python
Python3.5基础之NumPy模块的使用图文与实例详解
2019/04/24 Python
利用anaconda作为python的依赖库管理方法
2019/08/13 Python
Python3之字节串bytes与字节数组bytearray的使用详解
2019/08/27 Python
python 3.7.4 安装 opencv的教程
2019/10/10 Python
python zip()函数使用方法解析
2019/10/31 Python
Python利用PyExecJS库执行JS函数的案例分析
2019/12/18 Python
numpy实现神经网络反向传播算法的步骤
2019/12/24 Python
Django User 模块之 AbstractUser 扩展详解
2020/03/11 Python
如何验证python安装成功
2020/07/06 Python
PyQt5-QDateEdit的简单使用操作
2020/07/12 Python
如何在VSCode下使用Jupyter的教程详解
2020/07/13 Python
解决pytorch 保存模型遇到的问题
2021/03/03 Python
瑞贝卡·明可弗包包官网:Rebecca Minkoff
2016/07/21 全球购物
英国著名的药妆网站:Escentual
2016/07/29 全球购物
欧缇丽美国官网:Caudalie美国
2016/12/31 全球购物
护理专业毕业生自我鉴定
2013/10/08 职场文书
电信营业员自我评价分享
2014/01/17 职场文书
毕业生个人自荐书
2015/03/05 职场文书
优秀乡村医生事迹材料(2016精选版)
2016/02/29 职场文书