PHP的cURL库功能简介 抓取网页、POST数据及其他


Posted in PHP onApril 07, 2011

无论是你想从从一个链接上取部分数据,或是取一个XML文件并把其导入数据库,那怕就是简单的获取网页内容,反应釜cURL 是一个功能强大的PHP库。本文主要讲述如果使用这个PHP库。

启用 cURL 设置

首先,我们得先要确定我们的PHP是否开启了这个库,你可以通过使用php_info()函数来得到这一信息。

<?php 
phpinfo(); 
?>

如果你可以在网页上看到下面的输出,那么表示cURL库已被开启。

如果你看到的话,那么你需要设置你的PHP并开启这个库。如果你是在Windows平台下,那么非常简单,你需要改一改你的php.ini文件的设置,找到php_curl.dll,并取消前面的分号注释就行了。如下所示:
//取消下在的注释
extension=php_curl.dll

如果你是在Linux下面,那么,google排名你需要重新编译你的PHP了,编辑时,你需要打开编译参数——在configure命令上加上“?with-curl” 参数。

一个小示例

如果一切就绪,下面是一个小例程:

<?php 
// 初始化一个 cURL 对象 
$curl = curl_init(); 
// 设置你需要抓取的URL 
curl_setopt($curl, CURLOPT_URL, 'http://3water.com'); 
// 设置header 
curl_setopt($curl, CURLOPT_HEADER, 1); 
// 设置cURL 参数,要求结果保存到字符串中还是输出到屏幕上。 
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); 
// 运行cURL,请求网页 
$data = curl_exec($curl); 
// 关闭URL请求 
curl_close($curl); 
// 显示获得的数据 
var_dump($data);

如何POST数据

上面是抓取网页的代码,下面则是向某个网页POST数据。假设我们有一个处理表单的网址http://www.example.com/sendSMS.php,其可以接受两个表单域,一个是电话号码,一个是短信内容。

<?php 
$phoneNumber = '13912345678'; 
$message = 'This message was generated by curl and php'; 
$curlPost = 'pNUMBER=' . urlencode($phoneNumber) . '&MESSAGE=' . urlencode($message) . '&SUBMIT=Send'; 
$ch = curl_init();chain link fencing 
curl_setopt($ch, CURLOPT_URL, 'http://www.example.com/sendSMS.php'); 
curl_setopt($ch, CURLOPT_HEADER, 1); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($ch, CURLOPT_POST, 1); 
curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost); 
$data = curl_exec(); 
curl_close($ch); 
?>

从上面的程序我们可以看到,使用CURLOPT_POST设置HTTP协议的POST方法,而不是GET方法,然后以CURLOPT_POSTFIELDS设置POST的数据。

关于代理服务器

下面是一个如何使用代理服务器的示例。请注意其中高亮的代码,代码很简单,我就不用多说了。

<?php 
$ch = curl_init(); 
curl_setopt($ch, CURLOPT_URL, 'http://www.example.com'); 
curl_setopt($ch, CURLOPT_HEADER, 1); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1); 
curl_setopt($ch, CURLOPT_PROXY, 'fakeproxy.com:1080'); 
curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'user:password'); 
$data = curl_exec(); 
curl_close($ch); 
?>


关于SSL和Cookie

关于SSL也就是HTTPS协议,煤气发生炉你只需要把CURLOPT_URL连接中的http://变成https://就可以了。当然,还有一个参数叫CURLOPT_SSL_VERIFYHOST可以设置为验证站点。

关于Cookie,你需要了解下面三个参数:

CURLOPT_COOKIE,在当面的会话中设置一个cookie

CURLOPT_COOKIEJAR,当会话结束的时候保存一个Cookie

CURLOPT_COOKIEFILE,Cookie的文件。

HTTP服务器认证

最后,我们来看一看HTTP服务器认证的情况。

<?php 
$ch = curl_init(); 
curl_setopt($ch, CURLOPT_URL, 'http://www.example.com'); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_BASIC); 
curl_setopt(CURLOPT_USERPWD, '[username]:[password]') 
$data = curl_exec(); 
curl_close($ch); 
?>

关于其它更多的内容,请参看相关的cURL手册。
PHP 相关文章推荐
PHP初学入门
Nov 19 PHP
PHP操作文件方法问答
Mar 16 PHP
php FPDF类库应用实现代码
Mar 20 PHP
PHP 木马攻击防御技巧
Jun 13 PHP
用Zend Encode编写开发PHP程序
Feb 21 PHP
如何利用php array_multisort函数 对数据库结果进行复杂排序
Jun 08 PHP
php读取excel文件示例分享(更新修改excel)
Feb 27 PHP
php 表单提交大量数据发生丢失的解决方法
Mar 03 PHP
PHP curl伪造IP地址和header信息代码实例
Apr 27 PHP
CodeIgniter钩子用法实例详解
Jan 20 PHP
PHP进程通信基础之信号
Feb 19 PHP
Yii2设置默认控制器的两种方法
May 19 PHP
php curl 登录163邮箱并抓取邮箱好友列表的代码(经测试)
Apr 07 #PHP
The specified CGI application misbehaved by not returning a complete set of HTTP headers
Mar 31 #PHP
PHP stream_context_create()作用和用法分析
Mar 29 #PHP
php中突破基于HTTP_REFERER的防盗链措施(stream_context_create)
Mar 29 #PHP
PHP 5.3 下载时 VC9、VC6、Thread Safe、Non Thread Safe的区别分析
Mar 28 #PHP
php中关于普通表单多文件上传的处理方法
Mar 25 #PHP
PHP删除特定数组内容并且重建数组索引的方法.
Mar 25 #PHP
You might like
php4与php5的区别小结(配置异同)
2011/12/20 PHP
PHP的异常处理类Exception的使用及说明
2012/06/13 PHP
PHP中怎样保持SESSION不过期 原理及方案介绍
2013/08/08 PHP
php+ajax实现无刷新数据分页的办法
2015/11/02 PHP
php微信高级接口群发 多客服
2016/06/23 PHP
PHP面向对象继承用法详解(优化与减少代码重复)
2016/12/02 PHP
JS 事件绑定函数代码
2010/04/28 Javascript
jquery垂直公告滚动实现代码
2013/12/08 Javascript
一个简单的JavaScript Map实例(分享)
2016/08/03 Javascript
10分钟掌握XML、JSON及其解析
2020/12/06 Javascript
深入理解javascript的getTime()方法
2017/02/16 Javascript
Bootstrap常用组件学习(整理)
2017/03/24 Javascript
vue用递归组件写树形控件的实例代码
2018/07/19 Javascript
浅谈Vue数据响应
2018/11/05 Javascript
详解javascript函数写法大全
2019/03/25 Javascript
javascript创建元素和删除元素实例小结
2019/06/19 Javascript
jquery将json转为数据字典的实例代码
2019/10/11 jQuery
[42:27]DOTA2上海特级锦标赛主赛事日 - 3 败者组第三轮#2Fnatic VS OG第三局
2016/03/05 DOTA
[03:48]DOTA2完美大师赛主赛事第二日精彩集锦
2017/11/24 DOTA
python实现中文分词FMM算法实例
2015/07/10 Python
python3.6编写的单元测试示例
2019/08/17 Python
python实现对列表中的元素进行倒序打印
2019/11/23 Python
利用PyQt5+Matplotlib 绘制静态/动态图的实现代码
2020/07/13 Python
使用css3实现超炫的loading加载动画效果
2014/05/07 HTML / CSS
详解HTML5 录音的踩坑之旅
2017/12/26 HTML / CSS
德国隐形眼镜店:LuckyLens
2018/07/29 全球购物
.NET里面什么时候需要调用垃圾回收
2015/06/01 面试题
四年级数学教学反思
2014/02/02 职场文书
大学生怎样写好自荐信
2014/02/25 职场文书
汇源肾宝广告词
2014/03/20 职场文书
管理标语大全
2014/06/24 职场文书
小学生田径运动会广播稿
2014/09/11 职场文书
开展党的群众路线教育实践活动个人对照检查材料
2014/11/05 职场文书
股东协议书范本2016
2016/03/21 职场文书
SQL Server查询某个字段在哪些表中存在
2022/03/03 SQL Server
一次SQL查询优化原理分析(900W+数据从17s到300ms)
2022/06/10 SQL Server