PHP的cURL库功能简介 抓取网页、POST数据及其他


Posted in PHP onApril 07, 2011

无论是你想从从一个链接上取部分数据,或是取一个XML文件并把其导入数据库,那怕就是简单的获取网页内容,反应釜cURL 是一个功能强大的PHP库。本文主要讲述如果使用这个PHP库。

启用 cURL 设置

首先,我们得先要确定我们的PHP是否开启了这个库,你可以通过使用php_info()函数来得到这一信息。

<?php 
phpinfo(); 
?>

如果你可以在网页上看到下面的输出,那么表示cURL库已被开启。

如果你看到的话,那么你需要设置你的PHP并开启这个库。如果你是在Windows平台下,那么非常简单,你需要改一改你的php.ini文件的设置,找到php_curl.dll,并取消前面的分号注释就行了。如下所示:
//取消下在的注释
extension=php_curl.dll

如果你是在Linux下面,那么,google排名你需要重新编译你的PHP了,编辑时,你需要打开编译参数——在configure命令上加上“?with-curl” 参数。

一个小示例

如果一切就绪,下面是一个小例程:

<?php 
// 初始化一个 cURL 对象 
$curl = curl_init(); 
// 设置你需要抓取的URL 
curl_setopt($curl, CURLOPT_URL, 'http://3water.com'); 
// 设置header 
curl_setopt($curl, CURLOPT_HEADER, 1); 
// 设置cURL 参数,要求结果保存到字符串中还是输出到屏幕上。 
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); 
// 运行cURL,请求网页 
$data = curl_exec($curl); 
// 关闭URL请求 
curl_close($curl); 
// 显示获得的数据 
var_dump($data);

如何POST数据

上面是抓取网页的代码,下面则是向某个网页POST数据。假设我们有一个处理表单的网址http://www.example.com/sendSMS.php,其可以接受两个表单域,一个是电话号码,一个是短信内容。

<?php 
$phoneNumber = '13912345678'; 
$message = 'This message was generated by curl and php'; 
$curlPost = 'pNUMBER=' . urlencode($phoneNumber) . '&MESSAGE=' . urlencode($message) . '&SUBMIT=Send'; 
$ch = curl_init();chain link fencing 
curl_setopt($ch, CURLOPT_URL, 'http://www.example.com/sendSMS.php'); 
curl_setopt($ch, CURLOPT_HEADER, 1); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($ch, CURLOPT_POST, 1); 
curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost); 
$data = curl_exec(); 
curl_close($ch); 
?>

从上面的程序我们可以看到,使用CURLOPT_POST设置HTTP协议的POST方法,而不是GET方法,然后以CURLOPT_POSTFIELDS设置POST的数据。

关于代理服务器

下面是一个如何使用代理服务器的示例。请注意其中高亮的代码,代码很简单,我就不用多说了。

<?php 
$ch = curl_init(); 
curl_setopt($ch, CURLOPT_URL, 'http://www.example.com'); 
curl_setopt($ch, CURLOPT_HEADER, 1); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1); 
curl_setopt($ch, CURLOPT_PROXY, 'fakeproxy.com:1080'); 
curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'user:password'); 
$data = curl_exec(); 
curl_close($ch); 
?>


关于SSL和Cookie

关于SSL也就是HTTPS协议,煤气发生炉你只需要把CURLOPT_URL连接中的http://变成https://就可以了。当然,还有一个参数叫CURLOPT_SSL_VERIFYHOST可以设置为验证站点。

关于Cookie,你需要了解下面三个参数:

CURLOPT_COOKIE,在当面的会话中设置一个cookie

CURLOPT_COOKIEJAR,当会话结束的时候保存一个Cookie

CURLOPT_COOKIEFILE,Cookie的文件。

HTTP服务器认证

最后,我们来看一看HTTP服务器认证的情况。

<?php 
$ch = curl_init(); 
curl_setopt($ch, CURLOPT_URL, 'http://www.example.com'); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_BASIC); 
curl_setopt(CURLOPT_USERPWD, '[username]:[password]') 
$data = curl_exec(); 
curl_close($ch); 
?>

关于其它更多的内容,请参看相关的cURL手册。
PHP 相关文章推荐
php 计算两个时间戳相隔的时间的函数(小时)
Dec 18 PHP
php下连接ftp实现文件的上传、下载、删除文件实例代码
Jun 03 PHP
php中error与exception的区别及应用
Jul 28 PHP
9个实用的PHP代码片段分享
Jan 22 PHP
帝国CMS留言板回复后发送EMAIL通知客户
Jul 06 PHP
PHP之预定义接口详解
Jul 29 PHP
php实现可逆加密的方法
Aug 11 PHP
PHP学习笔记之php文件操作
Jun 03 PHP
java微信开发之上传下载多媒体文件
Jun 24 PHP
php中分页及SqlHelper类用法实例
Jan 12 PHP
PHP将英文数字转换为阿拉伯数字实例讲解
Jan 28 PHP
Laravel 添加多语言提示信息的方法
Sep 29 PHP
php curl 登录163邮箱并抓取邮箱好友列表的代码(经测试)
Apr 07 #PHP
The specified CGI application misbehaved by not returning a complete set of HTTP headers
Mar 31 #PHP
PHP stream_context_create()作用和用法分析
Mar 29 #PHP
php中突破基于HTTP_REFERER的防盗链措施(stream_context_create)
Mar 29 #PHP
PHP 5.3 下载时 VC9、VC6、Thread Safe、Non Thread Safe的区别分析
Mar 28 #PHP
php中关于普通表单多文件上传的处理方法
Mar 25 #PHP
PHP删除特定数组内容并且重建数组索引的方法.
Mar 25 #PHP
You might like
星际争霸 Starcraft 秘技补丁
2020/03/14 星际争霸
PHP常用函数和常见疑难问题解答
2014/03/05 PHP
php中file_get_contents与curl性能比较分析
2014/11/08 PHP
关于laravel后台模板laravel-admin select框的使用详解
2019/10/03 PHP
js精度溢出解决方案
2012/12/02 Javascript
js实现省市联动效果的简单实例
2014/02/10 Javascript
jQuery+PHP实现动态数字展示特效
2015/03/14 Javascript
JavaScript实现数字数组正序排列的方法
2015/04/06 Javascript
js实现文本框支持加减运算的方法
2015/08/19 Javascript
理解javascript中的严格模式
2016/02/01 Javascript
js内置对象处理_打印学生成绩单的简单实现
2016/09/24 Javascript
AngularJS Phonecat实例讲解
2016/11/21 Javascript
js 动态生成json对象、时时更新json对象的方法
2016/12/02 Javascript
JavaScript实现数组降维详解
2017/01/05 Javascript
LayerClose弹窗关闭刷新方法
2018/08/17 Javascript
vue cli使用融云实现聊天功能的实例代码
2019/04/19 Javascript
JavaScript实现单点登录的示例
2020/09/23 Javascript
[05:40]DOTA2荣耀之路6:Wings最后进攻
2018/05/30 DOTA
Python进阶_关于命名空间与作用域(详解)
2017/05/29 Python
TensorFlow 实战之实现卷积神经网络的实例讲解
2018/02/26 Python
python实现关键词提取的示例讲解
2018/04/28 Python
详解python tkinter教程-事件绑定
2019/03/28 Python
python打印异常信息的两种实现方式
2019/12/24 Python
Python loguru日志库之高效输出控制台日志和日志记录
2020/03/07 Python
Python3之外部文件调用Django程序操作model等文件实现方式
2020/04/07 Python
浅谈Python中re.match()和re.search()的使用及区别
2020/04/14 Python
Docker如何部署Python项目的实现详解
2020/10/26 Python
Html5+CSS3+EL表达式问题小结
2020/12/19 HTML / CSS
会计的岗位职责
2014/03/15 职场文书
煤矿安全生产标语
2014/06/06 职场文书
影视广告专业求职信
2014/09/02 职场文书
私用公车造成事故检讨书
2014/11/16 职场文书
初中生考试作弊检讨书
2014/12/14 职场文书
什么是执行力?9个故事告诉您:成功绝非偶然!
2019/07/05 职场文书
Python开发工具Pycharm的安装以及使用步骤总结
2021/06/24 Python
SpringBoot集成MongoDB实现文件上传的步骤
2022/04/18 MongoDB