PHP的cURL库功能简介 抓取网页、POST数据及其他


Posted in PHP onApril 07, 2011

无论是你想从从一个链接上取部分数据,或是取一个XML文件并把其导入数据库,那怕就是简单的获取网页内容,反应釜cURL 是一个功能强大的PHP库。本文主要讲述如果使用这个PHP库。

启用 cURL 设置

首先,我们得先要确定我们的PHP是否开启了这个库,你可以通过使用php_info()函数来得到这一信息。

<?php 
phpinfo(); 
?>

如果你可以在网页上看到下面的输出,那么表示cURL库已被开启。

如果你看到的话,那么你需要设置你的PHP并开启这个库。如果你是在Windows平台下,那么非常简单,你需要改一改你的php.ini文件的设置,找到php_curl.dll,并取消前面的分号注释就行了。如下所示:
//取消下在的注释
extension=php_curl.dll

如果你是在Linux下面,那么,google排名你需要重新编译你的PHP了,编辑时,你需要打开编译参数——在configure命令上加上“?with-curl” 参数。

一个小示例

如果一切就绪,下面是一个小例程:

<?php 
// 初始化一个 cURL 对象 
$curl = curl_init(); 
// 设置你需要抓取的URL 
curl_setopt($curl, CURLOPT_URL, 'http://3water.com'); 
// 设置header 
curl_setopt($curl, CURLOPT_HEADER, 1); 
// 设置cURL 参数,要求结果保存到字符串中还是输出到屏幕上。 
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); 
// 运行cURL,请求网页 
$data = curl_exec($curl); 
// 关闭URL请求 
curl_close($curl); 
// 显示获得的数据 
var_dump($data);

如何POST数据

上面是抓取网页的代码,下面则是向某个网页POST数据。假设我们有一个处理表单的网址http://www.example.com/sendSMS.php,其可以接受两个表单域,一个是电话号码,一个是短信内容。

<?php 
$phoneNumber = '13912345678'; 
$message = 'This message was generated by curl and php'; 
$curlPost = 'pNUMBER=' . urlencode($phoneNumber) . '&MESSAGE=' . urlencode($message) . '&SUBMIT=Send'; 
$ch = curl_init();chain link fencing 
curl_setopt($ch, CURLOPT_URL, 'http://www.example.com/sendSMS.php'); 
curl_setopt($ch, CURLOPT_HEADER, 1); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($ch, CURLOPT_POST, 1); 
curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost); 
$data = curl_exec(); 
curl_close($ch); 
?>

从上面的程序我们可以看到,使用CURLOPT_POST设置HTTP协议的POST方法,而不是GET方法,然后以CURLOPT_POSTFIELDS设置POST的数据。

关于代理服务器

下面是一个如何使用代理服务器的示例。请注意其中高亮的代码,代码很简单,我就不用多说了。

<?php 
$ch = curl_init(); 
curl_setopt($ch, CURLOPT_URL, 'http://www.example.com'); 
curl_setopt($ch, CURLOPT_HEADER, 1); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1); 
curl_setopt($ch, CURLOPT_PROXY, 'fakeproxy.com:1080'); 
curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'user:password'); 
$data = curl_exec(); 
curl_close($ch); 
?>


关于SSL和Cookie

关于SSL也就是HTTPS协议,煤气发生炉你只需要把CURLOPT_URL连接中的http://变成https://就可以了。当然,还有一个参数叫CURLOPT_SSL_VERIFYHOST可以设置为验证站点。

关于Cookie,你需要了解下面三个参数:

CURLOPT_COOKIE,在当面的会话中设置一个cookie

CURLOPT_COOKIEJAR,当会话结束的时候保存一个Cookie

CURLOPT_COOKIEFILE,Cookie的文件。

HTTP服务器认证

最后,我们来看一看HTTP服务器认证的情况。

<?php 
$ch = curl_init(); 
curl_setopt($ch, CURLOPT_URL, 'http://www.example.com'); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_BASIC); 
curl_setopt(CURLOPT_USERPWD, '[username]:[password]') 
$data = curl_exec(); 
curl_close($ch); 
?>

关于其它更多的内容,请参看相关的cURL手册。
PHP 相关文章推荐
建立文件交换功能的脚本(二)
Oct 09 PHP
PHP脚本的10个技巧(1)
Oct 09 PHP
php代码把全角数字转为半角数字
Dec 10 PHP
解析php二分法查找数组是否包含某一元素
May 23 PHP
利用curl抓取远程页面内容的示例代码
Jul 23 PHP
PHP安装memcached扩展笔记
May 28 PHP
PHP基于phpqrcode生成带LOGO图像的二维码实例
Jul 10 PHP
PHP开发Apache服务器配置
Jul 15 PHP
服务器迁移php版本不同可能诱发的问题
Dec 22 PHP
PHP实现会员账号单唯一登录的方法分析
Mar 07 PHP
thinkphp 5框架实现登陆,登出及session登陆状态检测功能示例
Oct 10 PHP
Laravel 在views中加载公共页面的实现代码
Oct 22 PHP
php curl 登录163邮箱并抓取邮箱好友列表的代码(经测试)
Apr 07 #PHP
The specified CGI application misbehaved by not returning a complete set of HTTP headers
Mar 31 #PHP
PHP stream_context_create()作用和用法分析
Mar 29 #PHP
php中突破基于HTTP_REFERER的防盗链措施(stream_context_create)
Mar 29 #PHP
PHP 5.3 下载时 VC9、VC6、Thread Safe、Non Thread Safe的区别分析
Mar 28 #PHP
php中关于普通表单多文件上传的处理方法
Mar 25 #PHP
PHP删除特定数组内容并且重建数组索引的方法.
Mar 25 #PHP
You might like
PHP Mysql编程之高级技巧
2008/08/27 PHP
PHP在获取指定目录下的目录,在获取的目录下面再创建文件,多平台
2011/08/03 PHP
zf框架的Filter过滤器使用示例
2014/03/13 PHP
ThinkPHP在新浪SAE平台的部署实例
2014/10/31 PHP
thinkphp中AJAX返回ajaxReturn()方法分析
2016/12/06 PHP
php使用goto实现自动重启swoole、reactphp、workerman服务的代码
2020/04/13 PHP
PHP设计模式之命令模式示例详解
2020/12/20 PHP
ie和firefox中img对象区别的困惑
2006/12/27 Javascript
javascript入门基础之私有变量
2010/02/23 Javascript
jQuery 工具函数学习资料
2010/04/29 Javascript
遍历jquery对象的代码分享
2011/11/02 Javascript
ASP.NET jQuery 实例6 (实现CheckBoxList成员全选或全取消)
2012/01/13 Javascript
按Enter键触发事件的jquery方法实现代码
2014/02/17 Javascript
js中的getAttribute方法使用示例
2014/08/01 Javascript
终于实现了!精彩的jquery弹幕效果
2016/07/18 Javascript
vue中子组件的methods中获取到props中的值方法
2018/08/27 Javascript
如何在Angular应用中创建包含组件方法示例
2019/03/23 Javascript
Vuex 模块化使用详解
2019/07/31 Javascript
python中的reduce内建函数使用方法指南
2014/08/31 Python
详解Django中的ifequal和ifnotequal标签使用
2015/07/16 Python
Python算法应用实战之队列详解
2017/02/04 Python
python负载均衡的简单实现方法
2018/02/04 Python
tensorflow更改变量的值实例
2018/07/30 Python
对python判断ip是否可达的实例详解
2019/01/31 Python
Pycharm如何打断点的方法步骤
2019/06/13 Python
django创建最简单HTML页面跳转方法
2019/08/16 Python
Python 读取用户指令和格式化打印实现解析
2019/09/02 Python
Python创建一个元素都为0的列表实例
2019/11/28 Python
tensorboard 可以显示graph,却不能显示scalar的解决方式
2020/02/15 Python
Maisons du Monde德国:法国家具和装饰的市场领导者
2019/07/26 全球购物
民族学专业大学生职业规划范文:清晰未来的构想
2014/09/20 职场文书
夫妻房产协议书的格式
2014/10/11 职场文书
求职简历自我评价怎么写
2015/03/10 职场文书
Vue如何实现组件间通信
2021/05/15 Vue.js
Python中的matplotlib绘制百分比堆叠柱状图,并为每一个类别设置不同的填充图案
2022/04/20 Python
MySQL 计算连续登录天数
2022/05/11 MySQL