PHP的cURL库功能简介 抓取网页、POST数据及其他


Posted in PHP onApril 07, 2011

无论是你想从从一个链接上取部分数据,或是取一个XML文件并把其导入数据库,那怕就是简单的获取网页内容,反应釜cURL 是一个功能强大的PHP库。本文主要讲述如果使用这个PHP库。

启用 cURL 设置

首先,我们得先要确定我们的PHP是否开启了这个库,你可以通过使用php_info()函数来得到这一信息。

<?php 
phpinfo(); 
?>

如果你可以在网页上看到下面的输出,那么表示cURL库已被开启。

如果你看到的话,那么你需要设置你的PHP并开启这个库。如果你是在Windows平台下,那么非常简单,你需要改一改你的php.ini文件的设置,找到php_curl.dll,并取消前面的分号注释就行了。如下所示:
//取消下在的注释
extension=php_curl.dll

如果你是在Linux下面,那么,google排名你需要重新编译你的PHP了,编辑时,你需要打开编译参数——在configure命令上加上“?with-curl” 参数。

一个小示例

如果一切就绪,下面是一个小例程:

<?php 
// 初始化一个 cURL 对象 
$curl = curl_init(); 
// 设置你需要抓取的URL 
curl_setopt($curl, CURLOPT_URL, 'http://3water.com'); 
// 设置header 
curl_setopt($curl, CURLOPT_HEADER, 1); 
// 设置cURL 参数,要求结果保存到字符串中还是输出到屏幕上。 
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); 
// 运行cURL,请求网页 
$data = curl_exec($curl); 
// 关闭URL请求 
curl_close($curl); 
// 显示获得的数据 
var_dump($data);

如何POST数据

上面是抓取网页的代码,下面则是向某个网页POST数据。假设我们有一个处理表单的网址http://www.example.com/sendSMS.php,其可以接受两个表单域,一个是电话号码,一个是短信内容。

<?php 
$phoneNumber = '13912345678'; 
$message = 'This message was generated by curl and php'; 
$curlPost = 'pNUMBER=' . urlencode($phoneNumber) . '&MESSAGE=' . urlencode($message) . '&SUBMIT=Send'; 
$ch = curl_init();chain link fencing 
curl_setopt($ch, CURLOPT_URL, 'http://www.example.com/sendSMS.php'); 
curl_setopt($ch, CURLOPT_HEADER, 1); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($ch, CURLOPT_POST, 1); 
curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost); 
$data = curl_exec(); 
curl_close($ch); 
?>

从上面的程序我们可以看到,使用CURLOPT_POST设置HTTP协议的POST方法,而不是GET方法,然后以CURLOPT_POSTFIELDS设置POST的数据。

关于代理服务器

下面是一个如何使用代理服务器的示例。请注意其中高亮的代码,代码很简单,我就不用多说了。

<?php 
$ch = curl_init(); 
curl_setopt($ch, CURLOPT_URL, 'http://www.example.com'); 
curl_setopt($ch, CURLOPT_HEADER, 1); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1); 
curl_setopt($ch, CURLOPT_PROXY, 'fakeproxy.com:1080'); 
curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'user:password'); 
$data = curl_exec(); 
curl_close($ch); 
?>


关于SSL和Cookie

关于SSL也就是HTTPS协议,煤气发生炉你只需要把CURLOPT_URL连接中的http://变成https://就可以了。当然,还有一个参数叫CURLOPT_SSL_VERIFYHOST可以设置为验证站点。

关于Cookie,你需要了解下面三个参数:

CURLOPT_COOKIE,在当面的会话中设置一个cookie

CURLOPT_COOKIEJAR,当会话结束的时候保存一个Cookie

CURLOPT_COOKIEFILE,Cookie的文件。

HTTP服务器认证

最后,我们来看一看HTTP服务器认证的情况。

<?php 
$ch = curl_init(); 
curl_setopt($ch, CURLOPT_URL, 'http://www.example.com'); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_BASIC); 
curl_setopt(CURLOPT_USERPWD, '[username]:[password]') 
$data = curl_exec(); 
curl_close($ch); 
?>

关于其它更多的内容,请参看相关的cURL手册。
PHP 相关文章推荐
PHP 裁剪图片成固定大小代码方法
Sep 09 PHP
细谈php中SQL注入攻击与XSS攻击
Jun 10 PHP
php mail to 配置详解
Jan 16 PHP
php通过文件流方式复制文件的方法
Mar 13 PHP
php实现统计网站在线人数的方法
May 12 PHP
PHP实现即时输出、实时输出内容方法
May 27 PHP
PHP pear安装配置教程
May 14 PHP
PHP yii实现model添加默认值的方法(两种方法)
Nov 10 PHP
Laravel使用scout集成elasticsearch做全文搜索的实现方法
Nov 30 PHP
php求斐波那契数的两种实现方式【递归与递推】
Sep 09 PHP
php高性能日志系统 seaslog 的安装与使用方法分析
Feb 29 PHP
一文看懂PHP进程管理器php-fpm
Jun 01 PHP
php curl 登录163邮箱并抓取邮箱好友列表的代码(经测试)
Apr 07 #PHP
The specified CGI application misbehaved by not returning a complete set of HTTP headers
Mar 31 #PHP
PHP stream_context_create()作用和用法分析
Mar 29 #PHP
php中突破基于HTTP_REFERER的防盗链措施(stream_context_create)
Mar 29 #PHP
PHP 5.3 下载时 VC9、VC6、Thread Safe、Non Thread Safe的区别分析
Mar 28 #PHP
php中关于普通表单多文件上传的处理方法
Mar 25 #PHP
PHP删除特定数组内容并且重建数组索引的方法.
Mar 25 #PHP
You might like
oracle资料库函式库
2006/10/09 PHP
php使用Cookie控制访问授权的方法
2015/01/21 PHP
详解php语言最牛掰的Laravel框架
2017/11/20 PHP
通过百度地图获取公交线路的站点坐标的js代码
2012/05/11 Javascript
javascript的解析执行顺序在各个浏览器中的不同
2014/03/17 Javascript
Bootstrap入门书籍之(三)栅格系统
2016/02/17 Javascript
Vue.js 表单校验插件
2016/08/14 Javascript
jQuery实现可展开折叠的导航效果示例
2016/09/12 Javascript
AngularJS封装指令方法详解
2016/12/12 Javascript
canvas实现图像放大镜
2017/02/06 Javascript
webpack2.0搭建前端项目的教程详解
2017/04/05 Javascript
easyui-datagrid特殊字符不能显示的处理方法
2017/04/12 Javascript
Angular中封装fancyBox(图片预览)遇到问题小结
2017/09/01 Javascript
Vue2.0用户权限控制解决方案
2017/11/29 Javascript
angular 服务随记小结
2019/05/06 Javascript
关于vue 结合原生js 解决echarts resize问题
2020/07/26 Javascript
Element Cascader 级联选择器的使用示例
2020/07/27 Javascript
如何搭建一个完整的Vue3.0+ts的项目步骤
2020/10/18 Javascript
JS如何调用WebAssembly编译出来的.wasm文件
2020/11/05 Javascript
Python数据分析之真实IP请求Pandas详解
2016/11/18 Python
python笔记:mysql、redis操作方法
2017/06/28 Python
Python使用回溯法子集树模板解决迷宫问题示例
2017/09/01 Python
python shell根据ip获取主机名代码示例
2017/11/25 Python
解析Python中的eval()、exec()及其相关函数
2017/12/20 Python
python取代netcat过程分析
2018/02/10 Python
使用python实现离散时间傅里叶变换的方法
2019/09/02 Python
Python爬取破解无线网络wifi密码过程解析
2019/09/17 Python
基于Python实现人脸自动戴口罩系统
2020/02/06 Python
python利用google翻译方法实例(翻译字幕文件)
2020/09/21 Python
Python安装第三方库攻略(pip和Anaconda)
2020/10/15 Python
青年文明号复核材料
2014/02/11 职场文书
代办委托书怎么写
2014/08/01 职场文书
关于读书的演讲稿300字
2014/08/27 职场文书
卖房协议书样本
2014/10/30 职场文书
2016年端午节红领巾广播稿
2015/12/18 职场文书
党风廉政建设心得体会
2019/05/21 职场文书