PHP中使用CURL模拟登录并获取数据实例


Posted in PHP onJuly 01, 2014

cURL 是一个功能强大的PHP库,使用PHP的cURL库可以简单和有效地抓取网页并采集内容,设置cookie完成模拟登录网页,curl提供了丰富的函数,开发者可以从PHP手册中获取更多关于cURL信息。本文以模拟登录开源中国(oschina)为例,和大家分享cURL的使用。
PHP的curl()在抓取网页的效率方面是比较高的,而且支持多线程,而file_get_contents()效率就要稍低些,当然,使用curl时需要开启下curl扩展。

代码实战

先来看登录部分的代码:

//模拟登录 

function login_post($url, $cookie, $post) { 

    $curl = curl_init();//初始化curl模块 

    curl_setopt($curl, CURLOPT_URL, $url);//登录提交的地址 

    curl_setopt($curl, CURLOPT_HEADER, 0);//是否显示头信息 

    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 0);//是否自动显示返回的信息 

    curl_setopt($curl, CURLOPT_COOKIEJAR, $cookie); //设置Cookie信息保存在指定的文件中 

    curl_setopt($curl, CURLOPT_POST, 1);//post方式提交 

    curl_setopt($curl, CURLOPT_POSTFIELDS, http_build_query($post));//要提交的信息 

    curl_exec($curl);//执行cURL 

    curl_close($curl);//关闭cURL资源,并且释放系统资源 

}

函数login_post()首先初始化curl_init(),然后使用curl_setopt()设置相关选项信息,包括要提交的url地址,保存的cookie文件,post的数据(用户名和密码等信息),是否返回信息等等,然后curl_exec执行curl,最后curl_close()释放资源。注意PHP自带的http_build_query()可以将数组转换成相连接的字符串。
接下来如果登录成功后,我们要获取登录成功后的页面信息。

//登录成功后获取数据 

function get_content($url, $cookie) { 

    $ch = curl_init(); 

    curl_setopt($ch, CURLOPT_URL, $url); 

    curl_setopt($ch, CURLOPT_HEADER, 0); 

    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 

    curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie); //读取cookie 

    $rs = curl_exec($ch); //执行cURL抓取页面内容 

    curl_close($ch); 

    return $rs; 

}

函数get_content()中也是先初始化curl,然后设置相关选项,执行curl,释放资源。其中我们设置CURLOPT_RETURNTRANSFER为1即自动返回信息,而CURLOPT_COOKIEFILE可以读取到登录时保存的cookie信息,最后将页面内容返回。

我们的最终目的是要获取到模拟登录后的信息,也就是只有正常登录成功后才能获取的有用信息。接下来我们以登录开源中国的移动版为例,看看如何抓取到登录成功后的信息。

//设置post的数据 

$post = array ( 

    'email' => 'oschina账户', 

    'pwd' => 'oschina密码', 

    'goto_page' => '/my', 

    'error_page' => '/login', 

    'save_login' => '1', 

    'submit' => '现在登录' 

); 

 

//登录地址 

$url = "http://m.3water.com/action/user/login"; 

//设置cookie保存路径 

$cookie = dirname(__FILE__) . '/cookie_3water.txt'; 

//登录后要获取信息的地址 

$url2 = "http://m.3water.com/my"; 

//模拟登录 

login_post($url, $cookie, $post); 

//获取登录页的信息 

$content = get_content($url2, $cookie); 

//删除cookie文件 

@ unlink($cookie); 

//匹配页面信息 

$preg = "/<td class='portrait'>(.*)<\/td>/i"; 

preg_match_all($preg, $content, $arr); 

$str = $arr[1][0]; 

//输出内容 

echo $str;

运行上述代码后,我们会看到最终获取到登录用户的头像图片。

PHP中使用CURL模拟登录并获取数据实例

使用总结:
1、初始化curl;
2、使用curl_setopt设置目标url,和其他选项;
3、curl_exec,执行curl;
4、执行后,关闭curl;
5、输出数据。

PHP 相关文章推荐
PHP5.0对象模型探索之抽象方法和抽象类
Sep 05 PHP
windows xp下安装pear
Dec 02 PHP
将一维或多维的数组连接成一个字符串的php代码
Aug 08 PHP
php批量上传的实现代码
Jun 09 PHP
如何使用FireFox插件FirePHP调试PHP
Jul 23 PHP
php中使用url传递数组的方法
Feb 11 PHP
Yii学习总结之数据访问对象 (DAO)
Feb 22 PHP
Laravel 5 框架入门(三)
Apr 09 PHP
CodeIgniter控制器之业务逻辑实例分析
Jan 20 PHP
PHP开发之归档格式phar文件概念与用法详解【创建,使用,解包还原提取】
Nov 17 PHP
ThinkPHP5框架实现简单的批量查询功能示例
Jun 07 PHP
php转换上传word文件为PDF的方法【基于COM组件】
Jun 10 PHP
2个比较经典的PHP加密解密函数分享
Jul 01 #PHP
PHP实现生成唯一编号(36进制的不重复编号)
Jul 01 #PHP
ThinkPHP使用smarty模板引擎的方法
Jul 01 #PHP
PHP使用GIFEncoder类处理gif图片实例
Jul 01 #PHP
ThinkPHP模板IF标签用法详解
Jul 01 #PHP
PHP使用GIFEncoder类生成gif动态滚动字幕
Jul 01 #PHP
PHP使用GIFEncoder类生成的GIF动态图片验证码
Jul 01 #PHP
You might like
一些被忽视的PHP函数(简单整理)
2010/04/30 PHP
php xml常用函数的集合(比较详细)
2013/06/06 PHP
PHP 登录完成后如何跳转上一访问页面
2014/01/14 PHP
php中call_user_func函数使用注意事项
2014/11/21 PHP
谈谈你对Zend SAPIs(Zend SAPI Internals)的理解
2015/11/10 PHP
Windows2003下php5.4安装配置教程(IIS)
2016/06/30 PHP
PHP单态模式简单用法示例
2016/11/16 PHP
PHP封装的XML简单操作类完整实例
2017/11/13 PHP
PHP使用正则表达式实现过滤非法字符串功能示例
2018/06/04 PHP
php 使用expat方式解析xml文件操作示例
2019/11/26 PHP
js模拟弹出效果代码修正版
2008/08/07 Javascript
jQuery1.6 使用方法一
2011/11/23 Javascript
jquery操作HTML5 的data-*的用法实例分享
2014/08/17 Javascript
jQuery EasyUI提交表单验证
2016/07/19 Javascript
Node+Express+MongoDB实现登录注册功能实例
2017/04/23 Javascript
Angular.js中定时器循环的3种方法总结
2017/04/27 Javascript
Vue keep-alive实践总结(推荐)
2017/08/31 Javascript
浅谈vux之x-input使用以及源码解读
2018/11/04 Javascript
vue3.0 搭建项目总结(详细步骤)
2019/05/20 Javascript
bootstrap-treeview实现多级树形菜单 后台JSON格式如何组织?
2019/07/26 Javascript
环形加载进度条封装(Vue插件版和原生js版)
2019/12/04 Javascript
Vue computed 计算属性代码实例
2020/04/22 Javascript
Python的装饰器用法学习笔记
2016/06/24 Python
python pandas实现excel转为html格式的方法
2018/10/23 Python
Python图像处理之图像的缩放、旋转与翻转实现方法示例
2019/01/04 Python
15行Python代码实现网易云热门歌单实例教程
2019/03/10 Python
python初学者,用python实现基本的学生管理系统(python3)代码实例
2019/04/10 Python
python 弧度与角度互转实例
2020/04/15 Python
django 将自带的数据库sqlite3改成mysql实例
2020/07/09 Python
详解Django ORM引发的数据库N+1性能问题
2020/10/12 Python
HTML5之WebGL 3D概述(上)—WebGL原生开发开启网页3D渲染新时代
2013/01/31 HTML / CSS
解释一下钝化(Swap out)
2016/12/26 面试题
贫困生证明范文
2015/06/16 职场文书
2015年网络舆情工作总结
2015/07/24 职场文书
超市主管竞聘书
2015/09/15 职场文书
JavaScript实现登录窗体
2021/06/22 Javascript