PHP中使用CURL模拟登录并获取数据实例


Posted in PHP onJuly 01, 2014

cURL 是一个功能强大的PHP库,使用PHP的cURL库可以简单和有效地抓取网页并采集内容,设置cookie完成模拟登录网页,curl提供了丰富的函数,开发者可以从PHP手册中获取更多关于cURL信息。本文以模拟登录开源中国(oschina)为例,和大家分享cURL的使用。
PHP的curl()在抓取网页的效率方面是比较高的,而且支持多线程,而file_get_contents()效率就要稍低些,当然,使用curl时需要开启下curl扩展。

代码实战

先来看登录部分的代码:

//模拟登录 

function login_post($url, $cookie, $post) { 

    $curl = curl_init();//初始化curl模块 

    curl_setopt($curl, CURLOPT_URL, $url);//登录提交的地址 

    curl_setopt($curl, CURLOPT_HEADER, 0);//是否显示头信息 

    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 0);//是否自动显示返回的信息 

    curl_setopt($curl, CURLOPT_COOKIEJAR, $cookie); //设置Cookie信息保存在指定的文件中 

    curl_setopt($curl, CURLOPT_POST, 1);//post方式提交 

    curl_setopt($curl, CURLOPT_POSTFIELDS, http_build_query($post));//要提交的信息 

    curl_exec($curl);//执行cURL 

    curl_close($curl);//关闭cURL资源,并且释放系统资源 

}

函数login_post()首先初始化curl_init(),然后使用curl_setopt()设置相关选项信息,包括要提交的url地址,保存的cookie文件,post的数据(用户名和密码等信息),是否返回信息等等,然后curl_exec执行curl,最后curl_close()释放资源。注意PHP自带的http_build_query()可以将数组转换成相连接的字符串。
接下来如果登录成功后,我们要获取登录成功后的页面信息。

//登录成功后获取数据 

function get_content($url, $cookie) { 

    $ch = curl_init(); 

    curl_setopt($ch, CURLOPT_URL, $url); 

    curl_setopt($ch, CURLOPT_HEADER, 0); 

    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 

    curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie); //读取cookie 

    $rs = curl_exec($ch); //执行cURL抓取页面内容 

    curl_close($ch); 

    return $rs; 

}

函数get_content()中也是先初始化curl,然后设置相关选项,执行curl,释放资源。其中我们设置CURLOPT_RETURNTRANSFER为1即自动返回信息,而CURLOPT_COOKIEFILE可以读取到登录时保存的cookie信息,最后将页面内容返回。

我们的最终目的是要获取到模拟登录后的信息,也就是只有正常登录成功后才能获取的有用信息。接下来我们以登录开源中国的移动版为例,看看如何抓取到登录成功后的信息。

//设置post的数据 

$post = array ( 

    'email' => 'oschina账户', 

    'pwd' => 'oschina密码', 

    'goto_page' => '/my', 

    'error_page' => '/login', 

    'save_login' => '1', 

    'submit' => '现在登录' 

); 

 

//登录地址 

$url = "http://m.3water.com/action/user/login"; 

//设置cookie保存路径 

$cookie = dirname(__FILE__) . '/cookie_3water.txt'; 

//登录后要获取信息的地址 

$url2 = "http://m.3water.com/my"; 

//模拟登录 

login_post($url, $cookie, $post); 

//获取登录页的信息 

$content = get_content($url2, $cookie); 

//删除cookie文件 

@ unlink($cookie); 

//匹配页面信息 

$preg = "/<td class='portrait'>(.*)<\/td>/i"; 

preg_match_all($preg, $content, $arr); 

$str = $arr[1][0]; 

//输出内容 

echo $str;

运行上述代码后,我们会看到最终获取到登录用户的头像图片。

PHP中使用CURL模拟登录并获取数据实例

使用总结:
1、初始化curl;
2、使用curl_setopt设置目标url,和其他选项;
3、curl_exec,执行curl;
4、执行后,关闭curl;
5、输出数据。

PHP 相关文章推荐
网站加速 PHP 缓冲的免费实现方法
Oct 09 PHP
PHP的构造方法,析构方法和this关键字详细介绍
Oct 22 PHP
学习php分页代码实例
Oct 24 PHP
php时间戳转换的示例
Mar 31 PHP
php中有关字符串的4个函数substr、strrchr、strstr、ereg介绍和使用例子
Apr 24 PHP
php调用淘宝开放API实现根据卖家昵称获取卖家店铺ID的方法
Jul 29 PHP
php封装一个异常的处理类
Jun 08 PHP
PHP7扩展开发之基于函数方式使用lib库的方法详解
Jan 15 PHP
PHP给源代码加密的几种方法汇总(推荐)
Feb 06 PHP
php数组遍历类与用法示例
May 24 PHP
解决PhpStorm64不能启动的问题
Jun 20 PHP
PHP isset()及empty()用法区别详解
Aug 29 PHP
2个比较经典的PHP加密解密函数分享
Jul 01 #PHP
PHP实现生成唯一编号(36进制的不重复编号)
Jul 01 #PHP
ThinkPHP使用smarty模板引擎的方法
Jul 01 #PHP
PHP使用GIFEncoder类处理gif图片实例
Jul 01 #PHP
ThinkPHP模板IF标签用法详解
Jul 01 #PHP
PHP使用GIFEncoder类生成gif动态滚动字幕
Jul 01 #PHP
PHP使用GIFEncoder类生成的GIF动态图片验证码
Jul 01 #PHP
You might like
PHP程序员面试 切忌急功近利(更需要注重以后的发展)
2010/09/01 PHP
WIFI万能钥匙密码查询接口实例
2015/09/28 PHP
PHP文件上传问题汇总(文件大小检测、大文件上传处理)
2015/12/24 PHP
php验证身份证号码正确性的函数
2016/07/20 PHP
jQuery 第二课 操作包装集元素代码
2010/03/14 Javascript
this和执行上下文实现代码
2010/07/01 Javascript
HTML颜色选择器实现代码
2010/11/23 Javascript
使用jQuery Ajax功能时需要注意的一个问题(内存溢出)
2012/05/30 Javascript
对Web开发中前端框架与前端类库的一些思考
2015/03/27 Javascript
Bootstrap modal使用及点击外部不消失的解决方法
2016/12/13 Javascript
BootStrop前端框架入门教程详解
2016/12/25 Javascript
超全面的vue.js使用总结
2017/02/12 Javascript
vue2.0全局组件之pdf详解
2017/06/26 Javascript
基于Vuex无法观察到值变化的解决方法
2018/03/01 Javascript
vue.js使用v-pre与v-html输出HTML操作示例
2018/07/07 Javascript
详解Vue中数组和对象更改后视图不刷新的问题
2018/09/21 Javascript
JavaScript创建对象方式总结【工厂模式、构造函数模式、原型模式等】
2018/12/19 Javascript
egg.js的基本使用和调用数据库的方法示例
2019/05/18 Javascript
vue循环数组改变点击文字的颜色
2019/10/14 Javascript
Vue中常用rules校验规则(实例代码)
2019/11/14 Javascript
JS寄快递地址智能解析的实现代码
2020/07/16 Javascript
通过实例解析json与jsonp原理及使用方法
2020/09/27 Javascript
在Django中编写模版节点及注册标签的方法
2015/07/20 Python
Python使用pylab库实现画线功能的方法详解
2017/06/08 Python
PyQt5每天必学之弹出消息框
2018/04/19 Python
Python更改pip镜像源的方法示例
2020/12/01 Python
PHP经典面试题
2016/09/03 面试题
销售自我评价
2013/10/22 职场文书
初一家长会邀请函
2014/01/31 职场文书
医药营销个人求职信范文
2014/02/07 职场文书
省文明单位申报材料
2014/05/08 职场文书
教师竞聘演讲稿
2014/05/16 职场文书
银行员工犯错检讨书
2014/09/16 职场文书
推普标语口号大全
2015/12/26 职场文书
Python3.8官网文档之类的基础语法阅读
2021/09/04 Python
详解Redis的三种常用的缓存读写策略步骤
2022/05/06 Redis