php curl 模拟登录并获取数据实例详解


Posted in PHP onDecember 22, 2016

PHP的curl()在抓取网页的效率方面是比较高的,而且支持多线程,而file_get_contents()效率就要稍低些,当然,使用curl时需要开启下curl扩展。

代码实战

先来看登录部分的代码:

//模拟登录 
function login_post($url, $cookie, $post) { 
  $curl = curl_init();//初始化curl模块 
  curl_setopt($curl, CURLOPT_URL, $url);//登录提交的地址 
  curl_setopt($curl, CURLOPT_HEADER, 0);//是否显示头信息 
  curl_setopt($curl, CURLOPT_RETURNTRANSFER, 0);//是否自动显示返回的信息 
  curl_setopt($curl, CURLOPT_COOKIEJAR, $cookie); //设置Cookie信息保存在指定的文件中 
  curl_setopt($curl, CURLOPT_POST, 1);//post方式提交 
  curl_setopt($curl, CURLOPT_POSTFIELDS, http_build_query($post));//要提交的信息 
  curl_exec($curl);//执行cURL 
  curl_close($curl);//关闭cURL资源,并且释放系统资源 
}

函数login_post()首先初始化curl_init(),然后使用curl_setopt()设置相关选项信息,包括要提交的url地址,保存的cookie文件,post的数据(用户名和密码等信息),是否返回信息等等,然后curl_exec执行curl,最后curl_close()释放资源。注意PHP自带的http_build_query()可以将数组转换成相连接的字符串。

接下来如果登录成功后,我们要获取登录成功后的页面信息。

//登录成功后获取数据 
function get_content($url, $cookie) { 
  $ch = curl_init(); 
  curl_setopt($ch, CURLOPT_URL, $url); 
  curl_setopt($ch, CURLOPT_HEADER, 0); 
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
  curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie); //读取cookie 
  $rs = curl_exec($ch); //执行cURL抓取页面内容 
  curl_close($ch); 
  return $rs; 
}

函数get_content()中也是先初始化curl,然后设置相关选项,执行curl,释放资源。其中我们设置CURLOPT_RETURNTRANSFER为1即自动返回信息,而CURLOPT_COOKIEFILE可以读取到登录时保存的cookie信息,最后将页面内容返回。

我们的最终目的是要获取到模拟登录后的信息,也就是只有正常登录成功后才能获取的有用信息。接下来我们以登录开源中国的移动版为例,看看如何抓取到登录成功后的信息。

//设置post的数据 
$post = array ( 
  'email' => 'oschina账户', 
  'pwd' => 'oschina密码', 
  'goto_page' => '/my', 
  'error_page' => '/login', 
  'save_login' => '1', 
  'submit' => '现在登录' 
); 
 //登录地址 $url = "http://m.oschina.net/action/user/login"; //设置cookie保存路径 $cookie = dirname(__FILE__) . '/cookie_oschina.txt'; //登录后要获取信息的地址 $url2 = "http://m.oschina.net/my"; //模拟登录 
login_post($url, $cookie, $post); //获取登录页的信息 $content = get_content($url2, $cookie); //删除cookie文件 
@ unlink($cookie); //匹配页面信息 $preg = "/<td class='portrait'>(.*)<\/td>/i"; 
preg_match_all($preg, $content, $arr); $str = $arr[1][0]; //输出内容 echo $str;

使用总结

1、初始化curl;

2、使用curl_setopt设置目标url,和其他选项;

3、curl_exec,执行curl;

4、执行后,关闭curl;

5、输出数据。

感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

PHP 相关文章推荐
BBS(php &amp; mysql)完整版(八)
Oct 09 PHP
PR值查询 | PageRank 查询
Dec 20 PHP
PHP内核介绍及扩展开发指南―基础知识
Sep 11 PHP
解析php中curl_multi的应用
Jul 17 PHP
ThinkPHP3.1新特性之G方法的使用
Jun 19 PHP
phpQuery让php处理html代码像jQuery一样方便
Jan 06 PHP
PHP中使用SimpleXML检查XML文件结构实例
Jan 07 PHP
Netbeans 8.2将支持PHP7 更精彩
Jun 13 PHP
laravel学习教程之关联模型
Jul 30 PHP
CI框架(ajax分页,全选,反选,不选,批量删除)完整代码详解
Nov 01 PHP
Zend Framework实现自定义过滤器的方法
Dec 09 PHP
数组任意位置插入元素,删除特定元素的实例
Mar 02 PHP
使用PHP连接多种数据库的实现代码(mysql,access,sqlserver,Oracle)
Dec 21 #PHP
Docker配置PHP开发环境教程
Dec 21 #PHP
PHP符合PSR编程规范的实例分享
Dec 21 #PHP
利用PHP生成CSV文件简单示例
Dec 21 #PHP
PHP实现支付宝即时到账功能
Dec 21 #PHP
简单实现PHP留言板功能
Dec 21 #PHP
PHP未登录自动跳转到登录页面
Dec 21 #PHP
You might like
用PHP制作静态网站的模板框架(三)
2006/10/09 PHP
浅析PHP原理之变量(Variables inside PHP)
2013/08/09 PHP
php数组转成json格式的方法
2015/03/09 PHP
PHP与JavaScript针对Cookie的读写、交互操作方法详解
2017/08/07 PHP
PHP基于自定义函数生成笛卡尔积的方法示例
2017/09/30 PHP
php实现记事本案例
2020/10/20 PHP
CL vs ForZe BO5 第四场 2.13
2021/03/10 DOTA
js apply/call/caller/callee/bind使用方法与区别分析
2009/10/28 Javascript
真正的JQuery.ajax传递中文参数的解决方法
2011/05/28 Javascript
根据选择不同的下拉值出现相对应的文本输入框
2013/08/01 Javascript
javascript替换已有元素replaceChild()使用介绍
2014/04/03 Javascript
Jquery自定义button按钮的几种方法
2014/06/11 Javascript
javascript对中文按照拼音排序代码
2014/08/20 Javascript
JS的location.href跳出框架打开新页面的方法
2014/09/04 Javascript
跟我学习javascript的异步脚本加载
2015/11/20 Javascript
Node.js Addons翻译(C/C++扩展)
2016/06/12 Javascript
JavaScript实现点击按钮复制指定区域文本(推荐)
2016/11/25 Javascript
使用微信内嵌H5网页解决JS倒计时失效问题
2017/01/13 Javascript
vue2.0中vue-cli实现全选、单选计算总价格的实例代码
2017/07/18 Javascript
angularJS的radio实现单项二选一的使用方法
2018/02/28 Javascript
JavaScript数组去重算法实例小结
2018/05/07 Javascript
JavaScript中join()、splice()、slice()和split()函数用法示例
2018/08/24 Javascript
原生JS实现DOM加载完成马上执行JS代码的方法
2018/09/07 Javascript
[04:09]2018年度DOTA2社区贡献奖-完美盛典
2018/12/16 DOTA
使用Python中的cookielib模拟登录网站
2015/04/09 Python
python进行两个表格对比的方法
2018/06/27 Python
Python算法的时间复杂度和空间复杂度(实例解析)
2019/11/19 Python
Appium+Python实现简单的自动化登录测试的实现
2021/01/26 Python
英国性感内衣和睡衣品牌:Bluebella
2018/01/26 全球购物
StubHub美国:购买或出售您的门票
2019/07/09 全球购物
英国最好的温室之家:Greenhouses Direct
2019/07/13 全球购物
某公司面试题
2012/03/05 面试题
电工实训报告总结
2014/11/05 职场文书
团支部组织委员竞选稿
2015/11/21 职场文书
2019升学宴主持词范本5篇
2019/10/09 职场文书
如何在Python项目中引入日志
2021/05/31 Python