php curl 模拟登录并获取数据实例详解


Posted in PHP onDecember 22, 2016

PHP的curl()在抓取网页的效率方面是比较高的,而且支持多线程,而file_get_contents()效率就要稍低些,当然,使用curl时需要开启下curl扩展。

代码实战

先来看登录部分的代码:

//模拟登录 
function login_post($url, $cookie, $post) { 
  $curl = curl_init();//初始化curl模块 
  curl_setopt($curl, CURLOPT_URL, $url);//登录提交的地址 
  curl_setopt($curl, CURLOPT_HEADER, 0);//是否显示头信息 
  curl_setopt($curl, CURLOPT_RETURNTRANSFER, 0);//是否自动显示返回的信息 
  curl_setopt($curl, CURLOPT_COOKIEJAR, $cookie); //设置Cookie信息保存在指定的文件中 
  curl_setopt($curl, CURLOPT_POST, 1);//post方式提交 
  curl_setopt($curl, CURLOPT_POSTFIELDS, http_build_query($post));//要提交的信息 
  curl_exec($curl);//执行cURL 
  curl_close($curl);//关闭cURL资源,并且释放系统资源 
}

函数login_post()首先初始化curl_init(),然后使用curl_setopt()设置相关选项信息,包括要提交的url地址,保存的cookie文件,post的数据(用户名和密码等信息),是否返回信息等等,然后curl_exec执行curl,最后curl_close()释放资源。注意PHP自带的http_build_query()可以将数组转换成相连接的字符串。

接下来如果登录成功后,我们要获取登录成功后的页面信息。

//登录成功后获取数据 
function get_content($url, $cookie) { 
  $ch = curl_init(); 
  curl_setopt($ch, CURLOPT_URL, $url); 
  curl_setopt($ch, CURLOPT_HEADER, 0); 
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
  curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie); //读取cookie 
  $rs = curl_exec($ch); //执行cURL抓取页面内容 
  curl_close($ch); 
  return $rs; 
}

函数get_content()中也是先初始化curl,然后设置相关选项,执行curl,释放资源。其中我们设置CURLOPT_RETURNTRANSFER为1即自动返回信息,而CURLOPT_COOKIEFILE可以读取到登录时保存的cookie信息,最后将页面内容返回。

我们的最终目的是要获取到模拟登录后的信息,也就是只有正常登录成功后才能获取的有用信息。接下来我们以登录开源中国的移动版为例,看看如何抓取到登录成功后的信息。

//设置post的数据 
$post = array ( 
  'email' => 'oschina账户', 
  'pwd' => 'oschina密码', 
  'goto_page' => '/my', 
  'error_page' => '/login', 
  'save_login' => '1', 
  'submit' => '现在登录' 
); 
 //登录地址 $url = "http://m.oschina.net/action/user/login"; //设置cookie保存路径 $cookie = dirname(__FILE__) . '/cookie_oschina.txt'; //登录后要获取信息的地址 $url2 = "http://m.oschina.net/my"; //模拟登录 
login_post($url, $cookie, $post); //获取登录页的信息 $content = get_content($url2, $cookie); //删除cookie文件 
@ unlink($cookie); //匹配页面信息 $preg = "/<td class='portrait'>(.*)<\/td>/i"; 
preg_match_all($preg, $content, $arr); $str = $arr[1][0]; //输出内容 echo $str;

使用总结

1、初始化curl;

2、使用curl_setopt设置目标url,和其他选项;

3、curl_exec,执行curl;

4、执行后,关闭curl;

5、输出数据。

感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

PHP 相关文章推荐
linux下为php添加curl扩展的方法
Jul 29 PHP
ajax取消挂起请求的处理方法
Mar 18 PHP
8个必备的PHP功能实例代码
Oct 27 PHP
codeigniter自带数据库类使用方法说明
Mar 25 PHP
php计算两个文件相对路径的方法
Mar 14 PHP
php通过function_exists检测函数是否存在的方法
Mar 18 PHP
分享十款最出色的PHP安全开发库中文详细介绍
Mar 22 PHP
PHP中如何使用session实现保存用户登录信息
Oct 20 PHP
Laravel框架自定义验证过程实例分析
Feb 01 PHP
laravel 判断查询数据库返回值的例子
Oct 11 PHP
TP3.2框架分页相关实现方法分析
Jun 03 PHP
PHP常量及变量区别原理详解
Aug 14 PHP
使用PHP连接多种数据库的实现代码(mysql,access,sqlserver,Oracle)
Dec 21 #PHP
Docker配置PHP开发环境教程
Dec 21 #PHP
PHP符合PSR编程规范的实例分享
Dec 21 #PHP
利用PHP生成CSV文件简单示例
Dec 21 #PHP
PHP实现支付宝即时到账功能
Dec 21 #PHP
简单实现PHP留言板功能
Dec 21 #PHP
PHP未登录自动跳转到登录页面
Dec 21 #PHP
You might like
PHP 变量的定义方法
2010/01/26 PHP
PHP环境搭建(php+Apache+mysql)
2016/11/14 PHP
PHP之header函数详解
2021/03/02 PHP
JavaScript将数据转换成整数的方法
2014/01/04 Javascript
javascript生成随机大小写字母的方法
2014/02/20 Javascript
jQuery中:animated选择器用法实例
2014/12/29 Javascript
学习Bootstrap组件之下拉菜单
2015/07/28 Javascript
微信小程序 wxapp地图 map详解
2016/10/31 Javascript
javascript修改浏览器title方法 JS动态修改浏览器标题
2017/11/30 Javascript
详解vue-cli 快速搭建单页应用之遇到的问题及解决办法
2018/03/01 Javascript
angular4自定义表单控件[(ngModel)]的实现
2018/11/23 Javascript
谈谈IntersectionObserver懒加载的具体使用
2019/10/15 Javascript
Vue中多元素过渡特效的解决方案
2020/02/05 Javascript
[05:04]DOTA2上海特级锦标赛主赛事第二日TOP10
2016/03/04 DOTA
Django Admin 实现外键过滤的方法
2017/09/29 Python
pycharm运行和调试不显示结果的解决方法
2018/11/30 Python
Django uwsgi Nginx 的生产环境部署详解
2019/02/02 Python
Python之时间和日期使用小结
2019/02/14 Python
python SQLAlchemy 中的Engine详解
2019/07/04 Python
Python分析彩票记录并预测中奖号码过程详解
2019/07/09 Python
Django之使用celery和NGINX生成静态页面实现性能优化
2019/10/08 Python
python绘制规则网络图形实例
2019/12/09 Python
如何在django中实现分页功能
2020/04/22 Python
python编写softmax函数、交叉熵函数实例
2020/06/11 Python
Python headers请求头如何实现快速添加
2020/11/03 Python
详解CSS3的box-shadow属性制作边框阴影效果的方法
2016/05/10 HTML / CSS
StubHub德国:购买和出售门票
2017/09/06 全球购物
日期和时间问题
2015/01/04 面试题
应届大学毕业生找工作的求职信范文
2013/11/29 职场文书
优秀实习生感言
2014/03/01 职场文书
普通党员对照检查材料
2014/09/24 职场文书
2015年党支部公开承诺书
2015/01/22 职场文书
2019各种承诺书范文
2019/06/24 职场文书
pytorch 梯度NAN异常值的解决方案
2021/06/05 Python
详解如何用Python实现感知器算法
2021/06/18 Python
图解排序算法之希尔排序Java实现
2021/06/26 Java/Android