php curl 模拟登录并获取数据实例详解


Posted in PHP onDecember 22, 2016

PHP的curl()在抓取网页的效率方面是比较高的,而且支持多线程,而file_get_contents()效率就要稍低些,当然,使用curl时需要开启下curl扩展。

代码实战

先来看登录部分的代码:

//模拟登录 
function login_post($url, $cookie, $post) { 
  $curl = curl_init();//初始化curl模块 
  curl_setopt($curl, CURLOPT_URL, $url);//登录提交的地址 
  curl_setopt($curl, CURLOPT_HEADER, 0);//是否显示头信息 
  curl_setopt($curl, CURLOPT_RETURNTRANSFER, 0);//是否自动显示返回的信息 
  curl_setopt($curl, CURLOPT_COOKIEJAR, $cookie); //设置Cookie信息保存在指定的文件中 
  curl_setopt($curl, CURLOPT_POST, 1);//post方式提交 
  curl_setopt($curl, CURLOPT_POSTFIELDS, http_build_query($post));//要提交的信息 
  curl_exec($curl);//执行cURL 
  curl_close($curl);//关闭cURL资源,并且释放系统资源 
}

函数login_post()首先初始化curl_init(),然后使用curl_setopt()设置相关选项信息,包括要提交的url地址,保存的cookie文件,post的数据(用户名和密码等信息),是否返回信息等等,然后curl_exec执行curl,最后curl_close()释放资源。注意PHP自带的http_build_query()可以将数组转换成相连接的字符串。

接下来如果登录成功后,我们要获取登录成功后的页面信息。

//登录成功后获取数据 
function get_content($url, $cookie) { 
  $ch = curl_init(); 
  curl_setopt($ch, CURLOPT_URL, $url); 
  curl_setopt($ch, CURLOPT_HEADER, 0); 
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
  curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie); //读取cookie 
  $rs = curl_exec($ch); //执行cURL抓取页面内容 
  curl_close($ch); 
  return $rs; 
}

函数get_content()中也是先初始化curl,然后设置相关选项,执行curl,释放资源。其中我们设置CURLOPT_RETURNTRANSFER为1即自动返回信息,而CURLOPT_COOKIEFILE可以读取到登录时保存的cookie信息,最后将页面内容返回。

我们的最终目的是要获取到模拟登录后的信息,也就是只有正常登录成功后才能获取的有用信息。接下来我们以登录开源中国的移动版为例,看看如何抓取到登录成功后的信息。

//设置post的数据 
$post = array ( 
  'email' => 'oschina账户', 
  'pwd' => 'oschina密码', 
  'goto_page' => '/my', 
  'error_page' => '/login', 
  'save_login' => '1', 
  'submit' => '现在登录' 
); 
 //登录地址 $url = "http://m.oschina.net/action/user/login"; //设置cookie保存路径 $cookie = dirname(__FILE__) . '/cookie_oschina.txt'; //登录后要获取信息的地址 $url2 = "http://m.oschina.net/my"; //模拟登录 
login_post($url, $cookie, $post); //获取登录页的信息 $content = get_content($url2, $cookie); //删除cookie文件 
@ unlink($cookie); //匹配页面信息 $preg = "/<td class='portrait'>(.*)<\/td>/i"; 
preg_match_all($preg, $content, $arr); $str = $arr[1][0]; //输出内容 echo $str;

使用总结

1、初始化curl;

2、使用curl_setopt设置目标url,和其他选项;

3、curl_exec,执行curl;

4、执行后,关闭curl;

5、输出数据。

感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

PHP 相关文章推荐
随时给自己贴的图片加文字的php水印
Mar 16 PHP
php垃圾代码优化操作代码
Aug 05 PHP
PHP-redis中文文档介绍
Feb 07 PHP
php while循环得到循环次数
Oct 26 PHP
Server.HTMLEncode让代码在页面里显示为源代码
Dec 08 PHP
php单态设计模式(单例模式)实例
Nov 18 PHP
PHP日期函数date格式化UNIX时间的方法
Mar 19 PHP
学习php设计模式 php实现享元模式(flyweight)
Dec 07 PHP
PHP数组去重比较快的实现方式
Jan 19 PHP
php实现图片上传、剪切功能
May 07 PHP
cakephp常见知识点汇总
Feb 24 PHP
浅谈laravel aliases别名的原理
Oct 24 PHP
使用PHP连接多种数据库的实现代码(mysql,access,sqlserver,Oracle)
Dec 21 #PHP
Docker配置PHP开发环境教程
Dec 21 #PHP
PHP符合PSR编程规范的实例分享
Dec 21 #PHP
利用PHP生成CSV文件简单示例
Dec 21 #PHP
PHP实现支付宝即时到账功能
Dec 21 #PHP
简单实现PHP留言板功能
Dec 21 #PHP
PHP未登录自动跳转到登录页面
Dec 21 #PHP
You might like
php curl_init函数用法
2014/01/31 PHP
ThinkPHP的模版中调用session数据的方法
2014/07/01 PHP
php查询mysql数据库并将结果保存到数组的方法
2015/03/18 PHP
Laravel 5框架学习之用户认证
2015/04/09 PHP
用PHP生成excel文件到指定目录
2015/06/22 PHP
PHP实现数据库的增删查改功能及完整代码
2018/04/18 PHP
一文看懂PHP进程管理器php-fpm
2020/06/01 PHP
Prototype String对象 学习
2009/07/19 Javascript
Extjs ajax同步请求时post方式参数发送方式
2009/08/05 Javascript
JavaScript动态调整TextArea高度的代码
2010/12/28 Javascript
JavaScript onkeypress事件入门实例(按下或按住一个键盘按键)
2014/10/17 Javascript
轻松创建nodejs服务器(10):处理POST请求
2014/12/18 NodeJs
js实现的牛顿摆效果
2015/03/31 Javascript
JS实现的竖向折叠菜单代码
2015/10/21 Javascript
js 将input框中的输入自动转化成半角大写(税号输入框)
2017/02/16 Javascript
js Canvas绘制圆形时钟效果
2017/02/17 Javascript
jQuery基于cookie实现换肤功能实例
2017/10/14 jQuery
vue 中的keep-alive实例代码
2018/07/20 Javascript
基于ssm框架实现layui分页效果
2019/07/27 Javascript
微信小程序封装多张图片上传api代码实例
2019/12/30 Javascript
关于vue属性使用和不使用冒号的区别说明
2020/10/22 Javascript
vuex Module将 store 分割成模块的操作
2020/12/07 Vue.js
[38:39]完美世界DOTA2联赛循环赛 IO vs GXR BO2第二场 11.04
2020/11/05 DOTA
Windows下安装Django框架的方法简明教程
2018/03/28 Python
使用Python快速搭建HTTP服务和文件共享服务的实例讲解
2018/06/04 Python
python opencv旋转图像(保持图像不被裁减)
2018/07/26 Python
Python实战之制作天气查询软件
2019/05/14 Python
python爬虫 2019中国好声音评论爬取过程解析
2019/08/26 Python
python获取Linux发行版名称
2019/08/30 Python
浅谈python元素如何去重,去重后如何保持原来元素的顺序不变
2020/02/28 Python
初婚初育证明
2014/01/14 职场文书
2015应届毕业生自荐信范文
2015/03/05 职场文书
婚礼上证婚人致辞
2015/07/28 职场文书
Java基于字符界面的简易收银台
2021/06/26 Java/Android
MySQL8.0升级的踩坑历险记
2021/11/01 MySQL
为Centos安装指定版本的Docker
2022/04/01 Servers