php curl 模拟登录并获取数据实例详解


Posted in PHP onDecember 22, 2016

PHP的curl()在抓取网页的效率方面是比较高的,而且支持多线程,而file_get_contents()效率就要稍低些,当然,使用curl时需要开启下curl扩展。

代码实战

先来看登录部分的代码:

//模拟登录 
function login_post($url, $cookie, $post) { 
  $curl = curl_init();//初始化curl模块 
  curl_setopt($curl, CURLOPT_URL, $url);//登录提交的地址 
  curl_setopt($curl, CURLOPT_HEADER, 0);//是否显示头信息 
  curl_setopt($curl, CURLOPT_RETURNTRANSFER, 0);//是否自动显示返回的信息 
  curl_setopt($curl, CURLOPT_COOKIEJAR, $cookie); //设置Cookie信息保存在指定的文件中 
  curl_setopt($curl, CURLOPT_POST, 1);//post方式提交 
  curl_setopt($curl, CURLOPT_POSTFIELDS, http_build_query($post));//要提交的信息 
  curl_exec($curl);//执行cURL 
  curl_close($curl);//关闭cURL资源,并且释放系统资源 
}

函数login_post()首先初始化curl_init(),然后使用curl_setopt()设置相关选项信息,包括要提交的url地址,保存的cookie文件,post的数据(用户名和密码等信息),是否返回信息等等,然后curl_exec执行curl,最后curl_close()释放资源。注意PHP自带的http_build_query()可以将数组转换成相连接的字符串。

接下来如果登录成功后,我们要获取登录成功后的页面信息。

//登录成功后获取数据 
function get_content($url, $cookie) { 
  $ch = curl_init(); 
  curl_setopt($ch, CURLOPT_URL, $url); 
  curl_setopt($ch, CURLOPT_HEADER, 0); 
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
  curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie); //读取cookie 
  $rs = curl_exec($ch); //执行cURL抓取页面内容 
  curl_close($ch); 
  return $rs; 
}

函数get_content()中也是先初始化curl,然后设置相关选项,执行curl,释放资源。其中我们设置CURLOPT_RETURNTRANSFER为1即自动返回信息,而CURLOPT_COOKIEFILE可以读取到登录时保存的cookie信息,最后将页面内容返回。

我们的最终目的是要获取到模拟登录后的信息,也就是只有正常登录成功后才能获取的有用信息。接下来我们以登录开源中国的移动版为例,看看如何抓取到登录成功后的信息。

//设置post的数据 
$post = array ( 
  'email' => 'oschina账户', 
  'pwd' => 'oschina密码', 
  'goto_page' => '/my', 
  'error_page' => '/login', 
  'save_login' => '1', 
  'submit' => '现在登录' 
); 
 //登录地址 $url = "http://m.oschina.net/action/user/login"; //设置cookie保存路径 $cookie = dirname(__FILE__) . '/cookie_oschina.txt'; //登录后要获取信息的地址 $url2 = "http://m.oschina.net/my"; //模拟登录 
login_post($url, $cookie, $post); //获取登录页的信息 $content = get_content($url2, $cookie); //删除cookie文件 
@ unlink($cookie); //匹配页面信息 $preg = "/<td class='portrait'>(.*)<\/td>/i"; 
preg_match_all($preg, $content, $arr); $str = $arr[1][0]; //输出内容 echo $str;

使用总结

1、初始化curl;

2、使用curl_setopt设置目标url,和其他选项;

3、curl_exec,执行curl;

4、执行后,关闭curl;

5、输出数据。

感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

PHP 相关文章推荐
如何在PHP程序中防止盗链
Apr 09 PHP
PHP程序员面试 切忌急功近利(更需要注重以后的发展)
Sep 01 PHP
解决ajax+php中文乱码的方法详解
Jun 09 PHP
PHP易混淆函数的区别及用法汇总
Nov 22 PHP
php创建、获取cookie及基础要点分析
Jan 26 PHP
php+ajax实时刷新简单实例
Feb 25 PHP
php操作MongoDB类实例
Jun 17 PHP
PHP7多线程搭建教程
Apr 21 PHP
yii2 上传图片的示例代码
Nov 02 PHP
什么是PHP7中的孤儿进程与僵尸进程
Apr 14 PHP
laravel框架中视图的基本使用方法分析
Nov 23 PHP
php多进程并发编程防止出现僵尸进程的方法分析
Feb 28 PHP
使用PHP连接多种数据库的实现代码(mysql,access,sqlserver,Oracle)
Dec 21 #PHP
Docker配置PHP开发环境教程
Dec 21 #PHP
PHP符合PSR编程规范的实例分享
Dec 21 #PHP
利用PHP生成CSV文件简单示例
Dec 21 #PHP
PHP实现支付宝即时到账功能
Dec 21 #PHP
简单实现PHP留言板功能
Dec 21 #PHP
PHP未登录自动跳转到登录页面
Dec 21 #PHP
You might like
PHP资源管理框架Assetic简介
2014/06/12 PHP
PHP使用 Pear 进行安装和卸载包的方法详解
2019/07/08 PHP
兼容IE与firefox火狐的回车事件(js与jquery)
2010/10/20 Javascript
用Javascript实现Windows任务管理器的代码
2012/03/27 Javascript
jquerymobile checkbox及时刷新才能获取其准确值
2012/04/14 Javascript
JSON为什么那样红为什么要用json(另有洞天)
2012/12/26 Javascript
jquery 滚动条事件简单实例
2013/07/12 Javascript
实现动画效果核心方式的js代码
2013/09/27 Javascript
jquery插件jTimer(jquery定时器)使用方法
2013/12/23 Javascript
javascript获取wx.config内部字段解决微信分享
2016/03/09 Javascript
利用AJAX实现WordPress中的文章列表及评论的分页功能
2016/05/17 Javascript
JS实现的自定义水平滚动字体插件完整实例
2016/06/17 Javascript
AngularJS入门教程之AngularJS 模板
2016/08/18 Javascript
jQuery删除节点用法示例(remove方法)
2016/09/08 Javascript
jQuery点击头像上传并预览图片
2017/02/23 Javascript
vue 怎么创建组件及组件使用方法
2017/07/27 Javascript
EasyUI的TreeGrid的过滤功能的解决思路
2017/08/08 Javascript
基于Vue实现图书管理功能
2017/10/17 Javascript
浅谈webpack组织模块的原理
2018/03/10 Javascript
详解如何为你的angular app构建一个第三方库
2018/12/07 Javascript
小程序实现多列选择器
2019/02/15 Javascript
python中while循环语句用法简单实例
2015/05/07 Python
详解Python的Django框架中inclusion_tag的使用
2015/07/21 Python
Python和C/C++交互的几种方法总结
2017/05/11 Python
TensorFLow用Saver保存和恢复变量
2018/03/10 Python
Python File(文件) 方法整理
2019/02/18 Python
scrapy-redis的安装部署步骤讲解
2019/02/27 Python
华为2019校招笔试题之处理字符串(python版)
2019/06/25 Python
python爬虫中url管理器去重操作实例
2020/11/30 Python
法国一家多品牌成衣精品中/高档商店:Graduate Store
2019/08/28 全球购物
水利水电专业自荐信
2014/07/08 职场文书
中层干部考核评语
2015/01/04 职场文书
2015年党员公开承诺书范文
2015/01/22 职场文书
城管个人总结
2015/02/28 职场文书
公司年会晚会开幕词
2019/04/02 职场文书
golang生成vcf通讯录格式文件详情
2022/03/25 Golang