php curl 模拟登录并获取数据实例详解


Posted in PHP onDecember 22, 2016

PHP的curl()在抓取网页的效率方面是比较高的,而且支持多线程,而file_get_contents()效率就要稍低些,当然,使用curl时需要开启下curl扩展。

代码实战

先来看登录部分的代码:

//模拟登录 
function login_post($url, $cookie, $post) { 
  $curl = curl_init();//初始化curl模块 
  curl_setopt($curl, CURLOPT_URL, $url);//登录提交的地址 
  curl_setopt($curl, CURLOPT_HEADER, 0);//是否显示头信息 
  curl_setopt($curl, CURLOPT_RETURNTRANSFER, 0);//是否自动显示返回的信息 
  curl_setopt($curl, CURLOPT_COOKIEJAR, $cookie); //设置Cookie信息保存在指定的文件中 
  curl_setopt($curl, CURLOPT_POST, 1);//post方式提交 
  curl_setopt($curl, CURLOPT_POSTFIELDS, http_build_query($post));//要提交的信息 
  curl_exec($curl);//执行cURL 
  curl_close($curl);//关闭cURL资源,并且释放系统资源 
}

函数login_post()首先初始化curl_init(),然后使用curl_setopt()设置相关选项信息,包括要提交的url地址,保存的cookie文件,post的数据(用户名和密码等信息),是否返回信息等等,然后curl_exec执行curl,最后curl_close()释放资源。注意PHP自带的http_build_query()可以将数组转换成相连接的字符串。

接下来如果登录成功后,我们要获取登录成功后的页面信息。

//登录成功后获取数据 
function get_content($url, $cookie) { 
  $ch = curl_init(); 
  curl_setopt($ch, CURLOPT_URL, $url); 
  curl_setopt($ch, CURLOPT_HEADER, 0); 
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
  curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie); //读取cookie 
  $rs = curl_exec($ch); //执行cURL抓取页面内容 
  curl_close($ch); 
  return $rs; 
}

函数get_content()中也是先初始化curl,然后设置相关选项,执行curl,释放资源。其中我们设置CURLOPT_RETURNTRANSFER为1即自动返回信息,而CURLOPT_COOKIEFILE可以读取到登录时保存的cookie信息,最后将页面内容返回。

我们的最终目的是要获取到模拟登录后的信息,也就是只有正常登录成功后才能获取的有用信息。接下来我们以登录开源中国的移动版为例,看看如何抓取到登录成功后的信息。

//设置post的数据 
$post = array ( 
  'email' => 'oschina账户', 
  'pwd' => 'oschina密码', 
  'goto_page' => '/my', 
  'error_page' => '/login', 
  'save_login' => '1', 
  'submit' => '现在登录' 
); 
 //登录地址 $url = "http://m.oschina.net/action/user/login"; //设置cookie保存路径 $cookie = dirname(__FILE__) . '/cookie_oschina.txt'; //登录后要获取信息的地址 $url2 = "http://m.oschina.net/my"; //模拟登录 
login_post($url, $cookie, $post); //获取登录页的信息 $content = get_content($url2, $cookie); //删除cookie文件 
@ unlink($cookie); //匹配页面信息 $preg = "/<td class='portrait'>(.*)<\/td>/i"; 
preg_match_all($preg, $content, $arr); $str = $arr[1][0]; //输出内容 echo $str;

使用总结

1、初始化curl;

2、使用curl_setopt设置目标url,和其他选项;

3、curl_exec,执行curl;

4、执行后,关闭curl;

5、输出数据。

感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

PHP 相关文章推荐
一周学会PHP(视频)Http下载
Dec 12 PHP
使用 MySQL 开始 PHP 会话
Dec 21 PHP
PHP实现图片压缩的两则实例
Jul 19 PHP
PHP中exec函数和shell_exec函数的区别
Aug 20 PHP
PHP面试题之文件目录操作
Oct 15 PHP
PHP Try-catch 语句使用技巧
Feb 28 PHP
php通过执行CutyCapt命令实现网页截图的方法
Sep 30 PHP
Yii2框架中日志的使用方法分析
May 22 PHP
php合并数组并保留键值的实现方法
Mar 12 PHP
thinkPHP5框架实现基于ajax的分页功能示例
Jun 12 PHP
php对象工厂类完整示例
Aug 09 PHP
php优化查询foreach代码实例讲解
Mar 24 PHP
使用PHP连接多种数据库的实现代码(mysql,access,sqlserver,Oracle)
Dec 21 #PHP
Docker配置PHP开发环境教程
Dec 21 #PHP
PHP符合PSR编程规范的实例分享
Dec 21 #PHP
利用PHP生成CSV文件简单示例
Dec 21 #PHP
PHP实现支付宝即时到账功能
Dec 21 #PHP
简单实现PHP留言板功能
Dec 21 #PHP
PHP未登录自动跳转到登录页面
Dec 21 #PHP
You might like
PHP输出控制功能在简繁体转换中的应用
2006/10/09 PHP
php 函数使用方法与函数定义方法
2010/05/09 PHP
php外部执行命令函数用法小结
2016/10/11 PHP
详谈PHP中的密码安全性Password Hashing
2017/02/04 PHP
javascript之对系统的toFixed()方法的修正
2007/05/08 Javascript
jquery 结合C#后台的数组对文章的关键字自动添加链接的代码
2011/07/15 Javascript
jQuery中prependTo()方法用法实例
2015/01/08 Javascript
JQuery页面地址处理插件jqURL详解
2015/05/03 Javascript
基于JavaScript实现手机短信按钮倒计时(超简单)
2015/12/30 Javascript
ClearTimeout消除闪动实例代码
2016/02/29 Javascript
javascript中apply、call和bind的使用区别
2016/04/05 Javascript
Angularjs 动态改变title标题(兼容ios)
2016/12/29 Javascript
JavaScript通过改变文字透明度实现的文字闪烁效果实例
2017/04/27 Javascript
js实现城市级联菜单的2种方法
2017/06/23 Javascript
vue移动端UI框架实现QQ侧边菜单组件
2018/03/09 Javascript
angularJS1 url中携带参数的获取方法
2018/10/09 Javascript
JS+canvas五子棋人机对战实现步骤详解
2020/06/04 Javascript
[40:03]DOTA2上海特级锦标赛主赛事日 - 1 败者组第一轮#1EHOME VS Archon
2016/03/02 DOTA
[01:00] DOTA2英雄背景故事第五期之重力引力法则谜团
2020/07/16 DOTA
py2exe 编译ico图标的代码
2013/03/08 Python
python脚本爬取字体文件的实现方法
2017/04/29 Python
python装饰器常见使用方法分析
2019/06/26 Python
python pyinstaller打包exe报错的解决方法
2019/11/02 Python
Python+OpenCV实现旋转文本校正方式
2020/01/09 Python
Flask模板引擎Jinja2使用实例
2020/04/23 Python
Keras官方中文文档:性能评估Metrices详解
2020/06/15 Python
matplotlib 画双轴子图无法显示x轴的解决方法
2020/07/27 Python
印度和世界各地的精美产品:Ikka Dukka
2018/02/12 全球购物
SKECHERS斯凯奇中国官网:来自美国的运动休闲品牌
2018/11/14 全球购物
动态密码技术
2012/10/18 面试题
新闻专业大学生找工作的自我评价
2013/10/30 职场文书
跳蚤市场口号
2014/06/13 职场文书
报表员工作失误检讨书范文
2014/09/19 职场文书
报到证办理个人委托书
2014/10/06 职场文书
2014年行政助理工作总结
2014/11/19 职场文书
python中的getter与setter你了解吗
2022/03/24 Python