Python爬虫利用cookie实现模拟登陆实例详解


Posted in Python onJanuary 12, 2017

Cookie,指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密)。

举个例子,某些网站是需要登录后才能得到你想要的信息的,不登陆只能是游客模式,那么我们可以利用Urllib2库保存我们以前登录过的Cookie,之后载入cookie获取我们想要的页面,然后再进行抓取。理解cookie主要是为我们快捷模拟登录抓取目标网页做出准备。

我之前的帖子中使用过urlopen()这个函数来打开网页进行抓取,这仅仅只是一个简单的Python网页打开器,其参数也仅有urlopen(url,data,timeout),这三个参数对于我们获取目标网页的cookie是远远不够的。这时候我们就要利用到另外一种Opener——CookieJar。

cookielib也是Python进行爬虫的一个重要模块,他能与urllib2相互结合一起爬取想要的内容。该模块的CookieJar类的对象可以捕获cookie并在后续连接请求时重新发送,这样就可以实现我们所需要的模拟登录功能。

这里特别说明一下,cookielib是在py2.7中自带的模块,无需重新安装,想要查看其自带模块可以查看Python目录下的Lib文件夹,里面有所有安装的模块。我一开始没想起来,在pycharm中竟然没有搜到cookielib,使用了快捷安装也报错:Couldn't find index page for 'Cookielib' (maybe misspelled?)

Python爬虫利用cookie实现模拟登陆实例详解

之后才想起来是不是自带的就有,没想到去lib文件夹一看还真有,白白浪费半个小时各种瞎折腾~~

下面我们就来介绍一下这个模块,该模块主要的对象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。

它们的关系:CookieJar —-派生—->FileCookieJar —-派生—?>MozillaCookieJar和LWPCookieJar   主要用法,我们下面也会讲到。urllib2.urlopen()函数不支持验证、cookie或者其它HTTP高级功能。要支持这些功能,必须使用build_opener()(可以用于让python程序模拟浏览器进行访问,作用你懂得~)函数创建自定义Opener对象。

1、首先我们就来获取一下网站的cookie

例子:

#coding=utf-8 
import cookielib 
import urllib2 
 
mycookie = cookielib.CookieJar() #声明一个CookieJar的类对象保存cookie(注意CookieJar的大小写问题) 
handler = urllib2.HTTPCookieProcessor(mycookie) #利用urllib2库中的HTTPCookieProcessor来声明一个处理cookie的处理器 
opener = urllib2.build_opener(handler) #利用handler来构造opener,opener的用法和urlopen()类似 
response = opener.open("http://www.baidu.com") #opener返回的一个应答对象response 
for item in my.cookie: 
  print"name="+item.name 
  print"value="+item.value

结果:

name=BAIDUID 
value=73BD718962A6EA0DAD4CB9578A08FDD0:FG=1 
name=BIDUPSID 
value=73BD718962A6EA0DAD4CB9578A08FDD0 
name=H_PS_PSSID 
value=1450_19035_21122_17001_21454_21409_21394_21377_21526_21189_21398 
name=PSTM 
value=1478834132 
name=BDSVRTM 
value=0 
name=BD_HOME 
value=0

这样我们就得到了一个最简单的cookie。

2、将cookie保存到文件

上面我们得到了cookie,下面我们学习如何保存cookie。在这里我们使用它的子类MozillaCookieJar来实现Cookie的保存

例子:

#coding=utf-8 
import cookielib 
import urllib2 
 
mycookie = cookielib.MozillaCookieJar() #声明一个MozillaCookieJar的类对象保存cookie(注意MozillaCookieJar的大小写问题) 
handler = urllib2.HTTPCookieProcessor(mycookie) #利用urllib2库中的HTTPCookieProcessor来声明一个处理cookie的处理器 
opener = urllib2.build_opener(handler) #利用handler来构造opener,opener的用法和urlopen()类似 
response = opener.open("http://www.baidu.com") #opener返回的一个应答对象response 
for item in mycookie: 
  print"name="+item.name 
  print"value="+item.value 
filename='mycookie.txt'#设定保存的文件名 
mycookie.save(filename,ignore_discard=True, ignore_expires=True)

将上面的例子简单变形就可以得到本例,使用了CookieJar的子类MozillaCookiJar,为什么呢?我们将MozillaCookiJar换成CookieJar试试,下面一张图你就能明白:

Python爬虫利用cookie实现模拟登陆实例详解

  CookieJar是没有保存save属性的~

  save()这个方法中:ignore_discard的意思是即使cookies将被丢弃也将它保存下来,ignore_expires的意思是如果在该文件中cookies已经存在,则覆盖原文件写入,在这里,我们将这两个全部设置为True。运行之后,cookies将被保存到cookie.txt文件中,我们查看一下内容:

Python爬虫利用cookie实现模拟登陆实例详解

这样我们就成功保存了我们想要的cookie

3、从文件中获取cookie并访问

<pre style="background-color: rgb(255, 255, 255); font-family: 宋体; font-size: 9pt;"><pre name="code" class="python">#coding=utf-8 
import urllib2 
import cookielib 
import urllib 
 
#第一步先给出账户密码网址准备模拟登录 
postdata = urllib.urlencode({ 
  'stuid': '1605122162', 
  'pwd': 'xxxxxxxxx'#密码这里就不泄漏啦,嘿嘿嘿 
}) 
loginUrl = 'http://ids.xidian.edu.cn/authserver/login?service=http%3A%2F%2Fjwxt.xidian.edu.cn%2Fcaslogin.jsp'# 登录教务系统的URL,成绩查询网址 
 
# 第二步模拟登陆并保存登录的cookie 
filename = 'cookie.txt'  #创建文本保存cookie 
mycookie = cookielib.MozillaCookieJar(filename) # 声明一个MozillaCookieJar对象实例来保存cookie,之后写入文件 
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(mycookie)) #定义这个opener,对象是cookie 
result = opener.open(loginUrl, postdata) 
mycookie.save(ignore_discard=True, ignore_expires=True)# 保存cookie到cookie.txt中 
 
# 第三步利用cookie请求访问另一个网址,教务系统总址 
gradeUrl = 'http://ids.xidian.edu.cn/authserver/login?service'  #只要是帐号密码一样的网址就可以, 请求访问成绩查询网址 
result = opener.open(gradeUrl) 
print result.read()</pre><br> 
<pre></pre> 
<pre></pre> 
<p></p> 
<pre></pre> 
<pre></pre> 
创建一个带有cookie的opener,在访问登录的URL时,将登录后的cookie保存下来,然后利用这个cookie来访问其他网址。 
<p></p> 
<p><br> 
</p> 
<p>核心思想:创建opener,包含了cookie的内容。之后在利用opener时,就会自动使用原先保存的cookie.<br> 
<br> 
</p> 
   
</pre>

感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

Python 相关文章推荐
Python程序设计入门(1)基本语法简介
Jun 13 Python
Python3实现并发检验代理池地址的方法
Sep 18 Python
使用Python对SQLite数据库操作
Apr 06 Python
Python实现感知器模型、两层神经网络
Dec 19 Python
几种实用的pythonic语法实例代码
Feb 24 Python
详解Python中的动态属性和特性
Apr 07 Python
python变量命名的7条建议
Jul 04 Python
Python 解决OPEN读文件报错 ,路径以及r的问题
Dec 19 Python
Python3的socket使用方法详解
Feb 18 Python
python实现马丁策略回测3000只股票的实例代码
Jan 22 Python
python FTP编程基础入门
Feb 27 Python
python中Tkinter 窗口之输入框和文本框的实现
Apr 12 Python
Python 出现错误TypeError: ‘NoneType’ object is not iterable解决办法
Jan 12 #Python
python获取当前用户的主目录路径方法(推荐)
Jan 12 #Python
Python获取文件所在目录和文件名的方法
Jan 12 #Python
深入理解Python中变量赋值的问题
Jan 12 #Python
Python时间获取及转换知识汇总
Jan 11 #Python
json跨域调用python的方法详解
Jan 11 #Python
Python中遇到的小问题及解决方法汇总
Jan 11 #Python
You might like
PHP循环获取GET和POST值的代码
2008/04/09 PHP
ajax 的post方法实例(带循环)
2011/07/04 PHP
PHP缓存技术的多种方法小结
2012/08/14 PHP
我整理的PHP 7.0主要新特性
2016/01/07 PHP
PHP+Ajax实现无刷新分页实例详解(附demo源码下载)
2016/04/07 PHP
PHP数据库表操作的封装类及用法实例详解
2016/07/12 PHP
php实现基于PDO的预处理示例
2017/03/28 PHP
php实现微信模拟登陆、获取用户列表及群发消息功能示例
2017/06/28 PHP
对textarea框的代码调试,而且功能上使用非常方便,酷
2006/06/30 Javascript
JS 面向对象的5钟写法
2009/07/31 Javascript
JavaScript 学习笔记(十三)Dom创建表格
2010/01/21 Javascript
当滚动条滚动到页面底部自动加载增加内容的js代码
2014/05/13 Javascript
js在数组中删除重复的元素自保留一个(两种实现思路)
2014/08/22 Javascript
JavaScript动态创建link标签到head里的方法
2014/12/22 Javascript
javascript数组去重方法汇总
2015/04/23 Javascript
详解JavaScript的Date对象(制作简易钟表)
2020/04/07 Javascript
图解prototype、proto和constructor的三角关系
2016/07/31 Javascript
JavaScript常见JSON操作实例分析
2018/08/08 Javascript
Vue.js计算机属性computed和methods方法详解
2019/10/12 Javascript
JavaScript实现移动小精灵的案例代码
2020/12/12 Javascript
Python下实现的RSA加密/解密及签名/验证功能示例
2017/07/17 Python
Python使用sklearn库实现的各种分类算法简单应用小结
2019/07/04 Python
jenkins+python自动化测试持续集成教程
2020/05/12 Python
Tensorflow与Keras自适应使用显存方式
2020/06/22 Python
ZINVO手表官网:男士和女士手表
2019/03/10 全球购物
如何用Python输出一个Fibonacci数列
2016/08/28 面试题
党的群众路线对照检查材料思想汇报
2014/09/25 职场文书
机关班子查摆问题及整改措施
2014/10/28 职场文书
2014幼儿园教师个人工作总结
2014/11/08 职场文书
委托书英文
2015/01/28 职场文书
2015年国庆节慰问信
2015/03/23 职场文书
心得体会该怎么写呢?
2019/06/27 职场文书
小学语文的各类谚语(70首)
2019/08/15 职场文书
使用pytorch实现线性回归
2021/04/11 Python
MySQL约束超详解
2021/09/04 MySQL
Elasticsearch 配置详解
2022/04/19 Java/Android