零基础写python爬虫之urllib2中的两个重要概念:Openers和Handlers


Posted in Python onNovember 05, 2014

在开始后面的内容之前,先来解释一下urllib2中的两个个方法:info / geturl
urlopen返回的应答对象response(或者HTTPError实例)有两个很有用的方法info()和geturl()

1.geturl():

这个返回获取的真实的URL,这个很有用,因为urlopen(或者opener对象使用的)或许会有重定向。获取的URL或许跟请求URL不同。
以人人中的一个超级链接为例,
我们建一个urllib2_test10.py来比较一下原始URL和重定向的链接:

from urllib2 import Request, urlopen, URLError, HTTPError  

old_url = 'http://rrurl.cn/b1UZuP'  

req = Request(old_url)  

response = urlopen(req)    

print 'Old url :' + old_url  

print 'Real url :' + response.geturl() 

运行之后可以看到真正的链接指向的网址:

零基础写python爬虫之urllib2中的两个重要概念:Openers和Handlers

2.info():

这个返回对象的字典对象,该字典描述了获取的页面情况。通常是服务器发送的特定头headers。目前是httplib.HTTPMessage 实例。
经典的headers包含"Content-length","Content-type",和其他内容。
我们建一个urllib2_test11.py来测试一下info的应用:

from urllib2 import Request, urlopen, URLError, HTTPError  

old_url = 'http://www.baidu.com'  

req = Request(old_url)  

response = urlopen(req)    

print 'Info():'  

print response.info() 

运行的结果如下,可以看到页面的相关信息:

零基础写python爬虫之urllib2中的两个重要概念:Openers和Handlers

下面来说一说urllib2中的两个重要概念:Openers和Handlers。

1.Openers:

当你获取一个URL你使用一个opener(一个urllib2.OpenerDirector的实例)。
正常情况下,我们使用默认opener:通过urlopen。
但你能够创建个性的openers。

2.Handles:

Openers使用处理器handlers,所有的“繁重”工作由handlers处理。
每个handlers知道如何通过特定协议打开URLs,或者如何处理URL打开时的各个方面。
例如HTTP重定向或者HTTP cookies。

如果你希望用特定处理器获取URLs你会想创建一个openers,例如获取一个能处理cookie的opener,或者获取一个不重定向的opener。

要创建一个 opener,可以实例化一个OpenerDirector,
然后调用.add_handler(some_handler_instance)。
同样,可以使用build_opener,这是一个更加方便的函数,用来创建opener对象,他只需要一次函数调用。
build_opener默认添加几个处理器,但提供快捷的方法来添加或更新默认处理器。
其他的处理器handlers你或许会希望处理代理,验证,和其他常用但有点特殊的情况。

install_opener 用来创建(全局)默认opener。这个表示调用urlopen将使用你安装的opener。
Opener对象有一个open方法。
该方法可以像urlopen函数那样直接用来获取urls:通常不必调用install_opener,除了为了方便。

说完了上面两个内容,下面我们来看一下基本认证的内容,这里会用到上面提及的Opener和Handler。

Basic Authentication 基本验证

为了展示创建和安装一个handler,我们将使用HTTPBasicAuthHandler。
当需要基础验证时,服务器发送一个header(401错误码) 请求验证。这个指定了scheme 和一个‘realm',看起来像这样:Www-authenticate: SCHEME realm="REALM".
例如
Www-authenticate: Basic realm="cPanel Users"
客户端必须使用新的请求,并在请求头里包含正确的姓名和密码。
这是“基础验证”,为了简化这个过程,我们可以创建一个HTTPBasicAuthHandler的实例,并让opener使用这个handler就可以啦。

HTTPBasicAuthHandler使用一个密码管理的对象来处理URLs和realms来映射用户名和密码。
如果你知道realm(从服务器发送来的头里)是什么,你就能使用HTTPPasswordMgr。

通常人们不关心realm是什么。那样的话,就能用方便的HTTPPasswordMgrWithDefaultRealm。
这个将在你为URL指定一个默认的用户名和密码。
这将在你为特定realm提供一个其他组合时得到提供。
我们通过给realm参数指定None提供给add_password来指示这种情况。

最高层次的URL是第一个要求验证的URL。你传给.add_password()更深层次的URLs将同样合适。
说了这么多废话,下面来用一个例子演示一下上面说到的内容。
我们建一个urllib2_test12.py来测试一下info的应用:

# -*- coding: utf-8 -*-  

import urllib2  

# 创建一个密码管理者  

password_mgr = urllib2.HTTPPasswordMgrWithDefaultRealm()  

# 添加用户名和密码  

top_level_url = "http://example.com/foo/"  

# 如果知道 realm, 我们可以使用他代替 ``None``.  

# password_mgr.add_password(None, top_level_url, username, password)  

password_mgr.add_password(None, top_level_url,'why', '1223')  

# 创建了一个新的handler  

handler = urllib2.HTTPBasicAuthHandler(password_mgr)  

# 创建 "opener" (OpenerDirector 实例)  

opener = urllib2.build_opener(handler)  

a_url = 'http://www.baidu.com/'  

# 使用 opener 获取一个URL  

opener.open(a_url)  

# 安装 opener.  

# 现在所有调用 urllib2.urlopen 将用我们的 opener.  

urllib2.install_opener(opener) 

  
注意:以上的例子我们仅仅提供我们的HHTPBasicAuthHandler给build_opener。
默认的openers有正常状况的handlers:ProxyHandler,UnknownHandler,HTTPHandler,HTTPDefaultErrorHandler, HTTPRedirectHandler,FTPHandler, FileHandler, HTTPErrorProcessor。
代码中的top_level_url 实际上可以是完整URL(包含"http:",以及主机名及可选的端口号)。
例如:http://example.com/。
也可以是一个“authority”(即主机名和可选的包含端口号)。
例如:“example.com” or “example.com:8080”。
后者包含了端口号。
Python 相关文章推荐
Python入门及进阶笔记 Python 内置函数小结
Aug 09 Python
Python图片裁剪实例代码(如头像裁剪)
Jun 21 Python
关于Django ForeignKey 反向查询中filter和_set的效率对比详解
Dec 15 Python
Python图像滤波处理操作示例【基于ImageFilter类】
Jan 03 Python
python循环定时中断执行某一段程序的实例
Jun 29 Python
python实现简单聊天室功能 可以私聊
Jul 12 Python
python实现在函数中修改变量值的方法
Jul 16 Python
Python Django的安装配置教程图文详解
Jul 17 Python
Python列表的切片实例讲解
Aug 20 Python
Python基于numpy模块实现回归预测
May 14 Python
python如何实现递归转非递归
Feb 25 Python
python内置模块之上下文管理contextlib
Jun 14 Python
零基础写python爬虫之HTTP异常处理
Nov 05 #Python
零基础写python爬虫之使用urllib2组件抓取网页内容
Nov 04 #Python
零基础写python爬虫之爬虫的定义及URL构成
Nov 04 #Python
使用Python编写简单网络爬虫抓取视频下载资源
Nov 04 #Python
Python爬取Coursera课程资源的详细过程
Nov 04 #Python
使用python开发vim插件及心得分享
Nov 04 #Python
Python学习笔记之os模块使用总结
Nov 03 #Python
You might like
颠覆常识!无色透明的咖啡诞生了(中日双语)
2021/03/03 咖啡文化
用PHP为SHOPEX增加日志功能代码
2010/07/02 PHP
thinkphp模板赋值与替换实例简述
2014/11/24 PHP
nginx下安装php7+php5
2016/07/31 PHP
PHP实现无限分类的实现方法
2016/11/14 PHP
PHP cookie,session的使用与用户自动登录功能实现方法分析
2019/06/05 PHP
深入学习微信网址链接解封的防封原理visit_type
2019/08/15 PHP
解决laravel资源加载路径设置的问题
2019/10/14 PHP
Javascript & DHTML 实例编程(教程)基础知识
2007/06/02 Javascript
解决Extjs上传图片无法预览的解决方法
2012/03/22 Javascript
js如何判断用户是否是用微信浏览器
2014/06/05 Javascript
jquery bind(click)传参让列表中每行绑定一个事件
2014/08/06 Javascript
获取JS中网页各种高宽与位置的方法总结
2016/07/27 Javascript
12 款 JS 代码测试必备工具(翻译)
2016/12/13 Javascript
详解React-Router中Url参数改变页面不刷新的解决办法
2018/05/08 Javascript
深入理解JavaScript 中的匿名函数((function() {})();)与变量的作用域
2018/08/28 Javascript
vue的keep-alive中使用EventBus的方法
2019/04/23 Javascript
JS实现手写 forEach算法示例
2020/04/29 Javascript
在vue项目中引用Antv G2,以饼图为例讲解
2020/10/28 Javascript
[03:02]2020完美世界城市挑战赛(秋季赛)总决赛回顾
2021/03/11 DOTA
python 线程的暂停, 恢复, 退出详解及实例
2016/12/06 Python
对python中Matplotlib的坐标轴的坐标区间的设定实例讲解
2018/05/25 Python
python存储16bit和32bit图像的实例
2018/12/05 Python
Python操作excel的方法总结(xlrd、xlwt、openpyxl)
2019/09/02 Python
玩转CSS3色彩
2010/01/16 HTML / CSS
纯CSS3单页切换导航菜单界面设计的简单实现
2016/08/16 HTML / CSS
世界领先的在线地板和建筑材料批发商:BuildDirect
2017/02/26 全球购物
心得体会开头
2014/01/01 职场文书
《晏子使楚》教学反思
2014/02/08 职场文书
2014爱耳日宣传教育活动总结
2014/03/09 职场文书
护理专业自荐信范文
2015/03/06 职场文书
幽默口才训练经典句子(48句)
2019/08/19 职场文书
Python学习开发之图形用户界面详解
2021/08/23 Python
Netty分布式客户端处理接入事件handle源码解析
2022/03/25 Java/Android
Python实现聚类K-means算法详解
2022/07/15 Python
Redis主从复制操作和配置详情
2022/09/23 Redis