Python标准库urllib2的一些使用细节总结


Posted in Python onMarch 16, 2015

Python 标准库中有很多实用的工具类,但是在具体使用时,标准库文档上对使用细节描述的并不清楚,比如 urllib2 这个 HTTP 客户端库。这里总结了一些 urllib2 的使用细节。

1.Proxy 的设置
2.Timeout 设置
3.在 HTTP Request 中加入特定的 Header
4.Redirect
5.Cookie
6.使用 HTTP 的 PUT 和 DELETE 方法
7.得到 HTTP 的返回码
8.Debug Log

Proxy 的设置

urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。如果想在程序中明确控制 Proxy 而不受环境变量的影响,可以使用下面的方式

import urllib2

enable_proxy = True

proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})

null_proxy_handler = urllib2.ProxyHandler({})

 

if enable_proxy:

opener = urllib2.build_opener(proxy_handler)

else:

opener = urllib2.build_opener(null_proxy_handler)

 

urllib2.install_opener(opener)

这里要注意的一个细节,使用 urllib2.install_opener() 会设置 urllib2 的全局 opener 。这样后面的使用会很方便,但不能做更细粒度的控制,比如想在程序中使用两个不同的 Proxy 设置等。比较好的做法是不使用 install_opener 去更改全局的设置,而只是直接调用 opener 的 open 方法代替全局的 urlopen 方法。

Timeout 设置

在老版 Python 中,urllib2 的 API 并没有暴露 Timeout 的设置,要设置 Timeout 值,只能更改 Socket 的全局 Timeout 值。

import urllib2

import socket

socket.setdefaulttimeout(10) # 10 秒钟后超时

urllib2.socket.setdefaulttimeout(10) # 另一种方式

在 Python 2.6 以后,超时可以通过 urllib2.urlopen() 的 timeout 参数直接设置。
import urllib2

response = urllib2.urlopen('http://www.google.com', timeout=10)

在 HTTP Request 中加入特定的 Header

要加入 header,需要使用 Request 对象:

import urllib2

request = urllib2.Request(uri)

request.add_header('User-Agent', 'fake-client')

response = urllib2.urlopen(request)

对有些 header 要特别留意,服务器会针对这些 header 做检查

User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求

Content-Type : 在使用 REST 接口时,服务器会检查该值,用来确定 HTTP Body 中的内容该怎样解析。常见的取值有:

application/xml : 在 XML RPC,如 RESTful/SOAP 调用时使用
application/json : 在 JSON RPC 调用时使用
application/x-www-form-urlencoded : 浏览器提交 Web 表单时使用

在使用服务器提供的 RESTful 或 SOAP 服务时, Content-Type 设置错误会导致服务器拒绝服务

Redirect

urllib2 默认情况下会针对 HTTP 3XX 返回码自动进行 redirect 动作,无需人工配置。要检测是否发生了 redirect 动作,只要检查一下 Response 的 URL 和 Request 的 URL 是否一致就可以了。

import urllib2

response = urllib2.urlopen('http://www.google.cn')

redirected = response.geturl() == 'http://www.google.cn'

如果不想自动 redirect,除了使用更低层次的 httplib 库之外,还可以自定义 HTTPRedirectHandler 类。

import urllib2

 

class RedirectHandler(urllib2.HTTPRedirectHandler):

def http_error_301(self, req, fp, code, msg, headers):

pass

def http_error_302(self, req, fp, code, msg, headers):

pass

 

opener = urllib2.build_opener(RedirectHandler)

opener.open('http://www.google.cn')

Cookie

urllib2 对 Cookie 的处理也是自动的。如果需要得到某个 Cookie 项的值,可以这么做:

import urllib2

import cookielib

 

cookie = cookielib.CookieJar()

opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))

response = opener.open('http://www.google.com')

for item in cookie:

if item.name == 'some_cookie_item_name':

print item.value

使用 HTTP 的 PUT 和 DELETE 方法

urllib2 只支持 HTTP 的 GET 和 POST 方法,如果要使用 HTTP PUT 和 DELETE ,只能使用比较低层的 httplib 库。虽然如此,我们还是能通过下面的方式,使 urllib2 能够发出 PUT 或 DELETE 的请求:

import urllib2

 

request = urllib2.Request(uri, data=data)

request.get_method = lambda: 'PUT' # or 'DELETE'

response = urllib2.urlopen(request)

这种做法虽然属于 Hack 的方式,但实际使用起来也没什么问题。

得到 HTTP 的返回码

对于 200 OK 来说,只要使用 urlopen 返回的 response 对象的 getcode() 方法就可以得到 HTTP 的返回码。但对其它返回码来说,urlopen 会抛出异常。这时候,就要检查异常对象的 code 属性了:

import urllib2

try:

response = urllib2.urlopen('http://restrict.web.com')

except urllib2.HTTPError, e:

print e.code

Debug Log

使用 urllib2 时,可以通过下面的方法把 debug Log 打开,这样收发包的内容就会在屏幕上打印出来,方便调试,有时可以省去抓包的工作

import urllib2

 

httpHandler = urllib2.HTTPHandler(debuglevel=1)

httpsHandler = urllib2.HTTPSHandler(debuglevel=1)

opener = urllib2.build_opener(httpHandler, httpsHandler)

 

urllib2.install_opener(opener)

response = urllib2.urlopen('http://www.google.com')
Python 相关文章推荐
Python中的并发编程实例
Jul 07 Python
浅谈Python类里的__init__方法函数,Python类的构造函数
Dec 10 Python
单链表反转python实现代码示例
Feb 08 Python
Django Admin实现三级联动的示例代码(省市区)
Jun 22 Python
Python2和Python3.6环境解决共存问题
Nov 09 Python
Python3多目标赋值及共享引用注意事项
May 27 Python
pyqt5让图片自适应QLabel大小上以及移除已显示的图片方法
Jun 21 Python
Python 异步协程函数原理及实例详解
Nov 13 Python
基于Django signals 信号作用及用法详解
Mar 28 Python
python logging模块的使用详解
Oct 23 Python
python 用opencv实现霍夫线变换
Nov 27 Python
python绘制汉诺塔
Mar 01 Python
python实现查询苹果手机维修进度
Mar 16 #Python
python让图片按照exif信息里的创建时间进行排序的方法
Mar 16 #Python
python实现简单的计时器功能函数
Mar 14 #Python
python将图片文件转换成base64编码的方法
Mar 14 #Python
python在Windows8下获取本机ip地址的方法
Mar 14 #Python
python检测远程端口是否打开的方法
Mar 14 #Python
python检测远程udp端口是否打开的方法
Mar 14 #Python
You might like
destoon在360浏览器下出现用户被强行注销的解决方法
2014/06/26 PHP
PHP解码unicode编码的中文字符代码分享
2014/08/13 PHP
Windows下Apache + PHP SESSION丢失的解决过程全纪录
2015/04/07 PHP
Thinkphp关闭缓存的方法
2015/06/26 PHP
PHP数据库操作四:mongodb用法分析
2017/08/16 PHP
extjs3 combobox取value和text案例详解
2013/02/06 Javascript
使用Grunt.js管理你项目的应用说明
2013/04/24 Javascript
js实现日历可获得指定日期周数及星期几示例分享(js获取星期几)
2014/03/14 Javascript
关闭时刷新父窗口两种方法
2014/05/07 Javascript
JavaScript替换当前页面的方法
2015/04/03 Javascript
JavaScript之AOP编程实例
2015/07/17 Javascript
在for循环中length值是否需要缓存
2015/07/27 Javascript
js 将input框中的输入自动转化成半角大写(税号输入框)
2017/02/16 Javascript
js实现每日签到功能
2018/11/29 Javascript
jQuery实现的3D版图片轮播示例【滑动轮播】
2019/01/18 jQuery
什么时候不能在 Node.js 中使用 Lock Files
2019/06/24 Javascript
vue视频播放插件vue-video-player的具体使用方法
2019/11/08 Javascript
js简单实现自动生成表格功能示例
2020/06/02 Javascript
react使用antd表单赋值,用于修改弹框的操作
2020/10/29 Javascript
[29:59]完美世界DOTA2联赛PWL S3 Forest vs access 第二场 12.11
2020/12/13 DOTA
Python实现屏幕截图的两种方式
2018/02/05 Python
对python3中, print横向输出的方法详解
2019/01/28 Python
django解决订单并发问题【推荐】
2019/07/31 Python
python用pip install时安装失败的一系列问题及解决方法
2020/02/24 Python
Python爬虫程序架构和运行流程原理解析
2020/03/09 Python
jupyter notebook 添加kernel permission denied的操作
2020/04/21 Python
详解python with 上下文管理器
2020/09/02 Python
python 下载m3u8视频的示例代码
2020/11/11 Python
Python 实现二叉查找树的示例代码
2020/12/21 Python
Clarks鞋澳大利亚官方网站:Clarks Australia
2019/12/25 全球购物
学习决心书
2014/03/11 职场文书
数学高效课堂实施方案
2014/03/29 职场文书
敬老院献爱心活动总结
2014/07/08 职场文书
2016党员学习心得体会范文
2016/01/23 职场文书
初二英语教学反思
2016/02/15 职场文书
php引用传递
2021/04/01 PHP