Python标准库urllib2的一些使用细节总结


Posted in Python onMarch 16, 2015

Python 标准库中有很多实用的工具类,但是在具体使用时,标准库文档上对使用细节描述的并不清楚,比如 urllib2 这个 HTTP 客户端库。这里总结了一些 urllib2 的使用细节。

1.Proxy 的设置
2.Timeout 设置
3.在 HTTP Request 中加入特定的 Header
4.Redirect
5.Cookie
6.使用 HTTP 的 PUT 和 DELETE 方法
7.得到 HTTP 的返回码
8.Debug Log

Proxy 的设置

urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。如果想在程序中明确控制 Proxy 而不受环境变量的影响,可以使用下面的方式

import urllib2

enable_proxy = True

proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})

null_proxy_handler = urllib2.ProxyHandler({})

 

if enable_proxy:

opener = urllib2.build_opener(proxy_handler)

else:

opener = urllib2.build_opener(null_proxy_handler)

 

urllib2.install_opener(opener)

这里要注意的一个细节,使用 urllib2.install_opener() 会设置 urllib2 的全局 opener 。这样后面的使用会很方便,但不能做更细粒度的控制,比如想在程序中使用两个不同的 Proxy 设置等。比较好的做法是不使用 install_opener 去更改全局的设置,而只是直接调用 opener 的 open 方法代替全局的 urlopen 方法。

Timeout 设置

在老版 Python 中,urllib2 的 API 并没有暴露 Timeout 的设置,要设置 Timeout 值,只能更改 Socket 的全局 Timeout 值。

import urllib2

import socket

socket.setdefaulttimeout(10) # 10 秒钟后超时

urllib2.socket.setdefaulttimeout(10) # 另一种方式

在 Python 2.6 以后,超时可以通过 urllib2.urlopen() 的 timeout 参数直接设置。
import urllib2

response = urllib2.urlopen('http://www.google.com', timeout=10)

在 HTTP Request 中加入特定的 Header

要加入 header,需要使用 Request 对象:

import urllib2

request = urllib2.Request(uri)

request.add_header('User-Agent', 'fake-client')

response = urllib2.urlopen(request)

对有些 header 要特别留意,服务器会针对这些 header 做检查

User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求

Content-Type : 在使用 REST 接口时,服务器会检查该值,用来确定 HTTP Body 中的内容该怎样解析。常见的取值有:

application/xml : 在 XML RPC,如 RESTful/SOAP 调用时使用
application/json : 在 JSON RPC 调用时使用
application/x-www-form-urlencoded : 浏览器提交 Web 表单时使用

在使用服务器提供的 RESTful 或 SOAP 服务时, Content-Type 设置错误会导致服务器拒绝服务

Redirect

urllib2 默认情况下会针对 HTTP 3XX 返回码自动进行 redirect 动作,无需人工配置。要检测是否发生了 redirect 动作,只要检查一下 Response 的 URL 和 Request 的 URL 是否一致就可以了。

import urllib2

response = urllib2.urlopen('http://www.google.cn')

redirected = response.geturl() == 'http://www.google.cn'

如果不想自动 redirect,除了使用更低层次的 httplib 库之外,还可以自定义 HTTPRedirectHandler 类。

import urllib2

 

class RedirectHandler(urllib2.HTTPRedirectHandler):

def http_error_301(self, req, fp, code, msg, headers):

pass

def http_error_302(self, req, fp, code, msg, headers):

pass

 

opener = urllib2.build_opener(RedirectHandler)

opener.open('http://www.google.cn')

Cookie

urllib2 对 Cookie 的处理也是自动的。如果需要得到某个 Cookie 项的值,可以这么做:

import urllib2

import cookielib

 

cookie = cookielib.CookieJar()

opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))

response = opener.open('http://www.google.com')

for item in cookie:

if item.name == 'some_cookie_item_name':

print item.value

使用 HTTP 的 PUT 和 DELETE 方法

urllib2 只支持 HTTP 的 GET 和 POST 方法,如果要使用 HTTP PUT 和 DELETE ,只能使用比较低层的 httplib 库。虽然如此,我们还是能通过下面的方式,使 urllib2 能够发出 PUT 或 DELETE 的请求:

import urllib2

 

request = urllib2.Request(uri, data=data)

request.get_method = lambda: 'PUT' # or 'DELETE'

response = urllib2.urlopen(request)

这种做法虽然属于 Hack 的方式,但实际使用起来也没什么问题。

得到 HTTP 的返回码

对于 200 OK 来说,只要使用 urlopen 返回的 response 对象的 getcode() 方法就可以得到 HTTP 的返回码。但对其它返回码来说,urlopen 会抛出异常。这时候,就要检查异常对象的 code 属性了:

import urllib2

try:

response = urllib2.urlopen('http://restrict.web.com')

except urllib2.HTTPError, e:

print e.code

Debug Log

使用 urllib2 时,可以通过下面的方法把 debug Log 打开,这样收发包的内容就会在屏幕上打印出来,方便调试,有时可以省去抓包的工作

import urllib2

 

httpHandler = urllib2.HTTPHandler(debuglevel=1)

httpsHandler = urllib2.HTTPSHandler(debuglevel=1)

opener = urllib2.build_opener(httpHandler, httpsHandler)

 

urllib2.install_opener(opener)

response = urllib2.urlopen('http://www.google.com')
Python 相关文章推荐
在Python中使用base64模块处理字符编码的教程
Apr 28 Python
python实现折半查找和归并排序算法
Apr 14 Python
Python 逐行分割大txt文件的方法
Oct 10 Python
python Matplotlib画图之调整字体大小的示例
Nov 20 Python
Python实现绘制双柱状图并显示数值功能示例
Jun 23 Python
python实现年会抽奖程序
Jan 22 Python
Python爬虫——爬取豆瓣电影Top250代码实例
Apr 17 Python
处理Selenium3+python3定位鼠标悬停才显示的元素
Jul 31 Python
python 的 openpyxl模块 读取 Excel文件的方法
Sep 09 Python
Anaconda的安装及其环境变量的配置详解
Apr 22 Python
k-means & DBSCAN 总结
Apr 27 Python
Python自动化工具之实现Excel转Markdown表格
Apr 08 Python
python实现查询苹果手机维修进度
Mar 16 #Python
python让图片按照exif信息里的创建时间进行排序的方法
Mar 16 #Python
python实现简单的计时器功能函数
Mar 14 #Python
python将图片文件转换成base64编码的方法
Mar 14 #Python
python在Windows8下获取本机ip地址的方法
Mar 14 #Python
python检测远程端口是否打开的方法
Mar 14 #Python
python检测远程udp端口是否打开的方法
Mar 14 #Python
You might like
dedecms集成财付通支付接口
2014/12/28 PHP
PHP中检索字符串的方法分析【strstr与substr_count方法】
2017/02/17 PHP
php实现头像上传预览功能
2017/04/27 PHP
php利用云片网实现短信验证码功能的示例代码
2017/11/18 PHP
浅谈laravel-admin form中的数据,在提交后,保存前,获取并进行编辑
2019/10/21 PHP
层序遍历在ExtJs的TreePanel中的应用
2009/10/16 Javascript
jquery ready()的几种实现方法小结
2010/06/18 Javascript
基于jquery的不规则矩形的排列实现代码
2012/04/16 Javascript
treepanel动态加载数据实现代码
2012/12/15 Javascript
Javascript实现颜色rgb与16进制转换的方法
2015/04/18 Javascript
Windows 系统下设置Nodejs NPM全局路径
2016/04/26 NodeJs
基于jQuery实现滚动切换效果
2016/12/02 Javascript
js实现3D图片环展示效果
2017/03/09 Javascript
bootstrap table表格使用方法详解
2017/04/26 Javascript
微信小程序 自动登陆PHP源码实例(源码下载)
2017/05/08 Javascript
JavaScript对象拷贝与赋值操作实例分析
2018/12/10 Javascript
vue动态绘制四分之三圆环图效果
2019/09/03 Javascript
vue跳转同一个组件,参数不同,页面接收值只接收一次的解决方法
2019/11/05 Javascript
JavaScript实现多个物体同时运动
2020/03/12 Javascript
基于小程序请求接口wx.request封装的类axios请求
2020/07/02 Javascript
vue-video-player实现实时视频播放方式(监控设备-rtmp流)
2020/08/10 Javascript
js实现列表按字母排序
2020/08/11 Javascript
Python数组定义方法
2016/04/13 Python
Python优化技巧之利用ctypes提高执行速度
2016/09/11 Python
使用apidoc管理RESTful风格Flask项目接口文档方法
2018/02/07 Python
解决nohup执行python程序log文件写入不及时的问题
2019/01/14 Python
Python字典对象实现原理详解
2019/07/01 Python
Python使用pyautocad+openpyxl处理cad文件示例
2019/07/11 Python
在Anaconda3下使用清华镜像源安装TensorFlow(CPU版)
2020/04/19 Python
pytorch查看通道数 维数 尺寸大小方式
2020/05/26 Python
日本网路线上商品代购服务:转送JAPAN
2016/08/05 全球购物
2014年社区庆元旦活动方案
2014/03/08 职场文书
长江七号观后感
2015/06/11 职场文书
爱的教育读书笔记
2015/06/26 职场文书
小学信息技术教学反思
2016/02/16 职场文书
JS监听Esc 键触发事键
2021/04/14 Javascript