Python标准库urllib2的一些使用细节总结


Posted in Python onMarch 16, 2015

Python 标准库中有很多实用的工具类,但是在具体使用时,标准库文档上对使用细节描述的并不清楚,比如 urllib2 这个 HTTP 客户端库。这里总结了一些 urllib2 的使用细节。

1.Proxy 的设置
2.Timeout 设置
3.在 HTTP Request 中加入特定的 Header
4.Redirect
5.Cookie
6.使用 HTTP 的 PUT 和 DELETE 方法
7.得到 HTTP 的返回码
8.Debug Log

Proxy 的设置

urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。如果想在程序中明确控制 Proxy 而不受环境变量的影响,可以使用下面的方式

import urllib2

enable_proxy = True

proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})

null_proxy_handler = urllib2.ProxyHandler({})

 

if enable_proxy:

opener = urllib2.build_opener(proxy_handler)

else:

opener = urllib2.build_opener(null_proxy_handler)

 

urllib2.install_opener(opener)

这里要注意的一个细节,使用 urllib2.install_opener() 会设置 urllib2 的全局 opener 。这样后面的使用会很方便,但不能做更细粒度的控制,比如想在程序中使用两个不同的 Proxy 设置等。比较好的做法是不使用 install_opener 去更改全局的设置,而只是直接调用 opener 的 open 方法代替全局的 urlopen 方法。

Timeout 设置

在老版 Python 中,urllib2 的 API 并没有暴露 Timeout 的设置,要设置 Timeout 值,只能更改 Socket 的全局 Timeout 值。

import urllib2

import socket

socket.setdefaulttimeout(10) # 10 秒钟后超时

urllib2.socket.setdefaulttimeout(10) # 另一种方式

在 Python 2.6 以后,超时可以通过 urllib2.urlopen() 的 timeout 参数直接设置。
import urllib2

response = urllib2.urlopen('http://www.google.com', timeout=10)

在 HTTP Request 中加入特定的 Header

要加入 header,需要使用 Request 对象:

import urllib2

request = urllib2.Request(uri)

request.add_header('User-Agent', 'fake-client')

response = urllib2.urlopen(request)

对有些 header 要特别留意,服务器会针对这些 header 做检查

User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求

Content-Type : 在使用 REST 接口时,服务器会检查该值,用来确定 HTTP Body 中的内容该怎样解析。常见的取值有:

application/xml : 在 XML RPC,如 RESTful/SOAP 调用时使用
application/json : 在 JSON RPC 调用时使用
application/x-www-form-urlencoded : 浏览器提交 Web 表单时使用

在使用服务器提供的 RESTful 或 SOAP 服务时, Content-Type 设置错误会导致服务器拒绝服务

Redirect

urllib2 默认情况下会针对 HTTP 3XX 返回码自动进行 redirect 动作,无需人工配置。要检测是否发生了 redirect 动作,只要检查一下 Response 的 URL 和 Request 的 URL 是否一致就可以了。

import urllib2

response = urllib2.urlopen('http://www.google.cn')

redirected = response.geturl() == 'http://www.google.cn'

如果不想自动 redirect,除了使用更低层次的 httplib 库之外,还可以自定义 HTTPRedirectHandler 类。

import urllib2

 

class RedirectHandler(urllib2.HTTPRedirectHandler):

def http_error_301(self, req, fp, code, msg, headers):

pass

def http_error_302(self, req, fp, code, msg, headers):

pass

 

opener = urllib2.build_opener(RedirectHandler)

opener.open('http://www.google.cn')

Cookie

urllib2 对 Cookie 的处理也是自动的。如果需要得到某个 Cookie 项的值,可以这么做:

import urllib2

import cookielib

 

cookie = cookielib.CookieJar()

opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))

response = opener.open('http://www.google.com')

for item in cookie:

if item.name == 'some_cookie_item_name':

print item.value

使用 HTTP 的 PUT 和 DELETE 方法

urllib2 只支持 HTTP 的 GET 和 POST 方法,如果要使用 HTTP PUT 和 DELETE ,只能使用比较低层的 httplib 库。虽然如此,我们还是能通过下面的方式,使 urllib2 能够发出 PUT 或 DELETE 的请求:

import urllib2

 

request = urllib2.Request(uri, data=data)

request.get_method = lambda: 'PUT' # or 'DELETE'

response = urllib2.urlopen(request)

这种做法虽然属于 Hack 的方式,但实际使用起来也没什么问题。

得到 HTTP 的返回码

对于 200 OK 来说,只要使用 urlopen 返回的 response 对象的 getcode() 方法就可以得到 HTTP 的返回码。但对其它返回码来说,urlopen 会抛出异常。这时候,就要检查异常对象的 code 属性了:

import urllib2

try:

response = urllib2.urlopen('http://restrict.web.com')

except urllib2.HTTPError, e:

print e.code

Debug Log

使用 urllib2 时,可以通过下面的方法把 debug Log 打开,这样收发包的内容就会在屏幕上打印出来,方便调试,有时可以省去抓包的工作

import urllib2

 

httpHandler = urllib2.HTTPHandler(debuglevel=1)

httpsHandler = urllib2.HTTPSHandler(debuglevel=1)

opener = urllib2.build_opener(httpHandler, httpsHandler)

 

urllib2.install_opener(opener)

response = urllib2.urlopen('http://www.google.com')
Python 相关文章推荐
Python和GO语言实现的消息摘要算法示例
Mar 10 Python
批量获取及验证HTTP代理的Python脚本
Apr 23 Python
python字符串string的内置方法实例详解
May 14 Python
Python爬虫使用脚本登录Github并查看信息
Jul 16 Python
详解Python with/as使用说明
Dec 13 Python
Python设计模式之迭代器模式原理与用法实例分析
Jan 10 Python
opencv与numpy的图像基本操作
Mar 08 Python
Python 获取指定文件夹下的目录和文件的实现
Aug 30 Python
详解Python time库的使用
Oct 10 Python
pytorch下大型数据集(大型图片)的导入方式
Jan 08 Python
Python Tensor FLow简单使用方法实例详解
Jan 14 Python
关于python类SortedList详解
Sep 04 Python
python实现查询苹果手机维修进度
Mar 16 #Python
python让图片按照exif信息里的创建时间进行排序的方法
Mar 16 #Python
python实现简单的计时器功能函数
Mar 14 #Python
python将图片文件转换成base64编码的方法
Mar 14 #Python
python在Windows8下获取本机ip地址的方法
Mar 14 #Python
python检测远程端口是否打开的方法
Mar 14 #Python
python检测远程udp端口是否打开的方法
Mar 14 #Python
You might like
php实现用户在线时间统计详解
2011/10/08 PHP
PhpMyAdmin出现export.php Missing parameter: what /export_type错误解决方法
2012/08/09 PHP
PHP封装的HttpClient类用法实例
2015/06/17 PHP
Symfony2学习笔记之插件格式分析
2016/03/17 PHP
php array_pop 删除数组最后一个元素实例
2016/11/02 PHP
Yii2框架BootStrap样式的深入理解
2016/11/07 PHP
Thinkphp5行为使用方法汇总
2017/12/21 PHP
js 事件处理函数间的Event物件是否全等
2011/04/08 Javascript
理解JAVASCRIPT中hasOwnProperty()的作用
2013/06/05 Javascript
zTree插件之多选下拉菜单实例代码
2013/11/06 Javascript
在JavaScript的jQuery库中操作AJAX的方法讲解
2015/08/15 Javascript
JavaScript中Textarea滚动条不能拖动的解决方法
2015/12/15 Javascript
JavaScript实现的SHA-1加密算法完整实例
2016/02/02 Javascript
快速解决js中window.location.href不工作的问题
2016/11/02 Javascript
JS克隆,属性,数组,对象,函数实例分析
2016/11/26 Javascript
jQuery 实现双击编辑表格功能
2017/06/19 jQuery
微信小程序 sha1 实现密码加密实例详解
2017/07/06 Javascript
js form表单input框限制20个字符,10个汉字代码实例
2019/04/12 Javascript
Element Steps步骤条的使用方法
2020/07/26 Javascript
vue实现抽屉弹窗效果
2020/11/15 Javascript
[00:55]深扒TI7聊天轮盘语音出处3
2017/05/11 DOTA
Windows和Linux下使用Python访问SqlServer的方法介绍
2015/03/10 Python
详解Python实现按任意键继续/退出的功能
2016/08/19 Python
python使用两种发邮件的方式smtp和outlook示例
2017/06/02 Python
详解python--模拟轮盘抽奖游戏
2019/04/12 Python
python爬虫利用selenium实现自动翻页爬取某鱼数据的思路详解
2020/12/22 Python
Web页面中八种创建多列等高(等高列布局)的实现技术
2012/12/24 HTML / CSS
html5标记文字_动力节点Java学院整理
2017/07/11 HTML / CSS
英国露营设备和户外服装购物网站:Simply Hike
2019/05/05 全球购物
制药工程专业个人求职自荐信
2014/01/25 职场文书
物业保安员岗位职责制度
2014/01/30 职场文书
运动会广播稿150字(9篇)
2014/09/20 职场文书
财务个人年度总结范文
2015/02/26 职场文书
2015年消防工作总结
2015/04/24 职场文书
pytorch 如何使用float64训练
2021/05/24 Python
解析python中的jsonpath 提取器
2022/01/18 Python