Python中urllib2模块的8个使用细节分享


Posted in Python onJanuary 01, 2015

Python 标准库中有很多实用的工具类,但是在具体使用时,标准库文档上对使用细节描述的并不清楚,比如 urllib2 这个 HTTP 客户端库。这里总结了一些 urllib2 库的使用细节。

1 Proxy 的设置

urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。如果想在程序中明确控制 Proxy,而不受环境变量的影响,可以使用下面的方式

import urllib2

 

enable_proxy = True

proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})

null_proxy_handler = urllib2.ProxyHandler({})

 

if enable_proxy:

    opener = urllib2.build_opener(proxy_handler)

else:

    opener = urllib2.build_opener(null_proxy_handler)

 

urllib2.install_opener(opener)

这里要注意的一个细节,使用 urllib2.install_opener() 会设置 urllib2 的全局 opener。这样后面的使用会很方便,但不能做更细粒度的控制,比如想在程序中使用两个不同的 Proxy 设置等。比较好的做法是不使用 install_opener 去更改全局的设置,而只是直接调用 opener 的 open 方法代替全局的 urlopen 方法。

2 Timeout 设置

在老版本中,urllib2 的 API 并没有暴露 Timeout 的设置,要设置 Timeout 值,只能更改 Socket 的全局 Timeout 值。

import urllib2

import socket

 

socket.setdefaulttimeout(10) # 10 秒钟后超时

urllib2.socket.setdefaulttimeout(10) # 另一种方式

在新的 Python 2.6 版本中,超时可以通过 urllib2.urlopen() 的 timeout 参数直接设置。
import urllib2

response = urllib2.urlopen('http://www.google.com', timeout=10)

3 在 HTTP Request 中加入特定的 Header
要加入 Header,需要使用 Request 对象:
import urllib2

 

request = urllib2.Request(uri)

request.add_header('User-Agent', 'fake-client')

response = urllib2.urlopen(request)

对有些 header 要特别留意,Server 端会针对这些 header 做检查

1.User-Agent 有些 Server 或 Proxy 会检查该值,用来判断是否是浏览器发起的 Request
2.Content-Type 在使用 REST 接口时,Server 会检查该值,用来确定 HTTP Body 中的内容该怎样解析。

常见的取值有:

1.application/xml :在 XML RPC,如 RESTful/SOAP 调用时使用
2.application/json :在 JSON RPC 调用时使用
3.application/x-www-form-urlencoded :浏览器提交 Web 表单时使用
……

在使用 RPC 调用 Server 提供的 RESTful 或 SOAP 服务时, Content-Type 设置错误会导致 Server 拒绝服务。

4 Redirect

urllib2 默认情况下会针对 3xx HTTP 返回码自动进行 Redirect 动作,无需人工配置。要检测是否发生了 Redirect 动作,只要检查一下 Response 的 URL 和 Request 的 URL 是否一致就可以了。

import urllib2

response = urllib2.urlopen('http://www.google.cn')

redirected = response.geturl() == 'http://www.google.cn'

如果不想自动 Redirect,除了使用更低层次的 httplib 库之外,还可以使用自定义的 HTTPRedirectHandler 类。
import urllib2

 

class RedirectHandler(urllib2.HTTPRedirectHandler):

    def http_error_301(self, req, fp, code, msg, headers):

        pass

    def http_error_302(self, req, fp, code, msg, headers):

        pass

 

opener = urllib2.build_opener(RedirectHandler)

opener.open('http://www.google.cn')

5 Cookie

urllib2 对 Cookie 的处理也是自动的。如果需要得到某个 Cookie 项的值,可以这么做:

import urllib2

import cookielib

 

cookie = cookielib.CookieJar()

opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))

response = opener.open('http://www.google.com')

for item in cookie:

    if item.name == 'some_cookie_item_name':

        print item.value

6 使用 HTTP 的 PUT 和 DELETE 方法
urllib2 只支持 HTTP 的 GET 和 POST 方法,如果要使用 HTTP PUT 和 DELETE,只能使用比较低层的 httplib 库。虽然如此,我们还是能通过下面的方式,使 urllib2 能够发出 HTTP PUT 或 DELETE 的包:
import urllib2

 

request = urllib2.Request(uri, data=data)

request.get_method = lambda: 'PUT' # or 'DELETE'

response = urllib2.urlopen(request)

这种做法虽然属于 Hack 的方式,但实际使用起来也没什么问题。

7 得到 HTTP 的返回码

对于 200 OK 来说,只要使用 urlopen 返回的 response 对象的 getcode() 方法就可以得到 HTTP 的返回码。但对其它返回码来说,urlopen 会抛出异常。这时候,就要检查异常对象的 code 属性了:

import urllib2

try:

    response = urllib2.urlopen('http://restrict.web.com')

except urllib2.HTTPError, e:

    print e.code

8 Debug Log

使用 urllib2 时,可以通过下面的方法把 Debug Log 打开,这样收发包的内容就会在屏幕上打印出来,方便我们调试,在一定程度上可以省去抓包的工作。

import urllib2

 

httpHandler = urllib2.HTTPHandler(debuglevel=1)

httpsHandler = urllib2.HTTPSHandler(debuglevel=1)

opener = urllib2.build_opener(httpHandler, httpsHandler)

 

urllib2.install_opener(opener)

response = urllib2.urlopen('http://www.google.com')
Python 相关文章推荐
用Python操作字符串之rindex()方法的使用
May 19 Python
Python实现求最大公约数及判断素数的方法
May 26 Python
Django中的CACHE_BACKEND参数和站点级Cache设置
Jul 23 Python
Python 搭建Web站点之Web服务器与Web框架
Nov 06 Python
Python WXPY实现微信监控报警功能的代码
Oct 20 Python
Python UnboundLocalError和NameError错误根源案例解析
Oct 31 Python
python实现连连看辅助(图像识别)
Mar 25 Python
Django基础三之视图函数的使用方法
Jul 18 Python
如何用Python来搭建一个简单的推荐系统
Aug 07 Python
python可以用哪些数据库
Jun 22 Python
基于Python爬取51cto博客页面信息过程解析
Aug 25 Python
浅析Python OpenCV三种滤镜效果
Apr 11 Python
Python读取ini文件、操作mysql、发送邮件实例
Jan 01 #Python
Python实现检测服务器是否可以ping通的2种方法
Jan 01 #Python
Python Web框架Flask信号机制(signals)介绍
Jan 01 #Python
Python模拟登录12306的方法
Dec 30 #Python
python执行shell获取硬件参数写入mysql的方法
Dec 29 #Python
简单的抓取淘宝图片的Python爬虫
Dec 25 #Python
简单使用Python自动生成文章
Dec 25 #Python
You might like
PHP URL地址获取函数代码(端口等) 推荐
2010/05/15 PHP
php缓冲 output_buffering和ob_start使用介绍
2014/01/30 PHP
php生成PDF格式文件并且加密
2015/06/22 PHP
IE和firefox浏览器的event事件兼容性汇总
2009/12/06 Javascript
改进版通过Json对象实现深复制的方法
2012/10/24 Javascript
利用javascript实现禁用网页上所有文本框,下拉菜单,多行文本域
2013/12/14 Javascript
如何用jquery控制表格奇偶行及活动行颜色
2014/04/20 Javascript
现代 JavaScript 开发编程风格Idiomatic.js指南中文版
2014/05/28 Javascript
让浏览器DOM元素最后加载的js方法
2014/07/29 Javascript
jQuery ajax分页插件实例代码
2016/01/27 Javascript
浅析$.getJSON异步请求和同步请求
2016/06/06 Javascript
使用Javascript判断浏览器终端设备(PC、IOS(iphone)、Android)
2017/01/04 Javascript
简单实现IONIC购物车功能
2017/01/10 Javascript
Angularjs的键盘事件的绑定
2017/07/27 Javascript
Vue源码学习之初始化模块init.js解析
2017/11/02 Javascript
js 提取某()特殊字符串长度的实例
2017/12/06 Javascript
js中Object.defineProperty()方法的不详解
2018/07/09 Javascript
Python随机生成一个6位的验证码代码分享
2015/03/24 Python
python创建和删除目录的方法
2015/04/29 Python
Python的SimpleHTTPServer模块用处及使用方法简介
2018/01/22 Python
对python 矩阵转置transpose的实例讲解
2018/04/17 Python
python读取文本绘制动态速度曲线
2018/06/21 Python
Python中关键字global和nonlocal的区别详解
2018/09/03 Python
Django实现学员管理系统
2019/02/26 Python
Python之lambda匿名函数及map和filter的用法
2019/03/05 Python
Python何时应该使用Lambda函数
2019/07/02 Python
python 的 scapy库,实现网卡收发包的例子
2019/07/23 Python
Python3进制之间的转换代码实例
2019/08/24 Python
用Python写一个自动木马程序
2019/09/17 Python
python pptx复制指定页的ppt教程
2020/02/14 Python
小学教师评语大全
2014/04/23 职场文书
2014年小学美术工作总结
2014/12/20 职场文书
2015年音乐教研组工作总结
2015/07/22 职场文书
Django显示可视化图表的实践
2021/05/10 Python
SQL Server中的游标介绍
2022/05/20 SQL Server
Java时间工具类Date的常用处理方法
2022/05/25 Java/Android