Python中urllib2模块的8个使用细节分享


Posted in Python onJanuary 01, 2015

Python 标准库中有很多实用的工具类,但是在具体使用时,标准库文档上对使用细节描述的并不清楚,比如 urllib2 这个 HTTP 客户端库。这里总结了一些 urllib2 库的使用细节。

1 Proxy 的设置

urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。如果想在程序中明确控制 Proxy,而不受环境变量的影响,可以使用下面的方式

import urllib2

 

enable_proxy = True

proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})

null_proxy_handler = urllib2.ProxyHandler({})

 

if enable_proxy:

    opener = urllib2.build_opener(proxy_handler)

else:

    opener = urllib2.build_opener(null_proxy_handler)

 

urllib2.install_opener(opener)

这里要注意的一个细节,使用 urllib2.install_opener() 会设置 urllib2 的全局 opener。这样后面的使用会很方便,但不能做更细粒度的控制,比如想在程序中使用两个不同的 Proxy 设置等。比较好的做法是不使用 install_opener 去更改全局的设置,而只是直接调用 opener 的 open 方法代替全局的 urlopen 方法。

2 Timeout 设置

在老版本中,urllib2 的 API 并没有暴露 Timeout 的设置,要设置 Timeout 值,只能更改 Socket 的全局 Timeout 值。

import urllib2

import socket

 

socket.setdefaulttimeout(10) # 10 秒钟后超时

urllib2.socket.setdefaulttimeout(10) # 另一种方式

在新的 Python 2.6 版本中,超时可以通过 urllib2.urlopen() 的 timeout 参数直接设置。
import urllib2

response = urllib2.urlopen('http://www.google.com', timeout=10)

3 在 HTTP Request 中加入特定的 Header
要加入 Header,需要使用 Request 对象:
import urllib2

 

request = urllib2.Request(uri)

request.add_header('User-Agent', 'fake-client')

response = urllib2.urlopen(request)

对有些 header 要特别留意,Server 端会针对这些 header 做检查

1.User-Agent 有些 Server 或 Proxy 会检查该值,用来判断是否是浏览器发起的 Request
2.Content-Type 在使用 REST 接口时,Server 会检查该值,用来确定 HTTP Body 中的内容该怎样解析。

常见的取值有:

1.application/xml :在 XML RPC,如 RESTful/SOAP 调用时使用
2.application/json :在 JSON RPC 调用时使用
3.application/x-www-form-urlencoded :浏览器提交 Web 表单时使用
……

在使用 RPC 调用 Server 提供的 RESTful 或 SOAP 服务时, Content-Type 设置错误会导致 Server 拒绝服务。

4 Redirect

urllib2 默认情况下会针对 3xx HTTP 返回码自动进行 Redirect 动作,无需人工配置。要检测是否发生了 Redirect 动作,只要检查一下 Response 的 URL 和 Request 的 URL 是否一致就可以了。

import urllib2

response = urllib2.urlopen('http://www.google.cn')

redirected = response.geturl() == 'http://www.google.cn'

如果不想自动 Redirect,除了使用更低层次的 httplib 库之外,还可以使用自定义的 HTTPRedirectHandler 类。
import urllib2

 

class RedirectHandler(urllib2.HTTPRedirectHandler):

    def http_error_301(self, req, fp, code, msg, headers):

        pass

    def http_error_302(self, req, fp, code, msg, headers):

        pass

 

opener = urllib2.build_opener(RedirectHandler)

opener.open('http://www.google.cn')

5 Cookie

urllib2 对 Cookie 的处理也是自动的。如果需要得到某个 Cookie 项的值,可以这么做:

import urllib2

import cookielib

 

cookie = cookielib.CookieJar()

opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))

response = opener.open('http://www.google.com')

for item in cookie:

    if item.name == 'some_cookie_item_name':

        print item.value

6 使用 HTTP 的 PUT 和 DELETE 方法
urllib2 只支持 HTTP 的 GET 和 POST 方法,如果要使用 HTTP PUT 和 DELETE,只能使用比较低层的 httplib 库。虽然如此,我们还是能通过下面的方式,使 urllib2 能够发出 HTTP PUT 或 DELETE 的包:
import urllib2

 

request = urllib2.Request(uri, data=data)

request.get_method = lambda: 'PUT' # or 'DELETE'

response = urllib2.urlopen(request)

这种做法虽然属于 Hack 的方式,但实际使用起来也没什么问题。

7 得到 HTTP 的返回码

对于 200 OK 来说,只要使用 urlopen 返回的 response 对象的 getcode() 方法就可以得到 HTTP 的返回码。但对其它返回码来说,urlopen 会抛出异常。这时候,就要检查异常对象的 code 属性了:

import urllib2

try:

    response = urllib2.urlopen('http://restrict.web.com')

except urllib2.HTTPError, e:

    print e.code

8 Debug Log

使用 urllib2 时,可以通过下面的方法把 Debug Log 打开,这样收发包的内容就会在屏幕上打印出来,方便我们调试,在一定程度上可以省去抓包的工作。

import urllib2

 

httpHandler = urllib2.HTTPHandler(debuglevel=1)

httpsHandler = urllib2.HTTPSHandler(debuglevel=1)

opener = urllib2.build_opener(httpHandler, httpsHandler)

 

urllib2.install_opener(opener)

response = urllib2.urlopen('http://www.google.com')
Python 相关文章推荐
python实现进程间通信简单实例
Jul 23 Python
python超简单解决约瑟夫环问题
May 12 Python
numpy.random.seed()的使用实例解析
Feb 03 Python
基于python 二维数组及画图的实例详解
Apr 03 Python
Tensorflow使用tfrecord输入数据格式
Jun 19 Python
python交易记录整合交易类详解
Jul 03 Python
python 实现多线程下载视频的代码
Nov 15 Python
解决django model修改添加字段报错的问题
Nov 18 Python
为什么黑客都用python(123个黑客必备的Python工具)
Jan 31 Python
python脚本实现mp4中的音频提取并保存在原目录
Feb 27 Python
Python基于pandas爬取网页表格数据
May 11 Python
Python Django获取URL中的数据详解
Nov 01 Python
Python读取ini文件、操作mysql、发送邮件实例
Jan 01 #Python
Python实现检测服务器是否可以ping通的2种方法
Jan 01 #Python
Python Web框架Flask信号机制(signals)介绍
Jan 01 #Python
Python模拟登录12306的方法
Dec 30 #Python
python执行shell获取硬件参数写入mysql的方法
Dec 29 #Python
简单的抓取淘宝图片的Python爬虫
Dec 25 #Python
简单使用Python自动生成文章
Dec 25 #Python
You might like
php中get_headers函数的作用及用法的详细介绍
2013/04/27 PHP
PHP中最容易忘记的一些知识点总结
2013/04/28 PHP
PHP连接sftp并下载文件的方法教程
2018/08/26 PHP
JavaScript 放大镜 移动镜片效果代码
2011/05/09 Javascript
A标签触发onclick事件而不跳转的多种解决方法
2013/06/27 Javascript
求数组最大最小值方法适用于任何数组
2013/08/16 Javascript
判断字符串的长度(优化版)中文占两个字符
2014/10/30 Javascript
jquery操作对象数组元素方法详解
2014/11/26 Javascript
JavaScript获取URL汇总
2015/06/08 Javascript
jquery遍历函数siblings()用法实例
2015/12/24 Javascript
jQuery基本选择器(实例及表单域value的获取方法)
2016/05/20 Javascript
微信QQ的二维码登录原理js代码解析
2016/06/23 Javascript
利用python分析access日志的方法
2016/10/26 Javascript
js监听input输入框值的实时变化实例
2017/01/26 Javascript
JavaScript使用readAsDataURL读取图像文件
2017/05/10 Javascript
switchery按钮的使用方法
2017/12/18 Javascript
vue.js element-ui validate中代码不执行问题解决方法
2017/12/18 Javascript
Angular8 简单表单验证的实现示例
2020/06/03 Javascript
详解element-ui动态限定的日期范围选择器代码片段
2020/07/03 Javascript
react ant Design手动设置表单的值操作
2020/10/31 Javascript
vue 解决IOS10低版本白屏的问题
2020/11/17 Javascript
python中pylint使用方法(pylint代码检查)
2018/04/06 Python
Python 内置函数进制转换的用法(十进制转二进制、八进制、十六进制)
2018/04/30 Python
python编写简易聊天室实现局域网内聊天功能
2018/07/28 Python
Python和Sublime整合过程图示
2019/12/25 Python
Giglio俄罗斯奢侈品购物网:男士、女士、儿童高级时装
2018/07/27 全球购物
毕业生实习鉴定
2013/12/11 职场文书
乔布斯斯坦福大学演讲稿
2014/05/23 职场文书
2014预备党员党课学习心得范文
2014/07/08 职场文书
2014年商场国庆节活动策划方案
2014/09/16 职场文书
债务纠纷委托书范本
2014/10/14 职场文书
英语感谢信范文
2015/01/20 职场文书
综合办公室主任岗位职责
2015/04/01 职场文书
2015暑期社会实践调查报告
2015/07/14 职场文书
初中语文教师研修日志
2015/11/13 职场文书
初中历史教学反思
2016/02/19 职场文书