python33 urllib2使用方法细节讲解


Posted in Python onDecember 03, 2013

Proxy 的设置

urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。如果想在程序中明确控制 Proxy 而不受环境变量的影响,可以使用下面的方式

import urllib2
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
    opener = urllib2.build_opener(proxy_handler)
else:
    opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)

这里要注意的一个细节,使用 urllib2.install_opener() 会设置 urllib2 的全局 opener 。这样后面的使用会很方便,但不能做更细粒度的控制,比如想在程序中使用两个不同的 Proxy 设置等。比较好的做法是不使用 install_opener 去更改全局的设置,而只是直接调用 opener 的 open 方法代替全局的 urlopen 方法。

Timeout 设置

在老版 Python 中,urllib2 的 API 并没有暴露 Timeout 的设置,要设置 Timeout 值,只能更改 Socket 的全局 Timeout 值。

import urllib2
import socket
socket.setdefaulttimeout(10) # 10 秒钟后超时
urllib2.socket.setdefaulttimeout(10) # 另一种方式

在 Python 2.6 以后,超时可以通过 urllib2.urlopen() 的 timeout 参数直接设置。

import urllib2
response = urllib2.urlopen('http://www.google.com', timeout=10)

在 HTTP Request 中加入特定的 Header

要加入 header,需要使用 Request 对象:

import urllib2
request = urllib2.Request(uri)
request.add_header('User-Agent', 'fake-client')
response = urllib2.urlopen(request)

对有些 header 要特别留意,服务器会针对这些 header 做检查

User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求

Content-Type : 在使用 REST 接口时,服务器会检查该值,用来确定 HTTP Body 中的内容该怎样解析。常见的取值有:

application/xml : 在 XML RPC,如 RESTful/SOAP 调用时使用
application/json : 在 JSON RPC 调用时使用
application/x-www-form-urlencoded : 浏览器提交 Web 表单时使用
在使用服务器提供的 RESTful 或 SOAP 服务时, Content-Type 设置错误会导致服务器拒绝服务

Redirect

urllib2 默认情况下会针对 HTTP 3XX 返回码自动进行 redirect 动作,无需人工配置。要检测是否发生了 redirect 动作,只要检查一下 Response 的 URL 和 Request 的 URL 是否一致就可以了。

import urllib2
response = urllib2.urlopen('http://www.google.cn')
redirected = response.geturl() == 'http://www.google.cn'

如果不想自动 redirect,除了使用更低层次的 httplib 库之外,还可以自定义 HTTPRedirectHandler 类。

import urllib2
class RedirectHandler(urllib2.HTTPRedirectHandler):
    def http_error_301(self, req, fp, code, msg, headers):
        pass
    def http_error_302(self, req, fp, code, msg, headers):
        pass
opener = urllib2.build_opener(RedirectHandler)
opener.open('http://www.google.cn')

Cookie

urllib2 对 Cookie 的处理也是自动的。如果需要得到某个 Cookie 项的值,可以这么做:

import urllib2
import cookielib
cookie = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
response = opener.open('http://www.google.com')
for item in cookie:
    if item.name == 'some_cookie_item_name':
        print item.value

使用 HTTP 的 PUT 和 DELETE 方法

urllib2 只支持 HTTP 的 GET 和 POST 方法,如果要使用 HTTP PUT 和 DELETE ,只能使用比较低层的 httplib 库。虽然如此,我们还是能通过下面的方式,使 urllib2 能够发出 PUT 或 DELETE 的请求:

import urllib2
request = urllib2.Request(uri, data=data)
request.get_method = lambda: 'PUT' # or 'DELETE'
response = urllib2.urlopen(request)

这种做法虽然属于 Hack 的方式,但实际使用起来也没什么问题。

得到 HTTP 的返回码

对于 200 OK 来说,只要使用 urlopen 返回的 response 对象的 getcode() 方法就可以得到 HTTP 的返回码。但对其它返回码来说,urlopen 会抛出异常。这时候,就要检查异常对象的 code 属性了:

import urllib2
try:
    response = urllib2.urlopen('http://www.3water.ent')
except urllib2.HTTPError, e:
    print e.code
Debug Log

使用 urllib2 时,可以通过下面的方法把 debug Log 打开,这样收发包的内容就会在屏幕上打印出来,方便调试,有时可以省去抓包的工作

import urllib2
httpHandler = urllib2.HTTPHandler(debuglevel=1)
httpsHandler = urllib2.HTTPSHandler(debuglevel=1)
opener = urllib2.build_opener(httpHandler, httpsHandler)
urllib2.install_opener(opener)
response = urllib2.urlopen('http://www.google.com')
Python 相关文章推荐
跟老齐学Python之用Python计算
Sep 12 Python
详解Python中的序列化与反序列化的使用
Jun 30 Python
python爬取哈尔滨天气信息
Jul 14 Python
python判断输入日期为第几天的实例
Nov 13 Python
python tkinter实现界面切换的示例代码
Jun 14 Python
python爬虫项目设置一个中断重连的程序的实现
Jul 26 Python
浅析python redis的连接及相关操作
Nov 07 Python
python Qt5实现窗体跟踪鼠标移动
Dec 13 Python
解决pyecharts运行后产生的html文件用浏览器打开空白
Mar 11 Python
Python 字典中的所有方法及用法
Jun 10 Python
python操作链表的示例代码
Sep 27 Python
Python实现批量将文件复制到新的目录中再修改名称
Apr 12 Python
python使用mysqldb连接数据库操作方法示例详解
Dec 03 #Python
二种python发送邮件实例讲解(python发邮件附件可以使用email模块实现)
Dec 03 #Python
python paramiko实现ssh远程访问的方法
Dec 03 #Python
Python使用urllib2获取网络资源实例讲解
Dec 02 #Python
python读写文件操作示例程序
Dec 02 #Python
python通过ElementTree操作XML获取结点读取属性美化XML
Dec 02 #Python
一个简单的python程序实例(通讯录)
Nov 29 #Python
You might like
967 个函式
2006/10/09 PHP
PHP版 汉字转码的实现详解
2013/06/09 PHP
不使用php api函数实现数组的交换排序示例
2014/04/13 PHP
PHP中strlen()和mb_strlen()的区别浅析
2014/06/19 PHP
php采用curl实现伪造IP来源的方法
2014/11/21 PHP
php截取指定2个字符之间字符串的方法
2015/04/15 PHP
PHP的serialize序列化数据以及JSON格式化数据分析
2015/10/10 PHP
PHP pthreads v3在centos7平台下的安装与配置操作方法
2020/02/21 PHP
jquery里的each使用方法详解
2010/12/22 Javascript
读jQuery之七 判断点击了鼠标哪个键的代码
2011/06/21 Javascript
用jquery模仿的a的title属性(兼容ie6/7)
2013/01/21 Javascript
让网页跳转到指定位置的jquery代码非书签
2013/09/06 Javascript
用jquery仿做发微博功能示例
2014/04/18 Javascript
js浏览器本地存储store.js介绍及应用
2014/05/13 Javascript
jquery用ajax方式从后台获取json数据后如何将内容填充到下拉列表
2015/08/26 Javascript
JavaScript中SetInterval与setTimeout的用法详解
2015/11/10 Javascript
vue.js通过自定义指令实现数据拉取更新的实现方法
2016/10/18 Javascript
JS实现Ajax的方法分析
2016/12/20 Javascript
微信小程序网络请求wx.request详解及实例
2017/05/18 Javascript
vue权限路由实现的方法示例总结
2018/07/29 Javascript
JS使用遮罩实现点击某区域以外时弹窗的弹出与关闭功能示例
2018/07/31 Javascript
elementUI中Table表格问题的解决方法
2018/12/04 Javascript
vue cli使用融云实现聊天功能的实例代码
2019/04/19 Javascript
Python中subprocess模块用法实例详解
2015/05/20 Python
Python解惑之True和False详解
2017/04/24 Python
python如何将图片转换为字符图片
2020/08/19 Python
Python如何实现动态数组
2019/11/02 Python
如何使用Cython对python代码进行加密
2020/07/08 Python
用Python制作音乐海报
2021/01/26 Python
HTML5拖放功能_动力节点Java学院整理
2017/07/13 HTML / CSS
英国最大的女性服装零售商:Dorothy Perkins
2017/03/30 全球购物
总经理秘书工作职责
2013/12/26 职场文书
群众路线教育实践活动总结
2014/10/30 职场文书
龙猫观后感
2015/06/09 职场文书
Python 实现绘制子图及子图刻度的变换等问题
2021/05/31 Python
MySQL 数据库 增删查改、克隆、外键 等操作
2022/05/11 MySQL