Python网络编程中urllib2模块的用法总结


Posted in Python onJuly 12, 2016

一、最基础的应用

import urllib2

url = r'http://www.baidu.com'
html = urllib2.urlopen(url).read()

print html

客户端与服务器端通过request与response来沟通,客户端先向服务端发送request,然后接收服务端返回的response

urllib2提供了request的类,可以让用户在发送请求前先构造一个request的对象,然后通过urllib2.urlopen方法来发送请求

import urllib2

url = r'http://www.baidu.com'
req = urllib2.Request(url)
html = urllib2.urlopen(req).read()
print html

上例中先使用

req = urllib2.Request(url)

实例化一个resquest对象,接下来使用

urllib2.urlopen(req)

来打开这个网页。

我们注意到在实例化Request对象的时候,队了url是必须的,还有几个默认的参数

Python网络编程中urllib2模块的用法总结

基中data与header也是使用的比较多的,一些需要登录的才能浏览的网站经常需要这两个参数

import urllib 
import urllib2 
 
url = 'http://www.baidu.com/' 
values = {'name' : 'Michael Foord', 'location' : 'Northampton','language' : 'Python' } 
data = urllib.urlencode(values) 
req = urllib2.Request(url,data) 
response = urllib2.urlopen(req) 
the_page = response.read()

print the_page

这个例子是向百度发送几个数据,这个例子是会返回一个错误页面,很正常,因为我们在访问百度的时候并不需要post什么信息,post了倒是会出错

百度是找不到相应的网页就会报错。

当然这个是POST数据,也可以用在GET方法,稍将上面的代码进行改造

百度是通过http://www.baidu.com/s?wd=XXX 来进行查询的,这样我们需要将{‘wd':'xxx'}这个字典进行urlencode

#coding:utf-8
import urllib 
import urllib2 
 
url = 'http://www.baidu.com/s' 
values = {'wd':'杨彦星'} 
data = urllib.urlencode(values)
print data 
url2 = url+'?'+data
response = urllib2.urlopen(url2) 
the_page = response.read()

print the_page

以下以模拟登录人人网然后再显示首页内容为例来详细说明一下cookie的使用,以下是文档中给的例子,我们就通过改造这个例子来实现我们想要的功能

import cookielib, urllib2
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
r = opener.open("http://example.com/")
 
#coding:utf-8
import urllib2,urllib
import cookielib

url = r'http://www.renren.com/ajaxLogin'

#创建一个cj的cookie的容器
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
#将要POST出去的数据进行编码
data = urllib.urlencode({"email":email,"password":pass})
r = opener.open(url,data)
print cj

当你看到有cj的时候,说明你已经访问了登录页面,是否正常登录你现在还看不出来,可以通过访问http://www.renren.com/home 来查看

上面的代码有两点要说明,我也是看了很长时间才明白

r = opener.open(url,data)

这句,为什么要使用opener这个对象来open,而不是用utllib2,urlopen?不光是例子里这么写,我们才这么写,通过改造我们也可以使用urllib2.urlopen,其实是因为opener是urllib2.bulid_opener创造出来的, 但是你可以这样理解,他build出来后,自已却并没有安装使用它,也没有它的属性与方法,如果想使urllib2也具有opener的属性与方法,可以先使用urllib2.install_opener(opener)来"安装"这个opener,安装完以后就可以使用urllib2来操作了

#coding:utf-8
import urllib2,urllib
import cookielib

url = r'http://www.renren.com/ajaxLogin'

#创建一个cj的cookie的容器
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
urllib2.install_opener(opener)
#将要POST出去的数据进行编码
data = urllib.urlencode({"email":email,"password":pass})
#r = opener.open(url,data)如果没有上面的urllib2.install_opener方法,就必须这样写了
r = urllib2.urlopen(url,data)
html = urllib2.urlopen('http://www.renren.com/home').read()

print html

同样urllib2还有proxy相关的handle,基本的思路和这个差不多。

二、异常处理

当urlopen()不能处理响应时会引起URLError异常。HTTPError异常是URLError的一个子类,只有在访问HTTP类型的URL时才会引起。

1、URLError异常

通常引起URLError的原因是:无网络连接(没有到目标服务器的路由)、访问的目标服务器不存在。在这种情况下,异常对象会有reason属性(是一个(错误码、错误原因)的元组)。

#! /usr/bin/env python
#coding=utf-8
import urllib2

url="http://www.baidu.com/"
try:
 response=urllib2.urlopen(url)
except urllib2.URLError,e:
 print e.reason

2、HTTPError
每一个从服务器返回的HTTP响应都有一个状态码。其中,有的状态码表示服务器不能完成相应的请求,默认的处理程序可以为我们处理一些这样的状态码(如返回的响应是重定向,urllib2会自动为我们从重定向后的页面中获取信息)。有些状态码,urllib2模块不能帮我们处理,那么urlopen函数就会引起HTTPError异常,其中典型的有404/401。
HTTPError异常的实例有整数类型的code属性,表示服务器返回的错误状态码。
urllib2模块默认的处理程序可以处理重定向(状态码是300范围),而且状态码在100-299范围内表示成功。因此,能够引起HTTPError异常的状态码范围是:400-599.
当引起错误时,服务器会返回HTTP错误码和错误页面。你可以将HTPError实例作为返回页面,这意味着,HTTPError实例不仅有code属性,还有read、geturl、info等方法。

#! /usr/bin/env python
#coding=utf-8
import urllib2

url="http://cs.scu.edu.cn/~duanlei"
try:
 response=urllib2.urlopen(url)
except urllib2.HTTPError,e:
 print e.code
 print e.read()

3、总结
如果想在代码中处理URLError和HTTPError有两种方法,代码如下:

#! /usr/bin/env python
#coding=utf-8
import urllib2
url="xxxxxx" #需要访问的URL
try:
 response=urllib2.urlopen(url)
except urllib2.HTTPError,e: #HTTPError必须排在URLError的前面
 print "The server couldn't fulfill the request"
 print "Error code:",e.code
 print "Return content:",e.read()
except urllib2.URLError,e:
 print "Failed to reach the server"
 print "The reason:",e.reason
else:
 #something you should do
 pass #其他异常的处理
#! /usr/bin/env python
#coding=utf-8
import urllib2
url="http://xxx" #需要访问的URL
try:
 response=urllib2.urlopen(url)
except urllib2.URLError,e:
 if hasattr(e,"reason"):
 print "Failed to reach the server"
 print "The reason:",e.reason
 elif hasattr(e,"code"):
 print "The server couldn't fulfill the request"
 print "Error code:",e.code
 print "Return content:",e.read()
else:
 pass #其他异常的处理

相比较而言,第二种异常处理方法更优。

Python 相关文章推荐
python开发之thread实现布朗运动的方法
Nov 11 Python
python连接数据库的方法
Oct 19 Python
Django中针对基于类的视图添加csrf_exempt实例代码
Feb 11 Python
python之DataFrame实现excel合并单元格
Feb 22 Python
python线程池threadpool实现篇
Apr 27 Python
python中使用psutil查看内存占用的情况
Jun 11 Python
解决Python中list里的中文输出到html模板里的问题
Dec 17 Python
Django使用 Bootstrap 样式修改书籍列表过程解析
Aug 09 Python
python PIL/cv2/base64相互转换实例
Jan 09 Python
Python操作Excel把数据分给sheet
May 20 Python
新手学习Python2和Python3中print不同的用法
Jun 09 Python
如何使用Python提取Chrome浏览器保存的密码
Jun 09 Python
Python中内置的日志模块logging用法详解
Jul 12 #Python
Swift 3.0在集合类数据结构上的一些新变化总结
Jul 11 #Python
浅析Python的web.py框架中url的设定方法
Jul 11 #Python
深入解析Python的Tornado框架中内置的模板引擎
Jul 11 #Python
使用Python的Tornado框架实现一个Web端图书展示页面
Jul 11 #Python
Windows中使用wxPython和py2exe开发Python的GUI程序的实例教程
Jul 11 #Python
Python的requests网络编程包使用教程
Jul 11 #Python
You might like
深入了解 register_globals (附register_globals=off 网站打不开的解决方法)
2012/06/27 PHP
PHP中应该避免使用同名变量(拆分临时变量)
2015/04/03 PHP
详解PHP原生DOM对象操作XML的方法
2016/10/17 PHP
javascript 三种编解码方式
2010/02/01 Javascript
异步加载script的代码
2011/01/12 Javascript
给页面渲染时间加速 干掉Dom Level 0 Event
2012/12/19 Javascript
使用jQuery UI的tooltip函数修饰title属性的气泡悬浮框
2013/06/24 Javascript
js获取html页面节点方法(递归方式)
2013/12/13 Javascript
jquery form 加载数据示例
2014/04/21 Javascript
Node.js数据库操作之查询MySQL数据库(二)
2017/03/04 Javascript
详解Vue 方法与事件处理器
2017/06/20 Javascript
JScript实现地址选择功能
2017/08/15 Javascript
BootStrap下的弹出框加载select2框架失败的解决方法
2017/08/31 Javascript
对vue2.0中.vue文件页面跳转之.$router.push的用法详解
2018/08/24 Javascript
详解vue为什么要求组件模板只能有一个根元素
2019/07/22 Javascript
js仿淘宝放大镜效果
2020/12/28 Javascript
[02:28]DOTA2英雄基础教程 灰烬之灵
2013/12/19 DOTA
Python3实现并发检验代理池地址的方法
2016/09/18 Python
Python中new方法的详解
2019/01/15 Python
python实现自动化上线脚本的示例
2019/07/01 Python
使用django的ORM框架按月统计近一年内的数据方法
2019/07/18 Python
python运用pygame库实现双人弹球小游戏
2019/11/25 Python
使用pickle存储数据dump 和 load实例讲解
2019/12/30 Python
如何在python中执行另一个py文件
2020/04/30 Python
django在开发中取消外键约束的实现
2020/05/20 Python
HTML5标签使用方法详解
2015/11/27 HTML / CSS
诗狄娜化妆品官方网站:Stila Cosmetics
2016/12/21 全球购物
Spanx塑身衣官网:美国知名内衣品牌
2017/01/11 全球购物
高分子材料与工程专业个人求职信
2013/12/15 职场文书
领导干部考察材料
2014/02/08 职场文书
事业单位竞聘上岗实施方案
2014/03/28 职场文书
《山谷中的谜底》教学反思
2014/04/26 职场文书
黄山导游词
2015/01/31 职场文书
新娘婚礼致辞
2015/07/27 职场文书
情侣餐厅的创业计划书范本!
2019/07/26 职场文书
实例详解Python的进程,线程和协程
2022/03/13 Python