Python网络编程中urllib2模块的用法总结


Posted in Python onJuly 12, 2016

一、最基础的应用

import urllib2

url = r'http://www.baidu.com'
html = urllib2.urlopen(url).read()

print html

客户端与服务器端通过request与response来沟通,客户端先向服务端发送request,然后接收服务端返回的response

urllib2提供了request的类,可以让用户在发送请求前先构造一个request的对象,然后通过urllib2.urlopen方法来发送请求

import urllib2

url = r'http://www.baidu.com'
req = urllib2.Request(url)
html = urllib2.urlopen(req).read()
print html

上例中先使用

req = urllib2.Request(url)

实例化一个resquest对象,接下来使用

urllib2.urlopen(req)

来打开这个网页。

我们注意到在实例化Request对象的时候,队了url是必须的,还有几个默认的参数

Python网络编程中urllib2模块的用法总结

基中data与header也是使用的比较多的,一些需要登录的才能浏览的网站经常需要这两个参数

import urllib 
import urllib2 
 
url = 'http://www.baidu.com/' 
values = {'name' : 'Michael Foord', 'location' : 'Northampton','language' : 'Python' } 
data = urllib.urlencode(values) 
req = urllib2.Request(url,data) 
response = urllib2.urlopen(req) 
the_page = response.read()

print the_page

这个例子是向百度发送几个数据,这个例子是会返回一个错误页面,很正常,因为我们在访问百度的时候并不需要post什么信息,post了倒是会出错

百度是找不到相应的网页就会报错。

当然这个是POST数据,也可以用在GET方法,稍将上面的代码进行改造

百度是通过http://www.baidu.com/s?wd=XXX 来进行查询的,这样我们需要将{‘wd':'xxx'}这个字典进行urlencode

#coding:utf-8
import urllib 
import urllib2 
 
url = 'http://www.baidu.com/s' 
values = {'wd':'杨彦星'} 
data = urllib.urlencode(values)
print data 
url2 = url+'?'+data
response = urllib2.urlopen(url2) 
the_page = response.read()

print the_page

以下以模拟登录人人网然后再显示首页内容为例来详细说明一下cookie的使用,以下是文档中给的例子,我们就通过改造这个例子来实现我们想要的功能

import cookielib, urllib2
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
r = opener.open("http://example.com/")
 
#coding:utf-8
import urllib2,urllib
import cookielib

url = r'http://www.renren.com/ajaxLogin'

#创建一个cj的cookie的容器
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
#将要POST出去的数据进行编码
data = urllib.urlencode({"email":email,"password":pass})
r = opener.open(url,data)
print cj

当你看到有cj的时候,说明你已经访问了登录页面,是否正常登录你现在还看不出来,可以通过访问http://www.renren.com/home 来查看

上面的代码有两点要说明,我也是看了很长时间才明白

r = opener.open(url,data)

这句,为什么要使用opener这个对象来open,而不是用utllib2,urlopen?不光是例子里这么写,我们才这么写,通过改造我们也可以使用urllib2.urlopen,其实是因为opener是urllib2.bulid_opener创造出来的, 但是你可以这样理解,他build出来后,自已却并没有安装使用它,也没有它的属性与方法,如果想使urllib2也具有opener的属性与方法,可以先使用urllib2.install_opener(opener)来"安装"这个opener,安装完以后就可以使用urllib2来操作了

#coding:utf-8
import urllib2,urllib
import cookielib

url = r'http://www.renren.com/ajaxLogin'

#创建一个cj的cookie的容器
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
urllib2.install_opener(opener)
#将要POST出去的数据进行编码
data = urllib.urlencode({"email":email,"password":pass})
#r = opener.open(url,data)如果没有上面的urllib2.install_opener方法,就必须这样写了
r = urllib2.urlopen(url,data)
html = urllib2.urlopen('http://www.renren.com/home').read()

print html

同样urllib2还有proxy相关的handle,基本的思路和这个差不多。

二、异常处理

当urlopen()不能处理响应时会引起URLError异常。HTTPError异常是URLError的一个子类,只有在访问HTTP类型的URL时才会引起。

1、URLError异常

通常引起URLError的原因是:无网络连接(没有到目标服务器的路由)、访问的目标服务器不存在。在这种情况下,异常对象会有reason属性(是一个(错误码、错误原因)的元组)。

#! /usr/bin/env python
#coding=utf-8
import urllib2

url="http://www.baidu.com/"
try:
 response=urllib2.urlopen(url)
except urllib2.URLError,e:
 print e.reason

2、HTTPError
每一个从服务器返回的HTTP响应都有一个状态码。其中,有的状态码表示服务器不能完成相应的请求,默认的处理程序可以为我们处理一些这样的状态码(如返回的响应是重定向,urllib2会自动为我们从重定向后的页面中获取信息)。有些状态码,urllib2模块不能帮我们处理,那么urlopen函数就会引起HTTPError异常,其中典型的有404/401。
HTTPError异常的实例有整数类型的code属性,表示服务器返回的错误状态码。
urllib2模块默认的处理程序可以处理重定向(状态码是300范围),而且状态码在100-299范围内表示成功。因此,能够引起HTTPError异常的状态码范围是:400-599.
当引起错误时,服务器会返回HTTP错误码和错误页面。你可以将HTPError实例作为返回页面,这意味着,HTTPError实例不仅有code属性,还有read、geturl、info等方法。

#! /usr/bin/env python
#coding=utf-8
import urllib2

url="http://cs.scu.edu.cn/~duanlei"
try:
 response=urllib2.urlopen(url)
except urllib2.HTTPError,e:
 print e.code
 print e.read()

3、总结
如果想在代码中处理URLError和HTTPError有两种方法,代码如下:

#! /usr/bin/env python
#coding=utf-8
import urllib2
url="xxxxxx" #需要访问的URL
try:
 response=urllib2.urlopen(url)
except urllib2.HTTPError,e: #HTTPError必须排在URLError的前面
 print "The server couldn't fulfill the request"
 print "Error code:",e.code
 print "Return content:",e.read()
except urllib2.URLError,e:
 print "Failed to reach the server"
 print "The reason:",e.reason
else:
 #something you should do
 pass #其他异常的处理
#! /usr/bin/env python
#coding=utf-8
import urllib2
url="http://xxx" #需要访问的URL
try:
 response=urllib2.urlopen(url)
except urllib2.URLError,e:
 if hasattr(e,"reason"):
 print "Failed to reach the server"
 print "The reason:",e.reason
 elif hasattr(e,"code"):
 print "The server couldn't fulfill the request"
 print "Error code:",e.code
 print "Return content:",e.read()
else:
 pass #其他异常的处理

相比较而言,第二种异常处理方法更优。

Python 相关文章推荐
Python中的包和模块实例
Nov 22 Python
python rsa 加密解密
Mar 20 Python
深入浅出分析Python装饰器用法
Jul 28 Python
详解Python函数可变参数定义及其参数传递方式
Aug 02 Python
python去除字符串中的换行符
Oct 11 Python
Python中list查询及所需时间计算操作示例
Jun 21 Python
Python学习笔记之图片人脸检测识别实例教程
Mar 06 Python
详解Django项目中模板标签及模板的继承与引用(网站中快速布置广告)
Mar 27 Python
python将字典列表导出为Excel文件的方法
Sep 02 Python
Python使用贪婪算法解决问题
Oct 22 Python
Python Matplotlib绘制条形图的全过程
Oct 24 Python
Python 数据可视化神器Pyecharts绘制图像练习
Feb 28 Python
Python中内置的日志模块logging用法详解
Jul 12 #Python
Swift 3.0在集合类数据结构上的一些新变化总结
Jul 11 #Python
浅析Python的web.py框架中url的设定方法
Jul 11 #Python
深入解析Python的Tornado框架中内置的模板引擎
Jul 11 #Python
使用Python的Tornado框架实现一个Web端图书展示页面
Jul 11 #Python
Windows中使用wxPython和py2exe开发Python的GUI程序的实例教程
Jul 11 #Python
Python的requests网络编程包使用教程
Jul 11 #Python
You might like
用PHP将数据导入到Foxmail
2006/10/09 PHP
PHP网站基础优化方法小结
2008/09/29 PHP
解析如何修改phpmyadmin中的默认登陆超时时间
2013/06/25 PHP
php通过文件头判断格式的方法
2016/05/28 PHP
PHP实践教程之过滤、验证、转义与密码详解
2017/07/24 PHP
PHP操作redis实现的分页列表,新增,删除功能封装类与用法示例
2018/08/04 PHP
js函数setTimeout延迟执行的简单介绍
2013/07/17 Javascript
JS格式化数字金额用逗号隔开保留两位小数
2013/10/18 Javascript
Node.js中创建和管理外部进程详解
2014/08/16 Javascript
jQuery回调函数的定义及用法实例
2014/12/23 Javascript
nw.js实现类似微信的聊天软件
2015/03/16 Javascript
JavaScript实现图片DIV竖向滑动的方法
2015/04/25 Javascript
javascript获取select值的方法分析
2015/07/02 Javascript
Jquery1.9.1源码分析系列(十五)动画处理之外篇
2015/12/04 Javascript
原生js配合cookie制作保存路径的拖拽
2015/12/29 Javascript
一个超简单的jQuery回调函数例子(分享)
2016/08/08 Javascript
深入理解javascript的getTime()方法
2017/02/16 Javascript
EasyUI Datebox 日期验证之开始日期小于结束时间
2017/05/19 Javascript
关于vue.js发布后路径引用的问题解决
2017/08/15 Javascript
在layui下对元素进行事件绑定的实例
2019/09/06 Javascript
[02:09]DOTA2辉夜杯 EHOME夺冠举杯现场
2015/12/28 DOTA
Python json模块使用实例
2015/04/11 Python
Python遍历文件夹和读写文件的实现方法
2017/05/10 Python
Python利用公共键如何对字典列表进行排序详解
2018/05/19 Python
python3 requests库实现多图片爬取教程
2019/12/18 Python
CSS3 border-radius圆角的实现方法及用法详解
2020/09/14 HTML / CSS
Java中有几种方法可以实现一个线程?用什么关键字修饰同步方法?stop()和suspend()方法为何不推荐使用?
2015/08/04 面试题
NULL是什么,它是怎么定义的
2015/05/09 面试题
咖啡店的创业计划书,让你hold不住
2014/01/03 职场文书
工业设计毕业生自荐信
2014/04/13 职场文书
汽车维修求职信
2014/06/15 职场文书
交通事故委托书范本精选
2014/10/04 职场文书
演讲稿之我的初心我的成长
2019/08/12 职场文书
教你用Java Swing实现自助取款机系统
2021/06/11 Java/Android
springboot+WebMagic+MyBatis爬虫框架的使用
2021/08/07 Java/Android
JS 基本概念详细介绍
2021/10/16 Javascript