Python网络编程中urllib2模块的用法总结


Posted in Python onJuly 12, 2016

一、最基础的应用

import urllib2

url = r'http://www.baidu.com'
html = urllib2.urlopen(url).read()

print html

客户端与服务器端通过request与response来沟通,客户端先向服务端发送request,然后接收服务端返回的response

urllib2提供了request的类,可以让用户在发送请求前先构造一个request的对象,然后通过urllib2.urlopen方法来发送请求

import urllib2

url = r'http://www.baidu.com'
req = urllib2.Request(url)
html = urllib2.urlopen(req).read()
print html

上例中先使用

req = urllib2.Request(url)

实例化一个resquest对象,接下来使用

urllib2.urlopen(req)

来打开这个网页。

我们注意到在实例化Request对象的时候,队了url是必须的,还有几个默认的参数

Python网络编程中urllib2模块的用法总结

基中data与header也是使用的比较多的,一些需要登录的才能浏览的网站经常需要这两个参数

import urllib 
import urllib2 
 
url = 'http://www.baidu.com/' 
values = {'name' : 'Michael Foord', 'location' : 'Northampton','language' : 'Python' } 
data = urllib.urlencode(values) 
req = urllib2.Request(url,data) 
response = urllib2.urlopen(req) 
the_page = response.read()

print the_page

这个例子是向百度发送几个数据,这个例子是会返回一个错误页面,很正常,因为我们在访问百度的时候并不需要post什么信息,post了倒是会出错

百度是找不到相应的网页就会报错。

当然这个是POST数据,也可以用在GET方法,稍将上面的代码进行改造

百度是通过http://www.baidu.com/s?wd=XXX 来进行查询的,这样我们需要将{‘wd':'xxx'}这个字典进行urlencode

#coding:utf-8
import urllib 
import urllib2 
 
url = 'http://www.baidu.com/s' 
values = {'wd':'杨彦星'} 
data = urllib.urlencode(values)
print data 
url2 = url+'?'+data
response = urllib2.urlopen(url2) 
the_page = response.read()

print the_page

以下以模拟登录人人网然后再显示首页内容为例来详细说明一下cookie的使用,以下是文档中给的例子,我们就通过改造这个例子来实现我们想要的功能

import cookielib, urllib2
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
r = opener.open("http://example.com/")
 
#coding:utf-8
import urllib2,urllib
import cookielib

url = r'http://www.renren.com/ajaxLogin'

#创建一个cj的cookie的容器
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
#将要POST出去的数据进行编码
data = urllib.urlencode({"email":email,"password":pass})
r = opener.open(url,data)
print cj

当你看到有cj的时候,说明你已经访问了登录页面,是否正常登录你现在还看不出来,可以通过访问http://www.renren.com/home 来查看

上面的代码有两点要说明,我也是看了很长时间才明白

r = opener.open(url,data)

这句,为什么要使用opener这个对象来open,而不是用utllib2,urlopen?不光是例子里这么写,我们才这么写,通过改造我们也可以使用urllib2.urlopen,其实是因为opener是urllib2.bulid_opener创造出来的, 但是你可以这样理解,他build出来后,自已却并没有安装使用它,也没有它的属性与方法,如果想使urllib2也具有opener的属性与方法,可以先使用urllib2.install_opener(opener)来"安装"这个opener,安装完以后就可以使用urllib2来操作了

#coding:utf-8
import urllib2,urllib
import cookielib

url = r'http://www.renren.com/ajaxLogin'

#创建一个cj的cookie的容器
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
urllib2.install_opener(opener)
#将要POST出去的数据进行编码
data = urllib.urlencode({"email":email,"password":pass})
#r = opener.open(url,data)如果没有上面的urllib2.install_opener方法,就必须这样写了
r = urllib2.urlopen(url,data)
html = urllib2.urlopen('http://www.renren.com/home').read()

print html

同样urllib2还有proxy相关的handle,基本的思路和这个差不多。

二、异常处理

当urlopen()不能处理响应时会引起URLError异常。HTTPError异常是URLError的一个子类,只有在访问HTTP类型的URL时才会引起。

1、URLError异常

通常引起URLError的原因是:无网络连接(没有到目标服务器的路由)、访问的目标服务器不存在。在这种情况下,异常对象会有reason属性(是一个(错误码、错误原因)的元组)。

#! /usr/bin/env python
#coding=utf-8
import urllib2

url="http://www.baidu.com/"
try:
 response=urllib2.urlopen(url)
except urllib2.URLError,e:
 print e.reason

2、HTTPError
每一个从服务器返回的HTTP响应都有一个状态码。其中,有的状态码表示服务器不能完成相应的请求,默认的处理程序可以为我们处理一些这样的状态码(如返回的响应是重定向,urllib2会自动为我们从重定向后的页面中获取信息)。有些状态码,urllib2模块不能帮我们处理,那么urlopen函数就会引起HTTPError异常,其中典型的有404/401。
HTTPError异常的实例有整数类型的code属性,表示服务器返回的错误状态码。
urllib2模块默认的处理程序可以处理重定向(状态码是300范围),而且状态码在100-299范围内表示成功。因此,能够引起HTTPError异常的状态码范围是:400-599.
当引起错误时,服务器会返回HTTP错误码和错误页面。你可以将HTPError实例作为返回页面,这意味着,HTTPError实例不仅有code属性,还有read、geturl、info等方法。

#! /usr/bin/env python
#coding=utf-8
import urllib2

url="http://cs.scu.edu.cn/~duanlei"
try:
 response=urllib2.urlopen(url)
except urllib2.HTTPError,e:
 print e.code
 print e.read()

3、总结
如果想在代码中处理URLError和HTTPError有两种方法,代码如下:

#! /usr/bin/env python
#coding=utf-8
import urllib2
url="xxxxxx" #需要访问的URL
try:
 response=urllib2.urlopen(url)
except urllib2.HTTPError,e: #HTTPError必须排在URLError的前面
 print "The server couldn't fulfill the request"
 print "Error code:",e.code
 print "Return content:",e.read()
except urllib2.URLError,e:
 print "Failed to reach the server"
 print "The reason:",e.reason
else:
 #something you should do
 pass #其他异常的处理
#! /usr/bin/env python
#coding=utf-8
import urllib2
url="http://xxx" #需要访问的URL
try:
 response=urllib2.urlopen(url)
except urllib2.URLError,e:
 if hasattr(e,"reason"):
 print "Failed to reach the server"
 print "The reason:",e.reason
 elif hasattr(e,"code"):
 print "The server couldn't fulfill the request"
 print "Error code:",e.code
 print "Return content:",e.read()
else:
 pass #其他异常的处理

相比较而言,第二种异常处理方法更优。

Python 相关文章推荐
Python实现基于HTTP文件传输实例
Nov 08 Python
用Python编写脚本使IE实现代理上网的教程
Apr 23 Python
快速实现基于Python的微信聊天机器人示例代码
Mar 03 Python
Python简单操作sqlite3的方法示例
Mar 22 Python
python中利用await关键字如何等待Future对象完成详解
Sep 07 Python
浅析python3中的os.path.dirname(__file__)的使用
Aug 30 Python
对python操作kafka写入json数据的简单demo分享
Dec 27 Python
python之pyqt5通过按钮改变Label的背景颜色方法
Jun 13 Python
Python 动态导入对象,importlib.import_module()的使用方法
Aug 28 Python
python 在右键菜单中加入复制目标文件的有效存放路径(单斜杠或者双反斜杠)
Apr 08 Python
Jupyter安装链接aconda实现过程图解
Nov 02 Python
用python删除文件夹中的重复图片(图片去重)
May 12 Python
Python中内置的日志模块logging用法详解
Jul 12 #Python
Swift 3.0在集合类数据结构上的一些新变化总结
Jul 11 #Python
浅析Python的web.py框架中url的设定方法
Jul 11 #Python
深入解析Python的Tornado框架中内置的模板引擎
Jul 11 #Python
使用Python的Tornado框架实现一个Web端图书展示页面
Jul 11 #Python
Windows中使用wxPython和py2exe开发Python的GUI程序的实例教程
Jul 11 #Python
Python的requests网络编程包使用教程
Jul 11 #Python
You might like
六酷社区论坛HOME页清新格调免费版 下载
2007/03/07 PHP
php登陆页的密码处理方式分享
2013/10/14 PHP
yii2实现 "上一篇,下一篇" 功能的代码实例
2017/02/04 PHP
Laravel自定义 封装便捷返回Json数据格式的引用方法
2019/09/29 PHP
javascript对象之内置对象Math使用方法
2010/04/16 Javascript
jQuery ui插件的使用方法代码实例
2013/05/08 Javascript
使用JQuery实现Ctrl+Enter提交表单的方法
2015/10/22 Javascript
js实现图片无缝滚动
2015/12/23 Javascript
AngularJS在IE8的不支持的解决方法
2016/05/13 Javascript
AngularJS基础 ng-focus 指令简单示例
2016/08/01 Javascript
Node.js实现兼容IE789的文件上传进度条
2016/09/02 Javascript
JS实现图片放大缩小的方法
2017/02/15 Javascript
JavaScript html5利用FileReader实现上传功能
2020/03/27 Javascript
vue脚手架搭建过程图解
2018/06/06 Javascript
LayUi中接口传数据成功,表格不显示数据的解决方法
2018/08/19 Javascript
Vue.js中的组件系统
2019/05/30 Javascript
微信小程序前端自定义分享的实现方法
2019/06/13 Javascript
LayUI数据接口返回实体封装的例子
2019/09/12 Javascript
vue实现数据控制视图的原理解析
2020/01/07 Javascript
springboot+vue+对接支付宝接口+二维码扫描支付功能(沙箱环境)
2020/10/15 Javascript
微信小程序实现modal弹出框遮罩层组件(可带文本框)
2020/12/20 Javascript
Python 中PyQt5 点击主窗口弹出另一个窗口的实现方法
2019/07/04 Python
解决Pycharm 中遇到Unresolved reference 'sklearn'的问题
2020/07/13 Python
Python如何重新加载模块
2020/07/29 Python
白兰氏健康Mall:BRAND’S
2017/11/13 全球购物
中式面点餐厅创业计划书
2014/01/29 职场文书
总结表彰大会主持词
2014/03/26 职场文书
《天安门广场》教学反思
2014/04/23 职场文书
师德师风个人自我剖析材料
2014/09/27 职场文书
应届毕业生自荐信
2015/03/04 职场文书
2015年学校党支部工作总结
2015/04/01 职场文书
2015年电信员工工作总结
2015/05/26 职场文书
历史博物馆观后感
2015/06/05 职场文书
六一儿童节致辞稿(3篇)
2019/07/11 职场文书
Python基础之数据类型知识汇总
2021/05/18 Python
Python实现GIF动图以及视频卡通化详解
2021/12/06 Python