玩转python爬虫之URLError异常处理


Posted in Python onFebruary 17, 2016

本节在这里主要说的是URLError还有HTTPError,以及对它们的一些处理。

1.URLError

首先解释下URLError可能产生的原因:

  • 网络无连接,即本机无法上网
  • 连接不到特定的服务器
  • 服务器不存在

在代码中,我们需要用try-except语句来包围并捕获相应的异常。下面是一个例子,先感受下它的风骚

import urllib2
 
requset = urllib2.Request('http://www.xxxxx.com')
try:
  urllib2.urlopen(requset)
except urllib2.URLError, e:
  print e.reason

我们利用了 urlopen方法访问了一个不存在的网址,运行结果如下:

[Errno 11004] getaddrinfo failed

它说明了错误代号是11004,错误原因是 getaddrinfo failed

2.HTTPError

HTTPError是URLError的子类,在你利用urlopen方法发出一个请求时,服务器上都会对应一个应答对象response,其中它包含一个数字”状态码”。举个例子,假如response是一个”重定向”,需定位到别的地址获取文档,urllib2将对此进行处理。

其他不能处理的,urlopen会产生一个HTTPError,对应相应的状态吗,HTTP状态码表示HTTP协议所返回的响应的状态。下面将状态码归结如下:

  • 100:继续  客户端应当继续发送请求。客户端应当继续发送请求的剩余部分,或者如果请求已经完成,忽略这个响应。
  • 101: 转换协议  在发送完这个响应最后的空行后,服务器将会切换到在Upgrade 消息头中定义的那些协议。只有在切换新的协议更有好处的时候才应该采取类似措施。
  • 102:继续处理   由WebDAV(RFC 2518)扩展的状态码,代表处理将被继续执行。
  • 200:请求成功      处理方式:获得响应的内容,进行处理
  • 201:请求完成,结果是创建了新资源。新创建资源的URI可在响应的实体中得到    处理方式:爬虫中不会遇到
  • 202:请求被接受,但处理尚未完成    处理方式:阻塞等待
  • 204:服务器端已经实现了请求,但是没有返回新的信 息。如果客户是用户代理,则无须为此更新自身的文档视图。    处理方式:丢弃
  • 300:该状态码不被HTTP/1.0的应用程序直接使用, 只是作为3XX类型回应的默认解释。存在多个可用的被请求资源。    处理方式:若程序中能够处理,则进行进一步处理,如果程序中不能处理,则丢弃
  • 301:请求到的资源都会分配一个永久的URL,这样就可以在将来通过该URL来访问此资源    处理方式:重定向到分配的URL
  • 302:请求到的资源在一个不同的URL处临时保存     处理方式:重定向到临时的URL
  • 304:请求的资源未更新     处理方式:丢弃
  • 400:非法请求     处理方式:丢弃
  • 401:未授权     处理方式:丢弃
  • 403:禁止     处理方式:丢弃
  • 404:没有找到     处理方式:丢弃
  • 500:服务器内部错误  服务器遇到了一个未曾预料的状况,导致了它无法完成对请求的处理。一般来说,这个问题都会在服务器端的源代码出现错误时出现。
  • 501:服务器无法识别  服务器不支持当前请求所需要的某个功能。当服务器无法识别请求的方法,并且无法支持其对任何资源的请求。
  • 502:错误网关  作为网关或者代理工作的服务器尝试执行请求时,从上游服务器接收到无效的响应。
  • 503:服务出错   由于临时的服务器维护或者过载,服务器当前无法处理请求。这个状况是临时的,并且将在一段时间以后恢复。

HTTPError实例产生后会有一个code属性,这就是是服务器发送的相关错误号。
因为urllib2可以为你处理重定向,也就是3开头的代号可以被处理,并且100-299范围的号码指示成功,所以你只能看到400-599的错误号码。

下面我们写一个例子来感受一下,捕获的异常是HTTPError,它会带有一个code属性,就是错误代号,另外我们又打印了reason属性,这是它的父类URLError的属性。

import urllib2
 
req = urllib2.Request('http://blog.csdn.net/cqcre')
try:
  urllib2.urlopen(req)
except urllib2.HTTPError, e:
  print e.code
  print e.reason

运行结果如下

403
Forbidden

错误代号是403,错误原因是Forbidden,说明服务器禁止访问。

我们知道,HTTPError的父类是URLError,根据编程经验,父类的异常应当写到子类异常的后面,如果子类捕获不到,那么可以捕获父类的异常,所以上述的代码可以这么改写

import urllib2
 
req = urllib2.Request('http://blog.csdn.net/cqcre')
try:
  urllib2.urlopen(req)
except urllib2.HTTPError, e:
  print e.code
except urllib2.URLError, e:
  print e.reason
else:
  print "OK"

如果捕获到了HTTPError,则输出code,不会再处理URLError异常。如果发生的不是HTTPError,则会去捕获URLError异常,输出错误原因。

另外还可以加入 hasattr属性提前对属性进行判断,代码改写如下

import urllib2
 
req = urllib2.Request('http://blog.csdn.net/cqcre')
try:
  urllib2.urlopen(req)
except urllib2.URLError, e:
  if hasattr(e,"code"):
    print e.code
  if hasattr(e,"reason"):
    print e.reason
else:
  print "OK"

首先对异常的属性进行判断,以免出现属性输出报错的现象。

以上,就是对URLError和HTTPError的相关介绍,以及相应的错误处理办法

Python 相关文章推荐
Python多线程学习资料
Dec 19 Python
简单的python后台管理程序
Apr 13 Python
Python方法的延迟加载的示例代码
Dec 18 Python
Python实现识别图片内容的方法分析
Jul 11 Python
Python将字符串常量转化为变量方法总结
Mar 17 Python
Django中使用极验Geetest滑动验证码过程解析
Jul 31 Python
详解pandas DataFrame的查询方法(loc,iloc,at,iat,ix的用法和区别)
Aug 02 Python
基于python实现文件加密功能
Jan 06 Python
Python单例模式的四种创建方式实例解析
Mar 04 Python
浅谈sklearn中predict与predict_proba区别
Jun 28 Python
Anaconda安装pytorch及配置PyCharm 2021环境
Jun 04 Python
Python可变与不可变数据和深拷贝与浅拷贝
Apr 06 Python
玩转python爬虫之cookie使用方法
Feb 17 #Python
Python 爬虫爬取指定博客的所有文章
Feb 17 #Python
Using Django with GAE Python 后台抓取多个网站的页面全文
Feb 17 #Python
python实现RSA加密(解密)算法
Feb 17 #Python
使用python实现rsa算法代码
Feb 17 #Python
Python的GUI框架PySide的安装配置教程
Feb 16 #Python
Python实现快速排序和插入排序算法及自定义排序的示例
Feb 16 #Python
You might like
新浪新闻小偷
2006/10/09 PHP
利用static实现表格的颜色隔行显示
2006/10/09 PHP
PHP判断浏览器、判断语言代码分享
2015/03/05 PHP
php操作memcache缓存方法分享
2015/06/03 PHP
PHP自定义函数实现格式化秒的方法
2016/09/14 PHP
Javascript YUI 读码日记之 YAHOO.util.Dom - Part.2 0
2008/03/22 Javascript
解析javascript 数组以及json元素的添加删除
2013/06/26 Javascript
jQuery阻止事件冒泡具体实现
2013/10/11 Javascript
jQuery采用连缀写法实现的折叠菜单效果
2015/09/18 Javascript
JavaScript如何获取数组最大值和最小值
2015/11/18 Javascript
vue.js之vue-cli脚手架的搭建详解
2017/05/05 Javascript
简化vuex的状态管理方案的方法
2018/06/02 Javascript
vue3.0 CLI - 2.6 - 组件的复用入门教程
2018/09/14 Javascript
layui数据表格实现重载数据表格功能(搜索功能)
2019/07/27 Javascript
解决Angularjs异步操作后台请求用$q.all排列先后顺序问题
2019/11/29 Javascript
jQuery 淡入/淡出效果函数用法分析
2020/05/19 jQuery
node.js基础知识汇总
2020/08/25 Javascript
原生JS生成指定位数的验证码
2020/10/28 Javascript
Vue+Element-U实现分页显示效果
2020/11/15 Javascript
浅谈python socket函数中,send与sendall的区别与使用方法
2017/05/09 Python
Python中用字符串调用函数或方法示例代码
2017/08/04 Python
Python Scapy随心所欲研究TCP协议栈
2018/11/20 Python
pandas修改DataFrame列名的实现方法
2019/02/22 Python
Django使用 Bootstrap 样式修改书籍列表过程解析
2019/08/09 Python
详解Python self 参数
2019/08/30 Python
python保留小数位的三种实现方法
2020/01/07 Python
分享一枚pycharm激活码适用所有pycharm版本我的pycharm2020.2.3激活成功
2020/11/20 Python
python爬取股票最新数据并用excel绘制树状图的示例
2021/03/01 Python
AmazeUI 手机版页面的顶部导航条Header与侧边导航栏offCanvas的示例代码
2020/08/19 HTML / CSS
台湾母婴用品限时团购:妈咪爱
2018/08/03 全球购物
经济信息管理专业大学生求职信
2013/09/27 职场文书
幼儿园元旦亲子活动方案
2014/02/17 职场文书
医学求职信
2014/05/28 职场文书
建筑安全生产目标责任书
2014/07/23 职场文书
考试作弊检讨书怎么写?
2014/12/21 职场文书
小学感恩主题班会
2015/08/12 职场文书