零基础写python爬虫之HTTP异常处理


Posted in Python onNovember 05, 2014

先来说一说HTTP的异常处理问题。
当urlopen不能够处理一个response时,产生urlError。
不过通常的Python APIs异常如ValueError,TypeError等也会同时产生。
HTTPError是urlError的子类,通常在特定HTTP URLs中产生。

1.URLError
通常,URLError在没有网络连接(没有路由到特定服务器),或者服务器不存在的情况下产生。
这种情况下,异常同样会带有"reason"属性,它是一个tuple(可以理解为不可变的数组),
包含了一个错误号和一个错误信息。
我们建一个urllib2_test06.py来感受一下异常的处理:

import urllib2  

req = urllib2.Request('http://www.baibai.com')  

try: urllib2.urlopen(req)  

except urllib2.URLError, e:    

    print e.reason 

按下F5,可以看到打印出来的内容是:
[Errno 11001] getaddrinfo failed
也就是说,错误号是11001,内容是getaddrinfo failed

2.HTTPError

服务器上每一个HTTP 应答对象response包含一个数字"状态码"。
有时状态码指出服务器无法完成请求。默认的处理器会为你处理一部分这种应答。
例如:假如response是一个"重定向",需要客户端从别的地址获取文档,urllib2将为你处理。
其他不能处理的,urlopen会产生一个HTTPError。
典型的错误包含"404"(页面无法找到),"403"(请求禁止),和"401"(带验证请求)。
HTTP状态码表示HTTP协议所返回的响应的状态。
比如客户端向服务器发送请求,如果成功地获得请求的资源,则返回的状态码为200,表示响应成功。
如果请求的资源不存在, 则通常返回404错误。

HTTP状态码通常分为5种类型,分别以1~5五个数字开头,由3位整数组成:
------------------------------------------------------------------------------------------------
200:请求成功      处理方式:获得响应的内容,进行处理
201:请求完成,结果是创建了新资源。新创建资源的URI可在响应的实体中得到    处理方式:爬虫中不会遇到
202:请求被接受,但处理尚未完成    处理方式:阻塞等待
204:服务器端已经实现了请求,但是没有返回新的信 息。如果客户是用户代理,则无须为此更新自身的文档视图。    处理方式:丢弃
300:该状态码不被HTTP/1.0的应用程序直接使用, 只是作为3XX类型回应的默认解释。存在多个可用的被请求资源。    处理方式:若程序中能够处理,则进行进一步处理,如果程序中不能处理,则丢弃
301:请求到的资源都会分配一个永久的URL,这样就可以在将来通过该URL来访问此资源    处理方式:重定向到分配的URL
302:请求到的资源在一个不同的URL处临时保存     处理方式:重定向到临时的URL
304 请求的资源未更新     处理方式:丢弃
400 非法请求     处理方式:丢弃
401 未授权     处理方式:丢弃
403 禁止     处理方式:丢弃
404 没有找到     处理方式:丢弃
5XX 回应代码以“5”开头的状态码表示服务器端发现自己出现错误,不能继续执行请求    处理方式:丢弃
------------------------------------------------------------------------------------------------

HTTPError实例产生后会有一个整型'code'属性,是服务器发送的相关错误号。

Error Codes错误码

因为默认的处理器处理了重定向(300以外号码),并且100-299范围的号码指示成功,所以你只能看到400-599的错误号码。
BaseHTTPServer.BaseHTTPRequestHandler.response是一个很有用的应答号码字典,显示了HTTP协议使用的所有的应答号。
当一个错误号产生后,服务器返回一个HTTP错误号,和一个错误页面。
你可以使用HTTPError实例作为页面返回的应答对象response。
这表示和错误属性一样,它同样包含了read,geturl,和info方法。
我们建一个urllib2_test07.py来感受一下:

import urllib2  

req = urllib2.Request('https://3water.com/callmewhy')  

try:  

    urllib2.urlopen(req)  

except urllib2.URLError, e:  

    print e.code  

    #print e.read() 

按下F5可以看见输出了404的错误码,也就说没有找到这个页面。

3.Wrapping

所以如果你想为HTTPError或URLError做准备,将有两个基本的办法。推荐使用第二种。
我们建一个urllib2_test08.py来示范一下第一种异常处理的方案:

from urllib2 import Request, urlopen, URLError, HTTPError  

req = Request('https://3water.com/callmewhy')  

try:  

    response = urlopen(req)  

except HTTPError, e:  

    print 'The server couldn\'t fulfill the request.'  

    print 'Error code: ', e.code  

except URLError, e:  

    print 'We failed to reach a server.'  

    print 'Reason: ', e.reason  

else:  

    print 'No exception was raised.'  

    # everything is fine 

和其他语言相似,try之后捕获异常并且将其内容打印出来。
这里要注意的一点,except HTTPError 必须在第一个,否则except URLError将同样接受到HTTPError 。
因为HTTPError是URLError的子类,如果URLError在前面它会捕捉到所有的URLError(包括HTTPError )。

我们建一个urllib2_test09.py来示范一下第二种异常处理的方案:

from urllib2 import Request, urlopen, URLError, HTTPError  

req = Request('https://3water.com/callmewhy')  

try:    

    response = urlopen(req)    

except URLError, e:    

    if hasattr(e, 'code'):    

        print 'The server couldn\'t fulfill the request.'    

        print 'Error code: ', e.code    

    elif hasattr(e, 'reason'):    

        print 'We failed to reach a server.'    

        print 'Reason: ', e.reason    

else:    

    print 'No exception was raised.'    

    # everything is fine   
Python 相关文章推荐
python获取指定网页上所有超链接的方法
Apr 04 Python
在Python中使用mongoengine操作MongoDB教程
Apr 24 Python
编写Python的web框架中的Model的教程
Apr 29 Python
Python实现正整数分解质因数操作示例
Aug 01 Python
利用python实现简易版的贪吃蛇游戏(面向python小白)
Dec 30 Python
用python生成(动态彩色)二维码的方法(使用myqr库实现)
Jun 24 Python
更新pip3与pyttsx3文字语音转换的实现方法
Aug 08 Python
python将四元数变换为旋转矩阵的实例
Dec 04 Python
python绘制雪景图
Dec 16 Python
关于tensorflow的几种参数初始化方法小结
Jan 04 Python
FP-growth算法发现频繁项集——构建FP树
Jun 24 Python
python对文档中元素删除,替换操作
Apr 02 Python
零基础写python爬虫之使用urllib2组件抓取网页内容
Nov 04 #Python
零基础写python爬虫之爬虫的定义及URL构成
Nov 04 #Python
使用Python编写简单网络爬虫抓取视频下载资源
Nov 04 #Python
Python爬取Coursera课程资源的详细过程
Nov 04 #Python
使用python开发vim插件及心得分享
Nov 04 #Python
Python学习笔记之os模块使用总结
Nov 03 #Python
Python中获取网页状态码的两个方法
Nov 03 #Python
You might like
真正面向对象编程:PHP5.01发布
2006/10/09 PHP
MYSQL数据库初学者使用指南
2006/11/16 PHP
phplock(php进程锁) v1.0 beta1
2009/11/24 PHP
PHP调用Twitter的RSS的实现代码
2010/03/10 PHP
PHP+Mysql实现多关键字与多字段生成SQL语句的函数
2014/11/05 PHP
thinkPHP中多维数组的遍历方法
2016/01/09 PHP
关于PHP中Session文件过多的问题及session文件保存位置
2016/03/17 PHP
PHP基于GD2函数库实现验证码功能示例
2019/01/27 PHP
给Javascript数组插入一条记录的代码
2007/08/30 Javascript
jQuery 通过事件委派一次绑定多种事件,以减少事件冗余
2010/06/30 Javascript
常见效果实现之返回顶部(结合淡入、淡出、减速滚动)
2012/01/04 Javascript
jquery动态添加删除div 具体实现
2013/07/20 Javascript
js操作css属性实现div层展开关闭效果的方法
2015/05/11 Javascript
每天一篇javascript学习小结(RegExp对象)
2015/11/17 Javascript
js判断鼠标位置是否在某个div中的方法
2016/02/26 Javascript
jQuery增加和删除表格项目及实现表格项目排序的方法
2016/05/30 Javascript
详解javascript中的babel到底是什么
2018/06/21 Javascript
vue打包相关细节整理(小结)
2018/09/28 Javascript
js面向对象之实现淘宝放大镜
2020/01/15 Javascript
[27:08]完美世界DOTA2联赛PWL S2 SZ vs Rebirth 第二场 11.21
2020/11/23 DOTA
python使用Flask操作mysql实现登录功能
2018/05/14 Python
python实现n个数中选出m个数的方法
2018/11/13 Python
Python单元和文档测试实例详解
2019/04/11 Python
tensorflow之tf.record实现存浮点数数组
2020/02/17 Python
django之从html页面表单获取输入的数据实例
2020/03/16 Python
利用Python自动化操作AutoCAD的实现
2020/04/01 Python
解决import tensorflow as tf 出错的原因
2020/04/16 Python
Python logging自定义字段输出及打印颜色
2020/11/30 Python
css3动画效果抖动解决方法
2018/09/03 HTML / CSS
W Hamond官网:始于1979年的钻石专家
2020/07/20 全球购物
数控技术应用个人求职信范文
2014/02/03 职场文书
绿色城市实施方案
2014/03/19 职场文书
我的教育故事演讲稿
2014/05/04 职场文书
2014年政协委员工作总结
2014/12/01 职场文书
vscode中使用npm安装babel的方法
2021/08/02 Javascript
win10键盘驱动怎么修复?Win10键盘驱动修复小技巧
2022/04/06 数码科技