零基础写python爬虫之HTTP异常处理


Posted in Python onNovember 05, 2014

先来说一说HTTP的异常处理问题。
当urlopen不能够处理一个response时,产生urlError。
不过通常的Python APIs异常如ValueError,TypeError等也会同时产生。
HTTPError是urlError的子类,通常在特定HTTP URLs中产生。

1.URLError
通常,URLError在没有网络连接(没有路由到特定服务器),或者服务器不存在的情况下产生。
这种情况下,异常同样会带有"reason"属性,它是一个tuple(可以理解为不可变的数组),
包含了一个错误号和一个错误信息。
我们建一个urllib2_test06.py来感受一下异常的处理:

import urllib2  

req = urllib2.Request('http://www.baibai.com')  

try: urllib2.urlopen(req)  

except urllib2.URLError, e:    

    print e.reason 

按下F5,可以看到打印出来的内容是:
[Errno 11001] getaddrinfo failed
也就是说,错误号是11001,内容是getaddrinfo failed

2.HTTPError

服务器上每一个HTTP 应答对象response包含一个数字"状态码"。
有时状态码指出服务器无法完成请求。默认的处理器会为你处理一部分这种应答。
例如:假如response是一个"重定向",需要客户端从别的地址获取文档,urllib2将为你处理。
其他不能处理的,urlopen会产生一个HTTPError。
典型的错误包含"404"(页面无法找到),"403"(请求禁止),和"401"(带验证请求)。
HTTP状态码表示HTTP协议所返回的响应的状态。
比如客户端向服务器发送请求,如果成功地获得请求的资源,则返回的状态码为200,表示响应成功。
如果请求的资源不存在, 则通常返回404错误。

HTTP状态码通常分为5种类型,分别以1~5五个数字开头,由3位整数组成:
------------------------------------------------------------------------------------------------
200:请求成功      处理方式:获得响应的内容,进行处理
201:请求完成,结果是创建了新资源。新创建资源的URI可在响应的实体中得到    处理方式:爬虫中不会遇到
202:请求被接受,但处理尚未完成    处理方式:阻塞等待
204:服务器端已经实现了请求,但是没有返回新的信 息。如果客户是用户代理,则无须为此更新自身的文档视图。    处理方式:丢弃
300:该状态码不被HTTP/1.0的应用程序直接使用, 只是作为3XX类型回应的默认解释。存在多个可用的被请求资源。    处理方式:若程序中能够处理,则进行进一步处理,如果程序中不能处理,则丢弃
301:请求到的资源都会分配一个永久的URL,这样就可以在将来通过该URL来访问此资源    处理方式:重定向到分配的URL
302:请求到的资源在一个不同的URL处临时保存     处理方式:重定向到临时的URL
304 请求的资源未更新     处理方式:丢弃
400 非法请求     处理方式:丢弃
401 未授权     处理方式:丢弃
403 禁止     处理方式:丢弃
404 没有找到     处理方式:丢弃
5XX 回应代码以“5”开头的状态码表示服务器端发现自己出现错误,不能继续执行请求    处理方式:丢弃
------------------------------------------------------------------------------------------------

HTTPError实例产生后会有一个整型'code'属性,是服务器发送的相关错误号。

Error Codes错误码

因为默认的处理器处理了重定向(300以外号码),并且100-299范围的号码指示成功,所以你只能看到400-599的错误号码。
BaseHTTPServer.BaseHTTPRequestHandler.response是一个很有用的应答号码字典,显示了HTTP协议使用的所有的应答号。
当一个错误号产生后,服务器返回一个HTTP错误号,和一个错误页面。
你可以使用HTTPError实例作为页面返回的应答对象response。
这表示和错误属性一样,它同样包含了read,geturl,和info方法。
我们建一个urllib2_test07.py来感受一下:

import urllib2  

req = urllib2.Request('https://3water.com/callmewhy')  

try:  

    urllib2.urlopen(req)  

except urllib2.URLError, e:  

    print e.code  

    #print e.read() 

按下F5可以看见输出了404的错误码,也就说没有找到这个页面。

3.Wrapping

所以如果你想为HTTPError或URLError做准备,将有两个基本的办法。推荐使用第二种。
我们建一个urllib2_test08.py来示范一下第一种异常处理的方案:

from urllib2 import Request, urlopen, URLError, HTTPError  

req = Request('https://3water.com/callmewhy')  

try:  

    response = urlopen(req)  

except HTTPError, e:  

    print 'The server couldn\'t fulfill the request.'  

    print 'Error code: ', e.code  

except URLError, e:  

    print 'We failed to reach a server.'  

    print 'Reason: ', e.reason  

else:  

    print 'No exception was raised.'  

    # everything is fine 

和其他语言相似,try之后捕获异常并且将其内容打印出来。
这里要注意的一点,except HTTPError 必须在第一个,否则except URLError将同样接受到HTTPError 。
因为HTTPError是URLError的子类,如果URLError在前面它会捕捉到所有的URLError(包括HTTPError )。

我们建一个urllib2_test09.py来示范一下第二种异常处理的方案:

from urllib2 import Request, urlopen, URLError, HTTPError  

req = Request('https://3water.com/callmewhy')  

try:    

    response = urlopen(req)    

except URLError, e:    

    if hasattr(e, 'code'):    

        print 'The server couldn\'t fulfill the request.'    

        print 'Error code: ', e.code    

    elif hasattr(e, 'reason'):    

        print 'We failed to reach a server.'    

        print 'Reason: ', e.reason    

else:    

    print 'No exception was raised.'    

    # everything is fine   
Python 相关文章推荐
python中global用法实例分析
Apr 30 Python
在Django框架中设置语言偏好的教程
Jul 27 Python
Python冲顶大会 快来答题!
Jan 17 Python
在cmd命令行里进入和退出Python程序的方法
May 12 Python
使用Python获取并处理IP的类型及格式方法
Nov 01 Python
python文件选择对话框的操作方法
Jun 27 Python
python把ipynb文件转换成pdf文件过程详解
Jul 09 Python
python+openCV调用摄像头拍摄和处理图片的实现
Aug 06 Python
Python利用matplotlib绘制约数个数统计图示例
Nov 26 Python
Django 返回json数据的实现示例
Mar 05 Python
python利用xpath爬取网上数据并存储到django模型中
Feb 26 Python
python3+PyQt5+Qt Designer实现界面可视化
Jun 10 Python
零基础写python爬虫之使用urllib2组件抓取网页内容
Nov 04 #Python
零基础写python爬虫之爬虫的定义及URL构成
Nov 04 #Python
使用Python编写简单网络爬虫抓取视频下载资源
Nov 04 #Python
Python爬取Coursera课程资源的详细过程
Nov 04 #Python
使用python开发vim插件及心得分享
Nov 04 #Python
Python学习笔记之os模块使用总结
Nov 03 #Python
Python中获取网页状态码的两个方法
Nov 03 #Python
You might like
Yii2简单实现给表单添加验证码的方法
2016/07/18 PHP
由php中字符offset特征造成的绕过漏洞详解
2017/07/07 PHP
laravel-admin表单提交隐藏一些数据,回调时获取数据的方法
2019/10/08 PHP
PHP getID3类的使用方法学习笔记【附getID3源码下载】
2019/10/18 PHP
javascript闭包的理解和实例
2010/08/12 Javascript
JQuery获取文本框中字符长度的代码
2011/09/29 Javascript
js贪吃蛇游戏实现思路和源码
2016/04/14 Javascript
Javascript从数组中随机取出不同元素的两种方法
2016/09/22 Javascript
ES6学习之变量的两种命名方法示例
2017/07/18 Javascript
教你用Cordova打包Vue项目的方法
2017/10/17 Javascript
详解js 创建对象的几种方法
2019/03/08 Javascript
如何使用JavaScript实现栈与队列
2019/06/24 Javascript
Node.js从字符串生成文件流的实现方法
2019/08/18 Javascript
jQuery单页面文字搜索插件jquery.fullsearch.js的使用方法
2020/02/04 jQuery
python 数据加密代码
2008/12/24 Python
Python之ReportLab绘制条形码和二维码的实例
2018/01/15 Python
Python 获取div标签中的文字实例
2018/12/20 Python
Python逐行读取文件中内容的简单方法
2019/02/26 Python
flask应用部署到服务器的方法
2019/07/12 Python
Django rstful登陆认证并检查session是否过期代码实例
2019/08/13 Python
Python字符串大小写转换拼接删除空白
2019/09/19 Python
python 使用tkinter+you-get实现视频下载器
2020/11/17 Python
浅谈html5与APP混合开发遇到的问题总结
2018/03/20 HTML / CSS
Debenhams爱尔兰:英国知名的百货公司
2017/01/02 全球购物
MySQL面试题
2014/01/12 面试题
艺术设计专业毕业生推荐信
2014/07/08 职场文书
公共机构节能宣传周活动总结
2014/07/09 职场文书
见习报告格式要求
2014/11/04 职场文书
武侯祠导游词
2015/02/04 职场文书
2015年医院科室工作总结范文
2015/05/26 职场文书
统招统分证明
2015/06/23 职场文书
投诉信范文
2015/07/02 职场文书
多人股份制合作协议书
2016/03/19 职场文书
mysql函数全面总结
2021/11/11 MySQL
「海贼王」112.9万粉丝纪念图标公布
2022/03/21 日漫
【海涛dota解说】海涛小满开黑4v5被破两路翻盘潮汐第一视角解说
2022/04/01 DOTA