python retrying模块的使用方法详解


Posted in Python onSeptember 25, 2019

前言

我们在写爬虫的过程中,经常遇到爬取失败的情况,这个时候我们一般会通过try块去进行重试,但是每次都写那么一堆try块,真的是太麻烦,所以今天就来说一个比较pythonic的模块,retrying.

安装

retrying模块的安装很简单直接用匹配安装即可。

pip install retrying

retring模块通过装饰器的形式来进行重试操作的,首先我们看一个简单的例子

from retrying import retry
@retry(stop_max_attempt_number=5,wait_random_min=1000,wait_random_max=5000)
def run():
  print("开始重试")
  raise NameError

if __name__ == '__main__':
  run()

上面的代码干了哪些事呢,首先导入retring的retry模块

然后装饰一个run函数,然后调用run,函数内容很简单就是通过raise抛出一个异常,执行该代码我们发现。程序打印了五次开始重试,最后一次抛出异常,NameError。

到这里我们可以感受到重试了,就是这么简单的代码,就完成了五次重试,同时这五次重试的间隔时间也是不同的。

如果想尝试10次就把上面的stop_max_attempt_number=5,改成10即可,到这里就可以解释retry装饰器的参数了

stop_max_attempt_number:最大重试次数,超过这个次数会停止重试,并报异常。

wait_random_min:随机等待最小时间。

wait_random_max:随机等待最大时间。

好了retry的使用就是这么简单,在需要重试的函数上面加个装饰器就好了。

关键是装饰器里的参数的使用,下面列举了retrying的参数。

如果不写参数将会一直重试.

stop_max_attempt_number:在停止之前尝试的最大次数,最后一次如果还是有异常则会抛出异常,停止运行,默认为5次

@retry(stop_max_attempt_number=5)
def run():
  print("开始重试")
  raise NameError

if __name__ == '__main__':
  run()

强调总次数。

stop_max_delay:最大延迟时间,大概意思就是:如果调用的函数出现异常,那么就会重复调用这个函数,最大调用时间,默认为100毫秒

from retrying import retry
@retry(stop_max_delay=5000)
def run():
  print("开始重试")
  raise NameError
if __name__ == '__main__':
  run()

会重试5秒钟,强调总时间。

wait_fixed:两次调用方法期间停留时长, 如果出现异常则会一直重复调用,默认 1000毫秒

from retrying import retry
@retry(wait_fixed=2000)
def run():
  print("开始重试")
  raise NameError
if __name__ == '__main__':
  run()

强调间隔时间。

wait_random_min:在两次调用方法停留时长,停留最短时间,默认为0

wait_random_max:在两次调用方法停留时长,停留最长时间,默认为1000毫秒

wait_incrementing_increment:每调用一次则会增加的时长,默认 100毫秒

wait_exponential_multiplier和wait_exponential_max:以指数的形式产生两次retrying之间的停留时间,产生的值为2^previous_attempt_number * wait_exponential_multiplier,previous_attempt_number是前面已经retry的次数,如果产生的这个值超过了wait_exponential_max的大小,那么之后两个retrying之间的停留值都为wait_exponential_max

retry_on_exception: 指定一个函数,如果此函数返回指定异常,则会重试,如果不是指定的异常则会退出

from retrying import retry
def run2(exception):
  return isinstance(exception, ZeroDivisionError)
@retry(retry_on_exception=run2)
def run():
  print("开始重试")
  a = 1 / 0
if __name__ == '__main__':
  run()

retry_on_result:指定一个函数,如果指定的函数返回True,则重试,否则抛出异常退出

from retrying import retry
def run2(r):
  return isinstance(r, int)
@retry(retry_on_result=run2)
def run():
  print("开始重试")
  a = 1
  return a
if __name__ == '__main__':
  run()

wrap_exception:参数设置为True/False,如果指定的异常类型,包裹在RetryError中,会看到RetryError和程序抛的Exception error

stop_func: 每次抛出异常时都会执行的函数,如果和stop_max_delay、stop_max_attempt_number配合使用,则后两者会失效

指定的stop_func会有两个参数:attempts, delay

wait_func:和stop_func用法差不多,不多描述

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python命令行参数解析OptionParser类用法实例
Oct 09 Python
Python找出9个连续的空闲端口
Feb 01 Python
Python scikit-learn 做线性回归的示例代码
Nov 01 Python
python 自定义异常和异常捕捉的方法
Oct 18 Python
python执行CMD指令,并获取返回的方法
Dec 19 Python
python pexpect ssh 远程登录服务器的方法
Feb 14 Python
Python中的相关分析correlation analysis的实现
Aug 29 Python
完美解决pycharm导入自己写的py文件爆红问题
Feb 12 Python
python中查看.db文件中表格的名字及表格中的字段操作
Jul 07 Python
python如何删除列为空的行
Jul 17 Python
使用Python操作MySQL的小技巧
Sep 10 Python
python中numpy数组与list相互转换实例方法
Jan 29 Python
Python 实现一个手机号码获取妹子名字的功能
Sep 25 #Python
python 魔法函数实例及解析
Sep 25 #Python
你还在@微信官方?聊聊Python生成你想要的微信头像
Sep 25 #Python
python并发爬虫实用工具tomorrow实用解析
Sep 25 #Python
Python帮你微信头像任意添加装饰别再@微信官方了
Sep 25 #Python
python异步编程 使用yield from过程解析
Sep 25 #Python
手机使用python操作图片文件(pydroid3)过程详解
Sep 25 #Python
You might like
PHP 创建标签云函数代码
2010/05/26 PHP
比较好用的PHP防注入漏洞过滤函数代码
2012/04/11 PHP
解析php下载远程图片函数 可伪造来路
2013/06/25 PHP
php对数组排序代码分享
2014/02/24 PHP
PHP register_shutdown_function()函数的使用示例
2015/06/23 PHP
CodeIgniter常用知识点小结
2016/05/26 PHP
php头像上传预览实例代码
2017/05/02 PHP
基于jquery的地址栏射击游戏代码
2011/03/10 Javascript
javascript采用数组实现tab菜单切换效果
2012/12/12 Javascript
关于IE中getElementsByClassName不能用的问题解决方法
2013/08/26 Javascript
JS常用表单验证方法总结
2014/05/22 Javascript
js兼容火狐显示上传图片预览效果的方法
2015/05/21 Javascript
javascript委托(Delegate)blur和focus用法实例分析
2015/05/26 Javascript
jquery实现用户信息修改验证输入方法汇总
2015/07/18 Javascript
jquery实现点击变换导航样式的方法
2015/08/31 Javascript
javascript闭包概念简单解析(推荐)
2016/06/03 Javascript
jquery插件ContextMenu设置右键菜单
2017/03/13 Javascript
Easyui使用Dialog行内按钮布局的实例
2017/07/27 Javascript
JS 中使用Promise 实现红绿灯实例代码(demo)
2017/10/20 Javascript
vue设计一个倒计时秒杀的组件详解
2019/04/06 Javascript
js 实现碰撞检测的示例
2020/10/28 Javascript
[59:48]LGD vs IG 2018国际邀请赛小组赛BO2 第一场 8.18
2018/08/19 DOTA
[46:20]CHAOS vs Alliacne 2019国际邀请赛小组赛 BO2 第二场 8.15
2019/08/16 DOTA
[27:08]完美世界DOTA2联赛PWL S2 SZ vs Rebirth 第二场 11.21
2020/11/23 DOTA
Python中运算符"=="和"is"的详解
2016/10/08 Python
解决django服务器重启端口被占用的问题
2019/07/26 Python
pandas中DataFrame修改index、columns名的方法示例
2019/08/02 Python
利用ImageAI库只需几行python代码实现目标检测
2019/08/09 Python
Pytorch实现的手写数字mnist识别功能完整示例
2019/12/13 Python
使用jquery实现HTML5响应式导航菜单教程
2014/04/02 HTML / CSS
《四季》教学反思
2014/04/08 职场文书
大学应届毕业生求职信
2014/05/24 职场文书
小学班级口号
2014/06/09 职场文书
图书馆志愿者活动总结
2014/06/27 职场文书
教育教学读书笔记
2015/07/02 职场文书
公司劳动纪律管理制度
2015/08/04 职场文书