python retrying模块的使用方法详解


Posted in Python onSeptember 25, 2019

前言

我们在写爬虫的过程中,经常遇到爬取失败的情况,这个时候我们一般会通过try块去进行重试,但是每次都写那么一堆try块,真的是太麻烦,所以今天就来说一个比较pythonic的模块,retrying.

安装

retrying模块的安装很简单直接用匹配安装即可。

pip install retrying

retring模块通过装饰器的形式来进行重试操作的,首先我们看一个简单的例子

from retrying import retry
@retry(stop_max_attempt_number=5,wait_random_min=1000,wait_random_max=5000)
def run():
  print("开始重试")
  raise NameError

if __name__ == '__main__':
  run()

上面的代码干了哪些事呢,首先导入retring的retry模块

然后装饰一个run函数,然后调用run,函数内容很简单就是通过raise抛出一个异常,执行该代码我们发现。程序打印了五次开始重试,最后一次抛出异常,NameError。

到这里我们可以感受到重试了,就是这么简单的代码,就完成了五次重试,同时这五次重试的间隔时间也是不同的。

如果想尝试10次就把上面的stop_max_attempt_number=5,改成10即可,到这里就可以解释retry装饰器的参数了

stop_max_attempt_number:最大重试次数,超过这个次数会停止重试,并报异常。

wait_random_min:随机等待最小时间。

wait_random_max:随机等待最大时间。

好了retry的使用就是这么简单,在需要重试的函数上面加个装饰器就好了。

关键是装饰器里的参数的使用,下面列举了retrying的参数。

如果不写参数将会一直重试.

stop_max_attempt_number:在停止之前尝试的最大次数,最后一次如果还是有异常则会抛出异常,停止运行,默认为5次

@retry(stop_max_attempt_number=5)
def run():
  print("开始重试")
  raise NameError

if __name__ == '__main__':
  run()

强调总次数。

stop_max_delay:最大延迟时间,大概意思就是:如果调用的函数出现异常,那么就会重复调用这个函数,最大调用时间,默认为100毫秒

from retrying import retry
@retry(stop_max_delay=5000)
def run():
  print("开始重试")
  raise NameError
if __name__ == '__main__':
  run()

会重试5秒钟,强调总时间。

wait_fixed:两次调用方法期间停留时长, 如果出现异常则会一直重复调用,默认 1000毫秒

from retrying import retry
@retry(wait_fixed=2000)
def run():
  print("开始重试")
  raise NameError
if __name__ == '__main__':
  run()

强调间隔时间。

wait_random_min:在两次调用方法停留时长,停留最短时间,默认为0

wait_random_max:在两次调用方法停留时长,停留最长时间,默认为1000毫秒

wait_incrementing_increment:每调用一次则会增加的时长,默认 100毫秒

wait_exponential_multiplier和wait_exponential_max:以指数的形式产生两次retrying之间的停留时间,产生的值为2^previous_attempt_number * wait_exponential_multiplier,previous_attempt_number是前面已经retry的次数,如果产生的这个值超过了wait_exponential_max的大小,那么之后两个retrying之间的停留值都为wait_exponential_max

retry_on_exception: 指定一个函数,如果此函数返回指定异常,则会重试,如果不是指定的异常则会退出

from retrying import retry
def run2(exception):
  return isinstance(exception, ZeroDivisionError)
@retry(retry_on_exception=run2)
def run():
  print("开始重试")
  a = 1 / 0
if __name__ == '__main__':
  run()

retry_on_result:指定一个函数,如果指定的函数返回True,则重试,否则抛出异常退出

from retrying import retry
def run2(r):
  return isinstance(r, int)
@retry(retry_on_result=run2)
def run():
  print("开始重试")
  a = 1
  return a
if __name__ == '__main__':
  run()

wrap_exception:参数设置为True/False,如果指定的异常类型,包裹在RetryError中,会看到RetryError和程序抛的Exception error

stop_func: 每次抛出异常时都会执行的函数,如果和stop_max_delay、stop_max_attempt_number配合使用,则后两者会失效

指定的stop_func会有两个参数:attempts, delay

wait_func:和stop_func用法差不多,不多描述

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python3基础之基本运算符概述
Aug 13 Python
Python数组遍历的简单实现方法小结
Apr 27 Python
Python使用剪切板的方法
Jun 06 Python
Python数据结构与算法之二叉树结构定义与遍历方法详解
Dec 12 Python
Python 12306抢火车票脚本 Python京东抢手机脚本
Feb 06 Python
python爬虫 urllib模块url编码处理详解
Aug 20 Python
python Manager 之dict KeyError问题的解决
Dec 21 Python
pytorch::Dataloader中的迭代器和生成器应用详解
Jan 03 Python
详解用Python调用百度地图正/逆地理编码API
Jul 02 Python
Python3如何使用range函数替代xrange函数
Oct 05 Python
解决python3中os.popen()出错的问题
Nov 19 Python
python实现PolynomialFeatures多项式的方法
Jan 06 Python
Python 实现一个手机号码获取妹子名字的功能
Sep 25 #Python
python 魔法函数实例及解析
Sep 25 #Python
你还在@微信官方?聊聊Python生成你想要的微信头像
Sep 25 #Python
python并发爬虫实用工具tomorrow实用解析
Sep 25 #Python
Python帮你微信头像任意添加装饰别再@微信官方了
Sep 25 #Python
python异步编程 使用yield from过程解析
Sep 25 #Python
手机使用python操作图片文件(pydroid3)过程详解
Sep 25 #Python
You might like
比较简单实用的PHP无限分类源码分享(思路不错)
2011/10/13 PHP
web server使用php生成web页面的三种方法总结
2013/10/28 PHP
php中文乱码怎么办如何让浏览器自动识别utf-8
2014/01/15 PHP
php使用simplexml_load_file加载XML文件并显示XML的方法
2015/03/19 PHP
PHP中的self关键字详解
2019/06/23 PHP
javascript多种数据类型表格排序代码分析
2010/09/11 Javascript
js将iframe中控件的值传到主页面控件中的实现方法
2013/03/11 Javascript
通过JQuery实现win8一样酷炫的动态磁贴效果(示例代码)
2013/07/13 Javascript
append和appendTo的区别以及appendChild用法
2013/12/24 Javascript
jquery实现背景墙聚光灯效果示例分享
2014/03/02 Javascript
javascript原型链继承用法实例分析
2015/01/28 Javascript
JavaScript中标识符提升问题
2015/06/11 Javascript
日常收藏的jquery技巧
2015/12/02 Javascript
input获取焦点时底部菜单被顶上来问题的解决办法
2017/01/24 Javascript
vue.js 1.x与2.0中js实时监听input值的变化
2017/03/15 Javascript
实例讲解DataTables固定表格宽度(设置横向滚动条)
2017/07/11 Javascript
原生javascript实现文件异步上传的实例讲解
2017/10/26 Javascript
vue项目实现记住密码到cookie功能示例(附源码)
2018/01/31 Javascript
vue引入axios同源跨域问题
2018/09/27 Javascript
vue移动端实现手机左右滑动入场动画
2020/06/17 Javascript
vue created钩子函数与mounted钩子函数的用法区别
2020/11/05 Javascript
[45:17]DOTA2-DPC中国联赛定级赛 Phoenix vs DLG BO3第三场 1月9日
2021/03/11 DOTA
利用Python-iGraph如何绘制贴吧/微博的好友关系图详解
2017/11/02 Python
Python 使用多属性来进行排序
2019/09/01 Python
Python箱型图处理离群点的例子
2019/12/09 Python
使用pyqt5 tablewidget 单元格设置正则表达式
2019/12/13 Python
Win下PyInstaller 安装和使用教程
2019/12/25 Python
用HTML5的canvas实现一个炫酷时钟效果
2016/05/20 HTML / CSS
员工评语大全
2014/01/19 职场文书
工作室成员个人发展规划范文
2014/01/24 职场文书
物流业务员岗位职责
2014/02/08 职场文书
婚纱店策划方案
2014/05/22 职场文书
户外活动总结
2015/02/04 职场文书
2015年建筑工程工作总结
2015/05/13 职场文书
React配置子路由的实现
2021/06/03 Javascript
Mysql 一主多从的部署
2022/05/20 MySQL