python retrying模块的使用方法详解


Posted in Python onSeptember 25, 2019

前言

我们在写爬虫的过程中,经常遇到爬取失败的情况,这个时候我们一般会通过try块去进行重试,但是每次都写那么一堆try块,真的是太麻烦,所以今天就来说一个比较pythonic的模块,retrying.

安装

retrying模块的安装很简单直接用匹配安装即可。

pip install retrying

retring模块通过装饰器的形式来进行重试操作的,首先我们看一个简单的例子

from retrying import retry
@retry(stop_max_attempt_number=5,wait_random_min=1000,wait_random_max=5000)
def run():
  print("开始重试")
  raise NameError

if __name__ == '__main__':
  run()

上面的代码干了哪些事呢,首先导入retring的retry模块

然后装饰一个run函数,然后调用run,函数内容很简单就是通过raise抛出一个异常,执行该代码我们发现。程序打印了五次开始重试,最后一次抛出异常,NameError。

到这里我们可以感受到重试了,就是这么简单的代码,就完成了五次重试,同时这五次重试的间隔时间也是不同的。

如果想尝试10次就把上面的stop_max_attempt_number=5,改成10即可,到这里就可以解释retry装饰器的参数了

stop_max_attempt_number:最大重试次数,超过这个次数会停止重试,并报异常。

wait_random_min:随机等待最小时间。

wait_random_max:随机等待最大时间。

好了retry的使用就是这么简单,在需要重试的函数上面加个装饰器就好了。

关键是装饰器里的参数的使用,下面列举了retrying的参数。

如果不写参数将会一直重试.

stop_max_attempt_number:在停止之前尝试的最大次数,最后一次如果还是有异常则会抛出异常,停止运行,默认为5次

@retry(stop_max_attempt_number=5)
def run():
  print("开始重试")
  raise NameError

if __name__ == '__main__':
  run()

强调总次数。

stop_max_delay:最大延迟时间,大概意思就是:如果调用的函数出现异常,那么就会重复调用这个函数,最大调用时间,默认为100毫秒

from retrying import retry
@retry(stop_max_delay=5000)
def run():
  print("开始重试")
  raise NameError
if __name__ == '__main__':
  run()

会重试5秒钟,强调总时间。

wait_fixed:两次调用方法期间停留时长, 如果出现异常则会一直重复调用,默认 1000毫秒

from retrying import retry
@retry(wait_fixed=2000)
def run():
  print("开始重试")
  raise NameError
if __name__ == '__main__':
  run()

强调间隔时间。

wait_random_min:在两次调用方法停留时长,停留最短时间,默认为0

wait_random_max:在两次调用方法停留时长,停留最长时间,默认为1000毫秒

wait_incrementing_increment:每调用一次则会增加的时长,默认 100毫秒

wait_exponential_multiplier和wait_exponential_max:以指数的形式产生两次retrying之间的停留时间,产生的值为2^previous_attempt_number * wait_exponential_multiplier,previous_attempt_number是前面已经retry的次数,如果产生的这个值超过了wait_exponential_max的大小,那么之后两个retrying之间的停留值都为wait_exponential_max

retry_on_exception: 指定一个函数,如果此函数返回指定异常,则会重试,如果不是指定的异常则会退出

from retrying import retry
def run2(exception):
  return isinstance(exception, ZeroDivisionError)
@retry(retry_on_exception=run2)
def run():
  print("开始重试")
  a = 1 / 0
if __name__ == '__main__':
  run()

retry_on_result:指定一个函数,如果指定的函数返回True,则重试,否则抛出异常退出

from retrying import retry
def run2(r):
  return isinstance(r, int)
@retry(retry_on_result=run2)
def run():
  print("开始重试")
  a = 1
  return a
if __name__ == '__main__':
  run()

wrap_exception:参数设置为True/False,如果指定的异常类型,包裹在RetryError中,会看到RetryError和程序抛的Exception error

stop_func: 每次抛出异常时都会执行的函数,如果和stop_max_delay、stop_max_attempt_number配合使用,则后两者会失效

指定的stop_func会有两个参数:attempts, delay

wait_func:和stop_func用法差不多,不多描述

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python 常用的安装Module方式汇总
May 06 Python
Django中STATIC_ROOT和STATIC_URL及STATICFILES_DIRS浅析
May 08 Python
纯用NumPy实现神经网络的示例代码
Oct 24 Python
用python生成1000个txt文件的方法
Oct 25 Python
Python3几个常见问题的处理方法
Feb 26 Python
使用Python的OpenCV模块识别滑动验证码的缺口(推荐)
May 10 Python
Python 3.8 新功能全解
Jul 25 Python
django echarts饼图数据动态加载的实例
Aug 12 Python
详解Django将秒转换为xx天xx时xx分
Sep 27 Python
Python解释器及PyCharm工具安装过程
Feb 26 Python
Python rabbitMQ如何实现生产消费者模式
Aug 24 Python
python合并多个excel文件的示例
Sep 23 Python
Python 实现一个手机号码获取妹子名字的功能
Sep 25 #Python
python 魔法函数实例及解析
Sep 25 #Python
你还在@微信官方?聊聊Python生成你想要的微信头像
Sep 25 #Python
python并发爬虫实用工具tomorrow实用解析
Sep 25 #Python
Python帮你微信头像任意添加装饰别再@微信官方了
Sep 25 #Python
python异步编程 使用yield from过程解析
Sep 25 #Python
手机使用python操作图片文件(pydroid3)过程详解
Sep 25 #Python
You might like
一个odbc连mssql分页的类
2006/10/09 PHP
Smarty模板简单配置与使用方法示例
2016/05/23 PHP
jQuery 1.0.4 - New Wave Javascript(js源文件)
2007/01/15 Javascript
jQuery中wrapAll()方法用法实例
2015/01/16 Javascript
js判断手机和pc端选择不同执行事件的方法
2015/01/30 Javascript
js生成验证码并直接在前端判断
2015/05/15 Javascript
基于jquery实现图片放大功能
2016/05/07 Javascript
使用Bootstrap + Vue.js实现添加删除数据示例
2017/02/27 Javascript
原生javascript移动端滑动banner效果
2017/03/10 Javascript
vue.js开发环境搭建教程
2017/05/04 Javascript
Bootstrap多级菜单的实现代码
2017/05/23 Javascript
详解vue服务端渲染(SSR)初探
2017/06/19 Javascript
angularjs实现天气预报功能
2020/06/16 Javascript
js实现左右两侧浮动广告
2018/07/09 Javascript
如何将HTML字符转换为DOM节点并动态添加到文档中详解
2018/08/19 Javascript
JS+CSS实现随机点名(实例代码)
2019/11/04 Javascript
Python简单调用MySQL存储过程并获得返回值的方法
2015/07/20 Python
详解python中的hashlib模块的使用
2019/04/22 Python
python获取微信企业号打卡数据并生成windows计划任务
2019/04/30 Python
python opencv 批量改变图片的尺寸大小的方法
2019/06/28 Python
在win64上使用bypy进行百度网盘文件上传功能
2020/01/02 Python
基于OpenCV的路面质量检测的实现
2020/11/04 Python
在校生党员自我评价
2013/09/25 职场文书
求职简历自荐信范文
2013/10/21 职场文书
数学国培研修感言
2014/02/13 职场文书
毕业生写求职信的要点
2014/03/04 职场文书
学习经验演讲稿
2014/05/10 职场文书
教师党员个人整改措施材料
2014/09/16 职场文书
大学生自我推荐信范文
2015/03/24 职场文书
社区干部培训心得体会
2016/01/06 职场文书
《狼王梦》读后感:可怜天下父母心
2019/11/01 职场文书
导游词之湖北梁子湖
2019/11/07 职场文书
使用HTML+Css+transform实现3D导航栏的示例代码
2021/03/31 HTML / CSS
idea搭建可运行Servlet的Web项目
2021/06/26 Java/Android
为什么MySQL选择Repeatable Read作为默认隔离级别
2021/07/26 MySQL
vue实力踩坑之push当前页无效
2022/04/10 Vue.js