python retrying模块的使用方法详解


Posted in Python onSeptember 25, 2019

前言

我们在写爬虫的过程中,经常遇到爬取失败的情况,这个时候我们一般会通过try块去进行重试,但是每次都写那么一堆try块,真的是太麻烦,所以今天就来说一个比较pythonic的模块,retrying.

安装

retrying模块的安装很简单直接用匹配安装即可。

pip install retrying

retring模块通过装饰器的形式来进行重试操作的,首先我们看一个简单的例子

from retrying import retry
@retry(stop_max_attempt_number=5,wait_random_min=1000,wait_random_max=5000)
def run():
  print("开始重试")
  raise NameError

if __name__ == '__main__':
  run()

上面的代码干了哪些事呢,首先导入retring的retry模块

然后装饰一个run函数,然后调用run,函数内容很简单就是通过raise抛出一个异常,执行该代码我们发现。程序打印了五次开始重试,最后一次抛出异常,NameError。

到这里我们可以感受到重试了,就是这么简单的代码,就完成了五次重试,同时这五次重试的间隔时间也是不同的。

如果想尝试10次就把上面的stop_max_attempt_number=5,改成10即可,到这里就可以解释retry装饰器的参数了

stop_max_attempt_number:最大重试次数,超过这个次数会停止重试,并报异常。

wait_random_min:随机等待最小时间。

wait_random_max:随机等待最大时间。

好了retry的使用就是这么简单,在需要重试的函数上面加个装饰器就好了。

关键是装饰器里的参数的使用,下面列举了retrying的参数。

如果不写参数将会一直重试.

stop_max_attempt_number:在停止之前尝试的最大次数,最后一次如果还是有异常则会抛出异常,停止运行,默认为5次

@retry(stop_max_attempt_number=5)
def run():
  print("开始重试")
  raise NameError

if __name__ == '__main__':
  run()

强调总次数。

stop_max_delay:最大延迟时间,大概意思就是:如果调用的函数出现异常,那么就会重复调用这个函数,最大调用时间,默认为100毫秒

from retrying import retry
@retry(stop_max_delay=5000)
def run():
  print("开始重试")
  raise NameError
if __name__ == '__main__':
  run()

会重试5秒钟,强调总时间。

wait_fixed:两次调用方法期间停留时长, 如果出现异常则会一直重复调用,默认 1000毫秒

from retrying import retry
@retry(wait_fixed=2000)
def run():
  print("开始重试")
  raise NameError
if __name__ == '__main__':
  run()

强调间隔时间。

wait_random_min:在两次调用方法停留时长,停留最短时间,默认为0

wait_random_max:在两次调用方法停留时长,停留最长时间,默认为1000毫秒

wait_incrementing_increment:每调用一次则会增加的时长,默认 100毫秒

wait_exponential_multiplier和wait_exponential_max:以指数的形式产生两次retrying之间的停留时间,产生的值为2^previous_attempt_number * wait_exponential_multiplier,previous_attempt_number是前面已经retry的次数,如果产生的这个值超过了wait_exponential_max的大小,那么之后两个retrying之间的停留值都为wait_exponential_max

retry_on_exception: 指定一个函数,如果此函数返回指定异常,则会重试,如果不是指定的异常则会退出

from retrying import retry
def run2(exception):
  return isinstance(exception, ZeroDivisionError)
@retry(retry_on_exception=run2)
def run():
  print("开始重试")
  a = 1 / 0
if __name__ == '__main__':
  run()

retry_on_result:指定一个函数,如果指定的函数返回True,则重试,否则抛出异常退出

from retrying import retry
def run2(r):
  return isinstance(r, int)
@retry(retry_on_result=run2)
def run():
  print("开始重试")
  a = 1
  return a
if __name__ == '__main__':
  run()

wrap_exception:参数设置为True/False,如果指定的异常类型,包裹在RetryError中,会看到RetryError和程序抛的Exception error

stop_func: 每次抛出异常时都会执行的函数,如果和stop_max_delay、stop_max_attempt_number配合使用,则后两者会失效

指定的stop_func会有两个参数:attempts, delay

wait_func:和stop_func用法差不多,不多描述

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
由浅入深讲解python中的yield与generator
Apr 05 Python
Python科学计算包numpy用法实例详解
Feb 08 Python
解决python 输出是省略号的问题
Apr 19 Python
python筛选出两个文件中重复行的方法
May 31 Python
Pandas 数据处理,数据清洗详解
Jul 10 Python
更新修改后的Python模块方法
Mar 03 Python
python3通过selenium爬虫获取到dj商品的实例代码
Apr 25 Python
Python之time模块的时间戳,时间字符串格式化与转换方法(13位时间戳)
Aug 12 Python
使用pyqt 实现重复打开多个相同界面
Dec 13 Python
使用 Python ssh 远程登陆服务器的最佳方案
Mar 06 Python
python绘图subplots函数使用模板的示例代码
Apr 30 Python
Python利用folium实现地图可视化
May 23 Python
Python 实现一个手机号码获取妹子名字的功能
Sep 25 #Python
python 魔法函数实例及解析
Sep 25 #Python
你还在@微信官方?聊聊Python生成你想要的微信头像
Sep 25 #Python
python并发爬虫实用工具tomorrow实用解析
Sep 25 #Python
Python帮你微信头像任意添加装饰别再@微信官方了
Sep 25 #Python
python异步编程 使用yield from过程解析
Sep 25 #Python
手机使用python操作图片文件(pydroid3)过程详解
Sep 25 #Python
You might like
快速开发一个PHP扩展图文教程
2008/12/12 PHP
php 静态变量与自定义常量的使用方法
2010/01/26 PHP
phpMyadmin 用户权限中英对照
2010/04/02 PHP
PHP为表单获取的URL 地址预设 http 字符串函数代码
2010/05/26 PHP
理解和运用PHP中的多态性[译]
2011/08/02 PHP
php并发对MYSQL造成压力的解决方法
2013/02/21 PHP
php数组合并array_merge()函数使用注意事项
2014/06/19 PHP
Zend Studio使用技巧两则
2016/04/01 PHP
yii2使用GridView实现数据全选及批量删除按钮示例
2017/03/01 PHP
php curl发送请求实例方法
2019/08/01 PHP
详解PHP中的8个魔术常量
2020/07/06 PHP
基于Jquery的温度计动画效果
2010/06/18 Javascript
jquery异步循环获取功能实现代码
2010/09/19 Javascript
基于jquery的loading 加载提示效果实现代码
2011/09/01 Javascript
IE6 hack for js 集锦
2014/09/23 Javascript
jquery实现左右滑动式轮播图
2017/03/02 Javascript
详谈Angular 2+ 的表单(一)之模板驱动型表单
2017/04/25 Javascript
详解VUE 定义全局变量的几种实现方式
2017/06/01 Javascript
Js中async/await的执行顺序详解
2017/09/22 Javascript
微信小程序数据存储与取值详解
2018/01/30 Javascript
深入浅出理解JavaScript闭包的功能与用法
2018/08/01 Javascript
jQuery的Ajax接收java返回数据方法
2018/08/11 jQuery
小程序双头slider选择器的实现示例
2020/03/31 Javascript
Python中使用PIPE操作Linux管道
2015/02/04 Python
python-itchat 获取微信群用户信息的实例
2019/02/21 Python
解决Python import docx出错DLL load failed的问题
2020/02/13 Python
Python+unittest+DDT实现数据驱动测试
2020/11/30 Python
如何用Python编写一个电子考勤系统
2021/02/08 Python
加拿大最大的箱包及旅游配件零售商:Bentley Leathers
2017/07/19 全球购物
发现世界上最好的珠宝设计师:JewelStreet
2017/12/17 全球购物
马来西亚网上购物平台:ezbuy
2018/02/13 全球购物
宏碁西班牙官网:Acer西班牙
2021/01/08 全球购物
无工作经验者个人求职信范文
2013/12/22 职场文书
工厂仓管员岗位职责范本
2014/07/17 职场文书
2014年医务科工作总结
2014/12/18 职场文书
2015新学期校长寄语(3篇)
2015/03/25 职场文书