python对于requests的封装方法详解


Posted in Python onJanuary 03, 2019

由于requests是http类接口的核心,因此封装前考虑问题比较多:

1. 对多种接口类型的支持;

2. 连接异常时能够重连;

3. 并发处理的选择;

4. 使用方便,容易维护;

当前并未全部实现,后期会不断完善。重点提一下并发处理的选择:python的并发处理机制由于存在GIL的原因,实现起来并不是很理想,综合考虑多进程、多线程、协程,在不考虑大并发性能测试的前提下使用了多线程-线程池的形式实现。使用的是

concurrent.futures模块。当前仅方便支持webservice接口。

# -*- coding:utf-8 -*-
 
import requests
from concurrent.futures import ThreadPoolExecutor
from Tools.Config import Config # 配置文件读取
from Tools.Log import Log # 日志管理
from Tools.tools import decoLOG # 日志装饰
 
'''
  功能:   Requests类
  使用方法: 
  作者:   郭可昌
  作成时间: 20180224
  更新内容:
  更新时间:
'''
class Requests(object):
  def __init__(self):
    self.session = requests.session()
    self.header = {}
    # URL默认来源于配置文件,方便不同测试环境的切换,也可以动态设定
    self.URL = Config().getURL()
    # 默认60s,可以动态设定
    self.timeout = 60
    #http连接异常的场合,重新连接的次数,默认为3,可以动态设定
    self.iRetryNum = 3
 
    self.errorMsg = ""
    # 内容 = {用例编号:响应数据}
    self.responses = {}
    # 内容 = {用例编号:异常信息}
    self.resErr={}
 
 
  # 原始post使用保留
  # bodyData: request's data
  @decoLOG
  def post(self, bodyData):
    response = None
    self.errorMsg = ""
 
    try:
      response = self.session.post(self.URL, data=bodyData.encode('utf-8'), headers=self.header, timeout=self.timeout)
      response.raise_for_status()
    except Exception as e:
      self.errorMsg = str(e)
      Log().logger.error("HTTP请求异常,异常信息:%s" % self.errorMsg)
    return response
 
 
  # 复数请求并发处理,采用线程池的形式,用例数>线程池的容量:线程池的容量为并发数,否则,用例数为并发数
  # dicDatas: {用例编号:用例数据}
  @decoLOG
  def req_all(self, dicDatas, iThreadNum=5):
 
    if len(dict(dicDatas)) < 1:
      Log().logger.error("没有测试对象,请确认后再尝试。。。")
      return self.responses.clear()
 
    # 请求用例集合转换(用例编号,用例数据)
    seed = [i for i in dicDatas.items()]
    self.responses.clear()
 
    # 线程池并发执行,iThreadNum为并发数
    with ThreadPoolExecutor(iThreadNum) as executor:
      executor.map(self.req_single,seed)
 
    # 返回所有请求的响应信息({用例编号:响应数据}),http连接异常:对应None
    return self.responses
 
  # 用于单用例提交,http连接失败可以重新连接,最大重新连接数可以动态设定
  def req_single(self, listData, reqType="post", iLoop=1):
    response = None
    # 如果达到最大重连次数,连接后提交结束
    if iLoop == self.iRetryNum:
      if reqType == "post":
        try:
          response = requests.post(self.URL, data=listData[1].encode('utf-8'), headers=self.header,
                       timeout=self.timeout)
          response.raise_for_status()
        except Exception as e:
          # 异常信息保存只在最大连接次数时进行,未达到最大连接次数,异常信息为空
          self.resErr[listData[0]] = str(e)
          Log().logger.error("HTTP请求异常,异常信息:%s【%d】" % (str(e), iLoop))
 
        self.responses[listData[0]] = response
      else:
        # for future: other request method expand
        pass
    # 未达到最大连接数,如果出现异常,则重新连接尝试
    else:
      if reqType == "post":
        try:
          response = requests.post(self.URL, data=listData[1].encode('utf-8'), headers=self.header,
                       timeout=self.timeout)
          response.raise_for_status()
        except Exception as e:
          Log().logger.error("HTTP请求异常,异常信息:%s【%d】" % (str(e), iLoop))
          # 重连次数递增
          iLoop += 1
          # 进行重新连接
          self.req_single(listData, reqType, iLoop)
          # 当前连接终止
          return None
        self.responses[listData[0]] = response
      else:
        # for future: other request method expand
        pass
 
  # 设定SoapAction, 快捷完成webservice接口header设定
  def setSoapAction(self, soapAction):
    self.header["SOAPAction"] = soapAction
    self.header["Content-Type"] = "text/xml;charset=UTF-8"
    self.header["Connection"] = "Keep-Alive"
    self.header["User-Agent"] = "InterfaceAutoTest-run"

以上这篇python对于requests的封装方法详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python列表生成器的循环技巧分享
Mar 06 Python
Python常用内置模块之xml模块(详解)
May 23 Python
Python判断两个对象相等的原理
Dec 12 Python
Python程序员面试题 你必须提前准备!
Jan 16 Python
django用户注册、登录、注销和用户扩展的示例
Mar 19 Python
python读取文本中的坐标方法
Oct 14 Python
python+logging+yaml实现日志分割
Jul 22 Python
Python @property装饰器原理解析
Jan 22 Python
Win10下安装并使用tensorflow-gpu1.8.0+python3.6全过程分析(显卡MX250+CUDA9.0+cudnn)
Feb 17 Python
基于python实现可视化生成二维码工具
Jul 08 Python
详解python 内存优化
Aug 17 Python
python PIL模块的基本使用
Sep 29 Python
python使用suds调用webservice接口的方法
Jan 03 #Python
Python调用服务接口的实例
Jan 03 #Python
Python2和Python3之间的str处理方式导致乱码的讲解
Jan 03 #Python
python requests 库请求带有文件参数的接口实例
Jan 03 #Python
Python图像处理之颜色的定义与使用分析
Jan 03 #Python
Python在图片中插入大量文字并且自动换行
Jan 02 #Python
python 输出所有大小写字母的方法
Jan 02 #Python
You might like
使用字符串函数输出整数化的PHP版本号
2006/10/09 PHP
Zend Framework教程之Bootstrap类用法概述
2016/03/14 PHP
关于文本框的一些限制控制总结~~
2010/04/15 Javascript
JavaScript SetInterval与setTimeout使用方法详解
2013/11/15 Javascript
jquery+ajax+C#实现无刷新操作数据库数据的简单实例
2014/02/08 Javascript
网页中表单按回车就自动提交的问题的解决方案
2014/11/03 Javascript
JavaScript访问字符串中单个字符的两种方法
2015/07/03 Javascript
AngularJS实现Model缓存的方式
2016/02/03 Javascript
Jquery通过ajax请求NodeJS返回json数据实例
2016/11/08 NodeJs
微信小程序 页面传参实例详解
2016/11/16 Javascript
BootStrap Table 获取同行不同列元素的方法
2016/12/19 Javascript
Vue调试神器vue-devtools安装方法
2017/12/12 Javascript
JS实现520 表白简单代码
2018/05/21 Javascript
解决Vue项目打包后打开index.html页面显示空白以及图片路径错误的问题
2019/10/25 Javascript
js判断密码强度的方法
2020/03/18 Javascript
基于vue 动态菜单 刷新空白问题的解决
2020/08/06 Javascript
Python标准库之随机数 (math包、random包)介绍
2014/11/25 Python
在Python中用get()方法获取字典键值的教程
2015/05/21 Python
python使用xmlrpclib模块实现对百度google的ping功能
2015/06/02 Python
python实现中文转换url编码的方法
2016/06/14 Python
Python调用C语言的方法【基于ctypes模块】
2018/01/22 Python
Python实现邮件的批量发送的示例代码
2018/01/23 Python
Python后台管理员管理前台会员信息的讲解
2019/01/28 Python
基于python分析你的上网行为 看看你平时上网都在干嘛
2019/08/13 Python
ipad上运行python的方法步骤
2019/10/12 Python
Python selenium页面加载慢超时的解决方案
2020/03/18 Python
解决jupyter notebook 出现In[*]的问题
2020/04/13 Python
Python读取图像并显示灰度图的实现
2020/12/01 Python
2014公司年终工作总结
2014/12/19 职场文书
先进党组织事迹材料
2014/12/26 职场文书
上课迟到检讨书
2015/05/06 职场文书
优秀教师工作总结2015
2015/07/22 职场文书
法律服务所工作总结
2015/08/10 职场文书
Python实现的扫码工具居然这么好用!
2021/06/07 Python
如何给HttpServletRequest增加消息头
2021/06/30 Java/Android
MySQL 主从复制数据不一致的解决方法
2022/03/18 MySQL