python实现文件分片上传的接口自动化


Posted in Python onNovember 19, 2020

背景和目的:

利用python request 编写脚本测试公司系统的文件上传接口。前端读取文件的大小然后文件分片传给后端,后端将每一片数据重新组合成文件。大概的过程是:前端将整个文件的md5、size(大小)、name(文件名)、ext(文件后缀)、totalchunk(分片总数)与分片文件的md5、chunk(分片数据),chunkindex(当前分片文件的下标)等传给后台,后台取得这些数据后,通过chunkindex将每一片数据重组,重组完后,进行md5校验,判断文件上传是否成功。我只需要去调用后台的接口,然后判断文件是否上传成功,并且上传没有错误,其他的文件校验就不用去深究。

开发前端使用的是vue,后台使用的是php,要利用python实现对这一接口的调用,那么就先要将前端数据给模拟出来,然后循环去调用接口,将文件分片上传,我的思路大概如下:

1.获取整个文件的大小、名字、后缀、分片总数,定义每片文件的大小:

def __init__(self,data):
  dat = json.loads(data)
  self.path = dat['path'] # 获取文件路径
  self.CHUNK_SIZE = 1024*1024*2 # 定义每片文件的大小
  self.size = os.path.getsize(dat['path']) # 获取文件的大小
  self.totalchunk = math.ceil(self.size / self.CHUNK_SIZE) # 获取文件的分片总数
  self.ext = os.path.basename(dat['path']).split('.').pop() # 获取文件的后缀
  self.name = os.path.basename(dat['path']) # 获取文件的名字

2.获取文件的md5,查看了开发那边的md5算法,利用python实现过程如下:

# 使用hashlib库的md5方法获取指定文件的md5
def getmd5(self,path):
m = hashlib.md5()
with open(path, 'rb') as f:
 for line in f:
  m.update(line)
  md5code = m.hexdigest()
  return md5code

 # 开发那边对md5的算法进行了优化,当文件的大小小于1M时,直接通过getmd5方法去获取文件的md5值;
 # 当文件大于1M时,通过截取整个文件中的某几个片段,然后拼接成一个文件,再去获取其md5值,最后删除这个文件
 def md5(self,path):
  if self.size < 1024 * 1024:
   return self.getmd5(path)
  f = open(path, 'rb')
  f.seek(0, 0)
  data = f.read(2012)
  f.seek(int(self.size / 2) - 1999, 0)
  data += f.read(1999)
  f.seek(-2010, 2)
  data += f.read(2010)
  f.close()
  path = 'D:/copy_' + str(os.path.basename(path))
  f = open(path, 'wb')
  f.write(data)
  f.close()
  val = self.getmd5(path)
  os.remove(path)
  return val

3.调用文件上传的接口

def uploading(self, chunkIndex):
  MD5 = self.md5(self.path) # 整个文件的md5
  start = (chunkIndex - 1) * self.CHUNK_SIZE # 截取文件的起始位置
  end = min(self.size, start + self.CHUNK_SIZE)# 截取文件的结束位置
  f = open(self.path, 'rb')
  f.seek(start)
  data = f.read(end) # 待分片上传的数据
  f.close()
  path1 = 'D:/copy_' + str(os.path.basename(self.path)) # 将该数据保存在本地
  f = open(path1, 'wb')
  f.write(data)
  f.close()
  chunk_md5 = self.md5(path1) # 读取分片上传数据的md5
  # 将所有的数据储存在files字典当中,利用requests的files传输数据
  # 使用requests files类型时,要像下面一样构建参数,不然会有错误
  files={
   'chunk':('blob',data,'application/octet-stream'),
   'name':(None,self.name),
   'ext':(None,self.ext),
   'index':(None,chunkIndex),
   'total': (None,self.totalchunk),
   'size': (None,self.size),
   'chunk_md5': (None,chunk_md5),
   'md5': (None,MD5),
  }
  # 使用requests发送接口请求
  res = self.request.send('post', 'https://10.104.17.222/bank/elements/uploading', verify=False, files=files)
  os.remove(path1) # 删除存在本地的分片文件
  return res.json()

4.循环调用文件上传的接口

chunkIndex = 1
 while chunkIndex <= totalchunk:
 res2 = upload.uploading(chunkIndex)
 chunkIndex += 1

5.从服务器上去读取通过接口上传的文件的md5值,判断是否正确

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python 自动安装 Rising 杀毒软件
Apr 24 Python
浅谈python脚本设置运行参数的方法
Dec 03 Python
Python中的random.uniform()函数教程与实例解析
Mar 02 Python
Python:Numpy 求平均向量的实例
Jun 29 Python
Django实现web端tailf日志文件功能及实例详解
Jul 28 Python
pytest中文文档之编写断言
Sep 12 Python
tensorflow通过模型文件,使用tensorboard查看其模型图Graph方式
Jan 23 Python
python+selenium 脚本实现每天自动登记的思路详解
Mar 11 Python
python自动下载图片的方法示例
Mar 25 Python
Python性能分析工具py-spy原理用法解析
Jul 27 Python
PyTorch中Tensor的数据类型和运算的使用
Sep 03 Python
如何将Pycharm中调整字体大小的方式设置为&quot;ctrl+鼠标滚轮上下滑&quot;
Nov 17 Python
Python类class参数self原理解析
Nov 19 #Python
Python爬虫如何破解JS加密的Cookie
Nov 19 #Python
python制作一个简单的gui 数据库查询界面
Nov 19 #Python
解决python3中os.popen()出错的问题
Nov 19 #Python
Python中return函数返回值实例用法
Nov 19 #Python
python 三种方法实现对Excel表格的读写
Nov 19 #Python
基于python模拟bfs和dfs代码实例
Nov 19 #Python
You might like
Netflix将与CLAMP、乙一以及冲方丁等6名知名制作人合伙展开原创动画计划!
2020/03/06 日漫
深入php多态的实现详解
2013/06/09 PHP
php实现简易聊天室应用代码
2015/09/23 PHP
Android AsyncTack 异步任务实例详解
2016/11/02 PHP
PHP实现上传图片到数据库并显示输出的方法
2018/05/31 PHP
js使用函数绑定技术改变事件处理程序的作用域
2011/12/26 Javascript
Jquery实现Div上下移动示例
2014/04/23 Javascript
Bootstrap3学习笔记(三)之表格
2016/05/20 Javascript
js中获取 table节点各tr及td的内容简单实例
2016/10/14 Javascript
jQuery双向列表选择器DIV模拟版
2016/11/01 Javascript
半个小时学json(json传递示例)
2016/12/25 Javascript
jQuery动画_动力节点节点Java学院整理
2017/07/04 jQuery
Textarea输入字数限制实例(兼容iOS&amp;安卓)
2017/07/06 Javascript
VueJs监听window.resize方法示例
2018/01/17 Javascript
详解基于Vue,Nginx的前后端不分离部署教程
2018/12/04 Javascript
vue.config.js常用配置详解
2019/11/14 Javascript
[51:27]LGD vs Liquid 2019国际邀请赛小组赛 BO2 第二场 8.16
2019/08/19 DOTA
Python类定义和类继承详解
2015/05/08 Python
深入浅析Python中join 和 split详解(推荐)
2016/06/30 Python
Ubuntu 下 vim 搭建python 环境 配置
2017/06/12 Python
Java编程迭代地删除文件夹及其下的所有文件实例
2018/02/10 Python
教你用Python创建微信聊天机器人
2020/03/31 Python
pandas条件组合筛选和按范围筛选的示例代码
2019/08/26 Python
Django ForeignKey与数据库的FOREIGN KEY约束详解
2020/05/20 Python
通过自学python能找到工作吗
2020/06/21 Python
python eventlet绿化和patch原理
2020/11/21 Python
在pycharm中使用pipenv创建虚拟环境和安装django的详细教程
2020/11/30 Python
HTML5给汉字加拼音收起展开组件的实现代码
2020/04/08 HTML / CSS
Joie官方网上商店:购买服装和女装配饰
2018/06/05 全球购物
俄罗斯购买内衣网站:Trusiki
2020/08/22 全球购物
ajax是什么及其工作原理
2012/02/08 面试题
高中军训感言400字
2014/02/24 职场文书
本科毕业生应聘求职信
2014/07/06 职场文书
超市优秀员工获奖感言
2014/08/15 职场文书
自主招生自荐信格式
2015/03/04 职场文书
SQL Server中搜索特定的对象
2022/05/25 SQL Server