Django 大文件下载实现过程解析


Posted in Python onAugust 01, 2019

django提供文件下载时,若果文件较小,解决办法是先将要传送的内容全生成在内存中,然后再一次性传入Response对象中:

def simple_file_download(request):
  # do something...
  content = open("simplefile", "rb").read()

如果文件非常大时,最简单的办法就是使用静态文件服务器,比如Apache或者Nginx服务器来处理下载。不过有时候,我们需要对用户的权限做一下限定,或者不想向用户暴露文件的真实地址,或者这个大内容是临时生成的(比如临时将多个文件合并而成的),这时就不能使用静态文件服务器了。

django文档中提到,可以向HttpResponse传递一个迭代器,流式的向客户端传递数据。

要自己写迭代器的话,可以用yield:

def read_file(filename, buf_size=8192):
  with open(filename, "rb") as f:
    while True:
      content = f.read(buf_size)
      if content:
        yield content
      else:
        break
def big_file_download(request):
  filename = "filename"
  response = HttpResponse(read_file(filename))
  return response

或者使用生成器表达式,下面是django文档中提供csv大文件下载的例子:

import csv
 
from django.utils.six.moves import range
from django.http import StreamingHttpResponse
 
class Echo(object):
  """An object that implements just the write method of the file-like
  interface.
  """
  def write(self, value):
    """Write the value by returning it, instead of storing in a buffer."""
    return value
 
def some_streaming_csv_view(request):
  """A view that streams a large CSV file."""
  # Generate a sequence of rows. The range is based on the maximum number of
  # rows that can be handled by a single sheet in most spreadsheet
  # applications.
  rows = (["Row {0}".format(idx), str(idx)] for idx in range(65536))
  pseudo_buffer = Echo()
  writer = csv.writer(pseudo_buffer)
  response = StreamingHttpResponse((writer.writerow(row) for row in rows),
                   content_type="text/csv")
  response['Content-Disposition'] = 'attachment; filename="somefilename.csv"'
  return response

python也提供一个文件包装器,将类文件对象包装成一个迭代器:

class FileWrapper:
  """Wrapper to convert file-like objects to iterables""" 
  def __init__(self, filelike, blksize=8192):
    self.filelike = filelike
    self.blksize = blksize
    if hasattr(filelike,'close'):
      self.close = filelike.close 
  def __getitem__(self,key):
    data = self.filelike.read(self.blksize)
    if data:
      return data
    raise IndexError 
  def __iter__(self):
    return self 
  def next(self):
    data = self.filelike.read(self.blksize)
    if data:
      return data
    raise StopIteration

使用时:

from django.core.servers.basehttp import FileWrapper
from django.http import HttpResponse
import os
def file_download(request,filename):
 
  wrapper = FileWrapper(open(filename, 'rb'))
  response = HttpResponse(wrapper, content_type='application/octet-stream')
  response['Content-Length'] = os.path.getsize(path)
  response['Content-Disposition'] = 'attachment; filename=%s' % filename
  return response

django也提供了StreamingHttpResponse类来代替HttpResponse对流数据进行处理。

压缩为zip文件下载:

import os, tempfile, zipfile 
from django.http import HttpResponse 
from django.core.servers.basehttp import FileWrapper 
def send_zipfile(request): 
  """                                     
  Create a ZIP file on disk and transmit it in chunks of 8KB,         
  without loading the whole file into memory. A similar approach can     
  be used for large dynamic PDF files.                    
  """ 
  temp = tempfile.TemporaryFile() 
  archive = zipfile.ZipFile(temp, 'w', zipfile.ZIP_DEFLATED) 
  for index in range(10): 
    filename = __file__ # Select your files here.              
    archive.write(filename, 'file%d.txt' % index) 
  archive.close() 
  wrapper = FileWrapper(temp) 
  response = HttpResponse(wrapper, content_type='application/zip') 
  response['Content-Disposition'] = 'attachment; filename=test.zip' 
  response['Content-Length'] = temp.tell() 
  temp.seek(0) 
  return response

不过不管怎么样,使用django来处理大文件下载都不是一个很好的注意,最好的办法是django做权限判断,然后让静态服务器处理下载。

这需要使用sendfile的机制:"传统的Web服务器在处理文件下载的时候,总是先读入文件内容到应用程序内存,然后再把内存当中的内容发送给客户端浏览器。这种方式在应付当今大负载网站会消耗更多的服务器资源。sendfile是现代操作系统支持的一种高性能网络IO方式,操作系统内核的sendfile调用可以将文件内容直接推送到网卡的buffer当中,从而避免了Web服务器读写文件的开销,实现了“零拷贝”模式。 "

Apache服务器里需要mod_xsendfile模块来实现,而Nginx是通过称为X-Accel-Redirect的特性来实现。

nginx配置文件:

# Will serve /var/www/files/myfile.tar.gz
# When passed URI /protected_files/myfile.tar.gz
location /protected_files {
  internal;
  alias /var/www/files;
}

或者

# Will serve /var/www/protected_files/myfile.tar.gz
# When passed URI /protected_files/myfile.tar.gz
location /protected_files {
  internal;
  root /var/www;
}

注意alias和root的区别。

django中:

response['X-Accel-Redirect']='/protected_files/%s'%filename

这样当向django view函数发起request时,django负责对用户权限进行判断或者做些其它事情,然后向nginx转发url为/protected_files/filename的请求,nginx服务器负责文件/var/www/protected_files/filename的下载:

@login_required
def document_view(request, document_id):
  book = Book.objects.get(id=document_id)
  response = HttpResponse()
  name=book.myBook.name.split('/')[-1]
  response['Content_Type']='application/octet-stream'
  response["Content-Disposition"] = "attachment; filename={0}".format(
      name.encode('utf-8'))
  response['Content-Length'] = os.path.getsize(book.myBook.path)
  response['X-Accel-Redirect'] = "/protected/{0}".format(book.myBook.name)
  return response

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python线程锁(thread)学习示例
Dec 04 Python
python实现博客文章爬虫示例
Feb 26 Python
python中reduce()函数的使用方法示例
Sep 29 Python
基于Django的python验证码(实例讲解)
Oct 23 Python
python使用itchat库实现微信机器人(好友聊天、群聊天)
Jan 04 Python
Python图像处理之直线和曲线的拟合与绘制【curve_fit()应用】
Dec 26 Python
Django uwsgi Nginx 的生产环境部署详解
Feb 02 Python
利用python3 的pygame模块实现塔防游戏
Dec 30 Python
Django使用Celery加redis执行异步任务的实例内容
Feb 20 Python
使用anaconda安装pytorch的实现步骤
Sep 03 Python
python脚本定时发送邮件
Dec 22 Python
Python之多进程与多线程的使用
Feb 23 Python
python爬虫刷访问量 2019 7月
Aug 01 #Python
用Cython加速Python到“起飞”(推荐)
Aug 01 #Python
Python爬取视频(其实是一篇福利)过程解析
Aug 01 #Python
flask框架jinja2模板与模板继承实例分析
Aug 01 #Python
Win10环境python3.7安装dlib模块趟过的坑
Aug 01 #Python
python爬虫解决验证码的思路及示例
Aug 01 #Python
Django多数据库的实现过程详解
Aug 01 #Python
You might like
Codeigniter实现智能裁剪图片的方法
2014/06/12 PHP
php实现curl模拟ftp上传的方法
2015/07/29 PHP
php模板引擎技术简单实现
2016/03/15 PHP
php实现支持中文的文件下载功能示例
2017/08/30 PHP
js 与或运算符 || && 妙用
2009/12/09 Javascript
纯CSS打造的导航菜单(附jquery版)
2010/08/07 Javascript
js实现div闪烁原理及实现代码
2014/06/24 Javascript
谈谈JavaScript异步函数发展历程
2015/09/29 Javascript
利用Angularjs实现幻灯片效果
2016/09/07 Javascript
详解从新建vue项目到引入组件Element的方法
2017/08/29 Javascript
JS实现移动端整屏滑动的实例代码
2017/11/10 Javascript
javascript实现5秒倒计时并跳转功能
2019/06/20 Javascript
Python中的urllib模块使用详解
2015/07/07 Python
Django 2.0版本的新特性抢先看!
2018/01/05 Python
python导出hive数据表的schema实例代码
2018/01/22 Python
python正则实现提取电话功能
2018/02/24 Python
python 拷贝特定后缀名文件,并保留原始目录结构的实例
2018/04/27 Python
对pandas读取中文unicode的csv和添加行标题的方法详解
2018/12/12 Python
Python实现随机取一个矩阵数组的某几行
2019/11/26 Python
Python模块_PyLibTiff读取tif文件的实例
2020/01/13 Python
完美解决pycharm导入自己写的py文件爆红问题
2020/02/12 Python
Python使用docx模块实现刷题功能代码
2020/02/13 Python
Python devel安装失败问题解决方案
2020/06/09 Python
python基于win32api实现键盘输入
2020/12/09 Python
关于HTML5 Placeholder新标签低版本浏览器下不兼容的问题分析及解决办法
2016/01/27 HTML / CSS
台湾百利市购物中心:e-Payless
2017/08/16 全球购物
为您搜罗全球潮流時尚品牌:HBX
2019/12/04 全球购物
师范毕业生求职自荐信
2013/09/25 职场文书
2013年研究生毕业感言
2014/02/06 职场文书
酒店管理求职信范文
2014/04/06 职场文书
保洁公司服务承诺书
2014/05/28 职场文书
事业单位工作人员岗前培训心得体会
2016/01/08 职场文书
python tkinter模块的简单使用
2021/04/07 Python
pandas数值排序的实现实例
2021/07/25 Python
OpenCV实现普通阈值
2021/11/17 Java/Android
MYSQL如何查看操作日志详解
2022/05/30 MySQL