PHP实现实时生成并下载超大数据量的EXCEL文件详解


Posted in PHP onOctober 23, 2017

前言

最近在工作中接到一个需求,通过选择的时间段导出对应的用户访问日志到excel中, 由于用户量较大,经常会有导出50万加数据的情况。而常用的PHPexcel包需要把所有数据拿到后才能生成excel, 在面对生成超大数据量的excel文件时这显然是会造成内存溢出的,所以考虑使用让PHP边写入输出流边让浏览器下载的形式来完成需求。

我们通过如下的方式写入PHP输出流

$fp = fopen('php://output', 'a');
fputs($fp, 'strings');
....
....
fclose($fp)

php://output是一个可写的输出流,允许程序像操作文件一样将输出写入到输出流中,PHP会把输出流中的内容发送给web服务器并返回给发起请求的浏览器

另外由于excel数据是从数据库里逐步读出然后写入输出流的所以需要将PHP的执行时间设长一点(默认30秒)set_time_limit(0)不对PHP执行时间做限制。

注:以下代码只是阐明生成大数据量EXCEL的思路和步骤,并且在去掉项目业务代码后程序有语法错误不能拿来直接运行,请根据自己的需求填充对应的业务代码!

/**
  * 文章访问日志
  * 下载的日志文件通常很大, 所以先设置csv相关的Header头, 然后打开
  * PHP output流, 渐进式的往output流中写入数据, 写到一定量后将系统缓冲冲刷到响应中
  * 避免缓冲溢出
  */
 public function articleAccessLog($timeStart, $timeEnd)
 {
  set_time_limit(0);
  $columns = [
   '文章ID', '文章标题', ......
  ];
  $csvFileName = '用户日志' . $timeStart .'_'. $timeEnd . '.xlsx';
  //设置好告诉浏览器要下载excel文件的headers
  header('Content-Description: File Transfer');
  header('Content-Type: application/vnd.ms-excel');
  header('Content-Disposition: attachment; filename="'. $fileName .'"');
  header('Expires: 0');
  header('Cache-Control: must-revalidate');
  header('Pragma: public');
  $fp = fopen('php://output', 'a');//打开output流
  mb_convert_variables('GBK', 'UTF-8', $columns);
  fputcsv($fp, $columns);//将数据格式化为CSV格式并写入到output流中
  $accessNum = '1000000'//从数据库获取总量,假设是一百万
  $perSize = 1000;//每次查询的条数
  $pages = ceil($accessNum / $perSize);
  $lastId = 0;
  for($i = 1; $i <= $pages; $i++) {
   $accessLog = $logService->getArticleAccessLog($timeStart, $timeEnd, $lastId, $perSize);
   foreach($accessLog as $access) {
    $rowData = [
     ......//每一行的数据
    ];
    mb_convert_variables('GBK', 'UTF-8', $rowData);
    fputcsv($fp, $rowData);
    $lastId = $access->id;
   }
   unset($accessLog);//释放变量的内存
   //刷新输出缓冲到浏览器
   ob_flush();
   flush();//必须同时使用 ob_flush() 和flush() 函数来刷新输出缓冲。
  }
  fclose($fp);
  exit();
 }

好了, 其实很简单,就是用逐步写入输出流并发送到浏览器让浏览器去逐步下载整个文件,由于是逐步写入的无法获取文件的总体size所以就没办法通过设置header("Content-Length: $size");在下载前告诉浏览器这个文件有多大了。不过不影响整体的效果这里的核心问题是解决大文件的实时生成和下载。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

PHP 相关文章推荐
php简单的会话类代码
Aug 08 PHP
调试一段PHP程序时遇到的三个问题
Jan 17 PHP
php中通过curl smtp发送邮件
Jun 05 PHP
浏览器预览PHP文件时顶部出现空白影响布局分析原因及解决办法
Jan 11 PHP
ueditor 1.2.6 使用方法说明
Jul 24 PHP
PHP自动生成后台导航网址的最佳方法
Aug 27 PHP
教你如何解密 “ PHP 神盾解密工具 ”
Jun 20 PHP
php单文件版在线代码编辑器
Mar 12 PHP
php自动载入类用法实例分析
Jun 24 PHP
PHP进程通信基础之信号
Feb 19 PHP
PHP基于迭代实现文件夹复制、删除、查看大小等操作的方法
Aug 11 PHP
PHP使用Redis实现防止大并发下二次写入的方法
Oct 09 PHP
Laravel学习教程之model validation的使用示例
Oct 23 #PHP
laravel实现批量更新多条记录的方法示例
Oct 22 #PHP
利用PHP获取汉字首字母并且分组排序详解
Oct 22 #PHP
Laravel 5.4因特殊字段太长导致migrations报错的解决
Oct 22 #PHP
PHP高效获取远程图片尺寸和大小的实现方法
Oct 20 #PHP
PHP静态延迟绑定和普通静态效率的对比
Oct 20 #PHP
php+ajax实现仿百度查询下拉内容功能示例
Oct 20 #PHP
You might like
DOTA2 6.87版本后新眼位详解攻略
2020/04/20 DOTA
JAVA/JSP学习系列之七
2006/10/09 PHP
php 生成短网址原理及代码
2014/01/23 PHP
php以fastCGI的方式运行时文件系统权限问题及解决方法
2015/05/11 PHP
thinkphp微信开之安全模式消息加密解密不成功的解决办法
2015/12/02 PHP
实现php删除链表中重复的结点
2018/09/27 PHP
关于javascript DOM事件模型的两件事
2010/07/22 Javascript
jquery Tab效果和动态加载的简单实例
2013/12/11 Javascript
angularJS 入门基础
2015/02/09 Javascript
JavaScript简单实现弹出拖拽窗口(一)
2016/06/17 Javascript
jQuery实现简单倒计时功能的方法
2016/07/04 Javascript
JS作用域闭包、预解释和this关键字综合实例解析
2016/12/16 Javascript
详解JS数组Reduce()方法详解及高级技巧
2017/08/18 Javascript
使用javascript做在线算法编程
2018/05/25 Javascript
微信小程序出现wx.getLocation再次授权问题的解决方法分析
2019/01/16 Javascript
Vue scrollBehavior 滚动行为实现后退页面显示在上次浏览的位置
2019/05/27 Javascript
python发布模块的步骤分享
2014/02/21 Python
Python生成pdf文件的方法
2014/08/04 Python
python 删除非空文件夹的实例
2018/04/26 Python
Python3中urlencode和urldecode的用法详解
2019/07/23 Python
python对csv文件追加写入列的方法
2019/08/01 Python
pycharm创建scrapy项目教程及遇到的坑解析
2019/08/15 Python
在jupyter notebook 添加 conda 环境的操作详解
2020/04/10 Python
Python实现计算图像RGB均值方式
2020/06/04 Python
python 5个顶级异步框架推荐
2020/09/09 Python
夏威夷灵感服装及配饰:Reyn Spooner
2018/09/18 全球购物
学校班班通实施方案
2014/06/11 职场文书
义和团口号
2014/06/17 职场文书
文员求职信
2014/07/15 职场文书
三年级学生期末评语
2014/12/26 职场文书
个人承诺书格式范文
2015/04/29 职场文书
同事离别感言
2015/08/04 职场文书
干部外出学习心得体会
2016/01/18 职场文书
慰问信(范文3篇)
2019/10/23 职场文书
tensorflow中的梯度求解及梯度裁剪操作
2021/05/26 Python
Python代码实现双链表
2022/05/25 Python