PHP内存溢出优化代码详解


Posted in PHP onFebruary 26, 2021

相信很多人做大批量数据导出和数据导入的时候,经常会遇到PHP内存溢出的问题,在解决了问题之后,总结了一些经验,整理成文章记录下。

优化点

1、优化SQL语句,避免慢查询,合理的建立索引,查询指定的字段,sql优化这块在此就不展开了。
2、查询的结果集为大对象时转数组处理,框架中一般有方法可以转,如Laravel中有toArray(),Yii2中有asArray()。
3、对于大数组进行数据切割处理,PHP函数有array_chunk()、array_slice()。
4、对于大型的字符串和对象,使用引用传递&。
5、用过的变量及时unset。
6、导出的文件格式由excel改为csv
7、ini_set(‘memory_limit',''),设置程序可以使用的内存(不建议这样做)。

内存管理

PHP的内存什么怎么管理的呢? 在学C语言时,开发者是需要手动管理内存。在PHP中,Zend引擎提供为了处理请求相关数据提供了一种特殊的内存管理器。请求相关数据是只需要服务单个请求,最迟会在请求结束时释放数据。

PHP内存溢出优化代码详解

防止内存泄漏并尽可能快地释放所有内存是内存管理的重要组成部分。因为安全原因,Zend引擎会释放所有上面提到的API锁分配的内存。

垃圾回收机制

简单说下:

PHP5.3之前,采用引用计数的方式管理。PHP中的变量存在zval的变量容器中,变量被引用的时,引用计数+1,变量引用计数为0时,PHP将在内存中销毁这个变量。但是在引用计数循环引用时,引用计数就不会消减为0,导致内存泄漏。

PHP5.3之后做了优化,并不是每次引用计数减少都进入回收周期,只有根缓冲区满额后才开始进行垃圾回收,这样可以解决循环引用的问题,也可以将总内存泄漏保持在一个阈值之下。

代码
由于使用phpexcel时经常会遇到内存溢出,下面分享一段生成csv文件的代码:

<?php

namespace api\service;

class ExportService
{

 public static $outPutFile = '';

 /**
 * 导出文件
 * @param string $fileName
 * @param $data
 * @param array $formFields
 * @return mixed
 */
 public static function exportData($fileName = '', $data, $formFields = [])
 {
 $fileArr = [];
 $tmpPath = \Yii::$app->params['excelSavePath'];

 foreach (array_chunk($data, 10000) as $key => $value) {
  self::$outPutFile = '';
  $subject  = !empty($fileName) ? $fileName : 'data_';
  $subject  .= date('YmdHis');
  if (empty($value) || empty($formFields)) {
  continue;
  }

  self::$outPutFile = $tmpPath . $subject . $key . '.csv';
  if (!file_exists(self::$outPutFile)) {
  touch(self::$outPutFile);
  }
  $index = array_keys($formFields);
  $header = array_values($formFields);
  self::outPut($header);

  foreach ($value as $k => $v) {
  $tmpData = [];
  foreach ($index as $item) {
   $tmpData[] = isset($v[$item]) ? $v[$item] : '';
  }
  self::outPut($tmpData);
  }
  $fileArr[] = self::$outPutFile;
 }
 
 $zipFile = $tmpPath . $fileName . date('YmdHi') . '.zip';
 $zipRes = self::zipFile($fileArr, $zipFile);
 return $zipRes;
 }

 /**
 * 向文件写入数据
 * @param array $data
 */
 public static function outPut($data = [])
 {
 if (is_array($data) && !empty($data)) {
  $data = implode(',', $data);
  file_put_contents(self::$outPutFile, iconv("UTF-8", "GB2312//IGNORE", $data) . PHP_EOL, FILE_APPEND);
 }
 }

 /**
 * 压缩文件
 * @param $sourceFile
 * @param $distFile
 * @return mixed
 */
 public static function zipFile($sourceFile, $distFile)
 {
 $zip = new \ZipArchive();
 if ($zip->open($distFile, \ZipArchive::CREATE) !== true) {
  return $sourceFile;
 }

 $zip->open($distFile, \ZipArchive::CREATE);
 foreach ($sourceFile as $file) {
  $fileContent = file_get_contents($file);
  $file = iconv('utf-8', 'GBK', basename($file));
  $zip->addFromString($file, $fileContent);
 }
 $zip->close();
 return $distFile;
 }
 
 /**
 * 下载文件
 * @param $filePath
 * @param $fileName
 */
 public static function download($filePath, $fileName)
 {
 if (!file_exists($filePath . $fileName)) {
  header('HTTP/1.1 404 NOT FOUND');
 } else {
  //以只读和二进制模式打开文件
  $file = fopen($filePath . $fileName, "rb");

  //告诉浏览器这是一个文件流格式的文件
  Header("Content-type: application/octet-stream");
  //请求范围的度量单位
  Header("Accept-Ranges: bytes");
  //Content-Length是指定包含于请求或响应中数据的字节长度
  Header("Accept-Length: " . filesize($filePath . $fileName));
  //用来告诉浏览器,文件是可以当做附件被下载,下载后的文件名称为$file_name该变量的值
  Header("Content-Disposition: attachment; filename=" . $fileName);

  //读取文件内容并直接输出到浏览器
  echo fread($file, filesize($filePath . $fileName));
  fclose($file);
  exit();
 }
 }
}

调用处代码

$fileName = "库存导入模板";
$stockRes = []; // 导出的数据
$formFields = [
 'store_id' => '门店ID',
 'storeName' => '门店名称',
 'sku' => 'SKU编码',
 'name' => 'SKU名称',
 'stock' => '库存',
 'reason' => '原因'
];
$fileRes = ExportService::exportData($fileName, $stockRes, $formFields);
$tmpPath = \Yii::$app->params['excelSavePath']; // 文件路径
$fileName = str_replace($tmpPath, '', $fileRes);

// 下载文件
ExportService::download($tmpPath, $fileName);

到此这篇关于PHP内存溢出优化代码详解的文章就介绍到这了,更多相关PHP内存溢出优化内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

PHP 相关文章推荐
资料注册后发信小技巧
Oct 09 PHP
php IP及IP段进行访问限制的代码
Dec 17 PHP
PHP导入Excel到MySQL的方法
Apr 23 PHP
php过滤所有恶意字符(批量过滤post,get敏感数据)
Mar 18 PHP
ThinkPHP令牌验证实例
Jun 18 PHP
PHP和javascript常用正则表达式及用法实例
Jul 01 PHP
CodeIgniter针对数据库的连接、配置及使用方法
Mar 03 PHP
PHP入门教程之字符串处理技巧总结(转换,过滤,解析,查找,截取,替换等)
Sep 11 PHP
轻松掌握php设计模式之访问者模式
Sep 23 PHP
PHP下载大文件失败并限制下载速度的实例代码
May 10 PHP
php反射学习之依赖注入示例
Jun 14 PHP
php将字符串转换为数组实例讲解
May 05 PHP
php自动加载代码实例详解
Feb 26 #PHP
PHP的重载使用魔术方法代码实例详解
Feb 26 #PHP
PHP解密支付宝小程序的加密数据、手机号的示例代码
Feb 26 #PHP
php中get_object_vars()在数组的实例用法
Feb 22 #PHP
MacOS下PHP7.1升级到PHP7.4.15的方法
Feb 22 #PHP
关于PhpStorm设置点击编辑文件自动定位源文件的实现方式
Dec 30 #PHP
Thinkphp5+Redis实现商品秒杀代码实例讲解
Dec 29 #PHP
You might like
thinkphp验证码的实现(form、ajax实现验证)
2016/07/28 PHP
通过jquery还原含有rowspan、colspan的table的实现方法
2012/02/10 Javascript
javascript针对DOM的应用分析(三)
2012/04/15 Javascript
CSS(js)限制页面显示的文本字符长度
2012/12/27 Javascript
js判断背景图片是否加载成功使用img的width实现
2013/05/29 Javascript
jQuery中对未来的元素绑定事件用bind、live or on
2014/04/17 Javascript
浅谈Javascript线程及定时机制
2015/07/02 Javascript
JavaScript的jQuery库中function的存在和参数问题
2015/08/13 Javascript
详解javascript实现瀑布流绝对式布局
2016/01/29 Javascript
JS中对象与字符串的互相转换详解
2016/05/20 Javascript
通过网页查看JS源码中汉字显示乱码的解决方法
2016/10/26 Javascript
IScroll5实现下拉刷新上拉加载的功能实例
2017/08/11 Javascript
深入浅出webpack教程系列_安装与基本打包用法和命令参数详解
2017/09/10 Javascript
vue中路由验证和相应拦截的使用详解
2017/12/13 Javascript
JS常用的几种数组遍历方式以及性能分析对比实例详解
2018/04/11 Javascript
动态加载JavaScript文件的3种方式
2018/05/05 Javascript
详解如何使用node.js的开发框架express创建一个web应用
2018/12/20 Javascript
[05:46]DOTA2英雄梦之声_第18期_陈
2014/06/20 DOTA
python 3.5实现检测路由器流量并写入txt的方法实例
2017/12/17 Python
解决pycharm无法识别本地site-packages的问题
2018/10/13 Python
python实现多张图片拼接成大图
2019/01/15 Python
Python深拷贝与浅拷贝用法实例分析
2019/05/05 Python
Python大数据之使用lxml库解析html网页文件示例
2019/11/16 Python
在tensorflow中实现去除不足一个batch的数据
2020/01/20 Python
Python3 利用face_recognition实现人脸识别的方法
2020/03/13 Python
Canvas系列之滤镜效果
2019/02/12 HTML / CSS
Halston Heritage官网:简洁的日装,稍显奢华的晚装
2018/11/20 全球购物
Linux管理员面试题 Linux admin interview questions
2016/07/08 面试题
应届毕业生的自我鉴定
2013/11/13 职场文书
体育教育专业自荐信范文
2013/12/20 职场文书
中医专业职业生涯规划书范文
2014/01/04 职场文书
法学毕业生自我鉴定
2014/01/31 职场文书
工程质量月活动方案
2014/02/19 职场文书
2014年教务处工作总结
2014/12/03 职场文书
中学生综合素质自我评价
2015/03/06 职场文书
《岳阳楼记》原文、译文赏析
2019/09/10 职场文书