PHP 实现base64编码文件上传出现问题详解


Posted in PHP onSeptember 01, 2020

一、场景

领导:小A同学,我们要做一个样本上传进行分析的功能,你看下是否使用base64编码加进去,这样客户端的同学就不需要用form-data方式来上传了,直接使用json格式就可以上报,可以让格式上报统一。

小A:好的,领导,马上搞定!

咋看上面的对话没啥问题,很多公司团队内部为了一些标准化的问题,都会进行一些技术选型问题,但是噩梦也就从这个对话开始,功能实现当然都是很简单的,先来看简单流程图:

PHP 实现base64编码文件上传出现问题详解

本身的流程是一个很简单的文件转换成base64上传,再服务端decode保存,在开发联调过程中没有问题,非常完美的走下去了。

二、问题来了

突然有一天终端同学误操作将一个37M文件上传,nginx与php-fpm文件上传限制均为(60M),但是在界面出现500错误,进入docker 日志查看有一条数据:

Allowed memory size of 8388608 bytes exhausted (tried to allocate 1298358 bytes)

玩php的基本都知道这是啥意思,就是代码运行过程中使用内存超过 我们php.ini设置的memory_limit 的值,然后就屁颠屁颠进入php.ini找参数配置,很快找到:

memory_limit=128M

然后就转念一想,不应该出现这个问题,我们知道,php的内部变量使用cow(写时复制)机制来实现,那么内存申请只有在变量赋值变更才会进行

三、测验

接下来我们单独写一个程序来进行测试,将一个4.89M文件进行base64_encode 编码 与base64_decode解码,查看各自占用内存以及过程中占用峰值内存

<?php
$mid = memory_get_usage();
$apk_content = file_get_contents(__DIR__ . '/4bc1c8a05b8505662be778b6dad23b55.apk');
var_dump('文件加载到内存:' . round((memory_get_usage() - $mid) / 1024 / 1024, 2) . 'M');
var_dump('过程中峰值使用的内存:' . round(memory_get_peak_usage() / 1024 / 1024, 2) . 'M');

unset($mid);
$mid = memory_get_usage();
$base64_encode = base64_encode($apk_content);unset($apk_content);
var_dump('base64_encode占用内存:' . round((memory_get_usage() - $mid) / 1024 / 1024, 2) . 'M');
var_dump('过程中峰值使用的内存:' . round(memory_get_peak_usage() / 1024 / 1024, 2) . 'M');

unset($mid);
$mid = memory_get_usage();
base64_decode($base64_encode);
var_dump('base64_decode占用内存:' . round((memory_get_usage() - $mid) / 1024 / 1024, 2) . 'M');
var_dump('过程中峰值使用的内存:' . round(memory_get_peak_usage() / 1024 / 1024, 2) . 'M');
unset($mid);

执行结果:

string(29) "文件加载到内存:4.89M"
string(38) "过程中峰值使用的内存:5.25M"
string(33) "base64_encode占用内存:1.63M"
string(39) "过程中峰值使用的内存:11.76M"
string(30) "base64_decode占用内存:0M"
string(38) "过程中峰值使用的内存:13.4M"

通过上面结果可以看出

  • 加载文件使用内存没有太大问题,加载过程使用的峰值在5.25M,高出整体文件大小不多,这在文件加载过程有一些临时申请内存的问题
  • base64_encode占用内存,这个在使用的时候,就已经将内存差不多进行一个double,而这基本上也是在内核解析过程中,进行了内存申请,可以理解,文件本身占用内存+base64_encode 解析后的内存,两份内存同时存在的
  • base64_decode操作,这个操作就是解密了,解密过程中,这里直接就占用了3倍多的内存操作,问题就出在这里,在场景中出现的问题是一个37M的文件,为什么就把单个fpm的128M内存占满了呢

四、源码解析

base64_encode源码解析

首先找到对应的c文件 base64.c,找到里面php_base64_encode函数

PHPAPI zend_string *php_base64_encode(const unsigned char *str, size_t length) /* {{{ */
{
	const unsigned char *current = str;
	unsigned char *p;
	zend_string *result;

	result = zend_string_safe_alloc(((length + 2) / 3), 4 * sizeof(char), 0, 0);
	p = (unsigned char *)ZSTR_VAL(result);
    ...
}

我们先来分析这段代码,因为这里涉及到内存的问题,那么我们就看

result = zend_string_safe_alloc(((length + 2) / 3), 4 * sizeof(char), 0, 0);

这啥意思呢?

申请内存,最终调用的函数是:

safe_emalloc(size_t nmemb, size_t size, size_t offset)

在wiki上解释是:

void *safe_emalloc(size_t nmemb, size_t size, size_t offset)分配缓冲区来存放每块大小为 size 字节的 nmemb 块,并附加 offset 字节。类似于 emalloc(nmemb * size + offset),但增加了针对溢出的特殊保护。

那么我可以简单的认为,就是在encode过程中,重新申请了内存,申请的内存大小是文件本身的 4/3 大小,加上原来的文件本身大小,那么峰值大小可以理解为

峰值内存= 7/3 *4.89 = 11.41

那么与我们实验过程中峰值大小基本是相符。

base64_decode操作

同样我们进行源码分析

PHPAPI zend_string *php_base64_decode_ex(const unsigned char *str, size_t length, zend_bool strict) /* {{{ */
{
	const unsigned char *current = str;
	int ch, i = 0, j = 0, padding = 0;
	zend_string *result;

	result = zend_string_alloc(length, 0);
	...
}

这里使用的zend_string_alloc来进行申请内存,那么底层使用的函数就是emalloc函数,来看下wiki的解释

void *emalloc(size_t size)分配 size 字节的内存。

这个就比较好理解了,传入参数内存再进行一个double拷贝就可以,

那么我们进行一个decode的内存峰值的计算:

峰值内存=(4/3+4/3) *4.89 =13.04

基本与我们测试的结果相差不多,因为精度关系,我们进行四舍五入的计算,测试代码是精准计算,所以会有小数点偏差。

五、总结

那这就可以理解为什么一个为什么在我们一个37M的文件,不能再128M内存进行base64_encode与base64_decode操作,当然这里有一些临时变量没有及时释放内存的情况,但是通过源码分析可以知道,要做一次这样场景来进行文件上传,单纯文件的内存损耗是2.6倍左右,所以为了节省内存,我们不要再用这个方式来进行操作了,很费内存的

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

PHP 相关文章推荐
PHP clearstatcache()函数详解
Mar 02 PHP
PHP输出英文时间日期的安全方法(RFC 1123格式)
Jun 13 PHP
php使用cookie保存登录用户名的方法
Jan 26 PHP
PHP的文件操作与算法实现的面试题示例
Aug 10 PHP
php微信公众平台开发之获取用户基本信息
Aug 17 PHP
php实现阳历阴历互转的方法
Oct 28 PHP
yii用户注册表单验证实例
Dec 26 PHP
PHP magento后台无法登录问题解决方法
Nov 24 PHP
PHP+MySQL实现输入页码跳转到指定页面功能示例
Jun 01 PHP
thinkphp5框架扩展redis类方法示例
May 06 PHP
使用composer命令加载vendor中的第三方类库 的方法
Jul 09 PHP
laravel框架邮箱认证实现方法详解
Nov 22 PHP
PHP copy函数使用案例代码解析
Sep 01 #PHP
PHP超全局变量实现原理及代码解析
Sep 01 #PHP
PHP终止脚本运行三种实现方法详解
Sep 01 #PHP
PHP如何使用array_unshift()在数组开头插入元素
Sep 01 #PHP
PHP数组Key强制类型转换实现原理解析
Sep 01 #PHP
Laravel中GraphQL接口请求频率实战记录
Sep 01 #PHP
PHP实现Snowflake生成分布式唯一ID的方法示例
Aug 30 #PHP
You might like
php5 图片验证码实现代码
2009/12/11 PHP
组合算法的PHP解答方法
2012/02/04 PHP
使用PHP编写的SVN类
2013/07/18 PHP
php sybase_fetch_array使用方法
2014/04/15 PHP
php内嵌函数用法实例
2015/03/20 PHP
php处理单文件、多文件上传代码分享
2016/08/24 PHP
php项目中类的自动加载实例讲解
2019/09/12 PHP
javascript学习笔记(三)显示当时时间的代码
2011/04/08 Javascript
javascript自适应宽度的瀑布流实现思路
2013/02/20 Javascript
js如何实现设计模式中的模板方法
2013/07/23 Javascript
node.js中的fs.chownSync方法使用说明
2014/12/16 Javascript
javascript实现tab切换特效
2015/11/12 Javascript
JavaScript下的时间格式处理函数Date.prototype.format
2016/01/27 Javascript
js阻止浏览器默认行为触发的通用方法(推荐)
2016/05/15 Javascript
Bootstrap轮播插件中图片变形的终极解决方案 使用jqthumb.js
2016/07/10 Javascript
JQuery实现图片轮播效果
2017/05/08 jQuery
利用yarn代替npm管理前端项目模块依赖的方法详解
2017/09/04 Javascript
js中Object.defineProperty()方法的不详解
2018/07/09 Javascript
wx-charts 微信小程序图表插件的具体使用
2019/08/18 Javascript
JavaScript编写开发动态时钟
2020/07/29 Javascript
[05:28]刀塔密之一:团结则存
2014/07/03 DOTA
用Python编写简单的微博爬虫
2016/03/04 Python
解决Python中字符串和数字拼接报错的方法
2016/10/23 Python
python版简单工厂模式
2017/10/16 Python
Python不同目录间进行模块调用的实现方法
2019/01/29 Python
python实现在多维数组中挑选符合条件的全部元素
2019/11/26 Python
Python3 搭建Qt5 环境的方法示例
2020/07/16 Python
CSS3圆角边框和边界图片效果实例
2016/07/01 HTML / CSS
亚马逊加拿大网站:Amazon.ca
2020/01/06 全球购物
有机婴儿毛毯和衣服:Monica + Andy
2020/03/01 全球购物
Agoda中文官网:安可达(低价预订全球酒店)
2021/01/18 全球购物
垃圾回收的优点和原理。并考虑2种回收机制
2016/10/16 面试题
组织关系转移介绍信
2014/01/16 职场文书
2014老师三严三实对照检查材料思想汇报
2014/09/18 职场文书
商家认证委托书格式
2014/10/16 职场文书
go xorm框架的使用
2021/05/22 Golang