PHP 实现base64编码文件上传出现问题详解


Posted in PHP onSeptember 01, 2020

一、场景

领导:小A同学,我们要做一个样本上传进行分析的功能,你看下是否使用base64编码加进去,这样客户端的同学就不需要用form-data方式来上传了,直接使用json格式就可以上报,可以让格式上报统一。

小A:好的,领导,马上搞定!

咋看上面的对话没啥问题,很多公司团队内部为了一些标准化的问题,都会进行一些技术选型问题,但是噩梦也就从这个对话开始,功能实现当然都是很简单的,先来看简单流程图:

PHP 实现base64编码文件上传出现问题详解

本身的流程是一个很简单的文件转换成base64上传,再服务端decode保存,在开发联调过程中没有问题,非常完美的走下去了。

二、问题来了

突然有一天终端同学误操作将一个37M文件上传,nginx与php-fpm文件上传限制均为(60M),但是在界面出现500错误,进入docker 日志查看有一条数据:

Allowed memory size of 8388608 bytes exhausted (tried to allocate 1298358 bytes)

玩php的基本都知道这是啥意思,就是代码运行过程中使用内存超过 我们php.ini设置的memory_limit 的值,然后就屁颠屁颠进入php.ini找参数配置,很快找到:

memory_limit=128M

然后就转念一想,不应该出现这个问题,我们知道,php的内部变量使用cow(写时复制)机制来实现,那么内存申请只有在变量赋值变更才会进行

三、测验

接下来我们单独写一个程序来进行测试,将一个4.89M文件进行base64_encode 编码 与base64_decode解码,查看各自占用内存以及过程中占用峰值内存

<?php
$mid = memory_get_usage();
$apk_content = file_get_contents(__DIR__ . '/4bc1c8a05b8505662be778b6dad23b55.apk');
var_dump('文件加载到内存:' . round((memory_get_usage() - $mid) / 1024 / 1024, 2) . 'M');
var_dump('过程中峰值使用的内存:' . round(memory_get_peak_usage() / 1024 / 1024, 2) . 'M');

unset($mid);
$mid = memory_get_usage();
$base64_encode = base64_encode($apk_content);unset($apk_content);
var_dump('base64_encode占用内存:' . round((memory_get_usage() - $mid) / 1024 / 1024, 2) . 'M');
var_dump('过程中峰值使用的内存:' . round(memory_get_peak_usage() / 1024 / 1024, 2) . 'M');

unset($mid);
$mid = memory_get_usage();
base64_decode($base64_encode);
var_dump('base64_decode占用内存:' . round((memory_get_usage() - $mid) / 1024 / 1024, 2) . 'M');
var_dump('过程中峰值使用的内存:' . round(memory_get_peak_usage() / 1024 / 1024, 2) . 'M');
unset($mid);

执行结果:

string(29) "文件加载到内存:4.89M"
string(38) "过程中峰值使用的内存:5.25M"
string(33) "base64_encode占用内存:1.63M"
string(39) "过程中峰值使用的内存:11.76M"
string(30) "base64_decode占用内存:0M"
string(38) "过程中峰值使用的内存:13.4M"

通过上面结果可以看出

  • 加载文件使用内存没有太大问题,加载过程使用的峰值在5.25M,高出整体文件大小不多,这在文件加载过程有一些临时申请内存的问题
  • base64_encode占用内存,这个在使用的时候,就已经将内存差不多进行一个double,而这基本上也是在内核解析过程中,进行了内存申请,可以理解,文件本身占用内存+base64_encode 解析后的内存,两份内存同时存在的
  • base64_decode操作,这个操作就是解密了,解密过程中,这里直接就占用了3倍多的内存操作,问题就出在这里,在场景中出现的问题是一个37M的文件,为什么就把单个fpm的128M内存占满了呢

四、源码解析

base64_encode源码解析

首先找到对应的c文件 base64.c,找到里面php_base64_encode函数

PHPAPI zend_string *php_base64_encode(const unsigned char *str, size_t length) /* {{{ */
{
	const unsigned char *current = str;
	unsigned char *p;
	zend_string *result;

	result = zend_string_safe_alloc(((length + 2) / 3), 4 * sizeof(char), 0, 0);
	p = (unsigned char *)ZSTR_VAL(result);
    ...
}

我们先来分析这段代码,因为这里涉及到内存的问题,那么我们就看

result = zend_string_safe_alloc(((length + 2) / 3), 4 * sizeof(char), 0, 0);

这啥意思呢?

申请内存,最终调用的函数是:

safe_emalloc(size_t nmemb, size_t size, size_t offset)

在wiki上解释是:

void *safe_emalloc(size_t nmemb, size_t size, size_t offset)分配缓冲区来存放每块大小为 size 字节的 nmemb 块,并附加 offset 字节。类似于 emalloc(nmemb * size + offset),但增加了针对溢出的特殊保护。

那么我可以简单的认为,就是在encode过程中,重新申请了内存,申请的内存大小是文件本身的 4/3 大小,加上原来的文件本身大小,那么峰值大小可以理解为

峰值内存= 7/3 *4.89 = 11.41

那么与我们实验过程中峰值大小基本是相符。

base64_decode操作

同样我们进行源码分析

PHPAPI zend_string *php_base64_decode_ex(const unsigned char *str, size_t length, zend_bool strict) /* {{{ */
{
	const unsigned char *current = str;
	int ch, i = 0, j = 0, padding = 0;
	zend_string *result;

	result = zend_string_alloc(length, 0);
	...
}

这里使用的zend_string_alloc来进行申请内存,那么底层使用的函数就是emalloc函数,来看下wiki的解释

void *emalloc(size_t size)分配 size 字节的内存。

这个就比较好理解了,传入参数内存再进行一个double拷贝就可以,

那么我们进行一个decode的内存峰值的计算:

峰值内存=(4/3+4/3) *4.89 =13.04

基本与我们测试的结果相差不多,因为精度关系,我们进行四舍五入的计算,测试代码是精准计算,所以会有小数点偏差。

五、总结

那这就可以理解为什么一个为什么在我们一个37M的文件,不能再128M内存进行base64_encode与base64_decode操作,当然这里有一些临时变量没有及时释放内存的情况,但是通过源码分析可以知道,要做一次这样场景来进行文件上传,单纯文件的内存损耗是2.6倍左右,所以为了节省内存,我们不要再用这个方式来进行操作了,很费内存的

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

PHP 相关文章推荐
做个自己站内搜索引擎
Oct 09 PHP
PHP 已经成熟
Dec 04 PHP
php 操作符与控制结构
Mar 07 PHP
php图片加中文水印实现代码分享
Oct 31 PHP
php上传图片存入数据库示例分享
Mar 11 PHP
PHP的引用详解
Feb 22 PHP
简单了解将WordPress中的工具栏移到底部的小技巧
Dec 31 PHP
php通过两层过滤获取留言内容的方法
Jul 11 PHP
php插入含有特殊符号数据的处理方法
Nov 24 PHP
PHP使用PDO创建MySQL数据库、表及插入多条数据操作示例
May 30 PHP
PHP中遍历数组的三种常用方法实例分析
Jun 24 PHP
laravel5.6实现数值转换
Oct 23 PHP
PHP copy函数使用案例代码解析
Sep 01 #PHP
PHP超全局变量实现原理及代码解析
Sep 01 #PHP
PHP终止脚本运行三种实现方法详解
Sep 01 #PHP
PHP如何使用array_unshift()在数组开头插入元素
Sep 01 #PHP
PHP数组Key强制类型转换实现原理解析
Sep 01 #PHP
Laravel中GraphQL接口请求频率实战记录
Sep 01 #PHP
PHP实现Snowflake生成分布式唯一ID的方法示例
Aug 30 #PHP
You might like
PHP动态生成指定大小随机图片的方法
2016/03/25 PHP
jQuery与ExtJS之选择实例分析
2010/08/19 Javascript
ASP中Sub和Function的区别说明
2020/08/30 Javascript
js对象数组按属性快速排序
2011/01/31 Javascript
JQUERY1.6 使用方法四 检测浏览器
2011/11/23 Javascript
Jquery倒数计时按钮setTimeout的实例代码
2013/07/04 Javascript
原生javascript和jquery判断浏览器版本等信息
2013/07/04 Javascript
Node.js安装教程和NPM包管理器使用详解
2014/08/16 Javascript
Javascript变量的作用域和作用域链详解
2015/04/02 Javascript
原生js获取iframe中dom元素--父子页面相互获取对方dom元素的方法
2016/08/05 Javascript
原生js实现可拖动的登录框效果
2017/01/21 Javascript
基于Angularjs+mybatis实现二级评论系统(仿简书)
2017/02/13 Javascript
基于Bootstrap漂亮简洁的CSS3价格表(附源码下载)
2017/02/28 Javascript
jQuery插件zTree实现的多选树效果示例
2017/03/08 Javascript
关于定制FileField中的上传文件名称问题
2017/08/22 Javascript
Thinkjs3新手入门之如何使用静态资源目录
2017/12/06 Javascript
微信小程序图片左右摆动效果详解
2019/07/13 Javascript
如何在Angular8.0下使用ngx-translate进行国际化配置
2019/07/24 Javascript
ant-design-vue按需加载的坑的解决
2020/05/14 Javascript
[01:20:47]DOTA2-DPC中国联赛 正赛 Ehome vs Magma BO3 第一场 1月19日
2021/03/11 DOTA
Python基础之函数用法实例详解
2014/09/10 Python
使用Python脚本在Linux下实现部分Bash Shell的教程
2015/04/17 Python
python+selenium+autoit实现文件上传功能
2017/08/23 Python
Python实现截取PDF文件中的几页代码实例
2019/03/11 Python
python 实现仿微信聊天时间格式化显示的代码
2020/04/17 Python
Python中logging日志记录到文件及自动分割的操作代码
2020/08/05 Python
AmazeUI 面板的实现示例
2020/08/17 HTML / CSS
复古服装:RetroStage
2019/05/10 全球购物
英国网上自行车商店:Tredz Bikes
2019/10/29 全球购物
中国京东和泰国中央集团合资的网站:JD CENTRAL
2020/08/22 全球购物
护理工作感言
2014/01/16 职场文书
出纳工作岗位责任制
2014/02/02 职场文书
乡镇党的群众路线教育实践活动制度建设计划
2014/11/03 职场文书
小学音乐教师个人工作总结
2015/02/05 职场文书
elementui的el-popover修改样式不生效的解决
2021/06/30 Javascript
浅谈JavaScript浅拷贝和深拷贝
2021/11/07 Javascript