如何解决PHP使用mysql_query查询超大结果集超内存问题


Posted in PHP onMarch 14, 2016

再使用mysql_query查询超大结果集的时候会出现超出内存限制的致命错误,这是因为mysql_query采用的是查询全部结果然后把结果集全部缓存到内存中的方式。

mysql的查询还提供了另外一种查询方式,函数名为mysql_unbuffered_query,这个函数采用的是查出结果后立即操作结果集,并不会把结果集缓存到内存中,这样就避免了超出内存的情况发生。但是使用这个方法的代价就是不能再查询的时候使用获取总行之类的方法,因为这种方法是便查询边返回结果。同时在使用该方法的时候不能在同一数据库链接上执行其他的操作,想要执行其他操作的时候必须先终止当前操作,释放所有未缓存的sql查询所产生的结果行,或者重新实例化一个数据库连接,使用新链接进行其他操作。

以下是使用缓存和不使用缓存的对比(所查询的表中有1000多万行数据):

function selecttest()
{
try {
$pdo = new PDO("mysql:host=localhost;dbname=test", 'root', '123456');
// 不使用缓存结果集方式
// $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
$sth = $pdo->prepare('select * from test');
$sth->execute();
echo '最初占用内存大小:' . memory_get_usage() . "\n";
$i = 0;
while ($result = $sth->fetch(PDO::FETCH_ASSOC)) {
$i += 1;
if ($i > 10) {
break;
}
sleep(1);
print_r($result);
echo '占用内存大小:' . memory_get_usage() . "\n";
}
} catch (Exception $e) {
echo $e->getMessage();
}
}

上面使用到的是缓存所有结果集的方式,运行该函数时将会报超内存的错误,如下所示:

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 204800000 bytes) in E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php on line 57

Call Stack:

0.0005 135392 1. {main}() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:0
0.0005 135568 2. test->selecttest() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:86
0.0055 142528 3. PDOStatement->execute() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:57

在执行$sth->execute();时超出内存限制;

将// $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);这行的注释去掉后将使用不缓存结果集的方式,运行该函数将输出以下内容:

最初占用内存大小:144808

Array
(
[id] => 1
[a] => v
[b] => w
[c] => i
)

占用内存大小:145544

Array
(
[id] => 2
[a] => b
[b] => l
[c] => q
)

占用内存大小:145544

Array
(
[id] => 3
[a] => m
[b] => p
[c] => h
)

占用内存大小:145536

Array
(
[id] => 4
[a] => j
[b] => i
[c] => b
)

占用内存大小:145536

Array
(
[id] => 5
[a] => q
[b] => g
[c] => g
)

占用内存大小:145536

可以看到,使用不缓存结果集的方式获取一行结果所占用的内存是极少的。这样就结局了超出内存限制的问题。

PHP 相关文章推荐
PHP实现MySQL更新记录的代码
Jun 07 PHP
php cookie的操作实现代码(登录)
Dec 29 PHP
PHP文件读写操作之文件读取方法详解
Jan 13 PHP
PHP内核介绍及扩展开发指南―基础知识
Sep 11 PHP
关于访问控制的一首PHP面试题(对属性或方法的访问控制)
Sep 13 PHP
php中serialize序列化与json性能测试的示例分析
Apr 27 PHP
php中利用str_pad函数生成数字递增形式的产品编号
Sep 30 PHP
ThinkPHP基于PHPExcel导入Excel文件的方法
Oct 15 PHP
ThinkPHP框架实现数据增删改
May 07 PHP
一个非常实用的php文件上传类
Jul 04 PHP
PHP判断json格式是否正确的实现代码
Sep 20 PHP
laravel中短信发送验证码的实现方法
Apr 25 PHP
Zend Framework教程之资源(Resources)用法实例详解
Mar 14 #PHP
PHP访问数据库集群的方法小结
Mar 14 #PHP
php 无限级分类 获取顶级分类ID
Mar 13 #PHP
PHP实现文件上传与下载实例与总结
Mar 13 #PHP
PHP+shell脚本操作Memcached和Apache Status的实例分享
Mar 11 #PHP
PHP批量去除BOM头内容信息代码
Mar 11 #PHP
PHP中调用C/C++制作的动态链接库的教程
Mar 10 #PHP
You might like
值得分享的php+ajax实时聊天室
2016/07/20 PHP
详解PHP swoole process的使用方法
2017/08/26 PHP
解决PHP使用CURL发送GET请求时传递参数的问题
2019/10/11 PHP
JS 有名函数表达式全面解析
2010/03/19 Javascript
javascript针对DOM的应用分析(三)
2012/04/15 Javascript
javascript获取当前鼠标坐标的方法
2015/01/10 Javascript
深入理解JavaScript系列(45):代码复用模式(避免篇)详解
2015/03/04 Javascript
JavaScript返回上一页的三种方法及区别介绍
2015/07/04 Javascript
jQuery.Callbacks()回调函数队列用法详解
2016/06/14 Javascript
jQuery使用deferreds串行多个ajax请求
2016/08/22 Javascript
Angular.JS利用ng-disabled属性和ng-model实现禁用button效果
2017/04/05 Javascript
JS实现的二叉树算法完整实例
2017/04/06 Javascript
Angular6新特性之Angular Material
2018/12/28 Javascript
如何解决webpack-dev-server代理常切换问题
2019/01/09 Javascript
Vue路由前后端设计总结
2019/08/06 Javascript
JavaScript对象原型链原理解析
2020/01/22 Javascript
Python greenlet实现原理和使用示例
2014/09/24 Python
python获取本机外网ip的方法
2015/04/15 Python
python使用matplotlib绘图时图例显示问题的解决
2017/04/27 Python
Python实现iOS自动化打包详解步骤
2018/10/03 Python
python 高效去重复 支持GB级别大文件的示例代码
2018/11/08 Python
python文件拆分与重组实例
2018/12/10 Python
PyTorch加载自己的数据集实例详解
2020/03/18 Python
python把一个字符串切开的实例方法
2020/09/27 Python
Html5调用手机摄像头并实现人脸识别的实现
2018/12/21 HTML / CSS
英国户外服装、鞋类和设备的领先零售商:Millets
2020/10/12 全球购物
使用C#编写创建一个线程的代码
2013/01/22 面试题
教师年终个人自我评价
2013/10/04 职场文书
入党积极分子介绍信
2014/01/17 职场文书
老龄工作先进事迹
2014/08/15 职场文书
评先进个人材料
2014/12/29 职场文书
学生保证书
2015/01/16 职场文书
2016年先进教师个人事迹材料
2016/02/26 职场文书
2016年119消防宣传日活动总结
2016/04/05 职场文书
PyCharm 配置SSH和SFTP连接远程服务器
2022/05/11 Python
SpringBoot全局异常处理方案分享
2022/05/25 Java/Android