如何解决PHP使用mysql_query查询超大结果集超内存问题


Posted in PHP onMarch 14, 2016

再使用mysql_query查询超大结果集的时候会出现超出内存限制的致命错误,这是因为mysql_query采用的是查询全部结果然后把结果集全部缓存到内存中的方式。

mysql的查询还提供了另外一种查询方式,函数名为mysql_unbuffered_query,这个函数采用的是查出结果后立即操作结果集,并不会把结果集缓存到内存中,这样就避免了超出内存的情况发生。但是使用这个方法的代价就是不能再查询的时候使用获取总行之类的方法,因为这种方法是便查询边返回结果。同时在使用该方法的时候不能在同一数据库链接上执行其他的操作,想要执行其他操作的时候必须先终止当前操作,释放所有未缓存的sql查询所产生的结果行,或者重新实例化一个数据库连接,使用新链接进行其他操作。

以下是使用缓存和不使用缓存的对比(所查询的表中有1000多万行数据):

function selecttest()
{
try {
$pdo = new PDO("mysql:host=localhost;dbname=test", 'root', '123456');
// 不使用缓存结果集方式
// $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
$sth = $pdo->prepare('select * from test');
$sth->execute();
echo '最初占用内存大小:' . memory_get_usage() . "\n";
$i = 0;
while ($result = $sth->fetch(PDO::FETCH_ASSOC)) {
$i += 1;
if ($i > 10) {
break;
}
sleep(1);
print_r($result);
echo '占用内存大小:' . memory_get_usage() . "\n";
}
} catch (Exception $e) {
echo $e->getMessage();
}
}

上面使用到的是缓存所有结果集的方式,运行该函数时将会报超内存的错误,如下所示:

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 204800000 bytes) in E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php on line 57

Call Stack:

0.0005 135392 1. {main}() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:0
0.0005 135568 2. test->selecttest() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:86
0.0055 142528 3. PDOStatement->execute() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:57

在执行$sth->execute();时超出内存限制;

将// $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);这行的注释去掉后将使用不缓存结果集的方式,运行该函数将输出以下内容:

最初占用内存大小:144808

Array
(
[id] => 1
[a] => v
[b] => w
[c] => i
)

占用内存大小:145544

Array
(
[id] => 2
[a] => b
[b] => l
[c] => q
)

占用内存大小:145544

Array
(
[id] => 3
[a] => m
[b] => p
[c] => h
)

占用内存大小:145536

Array
(
[id] => 4
[a] => j
[b] => i
[c] => b
)

占用内存大小:145536

Array
(
[id] => 5
[a] => q
[b] => g
[c] => g
)

占用内存大小:145536

可以看到,使用不缓存结果集的方式获取一行结果所占用的内存是极少的。这样就结局了超出内存限制的问题。

PHP 相关文章推荐
Yii PHP Framework实用入门教程(详细介绍)
Jun 18 PHP
Codeigniter出现错误提示Error with CACHE directory的解决方案
Jun 12 PHP
PHP中使用file_get_contents post数据代码例子
Feb 13 PHP
php curl 上传文件代码实例
Apr 27 PHP
使用纯php代码实现页面伪静态的方法
Jul 25 PHP
PHP 500报错的快速解决方法
Dec 14 PHP
php安装dblib扩展,连接mssql的具体步骤
Mar 02 PHP
老生常谈PHP数组函数array_merge(必看篇)
May 25 PHP
PHP设计模式之策略模式原理与用法实例分析
Apr 04 PHP
YII2.0框架行为(Behavior)深入详解
Jul 26 PHP
PHP下载文件函数与用法示例
Sep 27 PHP
PHP7 新增功能
Mar 09 PHP
Zend Framework教程之资源(Resources)用法实例详解
Mar 14 #PHP
PHP访问数据库集群的方法小结
Mar 14 #PHP
php 无限级分类 获取顶级分类ID
Mar 13 #PHP
PHP实现文件上传与下载实例与总结
Mar 13 #PHP
PHP+shell脚本操作Memcached和Apache Status的实例分享
Mar 11 #PHP
PHP批量去除BOM头内容信息代码
Mar 11 #PHP
PHP中调用C/C++制作的动态链接库的教程
Mar 10 #PHP
You might like
浅析php原型模式
2014/11/25 PHP
Js中sort()方法的用法
2006/11/04 Javascript
javascript 带有滚动条的表格,标题固定,带排序功能.
2009/11/13 Javascript
javascript 哈希表(hashtable)的简单实现
2010/01/20 Javascript
Javascript学习笔记之函数篇(五) : 构造函数
2014/11/23 Javascript
JavaScript设计模式之单件模式介绍
2014/12/28 Javascript
JavaScript数组迭代器实例分析
2015/06/09 Javascript
jQuery实现分章节锚点“回到顶部”动画特效代码
2015/10/23 Javascript
谈谈我对JavaScript原型和闭包系列理解(随手笔记6)
2015/12/20 Javascript
jQuery Ajax 异步加载显示等待效果代码分享
2016/08/01 Javascript
JS中事件冒泡和事件捕获介绍
2016/12/13 Javascript
jQuery编写设置和获取颜色的插件
2017/01/09 Javascript
Node.js中.pfx后缀文件的处理方法
2017/03/10 Javascript
vue使用pdfjs显示PDF可复制的实现方法
2018/12/14 Javascript
JS实现获取自定义属性data值的方法示例
2018/12/19 Javascript
vue + any-touch实现一个iscroll 实现拖拽和滑动动画效果
2019/04/08 Javascript
微信小程序页面间跳转传参方式总结
2019/06/13 Javascript
浅谈Vue组件单元测试究竟测试什么
2020/02/05 Javascript
Vue 请求传公共参数的操作
2020/07/31 Javascript
three.js 实现露珠滴落动画效果的示例代码
2021/03/01 Javascript
[01:06] DOTA2英雄背景故事第三期之秩序法则光之守卫
2020/07/07 DOTA
Python 可爱的大小写
2008/09/06 Python
Python入门篇之正则表达式
2014/10/20 Python
python集合类型用法分析
2015/04/08 Python
在Django的上下文中设置变量的方法
2015/07/20 Python
教你用Python写安卓游戏外挂
2018/01/11 Python
在jupyter notebook 添加 conda 环境的操作详解
2020/04/10 Python
Python绘制组合图的示例
2020/09/18 Python
女大学生个人求职信
2013/12/09 职场文书
《学会待客》教学反思
2014/02/22 职场文书
幼儿园大班见习报告
2014/10/31 职场文书
涨价通知怎么写
2015/04/23 职场文书
幼儿园重阳节活动总结
2015/05/05 职场文书
幼儿园新学期开学寄语
2015/05/27 职场文书
退休欢送会致辞
2015/07/31 职场文书
幼儿园体操比赛口号
2015/12/25 职场文书