如何解决PHP使用mysql_query查询超大结果集超内存问题


Posted in PHP onMarch 14, 2016

再使用mysql_query查询超大结果集的时候会出现超出内存限制的致命错误,这是因为mysql_query采用的是查询全部结果然后把结果集全部缓存到内存中的方式。

mysql的查询还提供了另外一种查询方式,函数名为mysql_unbuffered_query,这个函数采用的是查出结果后立即操作结果集,并不会把结果集缓存到内存中,这样就避免了超出内存的情况发生。但是使用这个方法的代价就是不能再查询的时候使用获取总行之类的方法,因为这种方法是便查询边返回结果。同时在使用该方法的时候不能在同一数据库链接上执行其他的操作,想要执行其他操作的时候必须先终止当前操作,释放所有未缓存的sql查询所产生的结果行,或者重新实例化一个数据库连接,使用新链接进行其他操作。

以下是使用缓存和不使用缓存的对比(所查询的表中有1000多万行数据):

function selecttest()
{
try {
$pdo = new PDO("mysql:host=localhost;dbname=test", 'root', '123456');
// 不使用缓存结果集方式
// $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
$sth = $pdo->prepare('select * from test');
$sth->execute();
echo '最初占用内存大小:' . memory_get_usage() . "\n";
$i = 0;
while ($result = $sth->fetch(PDO::FETCH_ASSOC)) {
$i += 1;
if ($i > 10) {
break;
}
sleep(1);
print_r($result);
echo '占用内存大小:' . memory_get_usage() . "\n";
}
} catch (Exception $e) {
echo $e->getMessage();
}
}

上面使用到的是缓存所有结果集的方式,运行该函数时将会报超内存的错误,如下所示:

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 204800000 bytes) in E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php on line 57

Call Stack:

0.0005 135392 1. {main}() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:0
0.0005 135568 2. test->selecttest() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:86
0.0055 142528 3. PDOStatement->execute() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:57

在执行$sth->execute();时超出内存限制;

将// $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);这行的注释去掉后将使用不缓存结果集的方式,运行该函数将输出以下内容:

最初占用内存大小:144808

Array
(
[id] => 1
[a] => v
[b] => w
[c] => i
)

占用内存大小:145544

Array
(
[id] => 2
[a] => b
[b] => l
[c] => q
)

占用内存大小:145544

Array
(
[id] => 3
[a] => m
[b] => p
[c] => h
)

占用内存大小:145536

Array
(
[id] => 4
[a] => j
[b] => i
[c] => b
)

占用内存大小:145536

Array
(
[id] => 5
[a] => q
[b] => g
[c] => g
)

占用内存大小:145536

可以看到,使用不缓存结果集的方式获取一行结果所占用的内存是极少的。这样就结局了超出内存限制的问题。

PHP 相关文章推荐
用PHP实现ODBC数据分页显示一例
Oct 09 PHP
使用PHPCMS搭建wap手机网站
Sep 20 PHP
PHP的Yii框架中Model模型的学习教程
Mar 29 PHP
PHP中的print_r 与 var_dump 输出数组
Jun 13 PHP
PHP 芝麻信用接入的注意事项
Dec 01 PHP
PHP定义字符串的四种方式详解
Feb 06 PHP
laravel中短信发送验证码的实现方法
Apr 25 PHP
PHP自定义函数实现assign()数组分配到模板及extract()变量分配到模板功能示例
May 23 PHP
PHP经典设计模式之依赖注入定义与用法详解
May 21 PHP
浅析PHP中json_encode与json_decode的区别
Jul 15 PHP
one.php 多项目、函数库、类库 统一为一个版本的方法
Aug 24 PHP
PHP设计模式(观察者模式)
Jul 07 PHP
Zend Framework教程之资源(Resources)用法实例详解
Mar 14 #PHP
PHP访问数据库集群的方法小结
Mar 14 #PHP
php 无限级分类 获取顶级分类ID
Mar 13 #PHP
PHP实现文件上传与下载实例与总结
Mar 13 #PHP
PHP+shell脚本操作Memcached和Apache Status的实例分享
Mar 11 #PHP
PHP批量去除BOM头内容信息代码
Mar 11 #PHP
PHP中调用C/C++制作的动态链接库的教程
Mar 10 #PHP
You might like
PHP中如何调用webservice的实例参考
2013/04/25 PHP
php自动加载方式集合
2016/04/04 PHP
ThinkPHP框架使用redirect实现页面重定向的方法实例分析
2018/04/12 PHP
jQuery 添加/移除CSS类实现代码
2010/02/11 Javascript
使用Jquery来实现可以输入值的下拉选单 雏型
2011/12/06 Javascript
JavaScript高级程序设计 阅读笔记(七) ECMAScript中的语句
2012/02/27 Javascript
jQuery中after的两种用法实例
2013/07/03 Javascript
将json当数据库一样操作的javascript lib
2013/10/28 Javascript
jquery如何根据值设置默认的选中项
2014/03/17 Javascript
laytpl 精致巧妙的JavaScript模板引擎
2014/08/29 Javascript
JavaScript中eval()函数用法详解
2015/12/14 Javascript
JavaScript原型及原型链终极详解
2016/01/04 Javascript
picLazyLoad 实现图片延时加载(包含背景图片)
2016/07/21 Javascript
Bootstrap列表组学习使用
2017/02/09 Javascript
create-react-app使用antd按需加载的样式无效问题的解决
2019/02/26 Javascript
element中的$confirm的使用
2020/04/26 Javascript
微信小程序上传帖子的实例代码(含有文字图片的微信验证)
2020/07/11 Javascript
[03:12]完美世界DOTA2联赛PWL DAY6集锦
2020/11/05 DOTA
Python3使用turtle绘制超立方体图形示例
2018/06/19 Python
Tensorflow 实现修改张量特定元素的值方法
2018/07/30 Python
python 使用pdfminer3k 读取PDF文档的例子
2019/08/27 Python
阿迪达斯加拿大官网:Adidas加拿大
2016/08/25 全球购物
如何清空Session
2015/02/23 面试题
电子商务专业自我鉴定
2013/12/18 职场文书
同学会邀请书大全
2014/01/12 职场文书
商务邀请函范文
2014/01/14 职场文书
小学老师寄语大全
2014/04/04 职场文书
感恩老师演讲稿600字
2014/08/28 职场文书
生活小常识广播稿
2014/09/16 职场文书
六查六看自检自查剖析材料
2014/10/14 职场文书
升学宴学生致辞
2015/07/27 职场文书
严以修身专题学习研讨会发言材料
2015/11/09 职场文书
2016秋季运动会开幕词
2016/03/04 职场文书
一篇文章弄懂MySQL查询语句的执行过程
2021/05/07 MySQL
图片批量处理 - 尺寸、格式、水印等
2022/03/07 杂记
Redis配置外网可访问(redis远程连接不上)的方法
2022/12/24 Redis