用PHP读取超大文件的实例代码


Posted in PHP onApril 01, 2012

去年年底的各种网站帐号信息的数据库泄漏,很是给力啊,趁机也下载了几个数据库,准备学学数据分析家来分析一下这些帐号信息。虽然这些数据信息都已经被“整理”过的,不过自己拿来学习也挺有用的,毕竟有这么大的数据量。

数据量大带来的问题就是单个文件很大,能够打开这个文件相当不容易,记事本就不要指望了,果断死机。用MSSQL的客户端也打不开这么大的SQL文件,直接报内存不足,原因据说是MSSQL在读取数据的时候,是一次性地将读取到的数据放在内存中,如果数据量过大,而内存不足,则会直接导致系统瘫掉。

Navicat Premium
这儿推荐一个软件Navicat Premium,相当给力啊,几百兆的SQL文件轻松就打开了,一点都不卡。而且这个客户端软件支持MSSQL、MYSQL、Oracle……等等各种数据库的连接,其它的很多功能就自己慢慢研究了。

虽然用Navicat可以打开CSDN这个274MB的SQL文件,但是内容却是没意义的,而且也不方便对这些帐号信息进行查询、分类、统计等等操作。唯一的方法就是把这些数据一条一条地读取出来,然后分拆每条记录的不同片段,再将这些片段以数据字段的格式存入数据库,这样就可以方便以后的使用了。

使用PHP读取超大文件
PHP有很多种文件读取的方式,根据目标文件的不同,采取更合适的方法,可有效地提高执行效率。由于CSDN数据库文件很大,所以我们尽量不在短时间内全都读取出来,毕竟每读取一条数据还要对其分拆和写入操作。那么比较合适的方式就是对文件进行分区域地读取,通过使用PHP的fseek和fread相结合,即可做到随意读取文件中的某一部份数据,下面是实例代码:

function readBigFile($filename, $count = 20, $tag = "\r\n") { 
$content = "";//最终内容 
$current = "";//当前读取内容寄存 
$step= 1;//每次走多少字符 
$tagLen = strlen($tag); 
$start = 0;//起始位置 
$i = 0;//计数器 
$handle = fopen($filename,'r+');//读写模式打开文件,指针指向文件起始位置 
while($i < $count && !feof($handle)) { 
fseek($handle, $start, SEEK_SET);//指针设置在文件开头 
$current = fread($handle,$step);//读取文件 
$content .= $current;//组合字符串 
$start += $step;//依据步长向前移动 
//依据分隔符的长度截取字符串最后免得几个字符 
$substrTag = substr($content, -$tagLen); 
if ($substrTag == $tag) { //判断是否为判断是否是换行或其他分隔符 
$i++; 
$content .= "<br />"; 
} 
} 
//关闭文件 
fclose($handle); 
//返回结果 
return $content; 
} 
$filename = "csdn.sql";//需要读取的文件 
$tag = "\n";//行分隔符 注意这里必须用双引号 
$count = 100;//读取行数 
$data = readBigFile($filename,$count,$tag); 
echo $data;

关于函数传入的变量$tag的值,根据系统不一样,传入的值也是有区别的:Windows用”\r\n”,linux/unix用”\n”,Mac OS用”\r”。

程序执行的大概流程:先定义读取文件的一些基础变量,然后打开文件,将指针定位在文件的指定位置,并读取指定大小的内容。每读取一次将内容存储在变量中,直到达到读取要求的行数或文件结束。

绝不要假定程序中的一切都将按计划运行。

根据上面的代码,虽然能够得到文件中指定位置、指定大小的数据,但这整个过程只执行了一次,并不能得到所有的数据。其实要得到所有的数据,可以在这个循环的外层再添加判断文件是否结束的循环,但这很浪费系统资源,甚至由于文件过大一直没法读完而导致PHP执行超时。另一种方法就是记录并存储上次读取数据后指针所在的位置,然后再次执行该循环的时候,将指针定位在上次结束的位置,这样就不存在一次循环要把文件从头读到尾的情况。

其实CSDN这个数据库我到现在都还没有导入数据库,因为当时泄漏后没几天CNBETA上就有一个分析了,呵呵,动作太快了。当看到别人已经做了这个事之后,自动就没有多少动力来做了,不过为了学习,还是要抽时间把这个事完成了。

PHP 相关文章推荐
php录入页面中动态从数据库中提取数据的实现
Oct 09 PHP
利用php递归实现无限分类 格式化数组的详解
Jun 08 PHP
PHP中把stdClass Object转array的几个方法
May 08 PHP
从零开始学YII2框架(三)扩展插件yii2-gird
Aug 20 PHP
在Mac OS上搭建Nginx+PHP+MySQL开发环境的教程
Dec 21 PHP
SSO单点登录的PHP实现方法(Laravel框架)
Mar 23 PHP
php 实现进制相互转换
Apr 07 PHP
PHP通过微信跳转的Code参数获取用户的openid(关键代码)
Jul 06 PHP
PHP unlink与rmdir删除目录及目录下所有文件实例代码
Feb 07 PHP
php-fpm服务启动脚本的方法
Apr 27 PHP
Laravel定时任务的每秒执行代码
Oct 22 PHP
php数值计算num类简单操作示例
May 15 PHP
PHP新手用的Insert和Update语句构造类
Mar 31 #PHP
PHP中SESSION使用中的一点经验总结
Mar 30 #PHP
PHP __autoload()方法真的影响性能吗?
Mar 30 #PHP
phpmyadmin3 安装配置图解教程
Mar 29 #PHP
php 注释规范
Mar 29 #PHP
php 计划任务 检测用户连接状态
Mar 29 #PHP
MySQL的FIND_IN_SET函数使用方法分享
Mar 27 #PHP
You might like
PHP大神的十大优良习惯
2016/09/14 PHP
php执行多个存储过程的方法【基于thinkPHP】
2016/11/08 PHP
PHP判断文件是否被引入的方法get_included_files用法示例
2016/11/29 PHP
php正则表达式基本知识与应用详解【经典教程】
2017/04/17 PHP
PHP echo()函数讲解
2019/02/15 PHP
namespace.js Javascript的命名空间库
2011/10/11 Javascript
得到jQuery detach()后节点中的某个值实现代码
2013/02/05 Javascript
javascript中如何处理引号编码&amp;#034;
2013/08/15 Javascript
css3元素简单的闪烁效果实现(html5 jquery)
2013/12/28 Javascript
nodejs实现获取当前url地址及url各种参数值
2015/06/25 NodeJs
Jquery+Ajax+PHP+MySQL实现分类列表管理(上)
2015/10/28 Javascript
JS实现简单拖拽效果
2017/06/21 Javascript
js HTML5 canvas绘制图片的方法
2017/09/08 Javascript
JS二分查找算法详解
2017/11/01 Javascript
Bootstrap Table 搜索框和查询功能
2017/11/30 Javascript
jQuery中使用validate插件校验表单功能
2019/05/24 jQuery
微信小程序 scroll-view 水平滚动实现过程解析
2019/10/12 Javascript
JQuery事件委托(适用于给动态生成的脚本元素添加事件)
2020/02/01 jQuery
[57:37]EG vs Mineski 2018国际邀请赛小组赛BO2 第二场 8.16
2018/08/17 DOTA
微信跳一跳python代码实现
2018/01/05 Python
Python装饰器用法实例总结
2018/05/26 Python
Python 实现王者荣耀中的敏感词过滤示例
2019/01/21 Python
一行Python代码过滤标点符号等特殊字符
2019/08/12 Python
python反爬虫方法的优缺点分析
2020/11/25 Python
Html5 postMessage实现跨域消息传递
2016/03/11 HTML / CSS
意大利在线药房:Saninforma
2021/02/11 全球购物
命名空间(namespace)和程序集(Assembly)有什么区别
2015/09/25 面试题
毕业生幼师求职自荐信
2013/10/01 职场文书
酒店工作职员求职简历的自我评价
2013/10/23 职场文书
仓库管理计划书
2014/05/04 职场文书
环保倡议书怎么写
2014/05/16 职场文书
争先创优公开承诺书
2014/08/30 职场文书
2016年八一建军节活动总结
2016/04/05 职场文书
工作总结之小学教师体育工作范文(3篇)
2019/10/07 职场文书
Python基础之常用库常用方法整理
2021/04/30 Python
总结Python常用的魔法方法
2021/05/25 Python