用PHP读取超大文件的实例代码


Posted in PHP onApril 01, 2012

去年年底的各种网站帐号信息的数据库泄漏,很是给力啊,趁机也下载了几个数据库,准备学学数据分析家来分析一下这些帐号信息。虽然这些数据信息都已经被“整理”过的,不过自己拿来学习也挺有用的,毕竟有这么大的数据量。

数据量大带来的问题就是单个文件很大,能够打开这个文件相当不容易,记事本就不要指望了,果断死机。用MSSQL的客户端也打不开这么大的SQL文件,直接报内存不足,原因据说是MSSQL在读取数据的时候,是一次性地将读取到的数据放在内存中,如果数据量过大,而内存不足,则会直接导致系统瘫掉。

Navicat Premium
这儿推荐一个软件Navicat Premium,相当给力啊,几百兆的SQL文件轻松就打开了,一点都不卡。而且这个客户端软件支持MSSQL、MYSQL、Oracle……等等各种数据库的连接,其它的很多功能就自己慢慢研究了。

虽然用Navicat可以打开CSDN这个274MB的SQL文件,但是内容却是没意义的,而且也不方便对这些帐号信息进行查询、分类、统计等等操作。唯一的方法就是把这些数据一条一条地读取出来,然后分拆每条记录的不同片段,再将这些片段以数据字段的格式存入数据库,这样就可以方便以后的使用了。

使用PHP读取超大文件
PHP有很多种文件读取的方式,根据目标文件的不同,采取更合适的方法,可有效地提高执行效率。由于CSDN数据库文件很大,所以我们尽量不在短时间内全都读取出来,毕竟每读取一条数据还要对其分拆和写入操作。那么比较合适的方式就是对文件进行分区域地读取,通过使用PHP的fseek和fread相结合,即可做到随意读取文件中的某一部份数据,下面是实例代码:

function readBigFile($filename, $count = 20, $tag = "\r\n") { 
$content = "";//最终内容 
$current = "";//当前读取内容寄存 
$step= 1;//每次走多少字符 
$tagLen = strlen($tag); 
$start = 0;//起始位置 
$i = 0;//计数器 
$handle = fopen($filename,'r+');//读写模式打开文件,指针指向文件起始位置 
while($i < $count && !feof($handle)) { 
fseek($handle, $start, SEEK_SET);//指针设置在文件开头 
$current = fread($handle,$step);//读取文件 
$content .= $current;//组合字符串 
$start += $step;//依据步长向前移动 
//依据分隔符的长度截取字符串最后免得几个字符 
$substrTag = substr($content, -$tagLen); 
if ($substrTag == $tag) { //判断是否为判断是否是换行或其他分隔符 
$i++; 
$content .= "<br />"; 
} 
} 
//关闭文件 
fclose($handle); 
//返回结果 
return $content; 
} 
$filename = "csdn.sql";//需要读取的文件 
$tag = "\n";//行分隔符 注意这里必须用双引号 
$count = 100;//读取行数 
$data = readBigFile($filename,$count,$tag); 
echo $data;

关于函数传入的变量$tag的值,根据系统不一样,传入的值也是有区别的:Windows用”\r\n”,linux/unix用”\n”,Mac OS用”\r”。

程序执行的大概流程:先定义读取文件的一些基础变量,然后打开文件,将指针定位在文件的指定位置,并读取指定大小的内容。每读取一次将内容存储在变量中,直到达到读取要求的行数或文件结束。

绝不要假定程序中的一切都将按计划运行。

根据上面的代码,虽然能够得到文件中指定位置、指定大小的数据,但这整个过程只执行了一次,并不能得到所有的数据。其实要得到所有的数据,可以在这个循环的外层再添加判断文件是否结束的循环,但这很浪费系统资源,甚至由于文件过大一直没法读完而导致PHP执行超时。另一种方法就是记录并存储上次读取数据后指针所在的位置,然后再次执行该循环的时候,将指针定位在上次结束的位置,这样就不存在一次循环要把文件从头读到尾的情况。

其实CSDN这个数据库我到现在都还没有导入数据库,因为当时泄漏后没几天CNBETA上就有一个分析了,呵呵,动作太快了。当看到别人已经做了这个事之后,自动就没有多少动力来做了,不过为了学习,还是要抽时间把这个事完成了。

PHP 相关文章推荐
Apache设置虚拟WEB
Oct 09 PHP
php Smarty date_format [格式化时间日期]
Mar 15 PHP
php中使用临时表查询数据的一个例子
Feb 03 PHP
php实现查看邮件是否已被阅读的方法
Dec 03 PHP
smarty模板引擎中变量及变量修饰器用法实例
Jan 22 PHP
memcache一致性hash的php实现方法
Mar 05 PHP
ThinkPHP V2.2说明文档没有说明的那些事实例小结
Jul 01 PHP
PHP微信开发之查询城市天气
Jun 23 PHP
iOS10推送通知开发教程
Sep 19 PHP
PHP 配置后台登录以及模板引入
Jan 24 PHP
使用PHP开发留言板功能
Nov 19 PHP
is_file和file_exists效率比较
Mar 14 PHP
PHP新手用的Insert和Update语句构造类
Mar 31 #PHP
PHP中SESSION使用中的一点经验总结
Mar 30 #PHP
PHP __autoload()方法真的影响性能吗?
Mar 30 #PHP
phpmyadmin3 安装配置图解教程
Mar 29 #PHP
php 注释规范
Mar 29 #PHP
php 计划任务 检测用户连接状态
Mar 29 #PHP
MySQL的FIND_IN_SET函数使用方法分享
Mar 27 #PHP
You might like
php中通过curl检测页面是否被百度收录
2013/09/27 PHP
功能强大的PHP图片处理类(水印、透明度、旋转)
2015/10/21 PHP
PHP进阶学习之依赖注入与Ioc容器详解
2019/06/19 PHP
jQuery UI的Dialog无法提交问题的解决方法
2011/01/11 Javascript
jQuery结合Json提交数据到Webservice,并接收从Webservice返回的Json数据
2011/02/18 Javascript
javascript中的void运算符语法及使用介绍
2013/03/10 Javascript
js switch case default 的用法示例介绍
2013/10/23 Javascript
详解js跨域原理以及2种解决方案
2015/12/09 Javascript
AngularJS 中的指令实践开发指南(一)
2016/03/20 Javascript
Jquery ajax请求导出Excel表格的实现代码
2016/06/08 Javascript
js实现StringBuffer的简单实例
2016/09/02 Javascript
jQuery插件FusionWidgets实现的Cylinder图效果示例【附demo源码】
2017/03/23 jQuery
AngularJS基于factory创建自定义服务的方法详解
2017/05/25 Javascript
elemetUi 组件--el-upload实现上传Excel文件的实例
2017/10/27 Javascript
vue2.0的虚拟DOM渲染思路分析
2018/08/09 Javascript
浅谈layui里的上传控件问题
2019/09/26 Javascript
vue双击事件2.0事件监听(点击-双击-鼠标事件)和事件修饰符操作
2020/07/27 Javascript
Python实现爬取知乎神回复简单爬虫代码分享
2015/01/04 Python
详解Python中的__getitem__方法与slice对象的切片操作
2016/06/27 Python
Python排序搜索基本算法之选择排序实例分析
2017/12/09 Python
对Pandas DataFrame缺失值的查找与填充示例讲解
2018/11/06 Python
python异常处理try except过程解析
2020/02/03 Python
Python flask框架实现查询数据库并显示数据
2020/06/04 Python
Python django框架 web端视频加密的实例详解
2020/11/20 Python
python集合的新增元素方法整理
2020/12/07 Python
比利时香水网上商店:NOTINO
2018/03/28 全球购物
思想政治自我鉴定
2013/10/06 职场文书
高三毕业生自我鉴定
2013/12/20 职场文书
端午节粽子促销活动方案
2014/02/02 职场文书
读书活动实施方案
2014/03/10 职场文书
小学教师求职信范文
2015/03/20 职场文书
2015年质量管理工作总结范文
2015/05/18 职场文书
党支部考察鉴定意见
2015/06/02 职场文书
在人间读书笔记
2015/06/30 职场文书
立秋之描写立秋的作文(五年级)
2019/08/08 职场文书
Golang表示枚举类型的详细讲解
2021/09/04 Golang