用PHP读取超大文件的实例代码


Posted in PHP onApril 01, 2012

去年年底的各种网站帐号信息的数据库泄漏,很是给力啊,趁机也下载了几个数据库,准备学学数据分析家来分析一下这些帐号信息。虽然这些数据信息都已经被“整理”过的,不过自己拿来学习也挺有用的,毕竟有这么大的数据量。

数据量大带来的问题就是单个文件很大,能够打开这个文件相当不容易,记事本就不要指望了,果断死机。用MSSQL的客户端也打不开这么大的SQL文件,直接报内存不足,原因据说是MSSQL在读取数据的时候,是一次性地将读取到的数据放在内存中,如果数据量过大,而内存不足,则会直接导致系统瘫掉。

Navicat Premium
这儿推荐一个软件Navicat Premium,相当给力啊,几百兆的SQL文件轻松就打开了,一点都不卡。而且这个客户端软件支持MSSQL、MYSQL、Oracle……等等各种数据库的连接,其它的很多功能就自己慢慢研究了。

虽然用Navicat可以打开CSDN这个274MB的SQL文件,但是内容却是没意义的,而且也不方便对这些帐号信息进行查询、分类、统计等等操作。唯一的方法就是把这些数据一条一条地读取出来,然后分拆每条记录的不同片段,再将这些片段以数据字段的格式存入数据库,这样就可以方便以后的使用了。

使用PHP读取超大文件
PHP有很多种文件读取的方式,根据目标文件的不同,采取更合适的方法,可有效地提高执行效率。由于CSDN数据库文件很大,所以我们尽量不在短时间内全都读取出来,毕竟每读取一条数据还要对其分拆和写入操作。那么比较合适的方式就是对文件进行分区域地读取,通过使用PHP的fseek和fread相结合,即可做到随意读取文件中的某一部份数据,下面是实例代码:

function readBigFile($filename, $count = 20, $tag = "\r\n") { 
$content = "";//最终内容 
$current = "";//当前读取内容寄存 
$step= 1;//每次走多少字符 
$tagLen = strlen($tag); 
$start = 0;//起始位置 
$i = 0;//计数器 
$handle = fopen($filename,'r+');//读写模式打开文件,指针指向文件起始位置 
while($i < $count && !feof($handle)) { 
fseek($handle, $start, SEEK_SET);//指针设置在文件开头 
$current = fread($handle,$step);//读取文件 
$content .= $current;//组合字符串 
$start += $step;//依据步长向前移动 
//依据分隔符的长度截取字符串最后免得几个字符 
$substrTag = substr($content, -$tagLen); 
if ($substrTag == $tag) { //判断是否为判断是否是换行或其他分隔符 
$i++; 
$content .= "<br />"; 
} 
} 
//关闭文件 
fclose($handle); 
//返回结果 
return $content; 
} 
$filename = "csdn.sql";//需要读取的文件 
$tag = "\n";//行分隔符 注意这里必须用双引号 
$count = 100;//读取行数 
$data = readBigFile($filename,$count,$tag); 
echo $data;

关于函数传入的变量$tag的值,根据系统不一样,传入的值也是有区别的:Windows用”\r\n”,linux/unix用”\n”,Mac OS用”\r”。

程序执行的大概流程:先定义读取文件的一些基础变量,然后打开文件,将指针定位在文件的指定位置,并读取指定大小的内容。每读取一次将内容存储在变量中,直到达到读取要求的行数或文件结束。

绝不要假定程序中的一切都将按计划运行。

根据上面的代码,虽然能够得到文件中指定位置、指定大小的数据,但这整个过程只执行了一次,并不能得到所有的数据。其实要得到所有的数据,可以在这个循环的外层再添加判断文件是否结束的循环,但这很浪费系统资源,甚至由于文件过大一直没法读完而导致PHP执行超时。另一种方法就是记录并存储上次读取数据后指针所在的位置,然后再次执行该循环的时候,将指针定位在上次结束的位置,这样就不存在一次循环要把文件从头读到尾的情况。

其实CSDN这个数据库我到现在都还没有导入数据库,因为当时泄漏后没几天CNBETA上就有一个分析了,呵呵,动作太快了。当看到别人已经做了这个事之后,自动就没有多少动力来做了,不过为了学习,还是要抽时间把这个事完成了。

PHP 相关文章推荐
PHP开发入门教程之面向对象
Dec 05 PHP
php 获取一个月第一天与最后一天的代码
May 16 PHP
深入eAccelerator与memcached的区别详解
Jun 06 PHP
php 生成短网址原理及代码
Jan 23 PHP
Codeigniter生成Excel文档的简单方法
Jun 12 PHP
Laravel 5框架学习之Blade 简介
Apr 08 PHP
PHP限制HTML内容中图片必须是本站的方法
Jun 16 PHP
怎样搭建PHP开发环境
Jul 28 PHP
php文件缓存方法总结
Mar 16 PHP
php实现购物车产品删除功能(2)
Jul 23 PHP
gearman管理工具GearmanManager的安装与php使用方法示例
Feb 27 PHP
PHP网站常见安全漏洞,及相应防范措施总结
Mar 01 PHP
PHP新手用的Insert和Update语句构造类
Mar 31 #PHP
PHP中SESSION使用中的一点经验总结
Mar 30 #PHP
PHP __autoload()方法真的影响性能吗?
Mar 30 #PHP
phpmyadmin3 安装配置图解教程
Mar 29 #PHP
php 注释规范
Mar 29 #PHP
php 计划任务 检测用户连接状态
Mar 29 #PHP
MySQL的FIND_IN_SET函数使用方法分享
Mar 27 #PHP
You might like
Classes and Objects in PHP5-面向对象编程 [1]
2006/10/09 PHP
php下通过curl抓取yahoo boss 搜索结果的实现代码
2011/06/10 PHP
php echo, print, print_r, sprintf, var_dump, var_expor的使用区别
2013/06/20 PHP
php json_encode()函数返回json数据实例代码
2014/10/10 PHP
php保存二进制原始数据为图片的程序代码
2014/10/14 PHP
js+数组实现网页上显示时间/星期几的实用方法
2013/01/18 Javascript
基于JavaScript 下namespace 功能的简单分析
2013/07/05 Javascript
使用jsonp完美解决跨域问题
2014/11/27 Javascript
jQuery中get()方法用法实例
2014/12/27 Javascript
jQuery实现的Div窗口震动效果实例
2015/08/07 Javascript
javascript 数组的正态分布排序的问题
2016/07/31 Javascript
json的结构与遍历方法实例分析
2017/04/25 Javascript
Kindeditor单独调用单图上传增加预览功能的实例
2017/07/31 Javascript
详谈ES6中的迭代器(Iterator)和生成器(Generator)
2017/07/31 Javascript
vue-cli 引入、配置axios的方法
2018/05/08 Javascript
vue权限路由实现的方法示例总结
2018/07/29 Javascript
微信小程序使用scroll-view标签实现自动滑动到底部功能的实例代码
2018/11/09 Javascript
浅谈在Vue.js中如何实现时间转换指令
2019/01/06 Javascript
Vue实现boradcast和dispatch的示例
2020/11/13 Javascript
[58:23]LGD vs TNC 2019国际邀请赛小组赛 BO2 第一场 8.15
2019/08/16 DOTA
Python中使用glob和rmtree删除目录子目录及所有文件的例子
2014/11/21 Python
python3中int(整型)的使用教程
2017/03/23 Python
Python字符串内置函数功能与用法总结
2019/04/16 Python
Pytorch中.new()的作用详解
2020/02/18 Python
Pytorch转tflite方式
2020/05/25 Python
关于tensorflow softmax函数用法解析
2020/06/30 Python
在C#中如何实现多态
2014/07/02 面试题
请说出这段代码执行后a和b的值分别是多少
2015/03/28 面试题
会计专业毕业生自我评价
2013/09/25 职场文书
《得道多助,失道寡助》教学反思
2014/04/19 职场文书
机关干部四风问题自我剖析及整改措施
2014/10/26 职场文书
会计电算化实训报告
2014/11/04 职场文书
幼儿园2014年度工作总结
2014/11/10 职场文书
2015年九一八事变纪念活动实施方案
2015/05/06 职场文书
解决golang post文件时Content-Type出现的问题
2021/05/02 Golang
css中有哪些方式可以隐藏页面元素及区别
2022/06/16 HTML / CSS