PHP快速按行读取CSV大文件的封装类分享(也适用于其它超大文本文件)


Posted in PHP onApril 10, 2014

CSV大文件的读取已经在前面讲述过了(PHP按行读取、处理较大CSV文件的代码实例),但是如何快速完整的操作大文件仍然还存在一些问题。

1、如何快速获取CSV大文件的总行数?

办法一:直接获取文件内容,使用换行符进行拆分得出总行数,这种办法对小文件可行,处理大文件时不可行;
办法二:使用fgets一行一行遍历,得出总行数,这种办法比办法一好一些,但大文件仍有超时的可能;
办法三:借助SplFileObject类,直接将指针定位到文件末尾,通过SplFileObject::key方法获取总行数,这种办法可行,且高效。

具体实现方法:

$csv_file = 'path/bigfile.csv';
$spl_object = new SplFileObject($csv_file, 'rb');
$spl_object->seek(filesize($csv_file));
echo $spl_object->key();

2、如何快速获取CSV大文件的数据?

仍然使用PHP的SplFileObject类,通过seek方法实现快速定位。

$csv_file = 'path/bigfile.csv';
$start = 100000;  // 从第100000行开始读取
$num = 100;    // 读取100行
$data = array();
$spl_object = new SplFileObject($csv_file, 'rb');
$spl_object->seek($start);
while ($num-- && !$spl_object->eof()) {
 $data[] = $spl_object->fgetcsv();
 $spl_object->next();
}
print_r($data);

3、综合上面两点,整理成一个csv文件读取的类:

class CsvReader {
 private $csv_file;
 private $spl_object = null;
 private $error; public function __construct($csv_file = '') {
  if($csv_file && file_exists($csv_file)) {
   $this->csv_file = $csv_file;
  }
 }
 public function set_csv_file($csv_file) {
  if(!$csv_file || !file_exists($csv_file)) {
   $this->error = 'File invalid';
   return false;
  }
  $this->csv_file = $csv_file;
  $this->spl_object = null;
 }
 public function get_csv_file() {
  return $this->csv_file;
 }
 private function _file_valid($file = '') {
  $file = $file ? $file : $this->csv_file;
  if(!$file || !file_exists($file)) {
   return false;
  }
  if(!is_readable($file)) {
   return false;
  }
  return true;
 }
 private function _open_file() {
  if(!$this->_file_valid()) {
   $this->error = 'File invalid';
   return false;
  }
  if($this->spl_object == null) {
   $this->spl_object = new SplFileObject($this->csv_file, 'rb');
  }
  return true;
 }

 public function get_data($length = 0, $start = 0) {
  if(!$this->_open_file()) {
   return false;
  }
  $length = $length ? $length : $this->get_lines();
  $start = $start - 1;
  $start = ($start < 0) ? 0 : $start;
  $data = array();
  $this->spl_object->seek($start);
  while ($length-- && !$this->spl_object->eof()) {
   $data[] = $this->spl_object->fgetcsv();
   $this->spl_object->next();
  }
  return $data;
 }
 public function get_lines() {
  if(!$this->_open_file()) {
   return false;
  }
  $this->spl_object->seek(filesize($this->csv_file));
  return $this->spl_object->key();
 }
 public function get_error() {
  return $this->error;
 }
}

调用方法如下:
include('CsvReader.class.php');
$csv_file = 'path/bigfile.csv';
$csvreader = new CsvReader($csv_file);
$line_number = $csvreader->get_lines();
$data = $csvreader->get_data(10);
 
echo $line_number, chr(10);
print_r($data);

其实,上述CsvReader类并不只针对CSV大文件,对于其他文本类型的大文件或超大文件同样可用,前提是将类中fgetcsv方法稍加改动为current即可。

 

 

PHP 相关文章推荐
如何在WIN2K下安装PHP4.04
Oct 09 PHP
NO3第三帝国留言簿制作过程
Oct 09 PHP
PHP 数组实例说明
Aug 18 PHP
PHP文件上传原理简单分析
May 29 PHP
PHP IF ELSE简化/三元一次式的使用
Aug 22 PHP
phpstrom使用xdebug配置方法
Dec 17 PHP
PHP Curl模拟登录微信公众平台、新浪微博实例代码
Jan 28 PHP
Windows 下安装 swoole 图文教程(php)
Jun 05 PHP
thinkPHP利用ajax异步上传图片并显示、删除的示例
Sep 26 PHP
ThinkPHP5.1表单令牌Token失效问题的解决
Mar 22 PHP
PHP中str_split()函数的用法讲解
Apr 11 PHP
浅谈laravel框架与thinkPHP框架的区别
Oct 23 PHP
php实现批量下载百度云盘文件例子分享
Apr 10 #PHP
PHP图片等比缩放类SimpleImage使用方法和使用实例分享
Apr 10 #PHP
PHP按行读取、处理较大CSV文件的代码实例
Apr 09 #PHP
PHP二维数组排序的3种方法和自定义函数分享
Apr 09 #PHP
php计算几分钟前、几小时前、几天前的几个函数、类分享
Apr 09 #PHP
PHP扩展模块Pecl、Pear以及Perl的区别
Apr 09 #PHP
排序算法之PHP版快速排序、冒泡排序
Apr 09 #PHP
You might like
PHP输出数组中重名的元素的几种处理方法
2012/09/05 PHP
ThinkPHP模板替换与系统常量及应用实例教程
2014/08/22 PHP
PHP 实现判断用户是否手机访问
2015/01/21 PHP
PHP中判断文件存在使用is_file还是file_exists?
2015/04/03 PHP
PHP 将dataurl转成图片image方法总结
2016/10/14 PHP
PHP输出Excel PHPExcel的方法
2018/07/26 PHP
js模仿jquery的写法示例代码
2013/06/16 Javascript
javascript遍历控件实例详细解析
2014/01/10 Javascript
jquery的clone方法应用于textarea和select的bug修复
2014/06/26 Javascript
学习JavaScript设计模式(接口)
2015/11/26 Javascript
jquery实现拖动效果
2016/08/10 Javascript
jQuery弹出层插件popShow(改进版)用法示例
2017/01/23 Javascript
用file标签实现多图文件上传预览
2017/02/14 Javascript
详解Vue路由History mode模式中页面无法渲染的原因及解决
2017/09/28 Javascript
node.js的exports、module.exports与ES6的export、export default深入详解
2017/10/26 Javascript
解析Vue2 dist 目录下各个文件的区别
2017/11/22 Javascript
用React-Native+Mobx做一个迷你水果商城APP(附源码)
2017/12/25 Javascript
JS控制鼠标拒绝点击某一按钮的实例
2017/12/29 Javascript
jQuery实现鼠标移到某个对象时弹出显示层功能
2018/08/23 jQuery
JS面试题中深拷贝的实现讲解
2020/05/07 Javascript
可拖拽组件slider.js使用方法详解
2020/12/04 Javascript
vue使用element-ui实现表单验证
2020/12/13 Vue.js
Python函数返回值实例分析
2015/06/08 Python
Python利用Nagios增加微信报警通知的功能
2016/02/18 Python
Cython编译python为so 代码加密示例
2019/12/23 Python
荷兰多品牌网上鞋店:Stoute Schoenen
2017/08/24 全球购物
旧时光糖果:Old Time Candy
2018/02/05 全球购物
法国高保真音响和家庭影院商店:Son Video
2019/04/26 全球购物
英国领先的鞋类零售商和顶级品牌的官方零售商:Wynsors
2020/02/17 全球购物
毕业生自我鉴定范文
2013/11/08 职场文书
电子信息专业应届生自荐信
2014/06/04 职场文书
党员个人批评与自我批评
2014/10/14 职场文书
青年教师个人总结
2015/02/11 职场文书
2015年清明节网上祭英烈活动总结
2015/03/26 职场文书
2016年大学迎新晚会工作总结
2015/10/15 职场文书
Android Rxjava3 使用场景详解
2022/04/07 Java/Android