PHP快速按行读取CSV大文件的封装类分享(也适用于其它超大文本文件)


Posted in PHP onApril 10, 2014

CSV大文件的读取已经在前面讲述过了(PHP按行读取、处理较大CSV文件的代码实例),但是如何快速完整的操作大文件仍然还存在一些问题。

1、如何快速获取CSV大文件的总行数?

办法一:直接获取文件内容,使用换行符进行拆分得出总行数,这种办法对小文件可行,处理大文件时不可行;
办法二:使用fgets一行一行遍历,得出总行数,这种办法比办法一好一些,但大文件仍有超时的可能;
办法三:借助SplFileObject类,直接将指针定位到文件末尾,通过SplFileObject::key方法获取总行数,这种办法可行,且高效。

具体实现方法:

$csv_file = 'path/bigfile.csv';
$spl_object = new SplFileObject($csv_file, 'rb');
$spl_object->seek(filesize($csv_file));
echo $spl_object->key();

2、如何快速获取CSV大文件的数据?

仍然使用PHP的SplFileObject类,通过seek方法实现快速定位。

$csv_file = 'path/bigfile.csv';
$start = 100000;  // 从第100000行开始读取
$num = 100;    // 读取100行
$data = array();
$spl_object = new SplFileObject($csv_file, 'rb');
$spl_object->seek($start);
while ($num-- && !$spl_object->eof()) {
 $data[] = $spl_object->fgetcsv();
 $spl_object->next();
}
print_r($data);

3、综合上面两点,整理成一个csv文件读取的类:

class CsvReader {
 private $csv_file;
 private $spl_object = null;
 private $error; public function __construct($csv_file = '') {
  if($csv_file && file_exists($csv_file)) {
   $this->csv_file = $csv_file;
  }
 }
 public function set_csv_file($csv_file) {
  if(!$csv_file || !file_exists($csv_file)) {
   $this->error = 'File invalid';
   return false;
  }
  $this->csv_file = $csv_file;
  $this->spl_object = null;
 }
 public function get_csv_file() {
  return $this->csv_file;
 }
 private function _file_valid($file = '') {
  $file = $file ? $file : $this->csv_file;
  if(!$file || !file_exists($file)) {
   return false;
  }
  if(!is_readable($file)) {
   return false;
  }
  return true;
 }
 private function _open_file() {
  if(!$this->_file_valid()) {
   $this->error = 'File invalid';
   return false;
  }
  if($this->spl_object == null) {
   $this->spl_object = new SplFileObject($this->csv_file, 'rb');
  }
  return true;
 }

 public function get_data($length = 0, $start = 0) {
  if(!$this->_open_file()) {
   return false;
  }
  $length = $length ? $length : $this->get_lines();
  $start = $start - 1;
  $start = ($start < 0) ? 0 : $start;
  $data = array();
  $this->spl_object->seek($start);
  while ($length-- && !$this->spl_object->eof()) {
   $data[] = $this->spl_object->fgetcsv();
   $this->spl_object->next();
  }
  return $data;
 }
 public function get_lines() {
  if(!$this->_open_file()) {
   return false;
  }
  $this->spl_object->seek(filesize($this->csv_file));
  return $this->spl_object->key();
 }
 public function get_error() {
  return $this->error;
 }
}

调用方法如下:
include('CsvReader.class.php');
$csv_file = 'path/bigfile.csv';
$csvreader = new CsvReader($csv_file);
$line_number = $csvreader->get_lines();
$data = $csvreader->get_data(10);
 
echo $line_number, chr(10);
print_r($data);

其实,上述CsvReader类并不只针对CSV大文件,对于其他文本类型的大文件或超大文件同样可用,前提是将类中fgetcsv方法稍加改动为current即可。

 

 

PHP 相关文章推荐
php ignore_user_abort与register_shutdown_function 使用方法
Jun 14 PHP
php下连接mssql2005的代码
Jan 17 PHP
PHP 数据结构 算法描述 冒泡排序 bubble sort
Jul 10 PHP
PHP测试程序运行时间的类
Feb 05 PHP
php调整gif动画图片尺寸示例代码分享
Dec 05 PHP
PHP实现的带超时功能get_headers函数
Feb 10 PHP
php实现只保留mysql中最新1000条记录
Jun 18 PHP
在WordPress的后台中添加顶级菜单和子菜单的函数详解
Jan 11 PHP
php将服务端的文件读出来显示在web页面实例
Oct 31 PHP
PHP 断点续传实例详解
Nov 11 PHP
PHP session垃圾回收机制实例分析
Jun 28 PHP
解决php extension 加载顺序问题
Aug 16 PHP
php实现批量下载百度云盘文件例子分享
Apr 10 #PHP
PHP图片等比缩放类SimpleImage使用方法和使用实例分享
Apr 10 #PHP
PHP按行读取、处理较大CSV文件的代码实例
Apr 09 #PHP
PHP二维数组排序的3种方法和自定义函数分享
Apr 09 #PHP
php计算几分钟前、几小时前、几天前的几个函数、类分享
Apr 09 #PHP
PHP扩展模块Pecl、Pear以及Perl的区别
Apr 09 #PHP
排序算法之PHP版快速排序、冒泡排序
Apr 09 #PHP
You might like
法压式咖啡之制作法
2021/03/03 冲泡冲煮
通过ODBC连接的SQL SERVER实例
2006/10/09 PHP
鸡肋的PHP单例模式应用详解
2013/06/03 PHP
php上传文件并存储到mysql数据库的方法
2015/03/16 PHP
PHP微信模板消息操作示例
2017/06/29 PHP
javascript 拖动表格行实现代码
2011/05/05 Javascript
jquery mobile页面跳转后样式丢失js失效的解决方法
2014/09/06 Javascript
使用JS画图之点、线、面
2015/01/12 Javascript
JavaScript中的对象继承关系
2016/08/01 Javascript
jquery popupDialog 使用 加载jsp页面的方法
2016/10/25 Javascript
AngularJS通过ng-route实现基本的路由功能实例详解
2016/12/13 Javascript
Angular.js实现注册系统的实例详解
2016/12/18 Javascript
Vue filters过滤器的使用方法
2017/07/14 Javascript
js下拉菜单生成器dropMenu使用方法详解
2017/08/01 Javascript
Element-ui table中过滤条件变更表格内容的方法
2018/03/02 Javascript
小程序如何获取多个formId实现详解
2019/09/20 Javascript
详解JavaScript中new操作符的解析和实现
2020/09/04 Javascript
[50:04]DOTA2上海特级锦标赛D组小组赛#2 Liquid VS VP第二局
2016/02/28 DOTA
python Django框架实现自定义表单提交
2016/03/25 Python
Linux中Python 环境软件包安装步骤
2016/03/31 Python
详解Python函数可变参数定义及其参数传递方式
2017/08/02 Python
Java及python正则表达式详解
2017/12/27 Python
基于数据归一化以及Python实现方式
2018/07/11 Python
python与caffe改变通道顺序的方法
2018/08/04 Python
Python实现多属性排序的方法
2018/12/05 Python
浅谈Python的方法解析顺序(MRO)
2020/03/05 Python
html5调用app分享功能示例(WebViewJavascriptBridge)
2018/03/21 HTML / CSS
亚洲最大的眼镜批发商和零售商之一:Glasseslit
2018/10/08 全球购物
Linux机考试题
2015/10/16 面试题
教学质量评估实施方案
2014/03/17 职场文书
《蝙蝠和雷达》教学反思
2014/04/23 职场文书
煤矿安全承诺书
2014/05/22 职场文书
奖学金主要事迹范文
2015/11/04 职场文书
党员心得体会范文2016
2016/01/23 职场文书
详解Java实践之适配器模式
2021/06/18 Java/Android
Nginx使用ngx_http_upstream_module实现负载均衡功能示例
2022/08/05 Servers