php笔记之:有规律大文件的读取与写入的分析


Posted in PHP onApril 26, 2013

这几天在做一个东西.研究PHP读取行数较多的文件(大概上百万行).考虑到效率问题.进行了简单的研究.总结如下

第一条.file()函数的效率问题.

file()函数的效率很底下 如果是有规律的文件.比如每行一条相应数据.那么尽量不要是用file()函数

可以使用file_get_contents()然后用explode切割.这样效率会快三分之一

举个例子:

文件样式如下:

11111\n

22222\n

33333\n

44444\n

55555\n

.....\n

nnnnnnnnnnn\n

如果用file($file)读入的话.耗时很长.

可以用如下方法explode("\n",file_get_contents($file));效率会快很多.

第二条,数组的遍历方式.

数据已经被读入数组了.下面就是遍历了.

我所需要的是确定数组中有无一个值的存在,比如说44444是否在数组中.首先想到的是in_array()

不过实验了下发现效率很低下.于是参考别人的代码想到一个办法.把数组翻转过来.变成所有值都为1.原来的值变成了索引.那么只要我在if里写($arr[索引]==1)去判断.果然效率高出很多.

在数组的遍历过程中.如果数组个头非常大,并且数组中的数据并不是全能用到的话,最好把用来遍历的数组抽出来.这样会提高很多效率.

第三条,数组的存储.

把计算过后的数据保存起来.存在一个文件中.考虑了三种方法.一种是直接写成php文件.一种是serialize,一种是json串.

第一种方式

直接写入文件<?php 连接var_export($var)连接";"连接?>保存成PHP

需要的时候直接require进来.

第二种方式.把变量serialize然后file_put_contents()进入文件.使用的时候unserialize就ok.

第三种方式和第二种类似.只不过写成了json串.

经过测试.发现第二种效率最高.第三种其次.和第二种效率不相上下.第一种最慢.和我预想的差距很大.真是大跌眼镜.

PHP 相关文章推荐
php动态生成JavaScript代码
Mar 09 PHP
php错误级别的设置方法
Jun 17 PHP
解析php中var_dump,var_export,print_r三个函数的区别
Jun 21 PHP
解析VS2010利用VS.PHP插件调试PHP的方法
Jul 19 PHP
CodeIgniter模板引擎使用实例
Jul 15 PHP
php将数组存储为文本文件方法汇总
Oct 28 PHP
php设计模式之委托模式
Feb 13 PHP
laravel-admin表单提交隐藏一些数据,回调时获取数据的方法
Oct 08 PHP
浅谈laravel5.5 belongsToMany自身的正确用法
Oct 17 PHP
yii框架结合charjs实现统计30天数据的方法
Apr 04 PHP
PHP如何通过date() 函数格式化显示时间
Nov 13 PHP
如何用Laravel包含你自己的帮助函数
May 27 PHP
php笔记之:文章中图片处理的使用
Apr 26 #PHP
php笔记之:初探PHPcms模块开发介绍
Apr 26 #PHP
input file获得文件根目录简单实现
Apr 26 #PHP
dhtmlxTree目录树增加右键菜单以及拖拽排序的实现方法
Apr 26 #PHP
php上传apk后自动提取apk包信息的使用(示例下载)
Apr 26 #PHP
关于二级目录拖拽排序的实现(源码示例下载)
Apr 26 #PHP
使用php发送有附件的电子邮件-(PHPMailer使用的实例分析)
Apr 26 #PHP
You might like
需要使用php模板的朋友必看的很多个顶级PHP模板引擎比较分析
2008/05/26 PHP
php checkbox复选框值的获取与checkbox默认值输出方法
2010/05/15 PHP
PHP+Mysql+jQuery实现发布微博程序 jQuery篇
2011/10/08 PHP
PHP调用wsdl文件类型的接口代码分享
2014/11/19 PHP
总结PHP中DateTime的常用方法
2016/08/11 PHP
php中上传文件的的解决方案
2018/09/25 PHP
javascript教程之不完整的继承(js原型链)
2014/01/13 Javascript
Seajs的学习笔记
2014/03/04 Javascript
Javascript基础教程之数据类型 (数值 Number)
2015/01/18 Javascript
js仿百度登录页实现拖动窗口效果
2016/03/11 Javascript
BootStrap 图片样式、辅助类样式和CSS组件的实例详解
2017/01/20 Javascript
angular实现表单验证及提交功能
2017/02/01 Javascript
BootStrap fileinput.js文件上传组件实例代码
2017/02/20 Javascript
nodejs结合Socket.IO实现的即时通讯功能详解
2018/01/12 NodeJs
React BootStrap用户体验框架快速上手
2018/03/06 Javascript
AngularJS使用Filter自定义过滤器控制ng-repeat去除重复功能示例
2018/04/21 Javascript
vue+Vue Router多级侧导航切换路由(页面)的实现代码
2018/12/20 Javascript
react中Suspense的使用详解
2019/09/01 Javascript
vue iview的菜单组件Mune 点击不高亮的解决方案
2019/11/01 Javascript
JS插件amCharts实现绘制柱形图默认显示数值功能示例
2019/11/26 Javascript
[43:35]EG vs Winstrike 2018国际邀请赛小组赛BO2 第一场 8.18
2018/08/19 DOTA
详解Python中的条件判断语句
2015/05/14 Python
python 系统调用的实例详解
2017/07/11 Python
详解 Python 与文件对象共事的实例
2017/09/11 Python
Python+OpenCV实现图像融合的原理及代码
2018/12/03 Python
关于Python核心框架tornado的异步协程的2种方法详解
2019/08/28 Python
完美解决pycharm 不显示代码提示问题
2020/06/02 Python
Python3使用Selenium获取session和token方法详解
2021/02/16 Python
html5 postMessage前端跨域并前端监听的方法示例
2018/11/01 HTML / CSS
Canvas高级路径操作之拖拽对象的实现
2019/08/05 HTML / CSS
彪马荷兰官网:PUMA荷兰
2019/05/08 全球购物
2014年计生标语
2014/06/23 职场文书
帮一个朋友写的求职信
2014/08/09 职场文书
background-position百分比原理详解
2021/05/08 HTML / CSS
Python中rapidjson参数校验实现
2021/07/25 Python
Netty分布式客户端处理接入事件handle源码解析
2022/03/25 Java/Android