php+ajax导入大数据时产生的问题处理


Posted in PHP onJune 11, 2014

遇到的问题就从先到后的一一说吧。

问题1 按照我最初的想法,先上传文件再读取文件。这里问题就来了,当文件较大的时候上传较慢,导致客户看到的操作一直处于等待状态,不人性化。

处理办法:我是这样做的,大神有更好的办法,求介绍。我先把文件上传上去,然后把文件存到一个特定的文件夹就叫 import吧   ,然后返回一个这个文件名字。这样就确保了文件是上传成功的。并且我可以在他返回名字的这一步用js  给客户一个提示。然后就是ajax去请求php读取文件,插入数据库。可是问题来了。

问题2 当我用ajax去请求php读取文件并插入数据库的时候,遇到一个问题,就是ajax请求总是在1min的时候,断掉。我一想 ,这应该是php的最大执行时间max_execution_time的原因吧,结果我修改为300秒。还是这样,那我就认为会不会是apache的 最大get时间max_input_time呢,我就在代码加一个 ini_set  结果,用ini_get   查看max_input_time,用ini_set设置无效,还是60秒,在网上查了很多资料,还是不知道为啥。有大神知道的,请给我回复下。菜鸟先谢过了。那没办法,我只能去服务器把php.ini配置修改了。经理说不让修改的,为了测试,偷偷改了--最后修改回来了。修改之后,测试,还是不行。还是到一分钟 就执行超时。真的很纳闷。不知道什么原因。求指教。那没办法。

这种办法行不通了,对一个5m的文件只能分行读取了。然后就是对代码的一通修改,分行读取是这样操作的,先ajax请求,然后每次读取2000条  然后对这2000条数据进行处理,插入数据库(文章最后介绍一个好用的分行读取函数)。然后每次ajax执行完,返回一个状态符,和本次读取到的行数,然后下次接着读。知道最后读取完。这中间还遇到一个问题:就是当我对每一行数据进行查重的时候遇到的,是这样的,我对得到的内容进行循环,然后查一下每行是否存在,当我判断$count是否大于0 的时候,当已存在的时候,我用continue,执行下一次循环。但是当我在导入10000条的时候,总是在8000条的时候报错说 服务器内部错误。很闷,不解问什么,结果只能用if  else代替了。纳闷。一个小提醒:插入数据库的时候 不要一条一条的插入,最好这样 inset  into  aaa(`xx`,`xxx`)values('111','111'),('222','222')。这样 速度会快很多。

php+ajax导入大数据时产生的问题处理

行号读取函数,SplFileObject这个类库真的很好用推荐。有知道我的问题的,求大神指教。

function getFileLines($filename, $startLine, $endLine, $method = 'rb'){
      $content = array();
      $filename = DATA_PATH.DS.'import' . DS . $filename;
      $count = $endLine - $startLine;
      $fp = new SplFileObject($filename, $method);
      $fp->seek($startLine); // 转到第N行, seek方法参数从0开始计数
      for ($ii = 0; $ii <= $count; ++$ii) {
            $content[] = $fp->current(); // current()获取当前行内容
            $fp->next(); // 下一行
      }
      return array_filter($content); // array_filter过滤:false,null,''
}
PHP 相关文章推荐
PHP 常见郁闷问题答解
Nov 25 PHP
php array_merge下进行数组合并的代码
Jul 22 PHP
PHP clearstatcache()函数详解
Mar 02 PHP
完美解决PHP中的Cannot modify header information 问题
Aug 12 PHP
PHP实现返回JSON和XML的类分享
Jan 28 PHP
PHP的cURL库简介及使用示例
Feb 06 PHP
PHP防盗链的基本思想 防盗链的设置方法
Sep 25 PHP
Yii2隐藏frontend/web和backend/web的方法
Dec 12 PHP
详解WordPress开发中wp_title()函数的用法
Jan 07 PHP
php数据库的增删改查 php与javascript之间的交互
Aug 31 PHP
PHP实现基于栈的后缀表达式求值功能
Nov 10 PHP
PHP Swoole异步读取、写入文件操作示例
Oct 24 PHP
CI框架中libraries,helpers,hooks文件夹详细说明
Jun 10 #PHP
PHP图片等比例缩放生成缩略图函数分享
Jun 10 #PHP
CI(CodeIgniter)框架中的增删改查操作
Jun 10 #PHP
PHP定时更新程序设计思路分享
Jun 10 #PHP
CI(CodeIgniter)框架配置
Jun 10 #PHP
教你如何用php实现LOL数据远程获取
Jun 10 #PHP
PHP面向对象教程之自定义类
Jun 10 #PHP
You might like
用PHP4访问Oracle815
2006/10/09 PHP
php垃圾代码优化操作代码
2010/08/05 PHP
通达OA公共代码 php常用检测函数
2011/12/14 PHP
PHP_NETWORK_GETADDRESSES: GETADDRINFO FAILED问题解决办法
2014/05/04 PHP
PHP中使用gettext解决国际化问题的例子(i18n)
2014/06/13 PHP
php截取字符串函数分享
2015/02/02 PHP
php 基础函数
2017/02/10 PHP
thinkphp5 加载静态资源路径与常量的方法
2017/12/24 PHP
在Javascript中为String对象添加trim,ltrim,rtrim方法
2006/09/22 Javascript
jQuery插件Tooltipster实现漂亮的工具提示
2015/04/12 Javascript
基于JS实现导航条flash导航条
2016/06/17 Javascript
javascript数字验证的实例代码(推荐)
2016/08/20 Javascript
微信小程序 UI与容器组件总结
2017/02/21 Javascript
深入理解Vue transition源码分析
2017/07/30 Javascript
zTree节点文字过多的处理方法
2017/11/24 Javascript
swiper插件自定义切换箭头按钮
2017/12/28 Javascript
如何解决React官方脚手架不支持Less的问题(小结)
2018/09/12 Javascript
element表格翻页第2页从1开始编号(后端从0开始分页)
2019/12/10 Javascript
Jquery+AJAX实现无刷新上传并重命名文件操作示例【PHP后台接收】
2020/05/29 jQuery
如何手写简易的 Vue Router
2020/10/10 Javascript
Vue 实现拨打电话操作
2020/11/16 Javascript
python实现从网络下载文件并获得文件大小及类型的方法
2015/04/28 Python
基于Python log 的正确打开方式
2018/04/28 Python
对python pandas读取剪贴板内容的方法详解
2019/01/24 Python
Python实现非正太分布的异常值检测方式
2019/12/09 Python
pandas DataFrame 数据选取,修改,切片的实现
2020/04/24 Python
HTML5新表单元素_动力节点Java学院整理
2017/07/12 HTML / CSS
HTML5: Web 标准最巨大的飞跃
2008/10/17 HTML / CSS
浅析canvas元素的html尺寸和css尺寸对元素视觉的影响
2019/07/22 HTML / CSS
大门门卫岗位职责
2013/11/30 职场文书
社区庆八一活动方案
2014/02/02 职场文书
高校教师自荐信范文
2014/03/13 职场文书
领导干部廉政自律承诺书
2014/05/26 职场文书
工作证明格式及范本
2014/09/12 职场文书
劳动模范获奖感言
2015/07/31 职场文书
Echarts如何重新渲染实例详解
2022/05/30 Javascript