php+ajax导入大数据时产生的问题处理


Posted in PHP onJune 11, 2014

遇到的问题就从先到后的一一说吧。

问题1 按照我最初的想法,先上传文件再读取文件。这里问题就来了,当文件较大的时候上传较慢,导致客户看到的操作一直处于等待状态,不人性化。

处理办法:我是这样做的,大神有更好的办法,求介绍。我先把文件上传上去,然后把文件存到一个特定的文件夹就叫 import吧   ,然后返回一个这个文件名字。这样就确保了文件是上传成功的。并且我可以在他返回名字的这一步用js  给客户一个提示。然后就是ajax去请求php读取文件,插入数据库。可是问题来了。

问题2 当我用ajax去请求php读取文件并插入数据库的时候,遇到一个问题,就是ajax请求总是在1min的时候,断掉。我一想 ,这应该是php的最大执行时间max_execution_time的原因吧,结果我修改为300秒。还是这样,那我就认为会不会是apache的 最大get时间max_input_time呢,我就在代码加一个 ini_set  结果,用ini_get   查看max_input_time,用ini_set设置无效,还是60秒,在网上查了很多资料,还是不知道为啥。有大神知道的,请给我回复下。菜鸟先谢过了。那没办法,我只能去服务器把php.ini配置修改了。经理说不让修改的,为了测试,偷偷改了--最后修改回来了。修改之后,测试,还是不行。还是到一分钟 就执行超时。真的很纳闷。不知道什么原因。求指教。那没办法。

这种办法行不通了,对一个5m的文件只能分行读取了。然后就是对代码的一通修改,分行读取是这样操作的,先ajax请求,然后每次读取2000条  然后对这2000条数据进行处理,插入数据库(文章最后介绍一个好用的分行读取函数)。然后每次ajax执行完,返回一个状态符,和本次读取到的行数,然后下次接着读。知道最后读取完。这中间还遇到一个问题:就是当我对每一行数据进行查重的时候遇到的,是这样的,我对得到的内容进行循环,然后查一下每行是否存在,当我判断$count是否大于0 的时候,当已存在的时候,我用continue,执行下一次循环。但是当我在导入10000条的时候,总是在8000条的时候报错说 服务器内部错误。很闷,不解问什么,结果只能用if  else代替了。纳闷。一个小提醒:插入数据库的时候 不要一条一条的插入,最好这样 inset  into  aaa(`xx`,`xxx`)values('111','111'),('222','222')。这样 速度会快很多。

php+ajax导入大数据时产生的问题处理

行号读取函数,SplFileObject这个类库真的很好用推荐。有知道我的问题的,求大神指教。

function getFileLines($filename, $startLine, $endLine, $method = 'rb'){
      $content = array();
      $filename = DATA_PATH.DS.'import' . DS . $filename;
      $count = $endLine - $startLine;
      $fp = new SplFileObject($filename, $method);
      $fp->seek($startLine); // 转到第N行, seek方法参数从0开始计数
      for ($ii = 0; $ii <= $count; ++$ii) {
            $content[] = $fp->current(); // current()获取当前行内容
            $fp->next(); // 下一行
      }
      return array_filter($content); // array_filter过滤:false,null,''
}
PHP 相关文章推荐
台湾中原大学php教程孙仲岳主讲
Jan 07 PHP
php将fileterms函数返回的结果变成可读的形式
Apr 21 PHP
PHP 数据结构 算法 三元组 Triplet
Jul 02 PHP
php制作unicode解码工具(unicode编码转换器)代码分享
Dec 24 PHP
全新Mac配置PHP开发环境教程
Feb 03 PHP
Laravel使用Caching缓存数据减轻数据库查询压力的方法
Mar 15 PHP
PHP线程的内存回收问题
Jul 08 PHP
Yii使用DeleteAll连表删除出现报错问题的解决方法
Jul 14 PHP
遍历echsop的region表形成缓存的程序实例代码
Nov 01 PHP
ajax调用返回php接口返回json数据的方法(必看篇)
May 05 PHP
PHP中一个有趣的preg_replace函数详解
Aug 15 PHP
php5.3/5.4/5.5/5.6/7常见新增特性汇总整理
Feb 27 PHP
CI框架中libraries,helpers,hooks文件夹详细说明
Jun 10 #PHP
PHP图片等比例缩放生成缩略图函数分享
Jun 10 #PHP
CI(CodeIgniter)框架中的增删改查操作
Jun 10 #PHP
PHP定时更新程序设计思路分享
Jun 10 #PHP
CI(CodeIgniter)框架配置
Jun 10 #PHP
教你如何用php实现LOL数据远程获取
Jun 10 #PHP
PHP面向对象教程之自定义类
Jun 10 #PHP
You might like
骨王战斗力在公会成员中排不进前五,却当选了会长,原因竟是这样
2020/03/02 日漫
php中$美元符号与Zen Coding冲突问题解决方法分享
2014/05/28 PHP
php构造方法中析构方法在继承中的表现
2016/04/12 PHP
PHP设计模式之装饰器模式实例详解
2018/02/07 PHP
用js实现的抽象CSS圆角效果!!
2007/05/03 Javascript
js focus不起作用的解决方法(主要是因为dom元素是否加载完成)
2010/11/05 Javascript
在一个js文件里远程调用jquery.js会在ie8下的一个奇怪问题
2010/11/28 Javascript
JavaScript之自定义类型
2012/05/04 Javascript
jquery数据验证插件(自制,简单,练手)实例代码
2013/10/24 Javascript
Query中click(),bind(),live(),delegate()的区别
2013/11/19 Javascript
javascript替换已有元素replaceChild()使用介绍
2014/04/03 Javascript
JavaScript中的函数的两种定义方式和函数变量赋值
2014/05/12 Javascript
IE中JS跳转丢失referrer问题的2个解决方法
2014/07/18 Javascript
深入理解jQuery layui分页控件的使用
2016/08/17 Javascript
关于使用axios的一些心得技巧分享
2017/07/02 Javascript
在一个页面实现两个zTree联动的方法
2017/12/20 Javascript
Node.js 使用request模块下载文件的实例
2018/09/05 Javascript
[06:16]DOTA2守卫传承者——职业选手谈心路历程
2015/02/26 DOTA
python在windows下创建隐藏窗口子进程的方法
2015/06/04 Python
Python写入数据到MP3文件中的方法
2015/07/10 Python
疯狂上涨的Python 开发者应从2.x还是3.x着手?
2017/11/16 Python
Python unittest模块用法实例分析
2018/05/25 Python
对python中的 os.mkdir和os.mkdirs详解
2018/10/16 Python
Python实现的爬取豆瓣电影信息功能案例
2019/09/15 Python
如何利用Python写个坦克大战
2020/11/18 Python
彻底弄明白CSS3的Media Queries(跨平台设计)
2010/07/27 HTML / CSS
环境工程毕业生自荐信
2013/11/17 职场文书
优秀大学生自荐信
2014/06/09 职场文书
小学生感恩老师演讲稿
2014/08/28 职场文书
文员转正自我鉴定怎么写
2014/09/29 职场文书
群众路线批评与自我批评发言稿
2014/10/16 职场文书
涉外离婚协议书怎么写
2014/11/20 职场文书
销售经理助理岗位职责
2015/04/13 职场文书
2015年妇幼卫生工作总结
2015/05/23 职场文书
聊聊Lombok中的@Builder注解使用教程
2021/11/17 Java/Android
解决Python保存文件名太长OSError: [Errno 36] File name too long
2022/05/11 Python