php+ajax导入大数据时产生的问题处理


Posted in PHP onJune 11, 2014

遇到的问题就从先到后的一一说吧。

问题1 按照我最初的想法,先上传文件再读取文件。这里问题就来了,当文件较大的时候上传较慢,导致客户看到的操作一直处于等待状态,不人性化。

处理办法:我是这样做的,大神有更好的办法,求介绍。我先把文件上传上去,然后把文件存到一个特定的文件夹就叫 import吧   ,然后返回一个这个文件名字。这样就确保了文件是上传成功的。并且我可以在他返回名字的这一步用js  给客户一个提示。然后就是ajax去请求php读取文件,插入数据库。可是问题来了。

问题2 当我用ajax去请求php读取文件并插入数据库的时候,遇到一个问题,就是ajax请求总是在1min的时候,断掉。我一想 ,这应该是php的最大执行时间max_execution_time的原因吧,结果我修改为300秒。还是这样,那我就认为会不会是apache的 最大get时间max_input_time呢,我就在代码加一个 ini_set  结果,用ini_get   查看max_input_time,用ini_set设置无效,还是60秒,在网上查了很多资料,还是不知道为啥。有大神知道的,请给我回复下。菜鸟先谢过了。那没办法,我只能去服务器把php.ini配置修改了。经理说不让修改的,为了测试,偷偷改了--最后修改回来了。修改之后,测试,还是不行。还是到一分钟 就执行超时。真的很纳闷。不知道什么原因。求指教。那没办法。

这种办法行不通了,对一个5m的文件只能分行读取了。然后就是对代码的一通修改,分行读取是这样操作的,先ajax请求,然后每次读取2000条  然后对这2000条数据进行处理,插入数据库(文章最后介绍一个好用的分行读取函数)。然后每次ajax执行完,返回一个状态符,和本次读取到的行数,然后下次接着读。知道最后读取完。这中间还遇到一个问题:就是当我对每一行数据进行查重的时候遇到的,是这样的,我对得到的内容进行循环,然后查一下每行是否存在,当我判断$count是否大于0 的时候,当已存在的时候,我用continue,执行下一次循环。但是当我在导入10000条的时候,总是在8000条的时候报错说 服务器内部错误。很闷,不解问什么,结果只能用if  else代替了。纳闷。一个小提醒:插入数据库的时候 不要一条一条的插入,最好这样 inset  into  aaa(`xx`,`xxx`)values('111','111'),('222','222')。这样 速度会快很多。

php+ajax导入大数据时产生的问题处理

行号读取函数,SplFileObject这个类库真的很好用推荐。有知道我的问题的,求大神指教。

function getFileLines($filename, $startLine, $endLine, $method = 'rb'){
      $content = array();
      $filename = DATA_PATH.DS.'import' . DS . $filename;
      $count = $endLine - $startLine;
      $fp = new SplFileObject($filename, $method);
      $fp->seek($startLine); // 转到第N行, seek方法参数从0开始计数
      for ($ii = 0; $ii <= $count; ++$ii) {
            $content[] = $fp->current(); // current()获取当前行内容
            $fp->next(); // 下一行
      }
      return array_filter($content); // array_filter过滤:false,null,''
}
PHP 相关文章推荐
PHP的宝库目录--PEAR
Oct 09 PHP
PHP中实现图片的锐化
Oct 09 PHP
PHP备份/还原MySQL数据库的代码
Jan 06 PHP
探讨:如何通过stats命令分析Memcached的内部状态
Jun 14 PHP
PHP生成Gif图片验证码
Oct 27 PHP
PHP判断是否有Get参数的方法
May 05 PHP
Windows中使用计划任务自动执行PHP程序实例
May 09 PHP
PHP基于yii框架实现生成ICO图标
Nov 13 PHP
PHP jQuery+Ajax结合写批量删除功能
May 19 PHP
PHP实现的Redis多库选择功能单例类
Jul 27 PHP
PHP大文件分片上传的实现方法
Oct 28 PHP
laravel添加角色和模糊搜索功能的实现代码
Jun 22 PHP
CI框架中libraries,helpers,hooks文件夹详细说明
Jun 10 #PHP
PHP图片等比例缩放生成缩略图函数分享
Jun 10 #PHP
CI(CodeIgniter)框架中的增删改查操作
Jun 10 #PHP
PHP定时更新程序设计思路分享
Jun 10 #PHP
CI(CodeIgniter)框架配置
Jun 10 #PHP
教你如何用php实现LOL数据远程获取
Jun 10 #PHP
PHP面向对象教程之自定义类
Jun 10 #PHP
You might like
PHP5中GD库生成图形验证码(有汉字)
2013/07/28 PHP
PHP session文件独占锁引起阻塞问题解决方法
2015/05/12 PHP
javascript 多种搜索引擎集成的页面实现代码
2010/01/02 Javascript
javascript 另一种图片滚动切换效果思路
2012/04/20 Javascript
JS 各种网页尺寸判断实例方法
2013/04/18 Javascript
JS Replace()的高级使用方法介绍
2013/06/29 Javascript
jQuery 借助插件Lavalamp实现导航条动态美化效果
2013/09/27 Javascript
详解nodejs微信公众号开发——2.自动回复
2017/04/10 NodeJs
vue之nextTick全面解析
2017/05/17 Javascript
深入理解Nodejs Global 模块
2017/06/03 NodeJs
Javascript中Promise的四种常用方法总结
2017/07/14 Javascript
使用MUI框架模拟手机端的下拉刷新和上拉加载功能
2017/09/04 Javascript
JS实现的找零张数最小问题示例
2017/11/28 Javascript
vue-cli3.0使用及部分配置详解
2018/08/29 Javascript
vuex2中使用mapGetters/mapActions报错的解决方法
2018/10/20 Javascript
详解vue中使用protobuf踩坑记
2019/05/07 Javascript
使vue实现jQuery调用的两种方法
2019/05/12 jQuery
JS去除字符串最后的逗号实例分析【四种方法】
2019/06/20 Javascript
node读写Excel操作实例分析
2019/11/06 Javascript
element实现合并单元格通用方法
2019/11/13 Javascript
JavaScript图片旋转效果实现方法详解
2020/06/28 Javascript
vue Treeselect下拉树只能选择第N级元素实现代码
2020/08/31 Javascript
Vue中使用JsonView来展示Json树的实例代码
2020/11/16 Javascript
Python保存MongoDB上的文件到本地的方法
2016/03/16 Python
python实现电子书翻页小程序
2019/07/23 Python
Python 实现使用空值进行赋值 None
2020/03/12 Python
python 利用zmail库发送邮件
2020/09/11 Python
2014社区三八妇女节活动总结
2014/03/01 职场文书
工艺工程师岗位职责
2014/03/04 职场文书
2014年国庆节活动总结
2014/08/26 职场文书
2014审计局领导班子民主生活会对照检查材料思想汇报
2014/09/20 职场文书
心理健康教育主题班会
2015/08/13 职场文书
2016年国庆节新闻稿范文
2015/11/25 职场文书
五年级作文之学校的四季
2019/12/05 职场文书
2020年元旦祝福语录,总有适合你的
2019/12/31 职场文书
电频谱管理的原则是什么
2022/02/18 无线电