nodejs超出最大的调用栈错误问题


Posted in NodeJs onDecember 27, 2017

今天早上老大和我说之前项目里面的那个数据要改动,要对 mongodb 中每条记录进行 update 操作,你写个脚本跑一下吧。

然后,我默默的回到电脑前,努力工作的一天又开始了。由于此表数据量有点略大,该有一千多万条记录。所以考虑使用 mongodb 的 cursor 游标来进行遍历修改。

程序实现的代码大致如下

function modify(cursor) {
  cursor.hasNext(function(err,bool) {
   if(err) {
      return console.log(err); 
    } 
    if(bool) {
      cursor.next(function(err, item){
       if(err) {
       return console.log(err);
     }
     /* 此处为对数据进行update操作 */
     // 递归调用modify方法 
     return modify(cursor);
   }); 
    }else{
      console.log('finished');
    }
  })
}
var cursor = collection.find();
modify(cursor);

然后让它慢慢跑吧,可是一个令我郁闷的事情发生了。当游标跑到接近500万的时候,程序崩了,提示Uncaught RangeError: Maximum call stack size exceeded

竟然告诉我爆栈了,什么情况? 哎,排查代码,开始填坑。发现我上面递归调用了modify() ,而且递归次数有点小多(1000多万条记录的表啊),可能是函数不断的递归调用导致它的调用栈不断的增加,然后越来越大,最终就没有然后了,爆栈了。看来得给个机会让node进行垃圾回收一下,要想让它有机会垃圾回收那就只得终结一下递归啊。使用系统的setTimeout();来跳出递归调用栈吧。

代码修改如下

function modify(cursor) { 
  cursor.hasNext(function(err,bool) {
    if(err) {
      return console.log(err); 
    }
    if(bool) {      
      cursor.next(function(err, item){
        if(err) {
          return console.log(err);
        }
        /* 此处对数据进行update操作 */
        // 递归调用modify方法 
        return setTimeout(function(){ 
              //跳出递归调用栈
              modify(cursor);
            },0);
      }); 
    }else{
      console.log('finished');
    }
  })
}
var cursor = collection.find();
modify(cursor);

在跑一下试试。。。。ok,好使了。但是运行有点慢啊,因为我每次都让它跳出递归调用栈了。这样虽然没问题但是没必要,因为400多万才会出现爆栈呢。加个计数器吧,等调用栈有点大的时候在跳出来。

var count = 0;
function modify(cursor) { 
  count++;
  cursor.hasNext(function(err,bool) {
    if(err) {
      return console.log(err); 
    }
    if(bool) {
      cursor.next(function(err, item){
        if(err) {
         return console.log(err);
        }
        /* 此处对数据进行update操作 */
        // 递归调用modify方法 
        if(count%10000 === 0) {
          return setTimeout(function(){ 
              //跳出递归调用栈
              modify(cursor);
              },0);
        }else{
          return modify(cursor);
        }    
      }); 
    }else{
      console.log('finished');
    }
  })
}
var cursor = collection.find();
modify(cursor);

总结

以上所述是小编给大家介绍的nodejs超出最大的调用栈错误问题,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

NodeJs 相关文章推荐
golang、python、php、c++、c、java、Nodejs性能对比
Mar 12 NodeJs
NodeJS url验证(url-valid)的使用方法
Nov 18 NodeJs
nodejs调用cmd命令实现复制目录
May 04 NodeJs
NodeJs——入门必看攻略
Jun 27 NodeJs
nodejs学习笔记之路由
Mar 27 NodeJs
nodejs处理图片的中间件node-images详解
May 08 NodeJs
nodejs body-parser 解析post数据实例
Jul 26 NodeJs
NVM安装nodejs的方法实用步骤
Jan 16 NodeJs
监控Nodejs的性能实例代码
Jul 02 NodeJs
5分钟教你用nodeJS手写一个mock数据服务器的方法
Sep 10 NodeJs
Nodejs监控事件循环异常示例详解
Sep 22 NodeJs
nodejs对mongodb数据库的增加修删该查实例代码
Jan 05 NodeJs
nodejs实现简单的gulp打包
Dec 21 #NodeJs
nodejs调取微信收货地址的方法
Dec 20 #NodeJs
基于nodejs实现微信支付功能
Dec 20 #NodeJs
nodeJS微信分享
Dec 20 #NodeJs
NodeJS爬虫实例之糗事百科
Dec 14 #NodeJs
nodejs实现爬取网站图片功能
Dec 14 #NodeJs
NodeJs form-data格式传输文件的方法
Dec 13 #NodeJs
You might like
实现PHP多线程异步请求的3种方法
2014/01/17 PHP
php的ZipArchive类用法实例
2014/10/20 PHP
smarty内置函数capture用法分析
2015/01/22 PHP
php preg_match的匹配不同国家语言实例
2016/12/29 PHP
PHP回调函数与匿名函数实例详解
2017/08/16 PHP
Div自动滚动到末尾的代码
2008/10/26 Javascript
js或css文件后面跟参数的原因说明
2010/01/09 Javascript
JavaScript Event学习第五章 高级事件注册模型
2010/02/07 Javascript
JavaScript学习笔记--常用的互动方法
2016/12/07 Javascript
js仿QQ邮箱收件人选择与搜索功能
2017/02/10 Javascript
基于 Immutable.js 实现撤销重做功能的实例代码
2018/03/01 Javascript
Vue模拟数据,实现路由进入商品详情页面的示例
2018/08/31 Javascript
详解react native页面间传递数据的几种方式
2018/11/07 Javascript
vue基于两个计算属性实现选中和全选功能示例
2019/02/08 Javascript
vue项目中引入vue-datepicker插件的详解
2019/05/14 Javascript
node.js通过url读取文件
2020/10/16 Javascript
[01:36:57]【09DOTA2第一视角】小骷髅
2014/04/16 DOTA
Python编程实现微信企业号文本消息推送功能示例
2017/08/21 Python
python 画图 图例自由定义方式
2020/04/17 Python
python使用dlib进行人脸检测和关键点的示例
2020/12/05 Python
详解tf.device()指定tensorflow运行的GPU或CPU设备实现
2021/02/20 Python
iKRIX意大利网上商店:男女豪华服装和配件
2019/10/09 全球购物
办公室前台岗位职责范本
2013/12/10 职场文书
大学生学业生涯规划
2014/01/05 职场文书
少年闰土教学反思
2014/02/22 职场文书
《青蛙看海》教学反思
2014/04/23 职场文书
党支部党的群众路线对照检查材料
2014/09/24 职场文书
2014年保密工作总结
2014/11/22 职场文书
高三英语复习计划
2015/01/19 职场文书
幼儿园辞职信范文
2015/02/27 职场文书
升职自荐信范文
2015/03/27 职场文书
违规违纪检讨书范文
2015/05/06 职场文书
优秀共产党员事迹材料2016
2016/02/29 职场文书
Python中常见的反爬机制及其破解方法总结
2021/06/10 Python
在 HTML 页面中使用 React的场景分析
2022/01/18 Javascript
Android开发手册自定义Switch开关按钮控件
2022/06/10 Java/Android