nodejs超出最大的调用栈错误问题


Posted in NodeJs onDecember 27, 2017

今天早上老大和我说之前项目里面的那个数据要改动,要对 mongodb 中每条记录进行 update 操作,你写个脚本跑一下吧。

然后,我默默的回到电脑前,努力工作的一天又开始了。由于此表数据量有点略大,该有一千多万条记录。所以考虑使用 mongodb 的 cursor 游标来进行遍历修改。

程序实现的代码大致如下

function modify(cursor) {
  cursor.hasNext(function(err,bool) {
   if(err) {
      return console.log(err); 
    } 
    if(bool) {
      cursor.next(function(err, item){
       if(err) {
       return console.log(err);
     }
     /* 此处为对数据进行update操作 */
     // 递归调用modify方法 
     return modify(cursor);
   }); 
    }else{
      console.log('finished');
    }
  })
}
var cursor = collection.find();
modify(cursor);

然后让它慢慢跑吧,可是一个令我郁闷的事情发生了。当游标跑到接近500万的时候,程序崩了,提示Uncaught RangeError: Maximum call stack size exceeded

竟然告诉我爆栈了,什么情况? 哎,排查代码,开始填坑。发现我上面递归调用了modify() ,而且递归次数有点小多(1000多万条记录的表啊),可能是函数不断的递归调用导致它的调用栈不断的增加,然后越来越大,最终就没有然后了,爆栈了。看来得给个机会让node进行垃圾回收一下,要想让它有机会垃圾回收那就只得终结一下递归啊。使用系统的setTimeout();来跳出递归调用栈吧。

代码修改如下

function modify(cursor) { 
  cursor.hasNext(function(err,bool) {
    if(err) {
      return console.log(err); 
    }
    if(bool) {      
      cursor.next(function(err, item){
        if(err) {
          return console.log(err);
        }
        /* 此处对数据进行update操作 */
        // 递归调用modify方法 
        return setTimeout(function(){ 
              //跳出递归调用栈
              modify(cursor);
            },0);
      }); 
    }else{
      console.log('finished');
    }
  })
}
var cursor = collection.find();
modify(cursor);

在跑一下试试。。。。ok,好使了。但是运行有点慢啊,因为我每次都让它跳出递归调用栈了。这样虽然没问题但是没必要,因为400多万才会出现爆栈呢。加个计数器吧,等调用栈有点大的时候在跳出来。

var count = 0;
function modify(cursor) { 
  count++;
  cursor.hasNext(function(err,bool) {
    if(err) {
      return console.log(err); 
    }
    if(bool) {
      cursor.next(function(err, item){
        if(err) {
         return console.log(err);
        }
        /* 此处对数据进行update操作 */
        // 递归调用modify方法 
        if(count%10000 === 0) {
          return setTimeout(function(){ 
              //跳出递归调用栈
              modify(cursor);
              },0);
        }else{
          return modify(cursor);
        }    
      }); 
    }else{
      console.log('finished');
    }
  })
}
var cursor = collection.find();
modify(cursor);

总结

以上所述是小编给大家介绍的nodejs超出最大的调用栈错误问题,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

NodeJs 相关文章推荐
nodejs实用示例 缩址还原
Dec 28 NodeJs
基于NodeJS的前后端分离的思考与实践(二)模版探索
Sep 26 NodeJs
nodejs教程之异步I/O
Nov 21 NodeJs
nodejs中操作mysql数据库示例
Dec 20 NodeJs
Nodejs关于gzip/deflate压缩详解
Mar 04 NodeJs
nodejs中实现阻塞实例
Mar 24 NodeJs
Nodejs学习item【入门手上】
May 05 NodeJs
浅谈Nodejs中的作用域问题
Dec 26 NodeJs
详解nodejs微信公众号开发——6.自定义菜单
Apr 13 NodeJs
Nodejs+angularjs结合multiparty实现多图片上传的示例代码
Sep 29 NodeJs
基于nodejs实现微信支付功能
Dec 20 NodeJs
NodeJS加密解密及node-rsa加密解密用法详解
Oct 12 NodeJs
nodejs实现简单的gulp打包
Dec 21 #NodeJs
nodejs调取微信收货地址的方法
Dec 20 #NodeJs
基于nodejs实现微信支付功能
Dec 20 #NodeJs
nodeJS微信分享
Dec 20 #NodeJs
NodeJS爬虫实例之糗事百科
Dec 14 #NodeJs
nodejs实现爬取网站图片功能
Dec 14 #NodeJs
NodeJs form-data格式传输文件的方法
Dec 13 #NodeJs
You might like
PHP 截取字符串函数整理(支持gb2312和utf-8)
2010/02/16 PHP
php超快高效率统计大文件行数
2015/07/05 PHP
PHP表单数据写入MySQL数据库的代码
2016/05/31 PHP
javascript dom 基本操作小结
2010/04/11 Javascript
初窥JQuery(一)jquery选择符 必备知识点
2010/11/25 Javascript
纯JS实现五子棋游戏兼容各浏览器(附源码)
2013/04/24 Javascript
node.js中Socket.IO的进阶使用技巧
2014/11/04 Javascript
14款经典网页图片和文字特效的jQuery插件-前端开发必备
2015/08/25 Javascript
AngularJs实现ng1.3+表单验证
2015/12/10 Javascript
js获取url传值的方法
2015/12/18 Javascript
学习JavaScript设计模式之状态模式
2016/01/08 Javascript
Bootstrap模态框插入视频的实现代码
2017/06/25 Javascript
详解webpack自动生成html页面
2017/06/29 Javascript
使用AngularJS编写多选按钮选中时触发指定方法的指令代码详解
2017/07/24 Javascript
react-native封装插件swiper的使用方法
2018/03/20 Javascript
Vue2.0 实现歌手列表滚动及右侧快速入口功能
2018/08/08 Javascript
vue根据进入的路由进行原路返回的方法
2018/09/26 Javascript
微信小程序wepy框架学习和使用心得详解
2019/05/24 Javascript
layer.alert自定义关闭回调事件的方法
2019/09/27 Javascript
vue简单封装axios插件和接口的统一管理操作示例
2020/02/02 Javascript
Python获取脚本所在目录的正确方法
2014/04/15 Python
浅谈python中截取字符函数strip,lstrip,rstrip
2015/07/17 Python
Python基于回溯法子集树模板实现图的遍历功能示例
2017/09/05 Python
selenium+python自动化测试之页面元素定位
2019/01/23 Python
详解【python】str与json类型转换
2019/04/29 Python
用Python将Excel数据导入到SQL Server的例子
2019/08/24 Python
tensorflow:指定gpu 限制使用量百分比,设置最小使用量的实现
2020/02/06 Python
python 深度学习中的4种激活函数
2020/09/18 Python
吃透移动端 1px的具体用法
2019/12/16 HTML / CSS
HolidayLettings英国:预订最好的度假公寓、别墅和自助式住宿
2019/08/27 全球购物
什么是URL
2015/12/13 面试题
机械设计及其自动化专业推荐信
2013/10/31 职场文书
庆七一宣传标语
2014/10/08 职场文书
电影焦裕禄观后感
2015/06/09 职场文书
2016新年问候语大全
2015/11/11 职场文书
手写Spirit防抖函数underscore和节流函数lodash
2022/03/22 Javascript