详解Nodejs内存治理


Posted in NodeJs onMay 13, 2018

s运行的宿主环境不同,相应的对内存治理的要求也不一样,当宿主环境是浏览器时,由于网页的运行时间短,且只运行在用户的机器上(相当于分布式),即使内存使用过多或者存在一定的内存泄漏,也并不会对终端用户产生太大的影响。当宿主环境编程服务器(Node)时,情况就大不相同了,本身代码运行在固定的几台机器(集中式)上,而且运行的时间是长时间运行,一旦内存治理不好出现了内存膨胀甚至是内存泄漏的情况的话,就会出现服务器端响应时间变长甚至是服务crash的情况。

Nodejs是基于V8构建的,所以在Node中使用的JavaScript对象基本上(Buffer就不是)都是通过V8来进行分配和管理的。V8在占用内存大小上做了限制(64位操作系统,单个Node进程可使用的最大堆内存大小约为1.5GB)。即使服务器的内存很大,但是由于V8的这种限制,导致Node无法充分利用服务器的资源。即便如此,为什么V8要做这样的限制呢?做这样限制的原因其实是与垃圾回收机制相关,以1.5GB的垃圾回收堆内存堆为例,V8做一次小的垃圾回收需要50ms以上,做一次全量的垃圾回收甚至要1s以上,要知道垃圾回收过程中JavaScript线程是要处于暂停执行的状态,太长的暂行时间对于后端服务的性能是会产生较大影响的,所以出于这方面考虑,V8对堆内存做了限制。即便如此,V8还是提供了可以自定义堆内存大小的方式(--max-old-pace-size),old-space代表老生代、new-space代表新生代。

node --max-old-space-size=xxx index.js //单位为MB
// 之前还可以通过-max-new-space-size来定义新生代堆大小,现在已经不可以了

当由于内存泄漏导致服务器一直频繁重启的时候,建议先调大堆内存大小来为定位问题争取时间,毕竟服务响应慢总比直接返回错误页对于用户而言会更好接受一点。

为什么需要老生代和新生代?

老生代和新生代其实是分代式垃圾回收机制里面的不同的分代,因为没有一种垃圾回收算法能够胜任所有的场景,不同的对象生存周期其实需要不同的回收策略才能达到最好的效果,所以V8采用分代式垃圾回收机制,降对象按的存活时间进行不同的分代,然后对不同分代(新生代、老生代)的内存施以更适合也更好的算法。

新生代中的对象存活时间较短,而老生代中的对象存活时间较长甚至是常驻内存。基于此所以设计的新生代的内存普遍要比老生代的内存小很多,V8中新生代最大内存是32M(64位系统为例),老生代最大内存是1400MB。V8实际使用的堆内存大小是新生代+老生代所用内存之和(1432MB),但是V8最大值其实是比使用的内存对大小额外大了32M(1464MB)

新生代如何做垃圾回收?

新生代的采用名叫Scavenge的垃圾回收算法。在Scavenge的具体实现中,主要采用了Cheney算法,Cheney算法通过将新生代堆一分为二,一个使用(From semispace),一个空闲(To semispace)。创建对象的时候,现在From空间中进行分配,当需要进行垃圾回收时,就检查From空间中的存活对象,然后将存活的对象拷贝到To空间,同时清空From空间,并将From和To互换,整个垃圾回收过程中就是将存活对象在两个seispace之间进行复制。对于生命周期短的场景存活对象在整个对象中占比较小,所以Scavenge采用的是复制存活的对象,但是Scavenge只能利用堆内存一半的空间,这是典型的用空间换时间的体现。

当一个对象经过多次垃圾回收依然存活的话,就会被认为是生命周期较长的对象,一方面新生代堆比较小,另一方面重复复制生命周期长的对象也很没有效率,所以对于生命周期长的对象会被移到老生代中去。新生代对象移动到老生代有两个对象:1.对象是否是生命周期较长的对象(已经经历过垃圾回收)2.To空间使用占比是否超过了25%。限制25%的原因是由于垃圾回收完成后To会变成From,如果不做限制的话可能会出现From很快被用光的情况,出现频繁的垃圾回收,也会影响效率。

老生代如何做垃圾回收?

老生代由于存活对象占较大比重,不适合对存活对象进行操作,使用Scavenge算法就不太合适了,因此老生代采用了Mark-Sweep和Mark-Compact相结合的方式。

Mark-Sweep分为标记和清除两个阶段,在标记阶段遍历堆中所有对象,标记活着的对象,然后在清除阶段未被标记的对象将会被清除掉。Mark-Sweep解决了内存释放的问题但是由于没有像Scavenge那样复制对象的操作导致内存碎片化不连续。而Mark-Compact就是用来解决内存碎片化问题的。Mark-Compact会将存活的对象往一端移动,移动完成后直接清理掉边界外的内存,这样就有大段的连续可用内存了,但是由于涉及到对象的移动,因此Mark-Compact的速度要比Mark-Sweep慢了。V8主要使用Mark-Sweep,只有当空间不足以对新生代中今生过来的对象进行分配时才使用Mark-Compact。

垃圾回收过程中会导致应用程序暂停执行,由于新生代本身空间较小,且要复制的存活对象占比也少,因此即便执行全量垃圾回收也影响不大,但是老生代空间很大,存活对象也多,执行一次全量垃圾回收对于应用程序暂停会是一个比较长的时间,因此V8将老生的标记改成了增量更新的方式,使得标记和应用程序交替执行直到标记完成,然后垃圾回收再执行后面的清理工作。注意清理工作并不是增量的。

开发者可以指定强制垃圾回收吗?

答案是可以了,在启动node服务的时候使用--expose-gc flag

$ node --expose-gc file.js

这样全局对象上就有了执行垃圾回收的函数

global.gc();

推荐更安全的写法

function forceGC()
 if (global.gc) {
  global.gc();
 } else {
  console.warn('No GC hook! Start your program as `node --expose-gc file.js`.');
 }
}

最后给大家分享一下参考资料:

https://www.xarg.org/2016/06/forcing-garbage-collection-in-node-js-and-javascript/

NodeJs 相关文章推荐
nodejs读取memcache示例分享
Jan 02 NodeJs
在windows上用nodejs搭建静态文件服务器的简单方法
Aug 11 NodeJs
NodeJs读取JSON文件格式化时的注意事项
Sep 25 NodeJs
nodeJS实现路由功能实例代码
Jun 08 NodeJs
CentOS 安装NodeJS V8.0.0的方法
Jun 15 NodeJs
NodeJS使用七牛云存储上传文件的方法
Jul 24 NodeJs
nodejs结合Socket.IO实现的即时通讯功能详解
Jan 12 NodeJs
NodeJS 将文件夹按照存放路径变成一个对应的JSON的方法
Oct 17 NodeJs
nodejs搭建本地服务器并访问文件操作示例
May 11 NodeJs
nodejs提示:cross-device link not permitted, rename错误的解决方法
Jun 10 NodeJs
nodejs简单抓包工具使用详解
Aug 23 NodeJs
nodejs环境使用Typeorm连接查询Oracle数据
Dec 05 NodeJs
nodejs更改项目端口号的方法
May 13 #NodeJs
利用nodeJs anywhere搭建本地服务器环境的方法
May 12 #NodeJs
NodeJs搭建本地服务器之使用手机访问的实例讲解
May 12 #NodeJs
nodejs 简单实现动态html的方法
May 12 #NodeJs
nodeJS服务器的创建和重新启动的实现方法
May 12 #NodeJs
Nodejs 和 Electron ubuntu下快速安装过程
May 04 #NodeJs
nodejs 日志模块winston的使用方法
May 02 #NodeJs
You might like
香妃
2021/03/03 冲泡冲煮
解析CI即CodeIgniter框架在Nginx下的重写规则
2013/06/03 PHP
php实现两个数组相加的方法
2015/02/17 PHP
PHP list() 将数组中的值赋给变量的简单实例
2016/06/13 PHP
深入理解Javascript中的循环优化
2013/11/09 Javascript
js实现div的切换特效上一个下一个
2014/02/11 Javascript
七个很有意思的PHP函数
2014/05/12 Javascript
javascript中数组的定义及使用实例
2015/01/21 Javascript
在Node.js中使用HTTP上传文件的方法
2015/06/23 Javascript
JS实现完全语义化的网页选项卡效果代码
2015/09/15 Javascript
详解JavaScript表单验证(E-mail 验证)
2016/03/31 Javascript
用jQuery获取table中行id和td值的实现代码
2016/05/19 Javascript
jQuery实用小技巧_输入框文字获取和失去焦点的简单实例
2016/08/25 Javascript
Javascript的this用法
2017/01/16 Javascript
AugularJS从入门到实践(必看篇)
2017/07/10 Javascript
微信小程序实现根据字母选择城市功能
2017/08/16 Javascript
Node.js dgram模块实现UDP通信示例代码
2017/09/26 Javascript
解决Linux无法正常安装与卸载Node.js的方法
2018/01/19 Javascript
Bootstrap FileInput实现图片上传功能
2021/01/28 Javascript
vue 数据双向绑定的实现方法
2021/03/04 Vue.js
[05:53]完美世界携手游戏风云打造 卡尔工作室观战系统篇
2013/04/22 DOTA
[09:43]DOTA2每周TOP10 精彩击杀集锦vol.5
2014/06/25 DOTA
[41:37]DOTA2北京网鱼队选拔赛——冲击职业之路
2015/04/13 DOTA
[49:08]完美世界DOTA2联赛PWL S2 LBZS vs FTD.C 第一场 11.27
2020/12/01 DOTA
python基础教程之数字处理(math)模块详解
2014/03/25 Python
Python 查看文件的读写权限方法
2018/01/23 Python
python使用PIL实现多张图片垂直合并
2019/01/15 Python
python并发编程 Process对象的其他属性方法join方法详解
2019/08/20 Python
详解使用python爬取抖音app视频(appium可以操控手机)
2021/01/26 Python
毕业学生推荐信
2013/12/01 职场文书
质检部经理岗位职责
2014/02/19 职场文书
餐厅总厨求职信
2014/03/04 职场文书
派出所班子党的群众路线对照检查材料思想汇报
2014/10/01 职场文书
受资助学生感谢信
2015/01/21 职场文书
JS ES6异步解决方案
2021/04/29 Javascript
Python办公自动化解决world文件批量转换
2021/09/15 Python