深入剖析Node.js cluster模块


Posted in Javascript onMay 23, 2018

cluster模块概览

node实例是单线程作业的。在服务端编程中,通常会创建多个node实例来处理客户端的请求,以此提升系统的吞吐率。对这样多个node实例,我们称之为cluster(集群)。

借助node的cluster模块,开发者可以在几乎不修改原有项目代码的前提下,获得集群服务带来的好处。

集群有以下两种常见的实现方案,而node自带的cluster模块,采用了方案二。

方案一:多个node实例+多个端口

集群内的node实例,各自监听不同的端口,再由反向代理实现请求到多个端口的分发。

  1. 优点:实现简单,各实例相对独立,这对服务稳定性有好处。
  2. 缺点:增加端口占用,进程之间通信比较麻烦。

方案二:主进程向子进程转发请求

集群内,创建一个主进程(master),以及若干个子进程(worker)。由master监听客户端连接请求,并根据特定的策略,转发给worker。

  1. 优点:通常只占用一个端口,通信相对简单,转发策略更灵活。
  2. 缺点:实现相对复杂,对主进程的稳定性要求较高。

入门实例

在cluster模块中,主进程称为master,子进程称为worker。

例子如下,创建与CPU数目相同的服务端实例,来处理客户端请求。注意,它们监听的都是同样的端口。

// server.js
var cluster = require('cluster');
var cpuNums = require('os').cpus().length;
var http = require('http');

if(cluster.isMaster){
 for(var i = 0; i < cpuNums; i++){
  cluster.fork();
 }
}else{
 http.createServer(function(req, res){
  res.end(`response from worker ${process.pid}`);
 }).listen(3000);

 console.log(`Worker ${process.pid} started`);
}

创建批处理脚本:./req.sh。

#!/bin/bash

# req.sh
for((i=1;i<=4;i++)); do  
 curl http://127.0.0.1:3000
 echo ""
done

输出如下。可以看到,响应来自不同的进程。

response from worker 23735
response from worker 23731
response from worker 23729
response from worker 23730

cluster模块实现原理

了解cluster模块,主要搞清楚3个问题:

  1. master、worker如何通信?
  2. 多个server实例,如何实现端口共享?
  3. 多个server实例,来自客户端的请求如何分发到多个worker?

下面会结合示意图进行介绍,源码级别的介绍,可以参考 笔者的github。

问题1:master、worker如何通信

这个问题比较简单。master进程通过 cluster.fork() 来创建 worker进程。cluster.fork() 内部 是通过 child_process.fork() 来创建子进程。

也就是说:

  1. master进程、worker进程是父、子进程的关系。
  2. master进程、woker进程可以通过IPC通道进行通信。(重要)

问题2:如何实现端口共享

在前面的例子中,多个woker中创建的server监听了同个端口3000。通常来说,多个进程监听同个端口,系统会报错。

为什么我们的例子没问题呢?

秘密在于,net模块中,对 listen() 方法进行了特殊处理。根据当前进程是master进程,还是worker进程:

  1. master进程:在该端口上正常监听请求。(没做特殊处理)
  2. worker进程:创建server实例。然后通过IPC通道,向master进程发送消息,让master进程也创建 server 实例,并在该端口上监听请求。当请求进来时,master进程将请求转发给worker进程的server实例。

归纳起来,就是:master进程监听特定端口,并将客户请求转发给worker进程。

如下图所示:

深入剖析Node.js cluster模块

问题3:如何将请求分发到多个worker

每当worker进程创建server实例来监听请求,都会通过IPC通道,在master上进行注册。当客户端请求到达,master会负责将请求转发给对应的worker。

具体转发给哪个worker?这是由转发策略决定的。可以通过环境变量NODE_CLUSTER_SCHED_POLICY设置,也可以在cluster.setupMaster(options)时传入。

默认的转发策略是轮询(SCHED_RR)。

当有客户请求到达,master会轮询一遍worker列表,找到第一个空闲的worker,然后将该请求转发给该worker。

master、worker内部通信小技巧

在开发过程中,我们会通过 process.on('message', fn) 来实现进程间通信。

前面提到,master进程、worker进程在server实例的创建过程中,也是通过IPC通道进行通信的。那会不会对我们的开发造成干扰呢?比如,收到一堆其实并不需要关心的消息?

答案肯定是不会?那么是怎么做到的呢?

当发送的消息包含cmd字段,且改字段以NODE_作为前缀,则该消息会被视为内部保留的消息,不会通过message事件抛出,但可以通过监听'internalMessage'捕获。

以worker进程通知master进程创建server实例为例子。worker伪代码如下:

// woker进程
const message = {
 cmd: 'NODE_CLUSTER',
 act: 'queryServer'
};
process.send(message);

master伪代码如下:

worker.process.on('internalMessage', fn);

相关链接

官方文档:https://nodejs.org/api/cluster.html

Node学习笔记:https://github.com/chyingp/nodejs-learning-guide

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Javascript 相关文章推荐
JavaScript中具名函数的多种调用方式总结
Nov 08 Javascript
JavaScript如何实现跨域请求
Aug 05 Javascript
js获取文件里面的所有文件名(实例)
Oct 17 Javascript
vue自定义过滤器创建和使用方法详解
Nov 06 Javascript
详解ES6语法之可迭代协议和迭代器协议
Jan 13 Javascript
用ES6的class模仿Vue写一个双向绑定的示例代码
Apr 20 Javascript
vue自定义移动端touch事件之点击、滑动、长按事件
Jul 10 Javascript
解决mpvue + vuex 开发微信小程序vuex辅助函数mapState、mapGetters不可用问题
Aug 03 Javascript
layer ui 导入文件之前传入数据的实例
Sep 23 Javascript
解决layui批量传值到后台操作时出现传值为空的问题
Sep 28 Javascript
JavaScript对象字面量和构造函数原理与用法详解
Apr 18 Javascript
小程序分享链接onShareAppMessage的具体用法
May 22 Javascript
Node.js进阶之核心模块https入门
May 23 #Javascript
使用 vue-i18n 切换中英文效果
May 23 #Javascript
centos 上快速搭建ghost博客方法分享
May 23 #Javascript
20个最常见的jQuery面试问题及答案
May 23 #jQuery
AngularJS与BootStrap模仿百度分页的示例代码
May 23 #Javascript
jQuery发请求传输中文参数乱码问题的解决方案
May 22 #jQuery
vue的传参方式汇总和router使用技巧
May 22 #Javascript
You might like
php中函数前加&amp;符号的作用分解
2014/07/08 PHP
destoon调用discuz论坛中带图片帖子的实现方法
2014/08/21 PHP
PHP命名空间namespace用法实例分析
2016/09/27 PHP
php array_merge_recursive 数组合并
2016/10/26 PHP
Javascript 检测、添加、移除样式(className)函数代码
2009/09/08 Javascript
JS实现网页表格自动变大缩小的方法
2015/03/09 Javascript
jquery实现的动态回到顶部特效代码
2015/10/28 Javascript
JS实现超简单的鼠标拖动效果
2015/11/02 Javascript
原生js和jquery分别实现横向导航菜单效果
2016/05/13 Javascript
js仿百度切换皮肤功能(html+css)
2016/07/10 Javascript
微信小程序 icon组件详细及实例代码
2016/10/25 Javascript
Vue.js 2.0 移动端拍照压缩图片预览及上传实例
2017/04/27 Javascript
NodeJS链接MySql数据库的操作方法
2017/06/27 NodeJs
Javascript别踩白块儿(钢琴块儿)小游戏实现代码
2017/07/20 Javascript
SelectPage v2.4 发布新增纯下拉列表和关闭分页功能
2017/09/07 Javascript
微信小程序实现图片上传功能实例(前端+PHP后端)
2018/01/10 Javascript
原生js检测页面加载完毕的实例
2018/09/11 Javascript
最简单的JS实现json转csv的方法
2019/01/10 Javascript
javascript的惯性运动实现代码实例
2019/09/07 Javascript
Vue 实现v-for循环的时候更改 class的样式名称
2020/07/17 Javascript
JavaScript实现五子棋小游戏
2020/10/26 Javascript
Python实现将n个点均匀地分布在球面上的方法
2015/03/12 Python
python脚本实现xls(xlsx)转成csv
2016/04/10 Python
python3连接kafka模块pykafka生产者简单封装代码
2019/12/23 Python
记录模型训练时loss值的变化情况
2020/06/16 Python
Keras 在fit_generator训练方式中加入图像random_crop操作
2020/07/03 Python
matplotlib基础绘图命令之errorbar的使用
2020/08/13 Python
Scrapy爬虫文件批量运行的实现
2020/09/30 Python
基于CSS3实现的几个小loading效果
2018/09/27 HTML / CSS
优秀教师事迹简介
2014/02/02 职场文书
市场营销战略计划书
2014/05/06 职场文书
企业法人代表授权委托书
2014/10/02 职场文书
群众路线剖析材料范文
2014/10/09 职场文书
2014年财务科工作总结
2014/11/11 职场文书
房地产销售经理岗位职责
2015/02/02 职场文书
clear 万能清除浮动(clearfix:after)
2023/05/21 HTML / CSS