使用cluster 将自己的Node服务器扩展为多线程服务器


Posted in Javascript onNovember 10, 2014

用nodejs的朋友都有了解,node是单线程的,也就是说跑在8核CPU上,只能使用一个核的算力。
单线程一直是node的一个诟病,但随着0.6版本中引入cluster之后,这个情况则得到了改变,开发人员可以依靠cluster很轻松的将自己的Node服务器扩展为多线程服务器了。

什么是Cluster

cluster是node提供的一个多线程库,用户可以使用它来创建多个线程,线程之间共享一个监听端口,当有外部请求这个端口时,cluster会将请求转发到随机线程里。因为每个node线程都会占用几十兆的内存,所以不能像php那样对每个请求创建一个线程,一般来说创建的线程数最多都不会超过cpu的核心数量。

var cluster = require('cluster');

var http = require('http');

var numCPUs = require('os').cpus().length;
if (cluster.isMaster) {

  // Fork workers.

  for (var i = 0; i < numCPUs; i++) {

    cluster.fork();

  }
  cluster.on('exit', function(worker, code, signal) {

    console.log('worker ' + worker.process.pid + ' died');

  });

} else {

  // Workers can share any TCP connection

  // In this case its a HTTP server

  http.createServer(function(req, res) {

    res.writeHead(200);

    res.end("hello world\n");

  }).listen(8000);

}

如以上代码所示,程序运行时cluster.isMaster会被设置为true,当调用cluster.fork()之后,程序会创建一个线程,并重新运行,这时cluster.isMaster就被设置为false了。我们就主要通过这个变量来判断当前线程是不是子线程的。

还可以注意到,每个子线程被创建之后,都会监听8000端口而不会引起冲突,这就是cluster共享端口的功能了。

线程之间的通信

当线程被创建之后,他们彼此之间是没有共享内存或者数据的。所有的数据交换只能通过worker.send和worker.on('message',handler)在主线程里处理,下面列举一个广播系统的实例。

var cluster = require('cluster');

var http = require('http');

var numCPUs = require('os').cpus().length;
if (cluster.isMaster) {
  var workers=[];

  //新建worker

  function newWorker(){

    var worker=cluster.fork();
    //监听信息,如果type为broadcast的话,则确定为广播

    worker.on('message', function(msg) {

      if(msg.type=='broadcast'){

        var event=msg.event;

        //向所有worker发送此条广播

        workers.forEach(function(worker){

          worker.send(event);

        })

      }

    });

    return worker;

  }
  for (var i = 0; i < numCPUs; i++) {

    workers.push(newWorker());

  }
    cluster.on('online',function(worker){

        console.log('worker %d is online',worker.id);

    })

} else {

  var worker=cluster.worker;
  //广播就是发送一个type为broadcast的信息,event就是广播内容

  worker.broadcast=function(event){

    worker.send({

      type:'broadcast',

      event:event

    });

  }
  //这里用worker.on貌似不能监听到返回的信息

  process.on('message',function(event){

    console.log('worker: '+worker.id+' recived event from '+event.workerId);

  })
  //发送广播

  worker.broadcast({

    message:'online',

    workerId:worker.id

  })

}

需要注意的问题

在上面也提到,线程之间是不能共享数据的,所有的数据交换只能通过线程之间的通信来交换。而且所交换的数据都是可序列化的,所以函数,文件描述符和HttpResponse之类的东西都不能传递。

如果使用cluster,则需要在程序设计的时候考虑到数据交换的问题,我自己的做法就是将类似session的这些数据都存放在redis里,每个线程都做好存取的工作,所有的数据都不放在node内存里。

最后一点,cluster目前还被Node官方标记为Experimental状态,api在将来也许会改变。

Javascript 相关文章推荐
关于javascript DOM事件模型的两件事
Jul 22 Javascript
JavaScript学习笔记(一) js基本语法
Oct 25 Javascript
JS中不为人知的五种声明Number的方式简要概述
Feb 22 Javascript
每天一篇javascript学习小结(Date对象)
Nov 13 Javascript
javascript中对Date类型的常用操作小结
May 19 Javascript
JS遍历ul下的li点击弹出li的索引的实现方法
Sep 19 Javascript
Java  Spring 事务回滚详解
Oct 17 Javascript
Javascript 两种刷新方法以及区别和适用范围
Jan 17 Javascript
浅析vue.js数组的变异方法
Jun 30 Javascript
深入koa-bodyparser原理解析
Jan 16 Javascript
详解VUE调用本地json的使用方法
May 15 Javascript
JavaScript利用html5新方法操作元素类名详解
Nov 27 Javascript
前端必备神器 Snap.svg 弹动效果
Nov 10 #Javascript
浅谈JavaScript 框架分类
Nov 10 #Javascript
使用script的src实现跨域和类似ajax效果
Nov 10 #Javascript
jquery插件推荐 jquery.cookie
Nov 09 #Javascript
jquery插件推荐浏览器嗅探userAgent
Nov 09 #Javascript
Javascript限制网页只能在微信内置浏览器中访问
Nov 09 #Javascript
js闭包的用途详解
Nov 09 #Javascript
You might like
要会喝咖啡也要会知道咖啡豆
2021/03/03 咖啡文化
php连接oracle数据库及查询数据的方法
2014/12/29 PHP
php+jQuery+Ajax简单实现页面异步刷新
2016/08/08 PHP
PHP中快速生成随机密码的几种方式
2017/04/17 PHP
JavaScript 格式字符串的应用
2010/03/29 Javascript
JQuery最佳实践之精妙的自定义事件
2010/08/11 Javascript
JavaScript继承方式实例
2010/10/29 Javascript
JS delegate与live浅析
2013/12/21 Javascript
javascript定时器完整实例
2015/02/10 Javascript
javascript中Math.random()使用详解
2015/04/15 Javascript
jQuery 中的 DOM 操作
2016/04/26 Javascript
JavaScript中的对象和原型(一)
2016/08/12 Javascript
jQuery Validate插件自定义验证规则的方法
2016/12/27 Javascript
AngularJS1.X学习笔记2-数据绑定详解
2017/04/01 Javascript
ES6新特性之模块Module用法详解
2017/04/01 Javascript
select自定义小三角样式代码(实用总结)
2017/08/18 Javascript
深入理解node.js http模块
2018/01/24 Javascript
[46:21]Liquid vs LGD 2018国际邀请赛淘汰赛BO3 第一场 8.23
2018/08/24 DOTA
Python和php通信乱码问题解决方法
2014/04/15 Python
跟老齐学Python之变量和参数
2014/10/10 Python
python2.7的编码问题与解决方法
2016/10/04 Python
Python基于回溯法解决01背包问题实例
2017/12/06 Python
通过Pandas读取大文件的实例
2018/06/07 Python
python 输入一个数n,求n个数求乘或求和的实例
2018/11/13 Python
Python从单元素字典中获取key和value的实例
2018/12/31 Python
PythonWeb项目Django部署在Ubuntu18.04腾讯云主机上
2019/04/01 Python
Python OS模块实例详解
2019/04/15 Python
pandas按条件筛选数据的实现
2021/02/20 Python
党员培训思想汇报
2014/01/07 职场文书
《每逢佳节倍思亲》教后反思
2014/04/19 职场文书
2014年五四青年节演讲比赛方案
2014/04/22 职场文书
加强干部作风建设整改方案
2014/10/24 职场文书
公司股东出资证明书
2014/11/01 职场文书
幼儿园中班个人总结
2015/02/28 职场文书
幼儿教师师德师风自我评价
2015/03/05 职场文书
mybatis调用sqlserver存储过程返回结果集的方法
2021/05/08 SQL Server