Node.js 多进程处理CPU密集任务的实现


Posted in Javascript onMay 26, 2019

Node.js 单线程与多进程

大家都知道 Node.js 性能很高,是以异步事件驱动、非阻塞 I/O 而被广泛使用。但缺点也很明显,由于 Node.js 是单线程程序,如果长时间运算,会导致 CPU 不能及时释放,所以并不适合 CPU 密集型应用。

当然,也不是没有办法解决这个问题。虽然 Node.js 不支持多线程,但是可创建多子进程来执行任务。
Node.js 提供了 child_process 和 cluster 两个模块可用于创建多子进程

下面我们就分别使用单线程和多进程来模拟查找大量斐波那契数进行 CPU 密集测试

以下代码是查找 500 次位置为 35 的斐波那契数(方便测试,定了一个时间不需要太长也不会太短的位置)

单线程处理

代码:single.js

function fibonacci(n) {
 if (n == 0 || n == 1) {
  return n;
 } else {
  return fibonacci(n - 1) + fibonacci(n - 2);
 }
}

let startTime = Date.now();
let totalCount = 500;
let completedCount = 0;
let n = 35;

for (let i = 0; i < totalCount; i++) {
 fibonacci(n);
 completedCount++;
 console.log(`process: ${completedCount}/${totalCount}`);
}
console.log("? ? ? ? ? ? ? ? ? ?");
console.info(`任务完成,用时: ${Date.now() - startTime}ms`);
console.log("? ? ? ? ? ? ? ? ? ?");

执行node single.js 查看结果

在我的电脑上显示结果为44611ms(电脑配置不同也会有差异)。

...
process: 500/500
? ? ? ? ? ? ? ? ? ?
任务完成,用时: 44611ms
? ? ? ? ? ? ? ? ? ?

查找 500 次需要 44 秒,太慢了。可想而知如果位置更大,数量更多...

那我们来尝试用多进程试试 ⬇️

多进程

采用 cluster 模块,Master-Worker 模式来测试

共 3 个 js,分别为主线程代码:master.js、子进程代码:worker.js、入口代码:cluster.js(入口可无需单独写一个 js、这里是为了看起来更清楚一些)

主线程代码:master.js

const cluster = require("cluster");
const numCPUs = require("os").cpus().length;

// 设置子进程执行程序
cluster.setupMaster({
 exec: "./worker.js",
 slient: true
});

function run() {
 // 记录开始时间
 const startTime = Date.now();
 // 总数
 const totalCount = 500;
 // 当前已处理任务数
 let completedCount = 0;
 // 任务生成器
 const fbGenerator = FbGenerator(totalCount);

 if (cluster.isMaster) {
  cluster.on("fork", function(worker) {
   console.log(`[master] : fork worker ${worker.id}`);
  });
  cluster.on("exit", function(worker, code, signal) {
   console.log(`[master] : worker ${worker.id} died`);
  });

  for (let i = 0; i < numCPUs; i++) {
   const worker = cluster.fork();

   // 接收子进程数据
   worker.on("message", function(msg) {
    // 完成一个,记录并打印进度
    completedCount++;
    console.log(`process: ${completedCount}/${totalCount}`);

    nextTask(this);
   });

   nextTask(worker);
  }
 } else {
  process.on("message", function(msg) {
   console.log(msg);
  });
 }

 /**
  * 继续下一个任务
  *
  * @param {ChildProcess} worker 子进程对象,将在此进程上执行本次任务
  */
 function nextTask(worker) {
  // 获取下一个参数
  const data = fbGenerator.next();
  // 判断是否已经完成,如果完成则调用完成函数,结束程序
  if (data.done) {
   done();
   return;
  }
  // 否则继续任务
  // 向子进程发送数据
  worker.send(data.value);
 }

 /**
  * 完成,当所有任务完成时调用该函数以结束程序
  */
 function done() {
  if (completedCount >= totalCount) {
   cluster.disconnect();
   console.log("? ? ? ? ? ? ? ? ? ?");
   console.info(`任务完成,用时: ${Date.now() - startTime}ms`);
   console.log("? ? ? ? ? ? ? ? ? ?");
  }
 }
}

/**
 * 生成器
 */
function* FbGenerator(count) {
 var n = 35;
 for (var i = 0; i < count; i++) {
  yield n;
 }
 return;
}

module.exports = {
 run
};

1.这里是根据当前电脑的逻辑 CPU 核数来创建子进程的,不同电脑数量也会不一样,我的 CPU 是 6 个物理核数,由于支持超线程处理,所以逻辑核数是 12,故会创建出 12 个子进程

2.主线程与子进程之间通信是通过send方法来发送数据,监听message事件来接收数据

3.不知道大家有没有注意到我这里使用了 ES6 的 Generator 生成器来模拟生成每次需要查找的斐波那契数位置(虽然是写死的 ?,为了和上面的单线程保证统一)。这么做是为了不让所有任务一次性扔出去,因为就算扔出去也会被阻塞,还不如放在程序端就给控制住,完成一个,放一个。

子进程代码:worker.js

function fibonacci(n) {
 if (n == 0 || n == 1) {
  return n;
 } else {
  return fibonacci(n - 1) + fibonacci(n - 2);
 }
}

// 接收主线程发送过来的任务,并开始查找斐波那契数
process.on("message", n => {
 var res = fibonacci(n);
 // 查找结束后通知主线程,以便主线程再度进行任务分配
 process.send(res);
});
入口代码:cluster.js
// 引入主线程js,并执行暴露出来的run方法
const master = require("./master");
master.run();

执行node cluster.js 查看结果

在我的电脑上显示结果为10724ms(电脑配置不同也会有差异)。

process: 500/500
? ? ? ? ? ? ? ? ? ?
任务完成,用时: 10724ms
? ? ? ? ? ? ? ? ? ?

结果

进过上面两种方式的对比,结果很明显,多进程处理速度是单线程处理速度的 4 倍多。而且有条件的情况下,如果电脑 CPU 足够,进程数更多,那么速度也会更快。

如果有更好的方案或别的语言能处理你的需求那就更好,谁让 Node.js 天生就不适合 CPU 密集型应用呢。。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Javascript 相关文章推荐
JQuery.ajax传递中文参数的解决方法 推荐
Mar 28 Javascript
jQuery实现当按下回车键时绑定点击事件
Jan 28 Javascript
判断及设置浏览器全屏模式
Apr 20 Javascript
jquery append()方法与html()方法的区别及使用介绍
Aug 01 Javascript
自定义jQuery插件方式实现强制对象重绘的方法
Mar 23 Javascript
jQuery时间验证和转换为标准格式的时间格式
Mar 06 Javascript
Angular4表单验证代码详解
Sep 03 Javascript
jQuery幻灯片插件owlcarousel参数说明中文文档
Feb 27 jQuery
Vue filter介绍及详细使用
Apr 04 Javascript
Vue导出页面为PDF格式的实现思路
Jul 31 Javascript
vue-router跳转时打开新页面的两种方法
Jul 29 Javascript
layer.msg()去掉默认时间,实现手动关闭的方法
Sep 12 Javascript
小程序封装路由文件和路由方法(5种全解析)
May 26 #Javascript
vue2.0 实现富文本编辑器功能
May 26 #Javascript
富文本编辑器vue2-editor实现全屏功能
May 26 #Javascript
vue中$refs, $emit, $on, $once, $off的使用详解
May 26 #Javascript
我要点爆”微信小程序云开发之项目建立与我的页面功能实现
May 26 #Javascript
vue指令做滚动加载和监听等
May 26 #Javascript
vxe-table vue table 表格组件功能
May 26 #Javascript
You might like
php $_ENV为空的原因分析
2009/06/01 PHP
PHP中static关键字原理的学习研究分析
2011/07/18 PHP
php selectradio和checkbox默认选择的实现方法详解
2013/06/29 PHP
使用php测试硬盘写入速度示例
2014/01/27 PHP
JS(jQuery)实现聊天接收到消息语言自动提醒功能详解【提示“您有新的消息请注意查收”】
2019/04/16 PHP
laravel-admin 后台表格筛选设置默认的查询日期方法
2019/10/03 PHP
JavaScript 组件之旅(三):用 Ant 构建组件
2009/10/28 Javascript
JavaScript实现的购物车效果可以运用在好多地方
2014/05/09 Javascript
浅析Node.js查找字符串功能
2014/09/03 Javascript
Node.js的特点和应用场景介绍
2014/11/04 Javascript
深入理解JavaScript系列(38):设计模式之职责链模式详解
2015/03/04 Javascript
javascript实现全角半角检测的方法
2015/07/23 Javascript
跟我学习javascript的最新标准ES6
2015/11/20 Javascript
简介EasyUI datagrid editor combogrid搜索框的实现
2016/04/01 Javascript
JavaScript函数参数的传递方式详解
2017/03/06 Javascript
webpack将js打包后的map文件详解
2018/02/22 Javascript
Angular4 Select选择改变事件的方法
2018/10/09 Javascript
详解vue 不同环境配置不同的打包命令
2019/04/07 Javascript
iSlider手机端图片滑动切换插件使用详解
2019/12/24 Javascript
[42:32]Secret vs Optic 2018国际邀请赛小组赛BO2 第二场 8.18
2018/08/19 DOTA
使用Python获取CPU、内存和硬盘等windowns系统信息的2个例子
2014/04/15 Python
Python获取指定文件夹下的文件名的方法
2018/02/06 Python
python3中rank函数的用法
2019/11/27 Python
澳大利亚当地社区首选的光学商店:1001 Optical
2019/08/24 全球购物
卫校护理专业毕业生求职信
2013/11/26 职场文书
会务接待方案
2014/02/27 职场文书
求职意向书
2014/04/01 职场文书
产品质量保证书范本
2015/02/27 职场文书
2015年勤工助学工作总结
2015/04/29 职场文书
2015年副班长工作总结
2015/05/15 职场文书
小学音乐课教学反思
2016/02/18 职场文书
教您怎么制定西餐厅运营方案 ?
2019/07/05 职场文书
怎么用Python识别手势数字
2021/06/07 Python
SpringBoot整合阿里云视频点播的过程详解
2021/12/06 Java/Android
Python  lambda匿名函数和三元运算符
2022/04/19 Python
Python实现简单得递归下降Parser
2022/05/02 Python