Node.js 多进程处理CPU密集任务的实现


Posted in Javascript onMay 26, 2019

Node.js 单线程与多进程

大家都知道 Node.js 性能很高,是以异步事件驱动、非阻塞 I/O 而被广泛使用。但缺点也很明显,由于 Node.js 是单线程程序,如果长时间运算,会导致 CPU 不能及时释放,所以并不适合 CPU 密集型应用。

当然,也不是没有办法解决这个问题。虽然 Node.js 不支持多线程,但是可创建多子进程来执行任务。
Node.js 提供了 child_process 和 cluster 两个模块可用于创建多子进程

下面我们就分别使用单线程和多进程来模拟查找大量斐波那契数进行 CPU 密集测试

以下代码是查找 500 次位置为 35 的斐波那契数(方便测试,定了一个时间不需要太长也不会太短的位置)

单线程处理

代码:single.js

function fibonacci(n) {
 if (n == 0 || n == 1) {
  return n;
 } else {
  return fibonacci(n - 1) + fibonacci(n - 2);
 }
}

let startTime = Date.now();
let totalCount = 500;
let completedCount = 0;
let n = 35;

for (let i = 0; i < totalCount; i++) {
 fibonacci(n);
 completedCount++;
 console.log(`process: ${completedCount}/${totalCount}`);
}
console.log("? ? ? ? ? ? ? ? ? ?");
console.info(`任务完成,用时: ${Date.now() - startTime}ms`);
console.log("? ? ? ? ? ? ? ? ? ?");

执行node single.js 查看结果

在我的电脑上显示结果为44611ms(电脑配置不同也会有差异)。

...
process: 500/500
? ? ? ? ? ? ? ? ? ?
任务完成,用时: 44611ms
? ? ? ? ? ? ? ? ? ?

查找 500 次需要 44 秒,太慢了。可想而知如果位置更大,数量更多...

那我们来尝试用多进程试试 ⬇️

多进程

采用 cluster 模块,Master-Worker 模式来测试

共 3 个 js,分别为主线程代码:master.js、子进程代码:worker.js、入口代码:cluster.js(入口可无需单独写一个 js、这里是为了看起来更清楚一些)

主线程代码:master.js

const cluster = require("cluster");
const numCPUs = require("os").cpus().length;

// 设置子进程执行程序
cluster.setupMaster({
 exec: "./worker.js",
 slient: true
});

function run() {
 // 记录开始时间
 const startTime = Date.now();
 // 总数
 const totalCount = 500;
 // 当前已处理任务数
 let completedCount = 0;
 // 任务生成器
 const fbGenerator = FbGenerator(totalCount);

 if (cluster.isMaster) {
  cluster.on("fork", function(worker) {
   console.log(`[master] : fork worker ${worker.id}`);
  });
  cluster.on("exit", function(worker, code, signal) {
   console.log(`[master] : worker ${worker.id} died`);
  });

  for (let i = 0; i < numCPUs; i++) {
   const worker = cluster.fork();

   // 接收子进程数据
   worker.on("message", function(msg) {
    // 完成一个,记录并打印进度
    completedCount++;
    console.log(`process: ${completedCount}/${totalCount}`);

    nextTask(this);
   });

   nextTask(worker);
  }
 } else {
  process.on("message", function(msg) {
   console.log(msg);
  });
 }

 /**
  * 继续下一个任务
  *
  * @param {ChildProcess} worker 子进程对象,将在此进程上执行本次任务
  */
 function nextTask(worker) {
  // 获取下一个参数
  const data = fbGenerator.next();
  // 判断是否已经完成,如果完成则调用完成函数,结束程序
  if (data.done) {
   done();
   return;
  }
  // 否则继续任务
  // 向子进程发送数据
  worker.send(data.value);
 }

 /**
  * 完成,当所有任务完成时调用该函数以结束程序
  */
 function done() {
  if (completedCount >= totalCount) {
   cluster.disconnect();
   console.log("? ? ? ? ? ? ? ? ? ?");
   console.info(`任务完成,用时: ${Date.now() - startTime}ms`);
   console.log("? ? ? ? ? ? ? ? ? ?");
  }
 }
}

/**
 * 生成器
 */
function* FbGenerator(count) {
 var n = 35;
 for (var i = 0; i < count; i++) {
  yield n;
 }
 return;
}

module.exports = {
 run
};

1.这里是根据当前电脑的逻辑 CPU 核数来创建子进程的,不同电脑数量也会不一样,我的 CPU 是 6 个物理核数,由于支持超线程处理,所以逻辑核数是 12,故会创建出 12 个子进程

2.主线程与子进程之间通信是通过send方法来发送数据,监听message事件来接收数据

3.不知道大家有没有注意到我这里使用了 ES6 的 Generator 生成器来模拟生成每次需要查找的斐波那契数位置(虽然是写死的 ?,为了和上面的单线程保证统一)。这么做是为了不让所有任务一次性扔出去,因为就算扔出去也会被阻塞,还不如放在程序端就给控制住,完成一个,放一个。

子进程代码:worker.js

function fibonacci(n) {
 if (n == 0 || n == 1) {
  return n;
 } else {
  return fibonacci(n - 1) + fibonacci(n - 2);
 }
}

// 接收主线程发送过来的任务,并开始查找斐波那契数
process.on("message", n => {
 var res = fibonacci(n);
 // 查找结束后通知主线程,以便主线程再度进行任务分配
 process.send(res);
});
入口代码:cluster.js
// 引入主线程js,并执行暴露出来的run方法
const master = require("./master");
master.run();

执行node cluster.js 查看结果

在我的电脑上显示结果为10724ms(电脑配置不同也会有差异)。

process: 500/500
? ? ? ? ? ? ? ? ? ?
任务完成,用时: 10724ms
? ? ? ? ? ? ? ? ? ?

结果

进过上面两种方式的对比,结果很明显,多进程处理速度是单线程处理速度的 4 倍多。而且有条件的情况下,如果电脑 CPU 足够,进程数更多,那么速度也会更快。

如果有更好的方案或别的语言能处理你的需求那就更好,谁让 Node.js 天生就不适合 CPU 密集型应用呢。。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Javascript 相关文章推荐
jQuery数组处理代码详解(含实例演示)
Feb 03 Javascript
jquery Mobile入门—多页面切换示例学习
Jan 08 Javascript
jquery如何判断表格同一列不同行input数据是否重复
May 14 Javascript
jQuery对象的length属性用法实例
Dec 27 Javascript
JS获得图片alt信息的方法
Apr 01 Javascript
JavaScript+CSS相册特效实例代码
Sep 07 Javascript
获取本机IP地址的实例(JavaScript / Node.js)
Nov 24 Javascript
Vue三层嵌套路由的示例代码
May 05 Javascript
JavaScript使用indexOf()实现数组去重的方法分析
Sep 04 Javascript
如何封装了一个vue移动端下拉加载下一页数据的组件
Jan 06 Javascript
解决vue数据不实时更新的问题(数据更改了,但数据不实时更新)
Oct 27 Javascript
使用TS来编写express服务器的方法步骤
Oct 29 Javascript
小程序封装路由文件和路由方法(5种全解析)
May 26 #Javascript
vue2.0 实现富文本编辑器功能
May 26 #Javascript
富文本编辑器vue2-editor实现全屏功能
May 26 #Javascript
vue中$refs, $emit, $on, $once, $off的使用详解
May 26 #Javascript
我要点爆”微信小程序云开发之项目建立与我的页面功能实现
May 26 #Javascript
vue指令做滚动加载和监听等
May 26 #Javascript
vxe-table vue table 表格组件功能
May 26 #Javascript
You might like
PHP中PDO连接数据库中各种DNS设置方法小结
2016/05/13 PHP
JavaScript判断一个URL链接是否有效的实现方法
2011/10/08 Javascript
Jquery easyui 下loaing效果示例代码
2013/08/12 Javascript
使用jQuery不判断浏览器高度解决iframe自适应高度问题
2014/12/16 Javascript
Jquery ajax加载等待执行结束再继续执行下面代码操作
2015/11/24 Javascript
Bootstrap每天必学之附加导航(Affix)插件
2016/04/25 Javascript
有关easyui-layout中的收缩层无法显示标题的解决办法
2016/05/10 Javascript
微信小程序 网络请求(post请求,get请求)
2017/01/17 Javascript
vue指令以及dom操作详解
2017/03/04 Javascript
微信小程序实现图片上传放大预览删除代码
2020/06/28 Javascript
实例分析Array.from(arr)与[...arr]到底有何不同
2019/04/09 Javascript
jquery实现垂直无限轮播的方法分析
2019/07/16 jQuery
vue项目前端微信JSAPI与外部H5支付相关实现过程及常见问题
2020/04/14 Javascript
AngularJs的$http发送POST请求,php无法接收Post的数据问题及解决方案
2020/08/13 Javascript
ReactRouter的实现方法
2021/01/25 Javascript
Python操作列表的常用方法分享
2014/02/13 Python
Django 生成登陆验证码代码分享
2017/12/12 Python
Python实现的栈(Stack)
2018/01/26 Python
Python使用Pickle库实现读写序列操作示例
2018/06/15 Python
Python利用heapq实现一个优先级队列的方法
2019/02/03 Python
Python定时任务工具之APScheduler使用方式
2019/07/24 Python
python判断单向链表是否包括环,若包含则计算环入口的节点实例分析
2019/10/23 Python
keras 读取多标签图像数据方式
2020/06/12 Python
记录模型训练时loss值的变化情况
2020/06/16 Python
python 读取串口数据的示例
2020/11/09 Python
教育科学研究生自荐信
2013/10/09 职场文书
销售部主管岗位职责
2013/12/18 职场文书
教师档案管理制度
2014/01/23 职场文书
优秀毕业生自我鉴定
2014/02/11 职场文书
企业精细化管理实施方案
2014/03/23 职场文书
2015年党性分析材料
2014/12/19 职场文书
2014年小学辅导员工作总结
2014/12/23 职场文书
简历中自我评价范文
2015/03/11 职场文书
离开雷锋的日子观后感
2015/06/09 职场文书
大学生活委员竞选稿
2015/11/21 职场文书
ConditionalOnProperty配置swagger不生效问题及解决
2022/06/14 Java/Android