Node.js 多进程处理CPU密集任务的实现


Posted in Javascript onMay 26, 2019

Node.js 单线程与多进程

大家都知道 Node.js 性能很高,是以异步事件驱动、非阻塞 I/O 而被广泛使用。但缺点也很明显,由于 Node.js 是单线程程序,如果长时间运算,会导致 CPU 不能及时释放,所以并不适合 CPU 密集型应用。

当然,也不是没有办法解决这个问题。虽然 Node.js 不支持多线程,但是可创建多子进程来执行任务。
Node.js 提供了 child_process 和 cluster 两个模块可用于创建多子进程

下面我们就分别使用单线程和多进程来模拟查找大量斐波那契数进行 CPU 密集测试

以下代码是查找 500 次位置为 35 的斐波那契数(方便测试,定了一个时间不需要太长也不会太短的位置)

单线程处理

代码:single.js

function fibonacci(n) {
 if (n == 0 || n == 1) {
  return n;
 } else {
  return fibonacci(n - 1) + fibonacci(n - 2);
 }
}

let startTime = Date.now();
let totalCount = 500;
let completedCount = 0;
let n = 35;

for (let i = 0; i < totalCount; i++) {
 fibonacci(n);
 completedCount++;
 console.log(`process: ${completedCount}/${totalCount}`);
}
console.log("? ? ? ? ? ? ? ? ? ?");
console.info(`任务完成,用时: ${Date.now() - startTime}ms`);
console.log("? ? ? ? ? ? ? ? ? ?");

执行node single.js 查看结果

在我的电脑上显示结果为44611ms(电脑配置不同也会有差异)。

...
process: 500/500
? ? ? ? ? ? ? ? ? ?
任务完成,用时: 44611ms
? ? ? ? ? ? ? ? ? ?

查找 500 次需要 44 秒,太慢了。可想而知如果位置更大,数量更多...

那我们来尝试用多进程试试 ⬇️

多进程

采用 cluster 模块,Master-Worker 模式来测试

共 3 个 js,分别为主线程代码:master.js、子进程代码:worker.js、入口代码:cluster.js(入口可无需单独写一个 js、这里是为了看起来更清楚一些)

主线程代码:master.js

const cluster = require("cluster");
const numCPUs = require("os").cpus().length;

// 设置子进程执行程序
cluster.setupMaster({
 exec: "./worker.js",
 slient: true
});

function run() {
 // 记录开始时间
 const startTime = Date.now();
 // 总数
 const totalCount = 500;
 // 当前已处理任务数
 let completedCount = 0;
 // 任务生成器
 const fbGenerator = FbGenerator(totalCount);

 if (cluster.isMaster) {
  cluster.on("fork", function(worker) {
   console.log(`[master] : fork worker ${worker.id}`);
  });
  cluster.on("exit", function(worker, code, signal) {
   console.log(`[master] : worker ${worker.id} died`);
  });

  for (let i = 0; i < numCPUs; i++) {
   const worker = cluster.fork();

   // 接收子进程数据
   worker.on("message", function(msg) {
    // 完成一个,记录并打印进度
    completedCount++;
    console.log(`process: ${completedCount}/${totalCount}`);

    nextTask(this);
   });

   nextTask(worker);
  }
 } else {
  process.on("message", function(msg) {
   console.log(msg);
  });
 }

 /**
  * 继续下一个任务
  *
  * @param {ChildProcess} worker 子进程对象,将在此进程上执行本次任务
  */
 function nextTask(worker) {
  // 获取下一个参数
  const data = fbGenerator.next();
  // 判断是否已经完成,如果完成则调用完成函数,结束程序
  if (data.done) {
   done();
   return;
  }
  // 否则继续任务
  // 向子进程发送数据
  worker.send(data.value);
 }

 /**
  * 完成,当所有任务完成时调用该函数以结束程序
  */
 function done() {
  if (completedCount >= totalCount) {
   cluster.disconnect();
   console.log("? ? ? ? ? ? ? ? ? ?");
   console.info(`任务完成,用时: ${Date.now() - startTime}ms`);
   console.log("? ? ? ? ? ? ? ? ? ?");
  }
 }
}

/**
 * 生成器
 */
function* FbGenerator(count) {
 var n = 35;
 for (var i = 0; i < count; i++) {
  yield n;
 }
 return;
}

module.exports = {
 run
};

1.这里是根据当前电脑的逻辑 CPU 核数来创建子进程的,不同电脑数量也会不一样,我的 CPU 是 6 个物理核数,由于支持超线程处理,所以逻辑核数是 12,故会创建出 12 个子进程

2.主线程与子进程之间通信是通过send方法来发送数据,监听message事件来接收数据

3.不知道大家有没有注意到我这里使用了 ES6 的 Generator 生成器来模拟生成每次需要查找的斐波那契数位置(虽然是写死的 ?,为了和上面的单线程保证统一)。这么做是为了不让所有任务一次性扔出去,因为就算扔出去也会被阻塞,还不如放在程序端就给控制住,完成一个,放一个。

子进程代码:worker.js

function fibonacci(n) {
 if (n == 0 || n == 1) {
  return n;
 } else {
  return fibonacci(n - 1) + fibonacci(n - 2);
 }
}

// 接收主线程发送过来的任务,并开始查找斐波那契数
process.on("message", n => {
 var res = fibonacci(n);
 // 查找结束后通知主线程,以便主线程再度进行任务分配
 process.send(res);
});
入口代码:cluster.js
// 引入主线程js,并执行暴露出来的run方法
const master = require("./master");
master.run();

执行node cluster.js 查看结果

在我的电脑上显示结果为10724ms(电脑配置不同也会有差异)。

process: 500/500
? ? ? ? ? ? ? ? ? ?
任务完成,用时: 10724ms
? ? ? ? ? ? ? ? ? ?

结果

进过上面两种方式的对比,结果很明显,多进程处理速度是单线程处理速度的 4 倍多。而且有条件的情况下,如果电脑 CPU 足够,进程数更多,那么速度也会更快。

如果有更好的方案或别的语言能处理你的需求那就更好,谁让 Node.js 天生就不适合 CPU 密集型应用呢。。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Javascript 相关文章推荐
jquery禁止回车触发表单提交
Dec 12 Javascript
JS JQUERY实现滚动条自动滚到底的方法
Jan 09 Javascript
javascript实现dom元素可拖动
Mar 21 Javascript
jQuery点击其他地方时菜单消失的实现方法
Apr 22 Javascript
使用jquery提交form表单并自定义action的实现代码
May 25 Javascript
jQuery实现选项卡功能(两种方法)
Mar 08 Javascript
对于js垃圾回收机制的理解
Sep 14 Javascript
jQuery超简单遮罩层实现方法示例
Sep 06 jQuery
在vue-cli的组件模板里使用font-awesome的两种方法
Sep 28 Javascript
Angular4 Select选择改变事件的方法
Oct 09 Javascript
vue在index.html中引入静态文件不生效问题及解决方法
Apr 29 Javascript
原生JavaScript实现滑动拖动验证的示例代码
Dec 06 Javascript
小程序封装路由文件和路由方法(5种全解析)
May 26 #Javascript
vue2.0 实现富文本编辑器功能
May 26 #Javascript
富文本编辑器vue2-editor实现全屏功能
May 26 #Javascript
vue中$refs, $emit, $on, $once, $off的使用详解
May 26 #Javascript
我要点爆”微信小程序云开发之项目建立与我的页面功能实现
May 26 #Javascript
vue指令做滚动加载和监听等
May 26 #Javascript
vxe-table vue table 表格组件功能
May 26 #Javascript
You might like
PHP实现变色验证码实例
2014/01/06 PHP
yii框架表单模型使用及以数组形式提交表单数据示例
2014/04/30 PHP
PHP输出英文时间日期的安全方法(RFC 1123格式)
2014/06/13 PHP
常见php数据文件缓存类汇总
2014/12/05 PHP
PHP 计算至少是其他数字两倍的最大数的实现代码
2020/05/26 PHP
表单填写时用回车代替TAB的实现方法
2007/10/09 Javascript
JavaScript 的方法重载效果
2009/08/07 Javascript
javascript 打开页面window.location和window.open的区别
2010/03/17 Javascript
理解Javascript_10_对象模型
2010/10/16 Javascript
原生js编写设为首页兼容ie、火狐和谷歌
2014/06/05 Javascript
JavaScript构造函数详解
2015/12/27 Javascript
详解javascript的变量与标识符
2016/01/04 Javascript
JavaScript_object基础入门(必看篇)
2016/06/13 Javascript
BootStrap 附加导航组件
2016/07/22 Javascript
JS创建对象的写法示例
2016/11/04 Javascript
easyUI combobox实现联动效果
2017/01/17 Javascript
elementUI Vue 单个按钮显示和隐藏的变换功能(两种方法)
2018/09/04 Javascript
vue.js指令v-for使用以及下标索引的获取
2019/01/31 Javascript
Python接收Gmail新邮件并发送到gtalk的方法
2015/03/10 Python
用实例详解Python中的Django框架中prefetch_related()函数对数据库查询的优化
2015/04/01 Python
Python绘制七段数码管实例代码
2017/12/20 Python
Python Socket编程之多线程聊天室
2018/07/28 Python
Win 10下Anaconda虚拟环境的教程
2020/05/18 Python
CSS3 calc()会计算属性详解
2018/02/27 HTML / CSS
英国领先的瓷砖专家:Walls and Floors
2018/04/27 全球购物
后勤自我鉴定
2013/10/13 职场文书
班级道德讲堂实施方案
2014/02/24 职场文书
加强作风建设演讲稿
2014/10/24 职场文书
天堂的孩子观后感
2015/06/11 职场文书
解除处分决定书
2015/06/25 职场文书
初中团委工作总结
2015/08/13 职场文书
学习党史心得体会2016
2016/01/23 职场文书
导游词之广东佛山(南风古灶)
2019/09/24 职场文书
导游词之西安大清真寺
2019/12/17 职场文书
为什么mysql字段要使用NOT NULL
2021/05/13 MySQL
移除Selenium中window.navigator.webdriver值
2022/06/10 Python