nodejs中的fiber(纤程)库详解


Posted in NodeJs onMarch 24, 2015

fiber/纤程

在操作系统中,除了进程和线程外,还有一种较少应用的纤程(fiber,也叫协程)。纤程常常拿来跟线程做对比,对于操作系统而言,它们都是较轻量级的运行态。通常认为纤程比线程更为轻量,开销更小。不同之处在于,纤程是由线程或纤程创建的,纤程调度完全由用户代码控制,对系统内核而言,是一种非抢占性的调度方式,纤程实现了合作式的多任务;而线程和进程则受内核调度,依照优先级,实现了抢占式的多任务。另外,系统内核是不知道纤程的具体运行状态,纤程的使用其实是比较与操作系统无关。

在node中,单线程是仅针对javascript而言的,其底层其实充斥着多线程。而如果需要在javascript中实现多线程,一种常见的做法是编写C++ addon,绕过javascript的单线程机制。不过这种方法提升了开发调试的难度和成本。像其他很多脚本语言,我们也可以把纤程的概念引入到node中。

node-fibers

node-fibers这个库就为node提供了纤程的功能。多线程方面没有测试出理想的结果,不过在异步转同步作用显著,也许在减少node调用堆栈、无限递归方面也会有价值可挖。本文档主要介绍 node-fibers库的使用方法和异步转同步等内容。

安装

node-fibers是采用C语言编写,直接下载源码需要编译,通常直接npm安装即可:

npm install fibers

fibers库的使用

API

1.Fiber(fn)/ new Fiber(fn):

创建一个纤程,可以当成构造函数使用,也可以当成普通函数调用。如下例:

function fibo(n) {

    return n > 1 ? fibo(n - 1) + fibo(n - 2) : 1;

}

Fiber(function () {

    console.log(fibo(40));

});

当 run()调用的时候,纤程启动,并为 fn分配新的堆栈, fn会在这个新的堆栈上运行,直到 fn有返回值或调用 yield()。 fn返回后或调用 yield()后,堆栈重置,当再次调用 run()时,纤程会再次启动, fn运行于首次分配的堆栈中。

2.Fiber.current:

获得当前纤程,并可对其进行操作。如果指定一个变量与其相关联,请务必确保此纤程能够释放,否则V8的垃圾回收机制会一直忽略这部分的内存,造成内存泄漏。

3.Fiber.yield(param):

前面的说明中已经提及过这个函数。 yield()方法用于中断纤程,一定程度上类似 return。一旦执行 yield(),则此 Fiber中后续代码将没有机会执行,例如:

var fiber = Fiber(function () {

    console.log("Fiber Start");

    Fiber.yield();

    console.log("Fiber Stop");

}).run();

// 输出: "Fiber Start"

执行后只会输出“Fiber Start”,后一个输出命令没有执行。如果向 yield()传入参数,那么此参数作为 run()的返回值。

var fiber = Fiber(function () {

    Fiber.yield("success");

}).run();

console.log(fiber); // -> "success"

4.Fiber.prototype.run(param):

这个方法已经很熟悉了,之前隐约有提及调用 run()的两种时态,一是Fiber未启动时,一时Fiber被yield时。在这两种时态下, run()的行为并不太一样。
当Fiber未启动时, run()接受一个参数,并把它传递给 fn,作为其参数。当Fiber处理yielding状态时, run()接受一个参数,并把它作为 yield()的返回值,fn并不会从头运行,而是从中断处继续运行。关于 fn、 yield、 run三者的参数、返回值等关系,可以通过下面的小例子来说明:

var Fiber = require('fibers');

var fiber = Fiber(function (a) {

    console.log("第一次调用run:");

    console.log("fn参数为:"+a);

    var b = Fiber.yield("yield");

    console.log("第二次调用run:");

    console.log("fn参数为:"+a);

    console.log("yield返回值为:"+b);

    return "return";

});

// 第一次运行run()

var c=fiber.run("One");

// 第二次运行run()

var d=fiber.run("Two");

console.log("调用yield,run返回:"+c);

console.log("fn运行完成,run返回:"+d);

输出如下:

/*

第一次调用run:

fn参数为:One

第二次调用run:

fn参数为:One

yield返回值为:Two

调用yield,run返回:yield

fn运行完成,run返回:return

*/

从上面例子中,可以很明显看出 yield的使用方法与现在的javascript的语法相当不同。在别的语言中(C#、Python等)已经实现了 yield关键字,作为迭代器的中断。不妨在node上也实现一个迭代器,具体体会一下 yield的使用。还是以开头的斐波那契数列为例:

var fiboGenerator = function () {

    var a = 0, b = 0;

    while (true) {

        if (a == 0) {

            a = 1;

            Fiber.yield(a);

        } else {

            b += a;

            b == a ? a = 1 : a = b - a;

            Fiber.yield(b);

        }

    }

}

var f = new Fiber(fiboGenerator);

f.next = f.run;

for (var i = 0; i < 10; i++) {

    console.log(f.next());

}

输出为:

/*

1

1

2

3

5

8

13

21

34

55

*/

有两个问题需要留意,第一, yield说是方法,更多地像关键字,与 run不同, yield不需要依托Fiber实例,而 run则需要。如果在Fiber内部调用 run,则一定要使用: Fiber.current.run();第二, yield本身为javascript的保留关键字,不确定是否会、何时会启用,所以代码在将来可能会面临变更。

5.Fiber.prototype.reset():

我们已经知道Fiber可能存在不同的时态,同时会影响 run的行为。而 reset方法则不管Fiber处理什么状态,都恢复到初始状态。随后再执行 run,就会重新运行 fn。

6.Fiber.prototype.throwInto(Exception):

本质上 throwInto会抛出传给它的异常,并将异常信息作为 run的返回值。如果在Fiber内不对它抛出的异常作处理,异常会继续冒泡。不管异常是否处理,它会强制 yield,中断Fiber。

future库的使用

在node中直接使用Fiber并不一直是合理的,因为Fiber的API实在简单,实际使用中难免会产生重复冗长的代码,不利于维护。推荐在node与Fiber之间增加一层抽象,让Fiber能够更好地工作。 future库就提供了这样一种抽象。 future库或者任何一层抽象也许都不是完美的,没有谁对谁错,只有适用不适用。比如, future库向我们提供了简单的API能够完成异步转同步的工作,然而它对封装 generator (类似上面的斐波那契数列生成器)则无能为力。

future库不需要单独下载安装,已经包含在 fibers库中,使用时只需要 var future=require('fibers/future') 即可。

API

1.Function.prototype.future():

给 Function类型添加了 future方法,将function转化成一个“funture-function”。

var futureFun = function power(a) {

    return a * a;

}.future();

console.log(futureFun(10).wait());

实际上 power方法是在Fibel内执行的。不过现有版本的 future有bug,官方没有具体的说明,如果需要使用此功能,请删除掉 future.js的第339行和第350行。

2.new Future()

Future对象的构造函数,下文详细介绍。

3.Future.wrap(fn, idx)

wrap方法封装了异步转同步的操作,是 future库中对我们最有价值的方法。 fn表示需要转换的函数, idx表示 fn接受的参数数目,认为其 callback方法为最后一个参数(这边API的制定颇有争议,有人倾向传递 callback应该处于的位置,好在 wrap方法比较简单,可以比较容易修改代码)。看一个例子就能了解 wrap的用法:

var readFileSync = Future.wrap(require("fs").readFile);

Fiber(function () {

    var html = readFileSync("./1.txt").wait().toString();

    console.log(html);

}).run();

从这个例子中可以看出Fiber异步转同步确实非常有效,除了语法上多了一步 .wait()外,其他已经 fs提供的 fs.readFileSync方法别无二致了。

4.Future.wait(futures):

这个方法前面已经多次看到了。顾名思义,它的作用就是等待结果。如果要等待一个future的实例的结果,直接调用 futureInstance.wait()即可;如果需要等待一系列future实例的结果,则调用 Future.wait(futuresArray)。需要注意的是,在第二种用法中,一个future实例在运行时出现错误, wait方法不会抛出错误,不过我们可以使用 get()方法直接获取运行结果。

5.Future.prototype.get():

get()的用法与 wait()的第一种方式很像,所不同的是, get()立刻返回结果。如果数据没有准备好, get()会抛出错误。

6.Future.prototype.resolve(param1,param2):

上面的的 wrap方法总给人以一种 future其实在吞噬异步方法的回调函数,并直接返回异步结果。事实上 future也通过 resolve方法提供设置回调函数的解决方案。 resolve最多接受两个参数,如果只传入一个参数, future认为传了一个node风格的回调函数,例如如下示例:

futureInstance.resolve(function (err, data) {

    if (err) {

        throw  err;

    } else {

        console.log(data.toString());

    }

});

如果传入两个参数,则表示对错误和数据分别做处理,示例如下:

futureInstance.resolve(function (err) {

    throw err;

}, function (data) {

    console.log(data.toString());

});

另外 future并不区分 resolve的调用时机,如果数据没有准备好,则将回调函数压入队列,由 resolver()方法统一调度,否则直接取数据立即执行回调函数。

7.Future.prototype.isResolved():

返回布尔值,表示操作是否已经执行。

8.Future.prototype.proxy(futureInstance):

proxy方法提供一种 future实例的代理,本质上是对 resolve方法的包装,其实是将一个instance的回调方法作为另一个instance的回调执行者。例如:

var target = new Future;

target.resolve(function (err, data) {

    console.log(data)

});

var proxyFun = function (num, cb) {

    cb(null, num * num);

};

Fiber(function () {

    var proxy = Future.wrap(proxyFun)(10);

    proxy.proxy(target);

}).run(); // 输出100

虽然执行的是 proxy,但是最终 target的回调函数执行了,并且是以 proxy的执行结果驱动 target的回调函数。这种代理手段也许在我们的实际应用中有很大作用,我暂时还没有深入地思考过。

9.Future.prototype.return(value):

10.Future.prototype.throw(error):

11.Future.prototype.resolver():

12.Future.prototype.detach():

以上四个API呢我感觉相对于别的API,实际使用的场景或作用比较一般。 return和 throw都受 resolver方法调度,这三个方法都很重要,在正常的future使用流程中都会默默工作着,只是我没有想出具体单独使用它们的场景,所以没有办法具体介绍。 detach方法只能算 resolve方法的简化版,亦没有介绍的必要。

NodeJs 相关文章推荐
详谈nodejs异步编程
Dec 04 NodeJs
轻松创建nodejs服务器(5):事件处理程序
Dec 18 NodeJs
Nodejs学习笔记之测试驱动
Apr 16 NodeJs
nodejs和php实现图片访问实时处理
Jan 05 NodeJs
NodeJs下的测试框架Mocha的简单介绍
Feb 22 NodeJs
NodeJs测试框架Mocha的安装与使用
Mar 28 NodeJs
使用 NodeJS+Express 开发服务端的简单介绍
Apr 07 NodeJs
详解HTTPS 的原理和 NodeJS 的实现
Jul 04 NodeJs
nodejs 搭建简易服务器的图文教程(推荐)
Jul 18 NodeJs
Nodejs实现文件上传的示例代码
Sep 26 NodeJs
NodeJS模块与ES6模块系统语法及注意点详解
Jan 04 NodeJs
nodejs微信开发之自动回复的实现
Mar 17 NodeJs
nodeJS代码实现计算交社保是否合适
Mar 09 #NodeJs
Nodejs关于gzip/deflate压缩详解
Mar 04 #NodeJs
nodejs URL模块操作URL相关方法介绍
Mar 03 #NodeJs
Windows系统中安装nodejs图文教程
Feb 28 #NodeJs
NodeJS中利用Promise来封装异步函数
Feb 25 #NodeJs
NodeJS Web应用监听sock文件实例
Feb 18 #NodeJs
NodeJS使用jQuery选择器操作DOM
Feb 13 #NodeJs
You might like
PHP+FastCGI+Nginx配置PHP运行环境
2014/08/07 PHP
如何使用PHP给图片加水印
2016/10/12 PHP
PHP MVC框架中类的自动加载机制实例分析
2019/09/18 PHP
JQuery 选择和过滤方法代码总结
2010/11/19 Javascript
简单时间提示DEMO从0开始一直进行计时
2013/11/19 Javascript
深入理解Javascript里的依赖注入
2014/03/19 Javascript
jquery 判断滚动条到达了底部和顶端的方法
2014/04/02 Javascript
jQuery is()函数用法3例
2014/05/06 Javascript
JavaScript中最容易混淆的作用域、提升、闭包知识详解(推荐)
2016/09/05 Javascript
js中string和number类型互转换技巧(分享)
2016/11/28 Javascript
js按条件生成随机json:randomjson实现方法
2017/04/07 Javascript
jQuery+pjax简单示例汇总
2017/04/21 jQuery
js调用刷新界面的几种方式
2017/05/03 Javascript
js脚本编写简单刷票投票系统
2017/06/27 Javascript
浅谈vue中慎用style的scoped属性
2017/11/28 Javascript
Javascript中prototype与__proto__的关系详解
2018/03/11 Javascript
关于js的三种使用方式(行内js、内部js、外部js)的程序代码
2018/05/05 Javascript
js实现移动端tab切换时下划线滑动效果
2019/09/08 Javascript
vue控制多行文字展开收起的实现示例
2019/10/11 Javascript
jquery实现轮播图特效
2020/04/12 jQuery
vuex实现购物车的增加减少移除
2020/06/28 Javascript
使用python的chardet库获得文件编码并修改编码
2014/01/22 Python
Python中lambda的用法及其与def的区别解析
2014/07/28 Python
Python制作爬虫抓取美女图
2016/01/20 Python
利用python获取Ping结果示例代码
2017/07/06 Python
vscode 远程调试python的方法
2017/12/01 Python
几行Python代码爬取3000+上市公司的信息
2019/01/24 Python
python 利用pandas将arff文件转csv文件的方法
2019/02/12 Python
Python的高阶函数用法实例分析
2019/04/11 Python
python GUI实现小球满屏乱跑效果
2019/05/09 Python
python实现人脸签到系统
2020/04/13 Python
解决import tensorflow导致jupyter内核死亡的问题
2021/02/06 Python
程序运行正确, 但退出时却"core dump"了,怎么回事
2014/02/19 面试题
公司周年庆寄语
2019/06/21 职场文书
详解Python描述符的工作原理
2021/06/11 Python
nginx的zabbix 5.0安装部署的方法步骤
2021/07/16 Servers