Node.js中的流(Stream)介绍


Posted in Javascript onMarch 30, 2015

什么是流?

说到流,就涉及到一个*nix的概念:管道——在*nix中,流在Shell中被实现为可以通过 |(管道符) 进行桥接的数据,一个进程的输出(stdout)可被直接作为下一个进程的输入(stdin)。

在Node中,流(Stream)的概念与之类似,代表一种数据流可供桥接的能力。

pipe

流化的精髓在于 .pipe()方法。可供桥接的能力,在于数据流的两端(上游/下游 或称为 读/写流)以一个 .pipe()方法进行桥接。

Node.js中的流(Stream)介绍

伪代码的表现形式为:

//上游.pipe(下游)

Readable.pipe(Writable);

流的分类

这里并不打算讨论所谓的Node  v0.4 之前的“经典”流。那么,流分为这么几类(皆为抽象接口:

1.stream.Readable    可读流(需要实现_read方法,关注点在于对数据流读取的细节
2.stream.Writable     可写流(需要实现_write方法,关注点在于对数据流写入的细节
3.stream.Duplex        可读/写流(需要实现以上两接口,关注点为以上两接口的细节
4.stream.Transform  继承自Duplex(需要实现_transform方法,关注点在于对数据块的处理

简单来说:

1).pipe() 的拥有者一定具备 Readable 流(并不局限于)能力,它拥有 'readable'/'data'/'end'/'close'/'error' 一系列事件可供订阅,也提供 .read()/.pause()/.resume()等一系列方法供调用;
2).pipe() 的参数一定具备Writable 流(并不局限于 )能力,它拥有 'drain'/'pipe'/'unpipe'/'error'/'finish' 事件可供访问,也提供 .write()/.end() 等一系列方法供调用

什么鬼

有没有一丝丝焦虑?别急,做为一个说人话的低级码工,我会把Stream掰开了和您扯一扯的。

Stream类,在 Node.js的源码 里,是这么定义的:

var EE = require('events').EventEmitter;

var util = require('util');

util.inherits(Stream, EE);

 

function Stream() {

  EE.call(this);

}

可以看出,本质上,Stream是一个EventEmitter,那意味着它具备事件驱动的功能(.emit/.on...)。众所周知,“Node.js 就是基于V8的事件驱动平台”,实现了事件驱动的流式编程,具备了和Node一样的异步回调的特征。

比如在 Readable 流中,有一个 readable 事件,在一个暂停的只读流中,只要有数据块准备好可读时,它就会被发送给订阅者(Readable 流有哪些呢?express中的 req,ftp或者mutli-form上传组件的req.part,系统中的标准输入 process.stdin等)。有了readable 事件,我们可以做个处理shell 命令输出的分析器之类的工具:

process.stdin.on('readable', function(){

   var buf = process.stdin.read();

   if(buf){

      var data = buf.toString();

      // parsing data ...                                                

   }

});

这样调用:

head -10 some.txt | node parser.js

对于 Readable 流,我们还可以订阅它的 data 和 end 事件,以获取数据块并在流枯竭时获得通知,如 经典socket示例 中那样:

req.on('connect', function(res, socket, head) {

    socket.on('data', function(chunk) {

      console.log(chunk.toString());

    });

    socket.on('end', function() {

      proxy.close();

    });

  });

Readable流状态的切换
需要注意的是,Readable 流有两种状态:flowing mode(激流) 和 pause  mode(暂停)。前者根本停不下来,谁被pipe上了就马上不停的给;后者会暂停,直到下游显式的调用 Stream.read() 请求才读取数据块。Readable 流初始化时是 pause mode的。

这两种状态可以互为切换的,其中,

有以下任一行为,pause 转 flowing:

1.对 Readable 流添加一个data事件订阅
2.对 Readable 调用 .resume() 显式开启flowing
3.调用 Readable 流的 .pipe(writable) ,桥接到一个 Writable 流上

有以下任一行为,flowing 转回 pause:

1.Readable 流还没有 pipe 到任何流上,可调 .pause() 暂停
2.Readable 流已经 pipe 到了流上,需 remove 掉所有 data 事件订阅,并且调用 .unpipe()方法逐一解除与下游流的关系

妙用

结合流的异步特性,我可以写出这样的应用:直接将 用户A 的输出桥接到 用户B 的页面上输出:

router.post('/post', function(req, res) {

    var destination = req.headers['destination']; //发给谁

    cache[destionation] = req;

    //是的,并不返回,所以最好是个ajax请求

});

用户B请求的时候:

router.get('/inbox', function(req, res){

    var user = req.headers['user'];

    cache.find(user, function(err, previousReq){ //找到之前存的req

       var form = new multiparty.Form();

       form.parse(previousReq);  // 有文件给我

       form.on('part', function (part) {

            part.pipe(res); //流式大法好:)

 

            part.on('error', function (err) {

                console.log(err);

                messaging.setRequestDone(uniqueID);

                return res.end(err);

            });

        });

    });

});

参考

how to write node programs with streams: stream-handbook

Javascript 相关文章推荐
javascript级联下拉列表实例代码(自写)
May 10 Javascript
JS字符串截取函数实例
Dec 27 Javascript
微信小程序 教程之条件渲染
Oct 18 Javascript
基于vue实现多引擎搜索及关键字提示
Mar 16 Javascript
React-native桥接Android原生开发详解
Jan 17 Javascript
JS重学系列之聊聊new操作符
Mar 04 Javascript
解决layui中onchange失效以及form动态渲染失效的问题
Sep 27 Javascript
微信小程序页面渲染实现方法
Nov 06 Javascript
微信小程序实现音频文件播放进度的实例代码
Mar 02 Javascript
Quasar Input:type="number" 去掉上下小箭头 实现加减按钮样式功能
Apr 09 Javascript
Vue-cli打包后部署到子目录下的路径问题说明
Sep 02 Javascript
基于vue中的scoped坑点解说
Sep 04 Javascript
Node.js 异步编程之 Callback介绍(一)
Mar 30 #Javascript
js动态修改表格行colspan列跨度的方法
Mar 30 #Javascript
jQuery使用hide方法隐藏页面上指定元素的方法
Mar 30 #Javascript
jquery使用hide方法隐藏指定id的元素
Mar 30 #Javascript
jQuery使用hide方法隐藏指定元素class样式用法实例
Mar 30 #Javascript
jQuery使用hide方法隐藏元素自身用法实例
Mar 30 #Javascript
javascript实现控制浏览器全屏
Mar 30 #Javascript
You might like
php float不四舍五入截取浮点型字符串方法总结
2013/10/28 PHP
php编程每天必学之表单验证
2016/03/01 PHP
简单的自定义php模板引擎
2016/08/26 PHP
JavaScript判断手机号运营商是移动、联通、电信还是其他(代码简单)
2015/09/25 Javascript
JavaScript中关联原型链属性特性
2016/02/13 Javascript
js实现精确到秒的日期选择器完整实例
2016/04/30 Javascript
javascript使用 concat 方法对数组进行合并的方法
2016/09/08 Javascript
浅谈jquery页面初始化的4种方式
2016/11/27 Javascript
javascript帧动画(实例讲解)
2017/09/02 Javascript
js登录滑动验证的实现(不滑动无法登陆)
2018/01/03 Javascript
Vue.js图片预览插件使用详解
2018/08/27 Javascript
利用chrome浏览器进行js调试并找出元素绑定的点击事件详解
2021/01/30 Javascript
浅谈angularJs函数的使用方法(大小写转换,拷贝,扩充对象)
2018/10/08 Javascript
详解Element 指令clickoutside源码分析
2019/02/15 Javascript
Vue函数式组件-你值得拥有
2019/05/09 Javascript
javascript异步处理与Jquery deferred对象用法总结
2019/06/04 jQuery
vue项目配置使用flow类型检查的步骤
2020/03/18 Javascript
python使用smtplib模块通过gmail实现邮件发送的方法
2015/05/08 Python
Python字符串处理之count()方法的使用
2015/05/18 Python
python图片验证码生成代码
2016/07/02 Python
如何用Python合并lmdb文件
2018/07/02 Python
Python使用folium excel绘制point
2019/01/03 Python
Python 实现数组相减示例
2019/12/27 Python
Python 读取xml数据,cv2裁剪图片实例
2020/03/10 Python
怎样声明子类
2013/07/02 面试题
财务会计毕业生自荐信
2013/11/02 职场文书
实习评语大全
2014/04/26 职场文书
员工安全生产承诺书
2014/05/22 职场文书
优秀团员事迹材料2000字
2014/08/20 职场文书
小学端午节活动总结
2015/02/11 职场文书
我的中国梦主题班会
2015/08/14 职场文书
2019年干货:自我鉴定
2019/03/25 职场文书
CSS3 制作精美的定价表
2021/04/06 HTML / CSS
Python中tkinter的用户登录管理的实现
2021/04/22 Python
MySQL之select、distinct、limit的使用
2021/11/11 MySQL
使用python绘制横竖条形图
2022/04/21 Python