浅析Node.js 中 Stream API 的使用


Posted in Javascript onOctober 23, 2015

本文由浅入深给大家介绍node.js stream api,具体详情请看下文吧。

基本介绍

在 Node.js 中,读取文件的方式有两种,一种是用 fs.readFile ,另外一种是利用 fs.createReadStream 来读取。

fs.readFile 对于每个 Node.js 使用者来说最熟悉不过了,简单易懂,很好上手。但它的缺点是会先将数据全部读入内存,一旦遇到大文件的时候,这种方式读取的效率就非常低下了。

而 fs.createReadStream 则是通过 Stream 来读取数据,它会把文件(数据)分割成小块,然后触发一些特定的事件,我们可以监听这些事件,编写特定的处理函数。这种方式相对上面来说,并不好上手,但它效率非常高。

事实上, Stream 在 Node.js 中并非仅仅用在文件处理上,其他地方也可以看到它的身影,如 process.stdin/stdout , http , tcp sockets , zlib , crypto 等都有用到。

本文是我学习 Node.js 中的 Stream API 中的一点总结,希望对大家有用。

特点

基于事件通讯

可以通过 pipe 来连接流

种类

Readable Stream 可读数据流

Writeable Stream 可写数据流

Duplex Stream 双向数据流,可以同时读和写

Transform Stream 转换数据流,可读可写,同时可以转换(处理)数据

事件

可读数据流的事件

readable 数据向外流时触发

data 对于那些没有显式暂停的数据流,添加data事件监听函数,会将数据流切换到流动态,尽快向外提供数据

end 读取完数据时触发。注意不能和 writeableStream.end() 混淆,writeableStream 并没有 end 事件,只有 .end() 方法

close 数据源关闭时触发

error 读取数据发生错误时触发

可写数据流的事件

drain writable.write(chunk) 返回 false 之后,缓存全部写入完成,可以重新写入时就会触发

finish 调用 .end 方法时,所有缓存的数据释放后触发,类似于可读数据流中的 end 事件,表示写入过程结束

pipe 作为 pipe 目标时触发

unpipe 作为 unpipe 目标时触发

error 写入数据发生错误时触发

状态

可读数据流有两种状态: 流动态 和 暂停态 ,改变数据流状态的方法如下:

暂停态 -> 流动态

添加 data 事件的监听函数

调用 resume 方法

调用 pipe 方法

注意:如果转为流动态时,没有 data 事件的监听函数,也没有 pipe 方法的目的地,那么数据将遗失。

流动态 -> 暂停态

不存在 pipe 方法的目的地时,调用 pause 方法

存在 pipe 方法的目的地时,移除所有 data 事件的监听函数,并且调用 unpipe 方法,移除所有 pipe 方法的目的地

注意:只移除 data 事件的监听函数,并不会自动引发数据流进入「暂停态」。另外,存在 pipe 方法的目的地时,调用 pause 方法,并不能保证数据流总是处于暂停态,一旦那些目的地发出数据请求,数据流有可能会继续提供数据。

用法

读写文件

var fs = require('fs');
// 新建可读数据流
var rs = fs.createReadStream('./test1.txt');
// 新建可写数据流
var ws = fs.createWriteStream('./test2.txt');
// 监听可读数据流结束事件
rs.on('end', function() {
 console.log('read text1.txt successfully!');
});
// 监听可写数据流结束事件
ws.on('finish', function() {
 console.log('write text2.txt successfully!');
});
// 把可读数据流转换成流动态,流进可写数据流中
rs.pipe(ws);
读取 CSV 文件,并上传数据(我在生产环境中写过)
var fs = require('fs');
var es = require('event-stream');
var csv = require('csv');
var parser = csv.parse();
var transformer = csv.transform(function(record) {
 return record.join(',');
});
var data = fs.createReadStream('./demo.csv');
data
 .pipe(parser)
 .pipe(transformer)
 // 处理前一个 stream 传递过来的数据
 .pipe(es.map(function(data, callback) {
  upload(data, function(err) {
   callback(err);
  });
 }))
 // 相当于监听前一个 stream 的 end 事件
 .pipe(es.wait(function(err, body) {
  process.stdout.write('done!');
 }));

更多用法

可以参考一下 https://github.com/jeresig/node-stream-playground ,进去示例网站之后直接点 add stream 就能看到结果了。

常见坑

用 rs.pipe(ws) 的方式来写文件并不是把 rs 的内容 append 到 ws 后面,而是直接用 rs 的内容覆盖 ws 原有的内容

已结束/关闭的流不能重复使用,必须重新创建数据流

pipe 方法返回的是目标数据流,如 a.pipe(b) 返回的是 b,因此监听事件的时候请注意你监听的对象是否正确

如果你要监听多个数据流,同时你又使用了 pipe 方法来串联数据流的话,你就要写成:

data

.on('end', function() {
 console.log('data end');
})
.pipe(a)
.on('end', function() {
 console.log('a end');
})
.pipe(b)
.on('end', function() {
 console.log('b end');
});

常用类库

event-stream 用起来有函数式编程的感觉,个人比较喜欢

awesome-nodejs#streams 由于其他 stream 库我都没用过,所以有需求的就直接看这里吧

以上内容是小编给大家介绍的Node.js 中 Stream API 的使用,希望大家喜欢。

Javascript 相关文章推荐
Javascript 构造函数,公有,私有特权和静态成员定义方法
Nov 30 Javascript
js传参数受特殊字符影响错误的解决方法
Oct 21 Javascript
js中哈希表的几种用法总结
Jan 28 Javascript
基于jQuery ligerUI实现分页样式
Sep 18 Javascript
AngularJs验证重复密码的方法(两种)
Nov 25 Javascript
jQuery实现的简单排序功能示例【冒泡排序】
Jan 13 Javascript
jQuery向webApi提交post json数据
Jan 16 Javascript
jQuery EasyUI 页面加载等待及页面等待层
Feb 06 Javascript
Angular.JS利用ng-disabled属性和ng-model实现禁用button效果
Apr 05 Javascript
微信小程序tabbar底部导航
Nov 05 Javascript
Vue组件实现触底判断
Jun 26 Javascript
解决Vue打包后访问图片/图标不显示的问题
Jul 25 Javascript
jQuery实现右侧显示可向左滑动展示的深色QQ客服效果代码
Oct 23 #Javascript
js显示当前日期时间和星期几
Oct 22 #Javascript
js检测用户输入密码强度
Oct 22 #Javascript
使用JQuery实现Ctrl+Enter提交表单的方法
Oct 22 #Javascript
实例详解angularjs和ajax的结合使用
Oct 22 #Javascript
jQuery多级手风琴菜单实例讲解
Oct 22 #Javascript
使用jquery插件qrcode生成二维码
Oct 22 #Javascript
You might like
解析PHP实现多进程并行执行脚本
2013/06/18 PHP
php截取字符串函数substr,iconv_substr,mb_substr示例以及优劣分析
2014/06/10 PHP
php根据某字段对多维数组进行排序的方法
2015/03/07 PHP
PHP读取txt文本文件并分页显示的方法
2015/03/11 PHP
PHP实现的简单异常处理类示例
2017/05/04 PHP
微信开发之获取JSAPI TICKET
2017/07/07 PHP
PHP实现无限极分类的两种方式示例【递归和引用方式】
2019/03/25 PHP
js和jquery使按钮失效为不可用状态的方法
2014/01/26 Javascript
javascript中BOM基础知识总结
2017/02/14 Javascript
js移动端图片压缩上传功能
2020/08/18 Javascript
AngularJS 表单验证手机号的实例(非必填)
2017/11/12 Javascript
bootstrap实现二级下拉菜单效果
2017/11/23 Javascript
从零开始搭建vue移动端项目到上线的步骤
2018/10/15 Javascript
vue-cli3单页构建大型项目方案
2020/04/07 Javascript
[02:51]2018年度DOTA2最佳中单位选手-完美盛典
2018/12/17 DOTA
django通过ajax发起请求返回JSON格式数据的方法
2015/06/04 Python
对numpy中array和asarray的区别详解
2018/04/17 Python
Python处理菜单消息操作示例【基于win32ui模块】
2018/05/09 Python
python中的反斜杠问题深入讲解
2019/08/12 Python
Pytorch之Variable的用法
2019/12/31 Python
使用 Python ssh 远程登陆服务器的最佳方案
2020/03/06 Python
Python轻量级web框架bottle使用方法解析
2020/06/13 Python
Keras模型转成tensorflow的.pb操作
2020/07/06 Python
使用darknet框架的imagenet数据分类预训练操作
2020/07/07 Python
python help函数实例用法
2020/12/06 Python
PyTorch中的拷贝与就地操作详解
2020/12/09 Python
基于Python-Pycharm实现的猴子摘桃小游戏(源代码)
2021/02/20 Python
html5的新增的标签和废除的标签简要概述
2013/02/20 HTML / CSS
金鑫耀Java笔试题
2014/09/06 面试题
求职信格式范本
2013/11/15 职场文书
建筑设计师岗位职责
2013/11/18 职场文书
《猴子种树》教学反思
2014/02/14 职场文书
优秀学生干部先进事迹材料
2014/05/26 职场文书
销售2014年度工作总结
2014/12/08 职场文书
销售助理岗位职责
2015/02/11 职场文书
Python list去重且保持原顺序不变的方法
2021/04/03 Python