浅析Node.js 中 Stream API 的使用


Posted in Javascript onOctober 23, 2015

本文由浅入深给大家介绍node.js stream api,具体详情请看下文吧。

基本介绍

在 Node.js 中,读取文件的方式有两种,一种是用 fs.readFile ,另外一种是利用 fs.createReadStream 来读取。

fs.readFile 对于每个 Node.js 使用者来说最熟悉不过了,简单易懂,很好上手。但它的缺点是会先将数据全部读入内存,一旦遇到大文件的时候,这种方式读取的效率就非常低下了。

而 fs.createReadStream 则是通过 Stream 来读取数据,它会把文件(数据)分割成小块,然后触发一些特定的事件,我们可以监听这些事件,编写特定的处理函数。这种方式相对上面来说,并不好上手,但它效率非常高。

事实上, Stream 在 Node.js 中并非仅仅用在文件处理上,其他地方也可以看到它的身影,如 process.stdin/stdout , http , tcp sockets , zlib , crypto 等都有用到。

本文是我学习 Node.js 中的 Stream API 中的一点总结,希望对大家有用。

特点

基于事件通讯

可以通过 pipe 来连接流

种类

Readable Stream 可读数据流

Writeable Stream 可写数据流

Duplex Stream 双向数据流,可以同时读和写

Transform Stream 转换数据流,可读可写,同时可以转换(处理)数据

事件

可读数据流的事件

readable 数据向外流时触发

data 对于那些没有显式暂停的数据流,添加data事件监听函数,会将数据流切换到流动态,尽快向外提供数据

end 读取完数据时触发。注意不能和 writeableStream.end() 混淆,writeableStream 并没有 end 事件,只有 .end() 方法

close 数据源关闭时触发

error 读取数据发生错误时触发

可写数据流的事件

drain writable.write(chunk) 返回 false 之后,缓存全部写入完成,可以重新写入时就会触发

finish 调用 .end 方法时,所有缓存的数据释放后触发,类似于可读数据流中的 end 事件,表示写入过程结束

pipe 作为 pipe 目标时触发

unpipe 作为 unpipe 目标时触发

error 写入数据发生错误时触发

状态

可读数据流有两种状态: 流动态 和 暂停态 ,改变数据流状态的方法如下:

暂停态 -> 流动态

添加 data 事件的监听函数

调用 resume 方法

调用 pipe 方法

注意:如果转为流动态时,没有 data 事件的监听函数,也没有 pipe 方法的目的地,那么数据将遗失。

流动态 -> 暂停态

不存在 pipe 方法的目的地时,调用 pause 方法

存在 pipe 方法的目的地时,移除所有 data 事件的监听函数,并且调用 unpipe 方法,移除所有 pipe 方法的目的地

注意:只移除 data 事件的监听函数,并不会自动引发数据流进入「暂停态」。另外,存在 pipe 方法的目的地时,调用 pause 方法,并不能保证数据流总是处于暂停态,一旦那些目的地发出数据请求,数据流有可能会继续提供数据。

用法

读写文件

var fs = require('fs');
// 新建可读数据流
var rs = fs.createReadStream('./test1.txt');
// 新建可写数据流
var ws = fs.createWriteStream('./test2.txt');
// 监听可读数据流结束事件
rs.on('end', function() {
 console.log('read text1.txt successfully!');
});
// 监听可写数据流结束事件
ws.on('finish', function() {
 console.log('write text2.txt successfully!');
});
// 把可读数据流转换成流动态,流进可写数据流中
rs.pipe(ws);
读取 CSV 文件,并上传数据(我在生产环境中写过)
var fs = require('fs');
var es = require('event-stream');
var csv = require('csv');
var parser = csv.parse();
var transformer = csv.transform(function(record) {
 return record.join(',');
});
var data = fs.createReadStream('./demo.csv');
data
 .pipe(parser)
 .pipe(transformer)
 // 处理前一个 stream 传递过来的数据
 .pipe(es.map(function(data, callback) {
  upload(data, function(err) {
   callback(err);
  });
 }))
 // 相当于监听前一个 stream 的 end 事件
 .pipe(es.wait(function(err, body) {
  process.stdout.write('done!');
 }));

更多用法

可以参考一下 https://github.com/jeresig/node-stream-playground ,进去示例网站之后直接点 add stream 就能看到结果了。

常见坑

用 rs.pipe(ws) 的方式来写文件并不是把 rs 的内容 append 到 ws 后面,而是直接用 rs 的内容覆盖 ws 原有的内容

已结束/关闭的流不能重复使用,必须重新创建数据流

pipe 方法返回的是目标数据流,如 a.pipe(b) 返回的是 b,因此监听事件的时候请注意你监听的对象是否正确

如果你要监听多个数据流,同时你又使用了 pipe 方法来串联数据流的话,你就要写成:

data

.on('end', function() {
 console.log('data end');
})
.pipe(a)
.on('end', function() {
 console.log('a end');
})
.pipe(b)
.on('end', function() {
 console.log('b end');
});

常用类库

event-stream 用起来有函数式编程的感觉,个人比较喜欢

awesome-nodejs#streams 由于其他 stream 库我都没用过,所以有需求的就直接看这里吧

以上内容是小编给大家介绍的Node.js 中 Stream API 的使用,希望大家喜欢。

Javascript 相关文章推荐
在一个form用一个SUBMIT(或button)分别提交到两个处理表单页面的代码
Feb 15 Javascript
最简单的js图片切换效果实现代码
Sep 24 Javascript
jquery表单验证使用插件formValidator
Nov 10 Javascript
深入浅析JavaScript中prototype和proto的关系
Nov 15 Javascript
javascript创建对象的3种方法
Nov 02 Javascript
如何制作幻灯片(代码分享)
Jan 06 Javascript
JavaScript异步上传图片文件的实例代码
Jul 04 Javascript
layer插件实现在弹出层中弹出一警告提示并关闭弹出层的方法
Sep 24 Javascript
Vue.js下拉菜单组件使用方法详解
Oct 19 Javascript
vue实现分页的三种效果
Jun 23 Javascript
JS中循环遍历数组的四种方式总结
Jan 23 Javascript
详解JSON.parse和JSON.stringify用法
Feb 18 Javascript
jQuery实现右侧显示可向左滑动展示的深色QQ客服效果代码
Oct 23 #Javascript
js显示当前日期时间和星期几
Oct 22 #Javascript
js检测用户输入密码强度
Oct 22 #Javascript
使用JQuery实现Ctrl+Enter提交表单的方法
Oct 22 #Javascript
实例详解angularjs和ajax的结合使用
Oct 22 #Javascript
jQuery多级手风琴菜单实例讲解
Oct 22 #Javascript
使用jquery插件qrcode生成二维码
Oct 22 #Javascript
You might like
业余方法DIY电子管FM收音机
2021/03/02 无线电
破解图片防盗链的代码(asp/php)测试通过
2010/07/02 PHP
浅析HTTP消息头网页缓存控制以及header常用指令介绍
2013/06/28 PHP
php 模拟 asp.net webFrom 按钮提交事件实例
2014/10/13 PHP
apache和PHP如何整合在一起
2015/10/12 PHP
php获取服务器操作系统相关信息的方法
2016/10/08 PHP
浅谈PHP面向对象之访问者模式+组合模式
2017/05/22 PHP
php 处理png图片白色背景色改为透明色的实例代码
2018/12/10 PHP
PHP whois查询类定义与用法示例
2019/04/03 PHP
PHP getID3类的使用方法学习笔记【附getID3源码下载】
2019/10/18 PHP
ThinkPHP5.0框架实现切换数据库的方法分析
2019/10/30 PHP
JavaScript中String和StringBuffer的速度之争
2010/04/01 Javascript
javascript设计模式 封装和信息隐藏(上)
2012/07/24 Javascript
可编辑下拉框的2种实现方式
2014/06/13 Javascript
5个可以帮你理解JavaScript核心闭包和作用域的小例子
2014/10/08 Javascript
使用AngularJS实现可伸缩的页面切换的方法
2015/06/19 Javascript
js将滚动条滚动到指定位置的简单实现方法
2016/06/25 Javascript
基于js实现checkbox批量选中操作
2016/11/22 Javascript
Vuejs实现带样式的单文件组件新方法
2017/05/02 Javascript
JavaScript 完成注册页面表单校验的实例
2017/08/19 Javascript
微信小程序实现banner图轮播效果
2020/06/28 Javascript
layui的数据表格+springmvc实现搜索功能的例子
2019/09/28 Javascript
vue封装可复用组件confirm,并绑定在vue原型上的示例
2019/10/31 Javascript
Angular 多模块项目构建过程
2020/02/13 Javascript
Python获取网页上图片下载地址的方法
2015/03/11 Python
Linux RedHat下安装Python2.7开发环境
2017/05/20 Python
详解supervisor使用教程
2017/11/21 Python
win7+Python3.5下scrapy的安装方法
2018/07/31 Python
Cotton On美国网站:澳洲时装连锁品牌
2016/10/25 全球购物
车间班长岗位职责
2013/11/30 职场文书
学习雷锋寄语大全
2014/04/11 职场文书
2014年维修电工工作总结
2014/11/20 职场文书
中学教代会开幕词
2016/03/04 职场文书
Nginx已编译的nginx-添加新模块
2021/04/01 Servers
浅谈Python基础之列表那些事儿
2021/05/11 Python
SQL Server中锁的用法
2022/05/20 SQL Server