深入浅出了解Node.js Streams


Posted in Javascript onMay 27, 2019

什么是流(steams)

流(stream)是 Node.js 中处理流式数据的抽象接口。

Streams 不是 Node.js 独有的概念。它们是几十年前在 Unix 操作系统中引入的。

它们能够以一种有效的方式来处理文件的读、写,网络通信或任何类型的端到端信息交换。
例如,当你编写了一段程序用来读取文件时,传统的方法是将文件从头到尾读入内存,然后再进行处理。而使用流的话,你就可以逐块读取它,处理其内容而不将其全部保存在内存中。
以如下代码为例

const fs = require('fs');
const rs = fs.createReadStream('test.md');
let data = '';
rs.on("data", function (chunk) {
data += chunk;
});
rs.on("end", function() {
console.log(data);
});

利用 createReadStream 创建一个读取数据的流,来读取 test.md 文件的内容,此时监听 data 事件,它是在当流将数据块传送给消费者后触发。并在对应的 eventHandler 中,拼接 chunk。在 end 事件中,打印到终端上。
之前说流,可以逐块读取文件内容,那么这个块,也就是 chunk 是什么?
一般情况下是 Buffer,修改 data 事件的 eventHandler 来验证下

rs.on("data", function (chunk) {
console.log("chunk", Buffer.isBuffer(chunk)) // log true
data += chunk;
});

流的工作方式可以具体的表述为,在内存中准备一段 Buffer,然后在 fs.read() 读取时逐步从磁盘中将字节复制到 Buffer 中。

为什么要使用 Stream

利用 Stream 来处理数据,主要是因为它的两个优点:

内存效率:在够处理数据之前,不需要占用大量内存;

时间效率:处理数据花费的时间更少,因为流是逐块来处理数据,而不是等到整个数据有效负载才启动。

首先内存效率,与 fs.readFile 这种会缓冲整个文件相比,流式传输充分地利用 Buffer (超过 8kb)不受 V8 内存控制的特点,利用堆外内存完成高效地传输。相关验证可以参考这篇博文,地址。
时间效率,与 fs.FileSync 相比,有些优势,但是与异步的 fs.readFile 相比,优势不大。

Node.js 中 Stream 的使用

首先用一张图来了解下 Node.js 中有哪些内置的 Stream 接口

深入浅出了解Node.js Streams

图中提供了一些 Node.js 原生的流的示例,有些是可读、写的流。 也有一些是可读写的流,如 TCP sockets、zlib 以及 crypto。

特别注意: 流的读、写与环境是密切相关的。例如 HTTP 响应在客户端上的可读流,但它是服务器上的可写流。同时还需要注意,stdio streams(stdin,stdout,stderr) 在子进程上是相反的流。

使用一个例子来展示流的使用

首先利用如下脚本创建一个比较大的文件(大概 430 MB)

const fs = require('fs');
const file = fs.createWriteStream('test.md');
for(let i=0; i<= 1e6; i++) {
file.write('hello world.\n');
}
file.end();

在当前目录下,启动 http 服务

const http = require('http')
const fs = require('fs')
const server = http.createServer(function (req, res) {
fs.readFile(__dirname + '/test.md', (err, data) => {
res.end(data)
})
})
server.listen(3000)

得到的结果,如图

深入浅出了解Node.js Streams

const http = require('http')
const fs = require('fs')
const server = http.createServer((req, res) => {
const stream = fs.createReadStream(__dirname + '/test.md')
stream.pipe(res)
})
server.listen(3000)

深入浅出了解Node.js Streams

时间减少了 2s 多。这可以解释为,在读取文件内容,并且不需要改变内容的场景下,流能够完成只读取 buffer,然后直接传输,不做额外的转换,避免损耗,提高性能。
上述代码中,应用了 stream.pipe(...) 。它主要是对流进行链式地管道操作,例如

src.pipe(dest1).pipe(dest2)

这样数据流会被自动管理。

如果可读流发生错误,目标可写流不会自动关闭,需要手动关闭所有流以避免内存泄漏。

通常,当你使用 pipe 方法时,就不需要使用事件,但如果场景需要以更灵活、自定义的方式使用流,那么就要考虑事件。

Stream events

在上述例子中,我们使用了可读流的 data 、end 事件来控制文件的读取,它本质上与 pipe 方法相同,例如

# readable.pipe(writable)
readable.on('data', (chunk) => {
writable.write(chunk);
});
readable.on('end', () => {
writable.end();
});

只不过,使用 event 会更加灵活,可控。

深入浅出了解Node.js Streams

图中简单罗列了可读流、可写流的相关事件、方法,其中最重要的是

可读流:

  • data 事件:每当流将一大块数据传递时,就会触发;
  • end 事件:当没有更多数据要从流发出时,就会触发。

可写流:

  • drain 事件:当可以继续写入数据到流时会触发事件;
  • finish 事件:处理完全部数据块之后触发。

流的不同类型

除了上面涉及到的可读、写流之后,还有 Duplex、Transform 两类:

  • Readable :可以接收数据,但不能向其发送数据。当你将数据推送到可读流中时,它会被缓冲,直到消费者开始读取数据;
  • writable :可以发送数据,但不能从中接收;
  • Duplex :即可读也可写;
  • Tranform :与 Duplex 一样是可写又可读的,但它的输出与输入是相关联的。

如何创建一个可读流

这里只做简单介绍,具体见 stream module。

const Stream = require('stream')
const readableStream = new Stream.Readable()
readableStream._read = (size) => {
console.log('read', size)
}

利用 Stream 模块初始化一个可读流,然后向其中发送数据

readableStream.push('hi!')
readableStream.push('ho!')

如何创建一个可写流

为了创建可写流,需要扩展了基本的 Writable 对象,并实现了它的 _write 方法。

const Stream = require('stream')
const writableStream = new Stream.Writable()

实现 _write 方法:

writableStream._write = (chunk, encoding, next) => {
console.log(chunk.toString())
next()
}

结合上述例子实现

利用 readableStream 读入数据,并输出到 writableStream

const Stream = require('stream')
const readableStream = new Stream.Readable()
readableStream._read = (size) => {
console.log('read', size)
}
const writableStream = new Stream.Writable()
writableStream._write = (chunk, encoding, next) => {
console.log('write', chunk.toString())
next()
}
readableStream.pipe(writableStream)
readableStream.push('hi!')
readableStream.push('ho!')
/* 
log:
read 16384
write hi!
write ho!
*/

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Javascript 相关文章推荐
非阻塞动态加载javascript广告实现代码
Nov 17 Javascript
js+xml生成级联下拉框代码
Jul 24 Javascript
使用javascript过滤html的字符串(注释标记法)
Jul 08 Javascript
浅谈JavaScript字符集
May 22 Javascript
js onmousewheel事件多次触发问题解决方法
Oct 17 Javascript
jQuery验证元素是否为空的两种常用方法
Mar 17 Javascript
在js代码拼接dom对象到页面上去的模板总结(必看)
Feb 14 Javascript
值得收藏的vuejs安装教程
Nov 21 Javascript
React如何实现浏览器打印部分内容详析
May 19 Javascript
Vue项目vscode 安装eslint插件的方法(代码自动修复)
Apr 15 Javascript
解决Vue使用bus总线时,第一次路由跳转时数据没成功传递问题
Jul 28 Javascript
如何在JavaScript中正确处理变量
Dec 25 Javascript
JavaScript怎样在删除前添加确认弹出框?
May 27 #Javascript
vue项目前端错误收集之sentry教程详解
May 27 #Javascript
了解javascript中变量及函数的提升
May 27 #Javascript
基于vue实现一个禅道主页拖拽效果
May 27 #Javascript
jQuery实现input输入框获取焦点与失去焦点时提示的消失与显示功能示例
May 27 #jQuery
初学node.js中实现删除用户路由
May 27 #Javascript
jquery实现动态创建form并提交的方法示例
May 27 #jQuery
You might like
第一个无线电台是由谁发明的
2021/03/01 无线电
古巴咖啡 Cubita琥爵咖啡 独特的加勒比海风味咖啡
2021/03/06 新手入门
php的正则处理函数总结分析
2008/06/20 PHP
解析PHP中empty is_null和isset的测试
2013/06/29 PHP
php发送post请求函数分享
2014/03/06 PHP
Laravel如何实现自动加载类
2019/10/14 PHP
PHP Ajax跨域问题解决方案代码实例
2020/08/01 PHP
在第一个input框内输入内容.textarea自动得到第一个文件框的值的javascript代码
2007/04/20 Javascript
IE和Firefox在JavaScript应用中的兼容性探讨
2008/04/01 Javascript
Node调试工具JSHint的安装及配置教程
2014/05/27 Javascript
js实现可兼容IE、FF、Chrome、Opera及Safari的音乐播放器
2015/02/11 Javascript
JavaScript获取按钮所在form表单id的方法
2015/04/02 Javascript
基于jQuery实现仿百度首页换肤背景图片切换代码
2015/08/25 Javascript
微信小程序 教程之WXML
2016/10/18 Javascript
获取今天,昨天,本周,上周,本月,上月时间(实例分享)
2017/01/04 Javascript
Vue.extend构造器的详解
2017/07/17 Javascript
前端面试知识点目录一览
2019/04/15 Javascript
eslint 的三大通用规则详解
2019/05/16 Javascript
react 组件传值的三种方法
2019/06/03 Javascript
JAVA面试题 static关键字详解
2019/07/16 Javascript
JS绘图Flot如何实现可选显示曲线图功能
2020/10/16 Javascript
Python多线程编程(二):启动线程的两种方法
2015/04/05 Python
python列表生成式与列表生成器的使用
2018/02/23 Python
Python基于opencv的图像压缩算法实例分析
2018/05/03 Python
python的格式化输出(format,%)实例详解
2018/06/01 Python
python matplotlib中的subplot函数使用详解
2020/01/19 Python
python GUI库图形界面开发之pyinstaller打包python程序为exe安装文件
2020/02/26 Python
PyCharm2019.3永久激活破解详细图文教程,亲测可用(不定期更新)
2020/10/29 Python
美国单身专业人士在线约会网站:EliteSingles
2019/03/19 全球购物
照片礼物和装饰:MyPhoto
2019/11/02 全球购物
酒店服务实习自我鉴定
2013/09/22 职场文书
幼师求职自荐信范文
2014/01/26 职场文书
公司给客户的感谢信
2015/01/23 职场文书
小学生暑假安全保证书
2015/07/13 职场文书
nginx中封禁ip和允许内网ip访问的实现示例
2022/03/17 Servers
《总之就是很可爱》新作短篇动画《总之就是很可爱~制服~》将于2022年夏天播出
2022/04/07 日漫