NodeJS模块Buffer原理及使用方法解析


Posted in NodeJs onNovember 11, 2020

Buffer 作为 nodejs 中重要的概念和功能,为开发者提供了操作二进制的能力。本文记录了几个问题,来加深对 Buffer 的理解和使用:

  • 认识缓冲器
  • 如何申请堆外内存
  • 如何计算字节长度
  • 如何计算字节长度
  • 如何转换字符编码
  • 理解共享内存与拷贝内存

认识 Buffer(缓冲器)

Buffer 是 nodejs 核心 API,它提供我们处理二进制数据流的功能。Buffer 的使用和 ES2017 的 Uint8Array 非常相似,但由于 node 的特性,专门提供了更深入的 api。

Uint8Array 的字面意思就是:8 位无符号整型数组。一个字节是 8bit,而字节的表示也是由两个 16 进制(4bit)的数字组成的。

const buf = Buffer.alloc(1);
console.log(buf); // output: <Buffer 00>

如何申请堆外内存

Buffer 可以跳出 nodejs 对堆内内存大小的限制。nodejs12 提供了 4 种 api 来申请堆外内存:

  • Buffer.from()
  • Buffer.alloc(size[, fill[, encoding]])
  • Buffer.allocUnsafe(size)
  • Buffer.allocUnsafeSlow(size)

Buffer.alloc vs Buffer.allocUnsafe

在申请内存时,可能这片内存之前存储过其他数据。如果不清除原数据,那么会有数据泄漏的安全风险;如果清除原数据,速度上会慢一些。具体用哪种方式,根据实际情况定。

  • Buffer.alloc:申请指定大小的内存,并且清除原数据,默认填充 0
  • Buffer.allocUnsafe:申请指定大小内存,但不清除原数据,速度更快

根据提供的 api,可以手动实现一个alloc:

function pollifyAlloc(size, fill = 0, encoding = "utf8") {
  const buf = Buffer.allocUnsafe(size);
  buf.fill(fill, 0, size, encoding);
  return buf;
}

Buffer.allocUnsafe vs Buffer.allocUnsafeSlow

从命名上可以直接看出效果,Buffer.allocUnsafeSlow更慢。因为当使用 Buffer.allocUnsafe 创建新的 Buffer 实例时,如果要分配的内存小于 4KB,则会从一个预分配的 Buffer 切割出来。 这可以避免垃圾回收机制因创建太多独立的 Buffer 而过度使用。

这种方式通过消除跟踪和清理的需要来改进性能和内存使用。

如何计算字节长度

利用 Buffer,可以获得数据的真实所占字节。例如一个汉字,它的字符长度是 1。但由于是 utf8 编码的汉字,所以占用 3 个字节。

直接利用Buffer.byteLength()可以获得字符串指定编码的字节长度:

const str = "本文原文地址: xxoo521.com";

console.log(Buffer.byteLength(str, "utf8")); // output: 31
console.log(str.length); // output: 19

也可以直接访问 Buffer 实例的 length 属性(不推荐):

console.log(Buffer.from(str, "utf8").length); // output: 31

如何转换字符编码

Nodejs 当前支持的编码格式有:ascii、utf8、utf16le、ucs2、base64、latin1、binary、hex。其他编码需要借助三方库来完成。

下面,是用Buffer.from()和buf.toString()来封装的 nodejs 平台的编码转换函数:

function trans(str, from = "utf8", to = "utf8") {
  const buf = Buffer.from(str, from);
  return buf.toString(to);
}

// output: 5Y6f5paH5Zyw5Z2AOiB4eG9vNTIxLmNvbQ==
console.log(trans("原文地址: xxoo521.com", "utf8", "base64"));

共享内存与拷贝内存

在生成 Buffer 实例,操作二进制数据的时候,千万要注意接口是基于共享内存,还是基于拷贝底层内存。

例如对于生成 Buffer 实例的from(),不同类型的参数,nodejs 底层的行为是不同的。

为了更形象地解释,请看下面两段代码。

代码 1:

const buf1 = Buffer.from("buffer");
const buf2 = Buffer.from(buf1); // 拷贝参数中buffer的数据到新的实例
buf1[0]++;

console.log(buf1.toString()); // output: cuffer
console.log(buf2.toString()); // output: buffer

代码 2:

const arr = new Uint8Array(1);
arr[0] = 97;

const buf1 = Buffer.from(arr.buffer);
console.log(buf1.toString()); // output: a

arr[0] = 98;
console.log(buf1.toString()); // output: b

在第二段代码中,传入Buffer.from的参数类型是arrayBuffer。因此Buffer.from仅仅是创建视图,而不是拷贝底层内存。buf1 和 arr 的内存是共享的。

在操作 Buffer 的过程中,需要特别注意共享和拷贝的区别,发生错误比较难排查。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

NodeJs 相关文章推荐
nodejs文件操作模块FS(File System)常用函数简明总结
Jun 05 NodeJs
nodejs的10个性能优化技巧
Jul 15 NodeJs
NodeJS实现阿里大鱼短信通知发送
Jan 17 NodeJs
用Nodejs搭建服务器访问html、css、JS等静态资源文件
Apr 28 NodeJs
深入理解Nodejs Global 模块
Jun 03 NodeJs
nodejs简单实现TCP服务器端和客户端的聊天功能示例
Jan 04 NodeJs
NodeJs项目中关闭ESLint的方法
Aug 09 NodeJs
nodejs中用npm初始化来创建package.json的实例讲解
Oct 10 NodeJs
深入理解NodeJS 多进程和集群
Oct 17 NodeJs
如何让Nodejs支持H5 History模式(connect-history-api-fallback源码分析)
May 30 NodeJs
Nodejs libuv运行原理详解
Aug 21 NodeJs
node快速搭建后台的实现步骤
Feb 18 NodeJs
nodejs中内置模块fs,path常见的用法说明
Nov 07 #NodeJs
Nodejs + sequelize 实现增删改查操作
Nov 07 #NodeJs
nodejs+koa2 实现模仿springMVC框架
Oct 21 #NodeJs
nodejs使用Sequelize框架操作数据库的实现
Oct 21 #NodeJs
用Nodejs实现在终端中炒股的实现
Oct 18 #NodeJs
Nodejs在局域网配置https访问的实现方法
Oct 17 #NodeJs
NodeJS开发人员常见五个错误理解
Oct 14 #NodeJs
You might like
php mssql 分页SQL语句优化 持续影响
2009/04/26 PHP
php常用字符串处理函数实例分析
2014/11/22 PHP
PHP判断IP并转跳到相应城市分站的方法
2015/03/25 PHP
php usort 使用用户自定义的比较函数对二维数组中的值进行排序
2017/05/02 PHP
PHP实现的数组和XML文件相互转换功能示例
2018/03/15 PHP
PHP开发的文字水印,缩略图,图片水印实现类与用法示例
2019/04/12 PHP
经典的带阴影的可拖动的浮动层
2006/06/26 Javascript
jquery 插件 人性化的消息显示
2008/01/21 Javascript
基于jquery的超简单上下翻
2010/04/20 Javascript
js实现的页面矩阵图形变换特效
2016/01/26 Javascript
BootStrap智能表单实战系列(七)验证的支持
2016/06/13 Javascript
js中遍历Map对象的简单实例
2016/08/08 Javascript
详解使用nvm安装node.js
2017/07/18 Javascript
javascript中神奇的 Date对象小结
2017/10/12 Javascript
老生常谈JavaScript面向对象基础与this指向问题
2017/10/16 Javascript
JS基于for语句编写的九九乘法表示例
2018/01/04 Javascript
vue2.0 实现页面导航提示引导的方法
2018/03/13 Javascript
Koa项目搭建过程详细记录
2018/04/12 Javascript
JavaScript 点击触发复制功能实例详解
2018/11/02 Javascript
node获取客户端ip功能简单示例
2019/08/24 Javascript
vue data恢复初始化数据的实现方法
2019/10/31 Javascript
JS如何实现动态添加的元素绑定事件
2019/11/12 Javascript
python实现比较两段文本不同之处的方法
2015/05/30 Python
numpy.linspace 生成等差数组的方法
2018/07/02 Python
Python网络编程之使用TCP方式传输文件操作示例
2019/11/01 Python
Tensorflow训练MNIST手写数字识别模型
2020/02/13 Python
CSS3新增布局之: flex详解
2020/06/18 HTML / CSS
机电专业体育教师求职信
2013/09/21 职场文书
小学教师岗位职责
2013/11/25 职场文书
趣味运动会活动方案
2014/02/12 职场文书
我的大学生活演讲稿
2014/04/25 职场文书
学习雷锋标语
2014/06/25 职场文书
公司门卫岗位职责范本
2014/07/08 职场文书
销售团队获奖感言
2014/08/14 职场文书
党员教师自我剖析材料
2014/09/29 职场文书
优秀共产党员事迹材料
2014/12/18 职场文书