利用Node.js如何实现文件循环覆写


Posted in Javascript onApril 05, 2019

前言

这次编写Node.js项目的时候用到了日志模块,其中碰到了一个小问题。

这是一个定时执行可配置自动化任务的项目,所以输出信息会不断增加,也就意味着日志文件会随时间不断增大。如果对日志文件大小不加以控制,那么服务器的磁盘迟早会被撑满。所以限制文件大小是有必要的。

最理想的控制方式就是当文件大小超过限制时,清除最先记录的数据。类似一个FIFO的队列。

# 删除前面的数据
- 1 xxx
 ......
 100 abc
# 文件末尾追加数据
+ 101 xxxx

log4js的file rolling

一提到记录日志很多Node.js开发者肯定会找到log4js,先来看看log4js是怎么处理这个问题的。

log4js分为很多appenders(可以理解为记录日志的媒介),file rolling功能可以通过函数来进行配置。

file rolling功能有两种方式:日期和文件大小。

要控制文件大小,当然选择后者。

为了测试这个功能是否满足我们要求,写一段循环代码来写日志。

const log4js = require('log4js')
// 配置log4js
log4js.configure({
 appenders: {
 everything: {
 type: 'file',
 filename: 'a.log',
 maxLogSize: 1000,
 backups: 0
 },
 },
 categories: {
 default: {
 appenders: ['everything'],
 level: 'debug'
 }
 }
});
const log = log4js.getLogger();
for (let i = 0; i < 41; i++) {
 const str = i.toString().padStart(6, '000000');
 log.debug(str);
}

执行之后生成两个文件a.log和a.log.1。

其中a.log.1有20行数据,实际大小1kb,a.log只有1行数据。

虽然确实控制了文件大小,但是会带来两个问题:

  • 额外产生一个备份文件,总占用磁盘空间会超过文件限制。
  • 日志文件内容的大小是变动的,查询日志的时候很可能需要联合备份文件进行查询(比如上面的情况日志文件只有1行数据)。

推测log4js的实现逻辑可能是下面这样:

  • 检查日志文件是否达到限制大小,如果达到则删除备份文件,否则继续写入日志文件。
  • 重命名日志文件为备份文件。

这显然不能完全满足需求。

字符串替换?

如果要在内存中完成循环覆写操作就比较简单了,使用字符串或Buffer的即可完成。

  • 添加字符串/Buffer长度,如果超过大小则截取。
  • 写入并覆盖日志文件。

但是有一个很大的问题:占用内存。

比如限制文件大小为1GB,有10个日志文件同时写入,那么至少占用10GB内存空间!

内存可是比磁盘空间更宝贵的,如此明显的性能问题,显然也不是最优解决方式。

file roll

按照需求可以把实现步骤拆成两步:

  • 追加最新的数据到文件末尾。(Node.js的fs模块有相应函数)
  • 删除文件开头超出限制部分。(Node.js没有响应函数)

这两步不分先后顺序,但是Node.js没有提供API来删除文件开头部分,只提供了修改文件指定位置的函数。

既然无法删除文件开头部分内容,那么我们就换个思路,只保留文件末尾部分内容(不超出大小限制)。

什么?这不是一个意思么?

略有区别~

删除是在原有文件上进行的操作,而保留内容可以借助临时文件来进行操作。

所以思路变成:

  1. 创建一个临时文件,临时文件的内容来自于日志文件。
  2. 往临时文件中增加数据。
  3. 将临时文件中符合文件大小限制的内容,从后往前(采取偏移量的形式)进行读取并复制到日志文件进行覆盖。
  4. 为了不占用额外的磁盘空间,写操作完成后删除临时文件。

这样就不会出现像log4js一样日志文件内容不全的现象,也不会保留额外的临时文件。但是对IO的操作会增加~
对于写操作可以采取tail命令来实现,最终实现代码如下:

private write(name: string, buf?: Buffer | string) {
 // append buf to tmp file
 const tmpName = name.replace(/(.*\/)(.*$)/, '$1_\.$2\.tmp');
 if (!existsSync(tmpName)) {
 copyFileSync(name, tmpName);
 }
 buf && appendFileSync(tmpName, buf);
 // if busy, wait
 if (this.stream && this.stream.readable) {
 this.needUpdateLogFile[name] = true;
 } else {
 try {
  execSync(`tail -c ${limit} ${tmpName} > ${name}`);
  try {
  if (this.needUpdateLogFile[name]) {
   this.needUpdateLogFile[name] = false;
   this.write(name);
  } else {
   existsSync(tmpName) && unlinkSync(tmpName);
  }
  } catch (e) {
  console.error(e);
  }
 } catch (e) {
  console.error(e);
 }
 }
}

总结

完成这个功能有两点感悟:

  1. 量变引起质变。当数据量变大时,很多简单的处理方式就不可以用了,比如写文件,如果直接使用writeFile会占用大量内存甚至有可能内存都不够用。所以要通过合适的方式进行拆分,拆分过程中又会碰到各种问题,比如本文中截取文件内容的要求。
  2. 学会借力。君子性非异也善假于物也~当无法在单个点完成操作的时候可以借助外部条件来实现,比如在本文中使用临时文件来保存数据内容。

好了,以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。

Javascript 相关文章推荐
javascript面向对象编程(一) 实例代码
Jun 25 Javascript
Js组件的一些写法
Sep 10 Javascript
随鼠标上下滚动的jquery代码
Dec 05 Javascript
jquery实现的仿天猫侧导航tab切换效果
Aug 24 Javascript
微信小程序 视图层(xx.xml)和逻辑层(xx.js)详细介绍
Oct 13 Javascript
JavaScript实现定时页面跳转功能示例
Feb 14 Javascript
JS实现简单的浮动碰撞效果示例
Dec 28 Javascript
详解Angular5 路由传参的3种方法
Apr 28 Javascript
vue.js 双层嵌套for遍历的方法详解, 类似php foreach()
Sep 07 Javascript
实现Vue的markdown文档可以在线运行的方法示例
Dec 11 Javascript
ant-design-vue 实现表格内部字段验证功能
Dec 16 Javascript
JS实现打字游戏
Dec 17 Javascript
详解JavaScript栈内存与堆内存
Apr 04 #Javascript
jQuery中实现text()的方法
Apr 04 #jQuery
基于 jQuery 实现键盘事件监听控件
Apr 04 #jQuery
详解微信图片防盗链“此图片来自微信公众平台 未经允许不得引用”的解决方案
Apr 04 #Javascript
基于Vue+elementUI实现动态表单的校验功能(根据条件动态切换校验格式)
Apr 04 #Javascript
vue学习笔记五:在vue项目里面使用引入公共方法详解
Apr 04 #Javascript
JavaScript多种页面刷新方法小结
Apr 04 #Javascript
You might like
PHP微信开发之文本自动回复
2016/06/23 PHP
PHP延迟静态绑定的深入讲解
2018/04/02 PHP
Javascript将string类型转换int类型
2010/12/09 Javascript
js 关于=+与+=日期函数使用说明(赋值运算符)
2011/11/15 Javascript
用原生JavaScript实现jQuery的$.getJSON的解决方法
2013/05/03 Javascript
JavaScript Math.round() 方法
2015/12/18 Javascript
新入门node.js必须要知道的概念(必看篇)
2016/08/10 Javascript
遍历json 对象的属性并且动态添加属性的实现
2016/12/02 Javascript
JavaScript中 this 指向问题深度解析
2017/02/21 Javascript
JavaScript中附件预览功能实现详解(推荐)
2017/08/15 Javascript
分享Angular http interceptors 拦截器使用(推荐)
2019/11/10 Javascript
vue项目如何监听localStorage或sessionStorage的变化
2021/01/04 Vue.js
vite2.0+vue3移动端项目实战详解
2021/03/03 Vue.js
[06:07]刀塔密之二:攻之吾命受之吾幸
2014/07/03 DOTA
详解Python操作RabbitMQ服务器消息队列的远程结果返回
2016/06/30 Python
Python自动化运维和部署项目工具Fabric使用实例
2016/09/18 Python
python 如何快速找出两个电子表中数据的差异
2017/05/26 Python
Python批处理删除和重命名文件夹的实例
2018/07/11 Python
python 常见字符串与函数的用法详解
2018/11/23 Python
Python遍历文件夹 处理json文件的方法
2019/01/22 Python
使用Python做垃圾分类的原理及实例代码附源码
2019/07/02 Python
Pytorch之parameters的使用
2019/12/31 Python
python利用opencv保存、播放视频
2020/11/02 Python
美国创意礼品网站:UncommonGoods
2017/02/03 全球购物
Farnell德国:电子元器件供应商
2018/07/10 全球购物
神话般的珠宝:Ross-Simons
2020/07/13 全球购物
小学生获奖感言范文
2014/02/02 职场文书
企业办公室岗位职责
2014/03/12 职场文书
应聘英语教师求职信
2014/04/24 职场文书
2014年人事科工作总结
2014/11/19 职场文书
2014年大学团支部工作总结
2014/12/02 职场文书
学生会辞职信
2015/03/02 职场文书
幼师辞职信范文大全
2015/05/12 职场文书
签约仪式致辞
2015/07/30 职场文书
《鸡兔同笼》教学反思
2016/02/19 职场文书
学生检讨书范文
2019/06/24 职场文书