利用Node.js如何实现文件循环覆写


Posted in Javascript onApril 05, 2019

前言

这次编写Node.js项目的时候用到了日志模块,其中碰到了一个小问题。

这是一个定时执行可配置自动化任务的项目,所以输出信息会不断增加,也就意味着日志文件会随时间不断增大。如果对日志文件大小不加以控制,那么服务器的磁盘迟早会被撑满。所以限制文件大小是有必要的。

最理想的控制方式就是当文件大小超过限制时,清除最先记录的数据。类似一个FIFO的队列。

# 删除前面的数据
- 1 xxx
 ......
 100 abc
# 文件末尾追加数据
+ 101 xxxx

log4js的file rolling

一提到记录日志很多Node.js开发者肯定会找到log4js,先来看看log4js是怎么处理这个问题的。

log4js分为很多appenders(可以理解为记录日志的媒介),file rolling功能可以通过函数来进行配置。

file rolling功能有两种方式:日期和文件大小。

要控制文件大小,当然选择后者。

为了测试这个功能是否满足我们要求,写一段循环代码来写日志。

const log4js = require('log4js')
// 配置log4js
log4js.configure({
 appenders: {
 everything: {
 type: 'file',
 filename: 'a.log',
 maxLogSize: 1000,
 backups: 0
 },
 },
 categories: {
 default: {
 appenders: ['everything'],
 level: 'debug'
 }
 }
});
const log = log4js.getLogger();
for (let i = 0; i < 41; i++) {
 const str = i.toString().padStart(6, '000000');
 log.debug(str);
}

执行之后生成两个文件a.log和a.log.1。

其中a.log.1有20行数据,实际大小1kb,a.log只有1行数据。

虽然确实控制了文件大小,但是会带来两个问题:

  • 额外产生一个备份文件,总占用磁盘空间会超过文件限制。
  • 日志文件内容的大小是变动的,查询日志的时候很可能需要联合备份文件进行查询(比如上面的情况日志文件只有1行数据)。

推测log4js的实现逻辑可能是下面这样:

  • 检查日志文件是否达到限制大小,如果达到则删除备份文件,否则继续写入日志文件。
  • 重命名日志文件为备份文件。

这显然不能完全满足需求。

字符串替换?

如果要在内存中完成循环覆写操作就比较简单了,使用字符串或Buffer的即可完成。

  • 添加字符串/Buffer长度,如果超过大小则截取。
  • 写入并覆盖日志文件。

但是有一个很大的问题:占用内存。

比如限制文件大小为1GB,有10个日志文件同时写入,那么至少占用10GB内存空间!

内存可是比磁盘空间更宝贵的,如此明显的性能问题,显然也不是最优解决方式。

file roll

按照需求可以把实现步骤拆成两步:

  • 追加最新的数据到文件末尾。(Node.js的fs模块有相应函数)
  • 删除文件开头超出限制部分。(Node.js没有响应函数)

这两步不分先后顺序,但是Node.js没有提供API来删除文件开头部分,只提供了修改文件指定位置的函数。

既然无法删除文件开头部分内容,那么我们就换个思路,只保留文件末尾部分内容(不超出大小限制)。

什么?这不是一个意思么?

略有区别~

删除是在原有文件上进行的操作,而保留内容可以借助临时文件来进行操作。

所以思路变成:

  1. 创建一个临时文件,临时文件的内容来自于日志文件。
  2. 往临时文件中增加数据。
  3. 将临时文件中符合文件大小限制的内容,从后往前(采取偏移量的形式)进行读取并复制到日志文件进行覆盖。
  4. 为了不占用额外的磁盘空间,写操作完成后删除临时文件。

这样就不会出现像log4js一样日志文件内容不全的现象,也不会保留额外的临时文件。但是对IO的操作会增加~
对于写操作可以采取tail命令来实现,最终实现代码如下:

private write(name: string, buf?: Buffer | string) {
 // append buf to tmp file
 const tmpName = name.replace(/(.*\/)(.*$)/, '$1_\.$2\.tmp');
 if (!existsSync(tmpName)) {
 copyFileSync(name, tmpName);
 }
 buf && appendFileSync(tmpName, buf);
 // if busy, wait
 if (this.stream && this.stream.readable) {
 this.needUpdateLogFile[name] = true;
 } else {
 try {
  execSync(`tail -c ${limit} ${tmpName} > ${name}`);
  try {
  if (this.needUpdateLogFile[name]) {
   this.needUpdateLogFile[name] = false;
   this.write(name);
  } else {
   existsSync(tmpName) && unlinkSync(tmpName);
  }
  } catch (e) {
  console.error(e);
  }
 } catch (e) {
  console.error(e);
 }
 }
}

总结

完成这个功能有两点感悟:

  1. 量变引起质变。当数据量变大时,很多简单的处理方式就不可以用了,比如写文件,如果直接使用writeFile会占用大量内存甚至有可能内存都不够用。所以要通过合适的方式进行拆分,拆分过程中又会碰到各种问题,比如本文中截取文件内容的要求。
  2. 学会借力。君子性非异也善假于物也~当无法在单个点完成操作的时候可以借助外部条件来实现,比如在本文中使用临时文件来保存数据内容。

好了,以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。

Javascript 相关文章推荐
禁止页面刷新让F5快捷键及右键都无效
Jan 22 Javascript
jQuery表格排序组件-tablesorter使用示例
May 26 Javascript
jQuery实现移动 和 渐变特效的点击事件
Feb 26 Javascript
JS选中checkbox后获取table内一行TD所有数据的方法
Jul 01 Javascript
js返回顶部实例分享
Dec 21 Javascript
javascript 中Cookie读、写与删除操作
Mar 29 Javascript
Bootstrap treeview实现动态加载数据并添加快捷搜索功能
Jan 07 Javascript
vue.js实现只弹一次弹框
Jan 29 Javascript
使用JavaScript生成罗马字符的实例代码
Jun 08 Javascript
面试题:react和vue的区别分析
Apr 08 Javascript
微信小程序订阅消息(java后端实现)开发
Jun 01 Javascript
vue axios封装httpjs,接口公用配置拦截操作
Aug 11 Javascript
详解JavaScript栈内存与堆内存
Apr 04 #Javascript
jQuery中实现text()的方法
Apr 04 #jQuery
基于 jQuery 实现键盘事件监听控件
Apr 04 #jQuery
详解微信图片防盗链“此图片来自微信公众平台 未经允许不得引用”的解决方案
Apr 04 #Javascript
基于Vue+elementUI实现动态表单的校验功能(根据条件动态切换校验格式)
Apr 04 #Javascript
vue学习笔记五:在vue项目里面使用引入公共方法详解
Apr 04 #Javascript
JavaScript多种页面刷新方法小结
Apr 04 #Javascript
You might like
PHP parse_url 一个好用的函数
2009/10/03 PHP
PHP修改session_id示例代码
2014/01/08 PHP
Sublime里直接运行PHP配置方法
2014/11/28 PHP
PHP实现图片自动清理的方法
2015/07/08 PHP
php封装db类连接sqlite3数据库的方法实例
2017/12/19 PHP
通过代码实例解析PHP session工作原理
2020/12/11 PHP
JQuery Ajax通过Handler访问外部XML数据的代码
2010/06/01 Javascript
Jquery动态改变图片IMG的src地址示例
2013/06/25 Javascript
JavaScript中为什么null==0为false而null大于=0为true(个人研究)
2013/09/16 Javascript
js控制input输入字符解析
2013/12/27 Javascript
jquery中get和post的简单实例
2014/02/04 Javascript
JQ实现新浪游戏首页幻灯片
2015/07/29 Javascript
JS创建事件的三种方法(实例代码)
2016/05/12 Javascript
JS仿QQ好友列表展开、收缩功能(第一篇)
2017/07/07 Javascript
redux-saga 初识和使用
2018/03/10 Javascript
深入了解Hybrid App技术的相关知识
2019/07/17 Javascript
[01:04:05]VG vs Newbee 2018国际邀请赛小组赛BO2 第一场 8.17
2018/08/20 DOTA
Python反射的用法实例分析
2018/02/11 Python
Tensorflow卷积神经网络实例
2018/05/24 Python
python验证码识别教程之灰度处理、二值化、降噪与tesserocr识别
2018/06/04 Python
使用Python提取文本中含有特定字符串的方法示例
2020/12/09 Python
Argos官网:英国家喻户晓的百货零售连锁商
2017/04/03 全球购物
澳大利亚最受欢迎的超级商场每日优惠:Catch
2020/11/17 全球购物
高级文秘工作总结的自我评价
2013/09/28 职场文书
模特职业生涯规划范文
2014/02/26 职场文书
服务标兵事迹材料
2014/05/04 职场文书
拉歌口号大全
2014/06/13 职场文书
计算机系统管理员求职信
2014/06/20 职场文书
入党积极分子自我批评思想汇报
2014/10/10 职场文书
如何写辞职书
2015/02/26 职场文书
试用期自我评价怎么写
2015/03/10 职场文书
军训后的感想
2015/08/07 职场文书
在Django中使用MQTT的方法
2021/05/10 Python
教你用python实现12306余票查询
2021/06/30 Python
win11系统中dhcp服务异常什么意思? Win11 DHCP服务异常修复方法
2022/04/08 数码科技
Java中生成微信小程序太阳码的实现方案
2022/06/01 Java/Android