利用Node.js如何实现文件循环覆写


Posted in Javascript onApril 05, 2019

前言

这次编写Node.js项目的时候用到了日志模块,其中碰到了一个小问题。

这是一个定时执行可配置自动化任务的项目,所以输出信息会不断增加,也就意味着日志文件会随时间不断增大。如果对日志文件大小不加以控制,那么服务器的磁盘迟早会被撑满。所以限制文件大小是有必要的。

最理想的控制方式就是当文件大小超过限制时,清除最先记录的数据。类似一个FIFO的队列。

# 删除前面的数据
- 1 xxx
 ......
 100 abc
# 文件末尾追加数据
+ 101 xxxx

log4js的file rolling

一提到记录日志很多Node.js开发者肯定会找到log4js,先来看看log4js是怎么处理这个问题的。

log4js分为很多appenders(可以理解为记录日志的媒介),file rolling功能可以通过函数来进行配置。

file rolling功能有两种方式:日期和文件大小。

要控制文件大小,当然选择后者。

为了测试这个功能是否满足我们要求,写一段循环代码来写日志。

const log4js = require('log4js')
// 配置log4js
log4js.configure({
 appenders: {
 everything: {
 type: 'file',
 filename: 'a.log',
 maxLogSize: 1000,
 backups: 0
 },
 },
 categories: {
 default: {
 appenders: ['everything'],
 level: 'debug'
 }
 }
});
const log = log4js.getLogger();
for (let i = 0; i < 41; i++) {
 const str = i.toString().padStart(6, '000000');
 log.debug(str);
}

执行之后生成两个文件a.log和a.log.1。

其中a.log.1有20行数据,实际大小1kb,a.log只有1行数据。

虽然确实控制了文件大小,但是会带来两个问题:

  • 额外产生一个备份文件,总占用磁盘空间会超过文件限制。
  • 日志文件内容的大小是变动的,查询日志的时候很可能需要联合备份文件进行查询(比如上面的情况日志文件只有1行数据)。

推测log4js的实现逻辑可能是下面这样:

  • 检查日志文件是否达到限制大小,如果达到则删除备份文件,否则继续写入日志文件。
  • 重命名日志文件为备份文件。

这显然不能完全满足需求。

字符串替换?

如果要在内存中完成循环覆写操作就比较简单了,使用字符串或Buffer的即可完成。

  • 添加字符串/Buffer长度,如果超过大小则截取。
  • 写入并覆盖日志文件。

但是有一个很大的问题:占用内存。

比如限制文件大小为1GB,有10个日志文件同时写入,那么至少占用10GB内存空间!

内存可是比磁盘空间更宝贵的,如此明显的性能问题,显然也不是最优解决方式。

file roll

按照需求可以把实现步骤拆成两步:

  • 追加最新的数据到文件末尾。(Node.js的fs模块有相应函数)
  • 删除文件开头超出限制部分。(Node.js没有响应函数)

这两步不分先后顺序,但是Node.js没有提供API来删除文件开头部分,只提供了修改文件指定位置的函数。

既然无法删除文件开头部分内容,那么我们就换个思路,只保留文件末尾部分内容(不超出大小限制)。

什么?这不是一个意思么?

略有区别~

删除是在原有文件上进行的操作,而保留内容可以借助临时文件来进行操作。

所以思路变成:

  1. 创建一个临时文件,临时文件的内容来自于日志文件。
  2. 往临时文件中增加数据。
  3. 将临时文件中符合文件大小限制的内容,从后往前(采取偏移量的形式)进行读取并复制到日志文件进行覆盖。
  4. 为了不占用额外的磁盘空间,写操作完成后删除临时文件。

这样就不会出现像log4js一样日志文件内容不全的现象,也不会保留额外的临时文件。但是对IO的操作会增加~
对于写操作可以采取tail命令来实现,最终实现代码如下:

private write(name: string, buf?: Buffer | string) {
 // append buf to tmp file
 const tmpName = name.replace(/(.*\/)(.*$)/, '$1_\.$2\.tmp');
 if (!existsSync(tmpName)) {
 copyFileSync(name, tmpName);
 }
 buf && appendFileSync(tmpName, buf);
 // if busy, wait
 if (this.stream && this.stream.readable) {
 this.needUpdateLogFile[name] = true;
 } else {
 try {
  execSync(`tail -c ${limit} ${tmpName} > ${name}`);
  try {
  if (this.needUpdateLogFile[name]) {
   this.needUpdateLogFile[name] = false;
   this.write(name);
  } else {
   existsSync(tmpName) && unlinkSync(tmpName);
  }
  } catch (e) {
  console.error(e);
  }
 } catch (e) {
  console.error(e);
 }
 }
}

总结

完成这个功能有两点感悟:

  1. 量变引起质变。当数据量变大时,很多简单的处理方式就不可以用了,比如写文件,如果直接使用writeFile会占用大量内存甚至有可能内存都不够用。所以要通过合适的方式进行拆分,拆分过程中又会碰到各种问题,比如本文中截取文件内容的要求。
  2. 学会借力。君子性非异也善假于物也~当无法在单个点完成操作的时候可以借助外部条件来实现,比如在本文中使用临时文件来保存数据内容。

好了,以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。

Javascript 相关文章推荐
JavaScript实现页面滚动图片加载(仿lazyload效果)
Jul 22 Javascript
javascript中动态加载js文件多种解决办法总结
Nov 15 Javascript
JS小功能(onmouseover实现选择月份)实例代码
Nov 28 Javascript
jquery.uploadify插件在chrome浏览器频繁崩溃解决方法
Mar 01 Javascript
javascript中if和switch,==和===详解
Jul 30 Javascript
jquery对复选框(checkbox)的操作汇总
Jan 13 Javascript
js事件处理程序跨浏览器解决方案
Mar 27 Javascript
bootstrap输入框组代码分享
Jun 07 Javascript
AngularJS入门教程之Helloworld示例
Dec 25 Javascript
JSON 数据格式详解
Sep 13 Javascript
详解小程序input框失焦事件在提交事件前的处理
May 05 Javascript
使用vant的地域控件追加全部选项
Nov 03 Javascript
详解JavaScript栈内存与堆内存
Apr 04 #Javascript
jQuery中实现text()的方法
Apr 04 #jQuery
基于 jQuery 实现键盘事件监听控件
Apr 04 #jQuery
详解微信图片防盗链“此图片来自微信公众平台 未经允许不得引用”的解决方案
Apr 04 #Javascript
基于Vue+elementUI实现动态表单的校验功能(根据条件动态切换校验格式)
Apr 04 #Javascript
vue学习笔记五:在vue项目里面使用引入公共方法详解
Apr 04 #Javascript
JavaScript多种页面刷新方法小结
Apr 04 #Javascript
You might like
php创建sprite
2014/02/11 PHP
教你如何快捷的使用cmd访问mysql小技巧
2014/05/26 PHP
PHP反射实际应用示例
2019/04/03 PHP
laravel 实现划分admin和home 模块分组
2019/10/15 PHP
发两个小东西,ASP/PHP 学习工具。 用JavaScript写的
2007/04/12 Javascript
JavaScript 字符编码规则
2009/05/04 Javascript
javascript 一段左右两边随屏滚动的代码
2009/06/18 Javascript
分享javascript实现的冒泡排序代码并优化
2016/06/05 Javascript
利用js获取下拉框中所选的值
2016/12/01 Javascript
React Js 微信禁止复制链接分享禁止隐藏右上角菜单功能
2017/05/26 Javascript
Vue中自定义全局组件的实现方法
2017/12/08 Javascript
node.js实现为PDF添加水印的示例代码
2018/12/05 Javascript
小程序中设置缓存过期的实现方法
2020/01/14 Javascript
[02:11]2016国际邀请赛中国区预选赛最美TA采访现场玩家
2016/06/28 DOTA
[44:33]EG vs Liquid 2018国际邀请赛小组赛BO2 第二场 8.18
2018/08/19 DOTA
python实现机器人行走效果
2018/01/29 Python
Python实现操纵控制windows注册表的方法分析
2019/05/24 Python
Python解析json时提示“string indices must be integers”问题解决方法
2019/07/31 Python
Python hashlib加密模块常用方法解析
2019/12/18 Python
python如何把字符串类型list转换成list
2020/02/18 Python
python爬虫请求头设置代码
2020/07/28 Python
Django自带用户认证系统使用方法解析
2020/11/12 Python
CSS3实现网站商品展示效果图
2020/01/18 HTML / CSS
Html5新标签解释及用法
2012/02/17 HTML / CSS
写好自荐信要注意的问题
2013/11/10 职场文书
网络工程师专家职业发展路线
2014/02/14 职场文书
个人贷款承诺书
2014/03/28 职场文书
法人代表授权委托书
2014/04/08 职场文书
工业自动化专业自荐信范文
2014/04/10 职场文书
慰问敬老院活动总结
2014/04/26 职场文书
普通党员个人整改措施
2014/10/27 职场文书
《画家和牧童》教学反思
2016/02/17 职场文书
《丑小鸭》教学反思
2016/02/19 职场文书
《牧场之国》教学反思
2016/02/22 职场文书
Python Django ORM连表正反操作技巧
2021/06/13 Python
MySQL提取JSON字段数据实现查询
2022/04/22 MySQL