利用Node.js如何实现文件循环覆写


Posted in Javascript onApril 05, 2019

前言

这次编写Node.js项目的时候用到了日志模块,其中碰到了一个小问题。

这是一个定时执行可配置自动化任务的项目,所以输出信息会不断增加,也就意味着日志文件会随时间不断增大。如果对日志文件大小不加以控制,那么服务器的磁盘迟早会被撑满。所以限制文件大小是有必要的。

最理想的控制方式就是当文件大小超过限制时,清除最先记录的数据。类似一个FIFO的队列。

# 删除前面的数据
- 1 xxx
 ......
 100 abc
# 文件末尾追加数据
+ 101 xxxx

log4js的file rolling

一提到记录日志很多Node.js开发者肯定会找到log4js,先来看看log4js是怎么处理这个问题的。

log4js分为很多appenders(可以理解为记录日志的媒介),file rolling功能可以通过函数来进行配置。

file rolling功能有两种方式:日期和文件大小。

要控制文件大小,当然选择后者。

为了测试这个功能是否满足我们要求,写一段循环代码来写日志。

const log4js = require('log4js')
// 配置log4js
log4js.configure({
 appenders: {
 everything: {
 type: 'file',
 filename: 'a.log',
 maxLogSize: 1000,
 backups: 0
 },
 },
 categories: {
 default: {
 appenders: ['everything'],
 level: 'debug'
 }
 }
});
const log = log4js.getLogger();
for (let i = 0; i < 41; i++) {
 const str = i.toString().padStart(6, '000000');
 log.debug(str);
}

执行之后生成两个文件a.log和a.log.1。

其中a.log.1有20行数据,实际大小1kb,a.log只有1行数据。

虽然确实控制了文件大小,但是会带来两个问题:

  • 额外产生一个备份文件,总占用磁盘空间会超过文件限制。
  • 日志文件内容的大小是变动的,查询日志的时候很可能需要联合备份文件进行查询(比如上面的情况日志文件只有1行数据)。

推测log4js的实现逻辑可能是下面这样:

  • 检查日志文件是否达到限制大小,如果达到则删除备份文件,否则继续写入日志文件。
  • 重命名日志文件为备份文件。

这显然不能完全满足需求。

字符串替换?

如果要在内存中完成循环覆写操作就比较简单了,使用字符串或Buffer的即可完成。

  • 添加字符串/Buffer长度,如果超过大小则截取。
  • 写入并覆盖日志文件。

但是有一个很大的问题:占用内存。

比如限制文件大小为1GB,有10个日志文件同时写入,那么至少占用10GB内存空间!

内存可是比磁盘空间更宝贵的,如此明显的性能问题,显然也不是最优解决方式。

file roll

按照需求可以把实现步骤拆成两步:

  • 追加最新的数据到文件末尾。(Node.js的fs模块有相应函数)
  • 删除文件开头超出限制部分。(Node.js没有响应函数)

这两步不分先后顺序,但是Node.js没有提供API来删除文件开头部分,只提供了修改文件指定位置的函数。

既然无法删除文件开头部分内容,那么我们就换个思路,只保留文件末尾部分内容(不超出大小限制)。

什么?这不是一个意思么?

略有区别~

删除是在原有文件上进行的操作,而保留内容可以借助临时文件来进行操作。

所以思路变成:

  1. 创建一个临时文件,临时文件的内容来自于日志文件。
  2. 往临时文件中增加数据。
  3. 将临时文件中符合文件大小限制的内容,从后往前(采取偏移量的形式)进行读取并复制到日志文件进行覆盖。
  4. 为了不占用额外的磁盘空间,写操作完成后删除临时文件。

这样就不会出现像log4js一样日志文件内容不全的现象,也不会保留额外的临时文件。但是对IO的操作会增加~
对于写操作可以采取tail命令来实现,最终实现代码如下:

private write(name: string, buf?: Buffer | string) {
 // append buf to tmp file
 const tmpName = name.replace(/(.*\/)(.*$)/, '$1_\.$2\.tmp');
 if (!existsSync(tmpName)) {
 copyFileSync(name, tmpName);
 }
 buf && appendFileSync(tmpName, buf);
 // if busy, wait
 if (this.stream && this.stream.readable) {
 this.needUpdateLogFile[name] = true;
 } else {
 try {
  execSync(`tail -c ${limit} ${tmpName} > ${name}`);
  try {
  if (this.needUpdateLogFile[name]) {
   this.needUpdateLogFile[name] = false;
   this.write(name);
  } else {
   existsSync(tmpName) && unlinkSync(tmpName);
  }
  } catch (e) {
  console.error(e);
  }
 } catch (e) {
  console.error(e);
 }
 }
}

总结

完成这个功能有两点感悟:

  1. 量变引起质变。当数据量变大时,很多简单的处理方式就不可以用了,比如写文件,如果直接使用writeFile会占用大量内存甚至有可能内存都不够用。所以要通过合适的方式进行拆分,拆分过程中又会碰到各种问题,比如本文中截取文件内容的要求。
  2. 学会借力。君子性非异也善假于物也~当无法在单个点完成操作的时候可以借助外部条件来实现,比如在本文中使用临时文件来保存数据内容。

好了,以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。

Javascript 相关文章推荐
Js动态添加复选框Checkbox的实例方法
Apr 08 Javascript
js获取字符串最后一位方法汇总
Nov 13 Javascript
基于jQuery实现网页进度显示插件
Mar 04 Javascript
JS实现带圆弧背景渐变效果的导航菜单代码
Oct 13 Javascript
漫谈JS引擎的运行机制 你应该知道什么
Jun 15 Javascript
举例讲解jQuery对DOM元素的向上遍历、向下遍历和水平遍历
Jul 07 Javascript
AngularJS+Bootstrap3多级导航菜单的实现代码
Aug 16 Javascript
解决vue项目中type=”file“ change事件只执行一次的问题
May 16 Javascript
JS闭包经典实例详解
Dec 20 Javascript
Vue+ElementUI项目使用webpack输出MPA的方法
Aug 27 Javascript
深入分析JavaScript 事件循环(Event Loop)
Jun 19 Javascript
JS如何操作DOM基于表格动态展示数据
Oct 15 Javascript
详解JavaScript栈内存与堆内存
Apr 04 #Javascript
jQuery中实现text()的方法
Apr 04 #jQuery
基于 jQuery 实现键盘事件监听控件
Apr 04 #jQuery
详解微信图片防盗链“此图片来自微信公众平台 未经允许不得引用”的解决方案
Apr 04 #Javascript
基于Vue+elementUI实现动态表单的校验功能(根据条件动态切换校验格式)
Apr 04 #Javascript
vue学习笔记五:在vue项目里面使用引入公共方法详解
Apr 04 #Javascript
JavaScript多种页面刷新方法小结
Apr 04 #Javascript
You might like
php按字符无乱码截取中文的方法
2015/03/27 PHP
编写PHP脚本来实现WordPress中评论分页的功能
2015/12/10 PHP
FleaPHP框架数据库查询条件($conditions)写法总结
2016/03/19 PHP
常见的5个PHP编码小陋习以及优化实例讲解
2021/02/27 PHP
JavaScript高级程序设计 阅读笔记(四) ECMAScript中的类型转换
2012/02/27 Javascript
javascript实现复选框超过限制即弹出警告框的方法
2015/02/25 Javascript
JavaScript将字符串转换成字符编码列表的方法
2015/03/19 Javascript
js实现两点之间画线的方法
2015/05/12 Javascript
JavaScript常用标签和方法总结
2015/09/01 Javascript
jqTransform美化表单
2015/10/10 Javascript
JavaScript的MVVM库Vue.js入门学习笔记
2016/05/03 Javascript
解决jquery appaend元素中id绑定事件失效的问题
2017/09/12 jQuery
js中bool值的转换及“&amp;&amp;”、“||”、 “!!”详解
2017/12/21 Javascript
关于ES6箭头函数中的this问题
2018/02/27 Javascript
完美解决iview 的select下拉框选项错位的问题
2018/03/02 Javascript
AngularJS修改model值时,显示内容不变的实例
2018/09/13 Javascript
layui下拉框获取下拉值(select)的例子
2019/09/10 Javascript
Python实现检测服务器是否可以ping通的2种方法
2015/01/01 Python
Python中为什么要用self探讨
2015/04/14 Python
Python标准库之itertools库的使用方法
2017/09/07 Python
Python使用PIL模块生成随机验证码
2017/11/21 Python
Django框架orM与自定义SQL语句混合事务控制操作
2019/06/27 Python
如何使用django的MTV开发模式返回一个网页
2019/07/22 Python
将 Ubuntu 16 和 18 上的 python 升级到最新 python3.8 的方法教程
2020/03/11 Python
python 写一个性能测试工具(一)
2020/10/24 Python
用python批量移动文件
2021/01/14 Python
美国在线咖啡、茶和餐厅供应商:LollicupStore
2018/05/04 全球购物
Nordgreen台湾官网:极简北欧设计手表
2019/08/21 全球购物
美国名表在线商城:Ashford(支持中文)
2019/09/24 全球购物
舞蹈教育学专业求职信
2014/06/29 职场文书
师德师风学习材料
2014/12/19 职场文书
公司捐书倡议书
2015/04/27 职场文书
六一儿童节主持开场白
2015/05/28 职场文书
奖学金主要事迹范文
2015/11/04 职场文书
2019个人半年工作总结
2019/06/21 职场文书
Nginx Rewrite使用场景及配置方法解析
2021/04/01 Servers