nodejs读取本地中文json文件出现乱码解决方法


Posted in NodeJs onOctober 10, 2018

1. 确定json文件是UTF-8 无BOM编码的的。如果有BOM,会在读取第一行的时候出现乱码。

Per "fs.readFileSync(filename, 'utf8') doesn't strip BOM markers #1918", fs.readFile is
working as designed: BOM is not stripped from the header of the UTF-8 file, if it exists. It at the discretion of the developer to handle this.

Possible workarounds:

  • data= data.replace(/^\uFEFF/, ''); perhttps://github.com/joyent/node/issues/1918#issuecomment-2480359
  • Transform the incoming stream to remove the BOM header with the NPM module bomstrip perhttps://github.com/joyent/node/issues/1918#issuecomment-38491548

What you are getting is the byte order mark header (BOM) of the UTF-8 file. When JSON.parse sees
this, it gives an syntax error (read: "unexpected character" error). You must strip the byte order mark from the file before passing it to JSON.parse:

fs.readFile('./myconfig.json', 'utf8', function (err, data) {
  myconfig = JSON.parse(data.toString('utf8').replace(/^\uFEFF/, ''));
});
// note: data is an instance of Buffer

2. 确定json没有格式错误。我在用utf8编码并用utf8 encoding来读取文件之后依然报错,百思不得其解。

最后发现json有两个editor没有发现的格式错误,一个是一个数组中两个元素之间少了一个“,”,另一个是另一个数组最后多了一个“,”。

注1:Node的iconv模块,仅支持linux,不支持Windows,因此要用纯js的iconv-lite,另:作者说iconv-lite的性能更好,具体参考Git站点:iconv-lite

注2:我在测试读写文件时,始终无法把中文写入文件,一直乱码,读取正常,后来同事帮我发现:js文件的编码格式是ansi,nodejs的代码文件必须是utf8格式

注3:如果程序操作的文件,都是以UTF8编码格式保存的,那么就不需要使用iconv模块,直接以utf8格式读取文件即可,如:

// 参数file,必须保存为utf8格式,否则里面的中文会乱码  
function readFile(file){  
    // readFile的第2个参数表示读取编码格式,如果未传递这个参数,表示返回Buffer字节数组  
    fs.readFile(file, "utf8", function(err, data){  
        if(err)  
            console.log("读取文件fail " + err);  
        else{  
            // 读取成功时  
            console.log(data);// 直接输出中文字符串了  
        }  
    });  
}

nodejs读取中文文件编码问题

准备一个文本文件(当然也可以是csv文件等)test.txt和text.csv,nodejs文件test.js如下:

var iconv = require('iconv-lite');  
  
var fs = require('fs');  
var fileStr = fs.readFileSync('D:\\test.csv', {encoding:'binary'});  
  
var buf = new Buffer(fileStr, 'binary');  
  
var str = iconv.decode(buf, 'GBK');  
console.log(str);  

直接读文件的话是乱码,不信你可以试试。需要先统一用二进制编码方式读取,然后再用GBK解码。

NodeJs 相关文章推荐
NodeJS学习笔记之网络编程
Aug 03 NodeJs
Nodejs中读取中文文件编码问题、发送邮件和定时任务实例
Jan 01 NodeJs
nodejs中实现sleep功能实例
Mar 24 NodeJs
详解nodejs与javascript中的aes加密
May 22 NodeJs
nodejs学习笔记之路由
Mar 27 NodeJs
NodeJS实现微信公众号关注后自动回复功能
May 31 NodeJs
CentOS 安装NodeJS V8.0.0的方法
Jun 15 NodeJs
NodeJS 实现手机短信验证模块阿里大于功能
Jun 19 NodeJs
nodejs判断文件、文件夹是否存在及删除的方法
Nov 10 NodeJs
NodeJs项目中关闭ESLint的方法
Aug 09 NodeJs
nodejs npm错误Error:UNKNOWN:unknown error,mkdir 'D:\Develop\nodejs\node_global'at Error
Mar 02 NodeJs
nodejs实现聊天机器人功能
Sep 19 NodeJs
nodejs require js文件入口,在package.json中指定默认入口main方法
Oct 10 #NodeJs
nodejs更新package.json中的dependencies依赖到最新版本的方法
Oct 10 #NodeJs
nodejs中用npm初始化来创建package.json的实例讲解
Oct 10 #NodeJs
nodejs初始化init的示例代码
Oct 10 #NodeJs
webpack打包nodejs项目的方法
Sep 26 #NodeJs
Nodejs把接收图片base64格式保存为文件存储到服务器上
Sep 26 #NodeJs
基于Nodejs的Tcp封包和解包的理解
Sep 19 #NodeJs
You might like
YII中assets的使用示例
2014/07/31 PHP
PHP中实现Bloom Filter算法
2015/03/30 PHP
php查找字符串中第一个非0的位置截取
2017/02/27 PHP
PHP7扩展开发之基于函数方式使用lib库的方法详解
2018/01/15 PHP
PHP查找一列有序数组是否包含某值的方法
2020/02/07 PHP
如何使用jQUery获取选中radio对应的值(一句代码)
2013/06/03 Javascript
js返回上一页并刷新的多种实现方法
2014/02/26 Javascript
Ajax请求在数据量大的时候出现超时的解决方法
2014/02/27 Javascript
JQuery 在线引用及测试引用是否成功
2014/06/24 Javascript
jQuery插件zepto.js简单实现tab切换
2015/06/16 Javascript
javascript实现列表切换效果
2016/05/02 Javascript
简单易懂的天气插件(代码分享)
2017/02/04 Javascript
详解Vue爬坑之vuex初识
2017/06/14 Javascript
解决jquery的ajax调取后端数据成功却渲染失败的问题
2018/08/08 jQuery
vue 解决异步数据更新问题
2019/10/29 Javascript
浅谈Vue中render中的h箭头函数
2019/11/07 Javascript
解决vue项目 build之后资源文件找不到的问题
2020/09/12 Javascript
[58:46]OG vs NAVI 2019国际邀请赛小组赛 BO2 第二场 8.15
2019/08/17 DOTA
跟老齐学Python之不要红头文件(1)
2014/09/28 Python
Python中字典(dict)合并的四种方法总结
2017/08/10 Python
Python3 安装PyQt5及exe打包图文教程
2019/01/08 Python
pytorch 指定gpu训练与多gpu并行训练示例
2019/12/31 Python
基于python生成英文版词云图代码实例
2020/05/16 Python
基于Python爬取股票数据过程详解
2020/10/21 Python
Windows环境下Python3.6.8 importError: DLLload failed:找不到指定的模块
2020/11/01 Python
python和opencv构建运动检测器的实现
2021/03/03 Python
澳大利亚最受欢迎的美发用品目的地:AMR
2019/08/28 全球购物
北京银河万佳Java面试题
2012/03/21 面试题
实习生自荐信范文分享
2013/11/27 职场文书
网站美工岗位职责
2014/04/02 职场文书
优秀员工评优方案
2014/06/13 职场文书
路政管理求职信
2014/06/18 职场文书
安全在我心中演讲稿
2014/09/01 职场文书
2015年党员发展工作总结
2015/05/13 职场文书
PHP连接MSSQL数据库案例,PHPWAMP多个PHP版本连接SQL Server数据库
2021/04/16 PHP
Python编程中内置的NotImplemented类型的用法
2022/03/23 Python