nodejs读取本地中文json文件出现乱码解决方法


Posted in NodeJs onOctober 10, 2018

1. 确定json文件是UTF-8 无BOM编码的的。如果有BOM,会在读取第一行的时候出现乱码。

Per "fs.readFileSync(filename, 'utf8') doesn't strip BOM markers #1918", fs.readFile is
working as designed: BOM is not stripped from the header of the UTF-8 file, if it exists. It at the discretion of the developer to handle this.

Possible workarounds:

  • data= data.replace(/^\uFEFF/, ''); perhttps://github.com/joyent/node/issues/1918#issuecomment-2480359
  • Transform the incoming stream to remove the BOM header with the NPM module bomstrip perhttps://github.com/joyent/node/issues/1918#issuecomment-38491548

What you are getting is the byte order mark header (BOM) of the UTF-8 file. When JSON.parse sees
this, it gives an syntax error (read: "unexpected character" error). You must strip the byte order mark from the file before passing it to JSON.parse:

fs.readFile('./myconfig.json', 'utf8', function (err, data) {
  myconfig = JSON.parse(data.toString('utf8').replace(/^\uFEFF/, ''));
});
// note: data is an instance of Buffer

2. 确定json没有格式错误。我在用utf8编码并用utf8 encoding来读取文件之后依然报错,百思不得其解。

最后发现json有两个editor没有发现的格式错误,一个是一个数组中两个元素之间少了一个“,”,另一个是另一个数组最后多了一个“,”。

注1:Node的iconv模块,仅支持linux,不支持Windows,因此要用纯js的iconv-lite,另:作者说iconv-lite的性能更好,具体参考Git站点:iconv-lite

注2:我在测试读写文件时,始终无法把中文写入文件,一直乱码,读取正常,后来同事帮我发现:js文件的编码格式是ansi,nodejs的代码文件必须是utf8格式

注3:如果程序操作的文件,都是以UTF8编码格式保存的,那么就不需要使用iconv模块,直接以utf8格式读取文件即可,如:

// 参数file,必须保存为utf8格式,否则里面的中文会乱码  
function readFile(file){  
    // readFile的第2个参数表示读取编码格式,如果未传递这个参数,表示返回Buffer字节数组  
    fs.readFile(file, "utf8", function(err, data){  
        if(err)  
            console.log("读取文件fail " + err);  
        else{  
            // 读取成功时  
            console.log(data);// 直接输出中文字符串了  
        }  
    });  
}

nodejs读取中文文件编码问题

准备一个文本文件(当然也可以是csv文件等)test.txt和text.csv,nodejs文件test.js如下:

var iconv = require('iconv-lite');  
  
var fs = require('fs');  
var fileStr = fs.readFileSync('D:\\test.csv', {encoding:'binary'});  
  
var buf = new Buffer(fileStr, 'binary');  
  
var str = iconv.decode(buf, 'GBK');  
console.log(str);  

直接读文件的话是乱码,不信你可以试试。需要先统一用二进制编码方式读取,然后再用GBK解码。

NodeJs 相关文章推荐
nodejs分页类代码分享
Jun 17 NodeJs
基于NodeJS的前后端分离的思考与实践(四)安全问题解决方案
Sep 26 NodeJs
nodejs教程之入门
Nov 21 NodeJs
轻松创建nodejs服务器(1):一个简单nodejs服务器例子
Dec 18 NodeJs
Nodejs实战心得之eventproxy模块控制并发
Oct 27 NodeJs
nodejs加密Crypto的实例代码
Jul 07 NodeJs
nodejs进阶(6)—连接MySQL数据库示例
Jan 07 NodeJs
用nodejs搭建websocket服务器
Jan 23 NodeJs
nodejs批量下载图片的实现方法
May 19 NodeJs
nodeJS微信分享
Dec 20 NodeJs
NodeJS父进程与子进程资源共享原理与实现方法
Mar 16 NodeJs
CentOS7中源码编译安装NodeJS的完整步骤
Oct 13 NodeJs
nodejs require js文件入口,在package.json中指定默认入口main方法
Oct 10 #NodeJs
nodejs更新package.json中的dependencies依赖到最新版本的方法
Oct 10 #NodeJs
nodejs中用npm初始化来创建package.json的实例讲解
Oct 10 #NodeJs
nodejs初始化init的示例代码
Oct 10 #NodeJs
webpack打包nodejs项目的方法
Sep 26 #NodeJs
Nodejs把接收图片base64格式保存为文件存储到服务器上
Sep 26 #NodeJs
基于Nodejs的Tcp封包和解包的理解
Sep 19 #NodeJs
You might like
php计算两个文件相对路径的方法
2015/03/14 PHP
thinkPHP实现基于ajax的评论回复功能
2018/06/22 PHP
PHPStorm2020.1永久激活及下载更新至2020(推荐)
2020/09/25 PHP
firefox 和 ie 事件处理的细节,研究,再研究 书写同时兼容ie和ff的事件处理代码
2007/04/12 Javascript
为超链接加上disabled后的故事
2010/12/10 Javascript
js解析与序列化json数据(一)json.stringify()的基本用法
2013/02/01 Javascript
JS中批量给元素绑定事件过程中的相关问题使用闭包解决
2013/04/15 Javascript
JavaScript中双叹号(!!)作用示例介绍
2014/04/10 Javascript
浅谈重写window对象的方法
2014/12/29 Javascript
javascript中基本类型和引用类型的区别分析
2015/05/12 Javascript
jQuery 3.0 的 setter和getter 模式详解
2016/07/11 Javascript
Google 地图API Map()构造器详解
2016/08/06 Javascript
JavaScript SHA-256加密算法详细代码
2016/10/06 Javascript
ionic中列表项增加和删除的实现方法
2017/01/22 Javascript
BootStrap表单验证 FormValidation 调整反馈图标位置的实例代码
2017/05/17 Javascript
js循环map 获取所有的key和value的实现代码(json)
2018/05/09 Javascript
Vue.extend实现挂载到实例上的方法
2019/05/01 Javascript
Layui 导航默认展开和菜单栏选中高亮设置的方法
2019/09/04 Javascript
原生JS与JQ获取元素的区别详解
2020/02/13 Javascript
在Python中使用lambda高效操作列表的教程
2015/04/24 Python
python使用in操作符时元组和数组的区别分析
2015/05/19 Python
Python自动调用IE打开某个网站的方法
2015/06/03 Python
python实现稀疏矩阵示例代码
2017/06/09 Python
启动targetcli时遇到错误解决办法
2017/10/26 Python
pandas 小数位数 精度的处理方法
2018/06/09 Python
Python基于多线程操作数据库相关问题分析
2018/07/11 Python
使用python Fabric动态修改远程机器hosts的方法
2018/10/26 Python
漂亮的Django Markdown富文本app插件的实现
2019/01/02 Python
python模块和包的应用BASE_PATH使用解析
2019/12/14 Python
python3 requests库实现多图片爬取教程
2019/12/18 Python
基于python实现FTP文件上传与下载操作(ftp&sftp协议)
2020/04/01 Python
基于python代码批量处理图片resize
2020/06/04 Python
澳大利亚领先的运动鞋商店:Hype DC
2018/03/31 全球购物
小学安全教育材料
2014/02/17 职场文书
2015年教师党员承诺书
2015/04/27 职场文书
教师节随笔
2015/08/15 职场文书