nodejs读取本地中文json文件出现乱码解决方法


Posted in NodeJs onOctober 10, 2018

1. 确定json文件是UTF-8 无BOM编码的的。如果有BOM,会在读取第一行的时候出现乱码。

Per "fs.readFileSync(filename, 'utf8') doesn't strip BOM markers #1918", fs.readFile is
working as designed: BOM is not stripped from the header of the UTF-8 file, if it exists. It at the discretion of the developer to handle this.

Possible workarounds:

  • data= data.replace(/^\uFEFF/, ''); perhttps://github.com/joyent/node/issues/1918#issuecomment-2480359
  • Transform the incoming stream to remove the BOM header with the NPM module bomstrip perhttps://github.com/joyent/node/issues/1918#issuecomment-38491548

What you are getting is the byte order mark header (BOM) of the UTF-8 file. When JSON.parse sees
this, it gives an syntax error (read: "unexpected character" error). You must strip the byte order mark from the file before passing it to JSON.parse:

fs.readFile('./myconfig.json', 'utf8', function (err, data) {
  myconfig = JSON.parse(data.toString('utf8').replace(/^\uFEFF/, ''));
});
// note: data is an instance of Buffer

2. 确定json没有格式错误。我在用utf8编码并用utf8 encoding来读取文件之后依然报错,百思不得其解。

最后发现json有两个editor没有发现的格式错误,一个是一个数组中两个元素之间少了一个“,”,另一个是另一个数组最后多了一个“,”。

注1:Node的iconv模块,仅支持linux,不支持Windows,因此要用纯js的iconv-lite,另:作者说iconv-lite的性能更好,具体参考Git站点:iconv-lite

注2:我在测试读写文件时,始终无法把中文写入文件,一直乱码,读取正常,后来同事帮我发现:js文件的编码格式是ansi,nodejs的代码文件必须是utf8格式

注3:如果程序操作的文件,都是以UTF8编码格式保存的,那么就不需要使用iconv模块,直接以utf8格式读取文件即可,如:

// 参数file,必须保存为utf8格式,否则里面的中文会乱码  
function readFile(file){  
    // readFile的第2个参数表示读取编码格式,如果未传递这个参数,表示返回Buffer字节数组  
    fs.readFile(file, "utf8", function(err, data){  
        if(err)  
            console.log("读取文件fail " + err);  
        else{  
            // 读取成功时  
            console.log(data);// 直接输出中文字符串了  
        }  
    });  
}

nodejs读取中文文件编码问题

准备一个文本文件(当然也可以是csv文件等)test.txt和text.csv,nodejs文件test.js如下:

var iconv = require('iconv-lite');  
  
var fs = require('fs');  
var fileStr = fs.readFileSync('D:\\test.csv', {encoding:'binary'});  
  
var buf = new Buffer(fileStr, 'binary');  
  
var str = iconv.decode(buf, 'GBK');  
console.log(str);  

直接读文件的话是乱码,不信你可以试试。需要先统一用二进制编码方式读取,然后再用GBK解码。

NodeJs 相关文章推荐
将nodejs打包工具整合到鼠标右键的方法
May 11 NodeJs
nodejs实现HTTPS发起POST请求
Apr 23 NodeJs
浅谈Nodejs中的作用域问题
Dec 26 NodeJs
Nodejs--post的公式详解
Apr 29 NodeJs
Windows下使用Nodejs运行js的方法
Sep 02 NodeJs
Nodejs+angularjs结合multiparty实现多图片上传的示例代码
Sep 29 NodeJs
nodejs基于WS模块实现WebSocket聊天功能的方法
Jan 12 NodeJs
nodejs搭建本地服务器轻松解决跨域问题
Mar 21 NodeJs
关于NodeJS中的循环引用详解
Jul 23 NodeJs
Nodejs封装类似express框架的路由实例详解
Jan 05 NodeJs
nodeJs的安装与npm全局环境变量的配置详解
Jan 06 NodeJs
在nodejs中创建child process的方法
Jan 26 NodeJs
nodejs require js文件入口,在package.json中指定默认入口main方法
Oct 10 #NodeJs
nodejs更新package.json中的dependencies依赖到最新版本的方法
Oct 10 #NodeJs
nodejs中用npm初始化来创建package.json的实例讲解
Oct 10 #NodeJs
nodejs初始化init的示例代码
Oct 10 #NodeJs
webpack打包nodejs项目的方法
Sep 26 #NodeJs
Nodejs把接收图片base64格式保存为文件存储到服务器上
Sep 26 #NodeJs
基于Nodejs的Tcp封包和解包的理解
Sep 19 #NodeJs
You might like
php class类的用法详细总结
2013/10/17 PHP
jQuery+PHP+ajax实现微博加载更多内容列表功能
2014/06/27 PHP
php fread函数使用方法总结
2019/05/28 PHP
php 命名空间(namespace)原理与用法实例小结
2019/11/13 PHP
php中使用array_filter()函数过滤数组实例讲解
2021/03/03 PHP
Alliance vs AM BO3 第一场2.13
2021/03/10 DOTA
JavaScript高级程序设计 DOM学习笔记
2011/09/10 Javascript
javascript动态向网页中添加表格实现代码
2014/02/19 Javascript
jQuery中:last选择器用法实例
2014/12/30 Javascript
JavaScript使用addEventListener添加事件监听用法实例
2015/06/01 Javascript
浅析Javascript中bind()方法的使用与实现
2016/05/30 Javascript
Vue.js常用指令的使用小结
2017/06/23 Javascript
JavaScript DOM元素常见操作详解【添加、删除、修改等】
2018/05/09 Javascript
node.js利用socket.io实现多人在线匹配联机五子棋
2018/05/31 Javascript
详解Vue内部怎样处理props选项的多种写法
2018/11/06 Javascript
react项目从新建到部署的实现示例
2021/02/19 Javascript
[01:00:25]2018DOTA2亚洲邀请赛3月30日 小组赛A组 VG VS Liquid
2018/03/31 DOTA
Python中使用gzip模块压缩文件的简单教程
2015/04/08 Python
Python中列表的一些基本操作知识汇总
2015/05/20 Python
Python json 错误xx is not JSON serializable解决办法
2017/03/15 Python
python实现淘宝秒杀聚划算抢购自动提醒源码
2020/06/23 Python
python表格存取的方法
2018/03/07 Python
pandas数据框,统计某列数据对应的个数方法
2018/04/11 Python
Python按钮的响应事件详解
2019/03/04 Python
Python数据可视化处理库PyEcharts柱状图,饼图,线性图,词云图常用实例详解
2020/02/10 Python
Python实现JS解密并爬取某音漫客网站
2020/10/23 Python
python归并排序算法过程实例讲解
2020/11/04 Python
Public Desire美国/加拿大:全球性的在线鞋类品牌
2018/12/17 全球购物
Linux常见面试题
2016/10/04 面试题
会计学财务管理专业个人的自我评价
2013/10/19 职场文书
三八红旗手先进事迹材料
2014/05/13 职场文书
小学节能减排倡议书
2014/05/15 职场文书
大学迎新标语
2014/06/26 职场文书
信用卡工资证明格式
2014/09/13 职场文书
平安家庭事迹材料
2014/12/20 职场文书
JavaScript 定时器详情
2021/11/11 Javascript