nodejs读取本地中文json文件出现乱码解决方法


Posted in NodeJs onOctober 10, 2018

1. 确定json文件是UTF-8 无BOM编码的的。如果有BOM,会在读取第一行的时候出现乱码。

Per "fs.readFileSync(filename, 'utf8') doesn't strip BOM markers #1918", fs.readFile is
working as designed: BOM is not stripped from the header of the UTF-8 file, if it exists. It at the discretion of the developer to handle this.

Possible workarounds:

  • data= data.replace(/^\uFEFF/, ''); perhttps://github.com/joyent/node/issues/1918#issuecomment-2480359
  • Transform the incoming stream to remove the BOM header with the NPM module bomstrip perhttps://github.com/joyent/node/issues/1918#issuecomment-38491548

What you are getting is the byte order mark header (BOM) of the UTF-8 file. When JSON.parse sees
this, it gives an syntax error (read: "unexpected character" error). You must strip the byte order mark from the file before passing it to JSON.parse:

fs.readFile('./myconfig.json', 'utf8', function (err, data) {
  myconfig = JSON.parse(data.toString('utf8').replace(/^\uFEFF/, ''));
});
// note: data is an instance of Buffer

2. 确定json没有格式错误。我在用utf8编码并用utf8 encoding来读取文件之后依然报错,百思不得其解。

最后发现json有两个editor没有发现的格式错误,一个是一个数组中两个元素之间少了一个“,”,另一个是另一个数组最后多了一个“,”。

注1:Node的iconv模块,仅支持linux,不支持Windows,因此要用纯js的iconv-lite,另:作者说iconv-lite的性能更好,具体参考Git站点:iconv-lite

注2:我在测试读写文件时,始终无法把中文写入文件,一直乱码,读取正常,后来同事帮我发现:js文件的编码格式是ansi,nodejs的代码文件必须是utf8格式

注3:如果程序操作的文件,都是以UTF8编码格式保存的,那么就不需要使用iconv模块,直接以utf8格式读取文件即可,如:

// 参数file,必须保存为utf8格式,否则里面的中文会乱码  
function readFile(file){  
    // readFile的第2个参数表示读取编码格式,如果未传递这个参数,表示返回Buffer字节数组  
    fs.readFile(file, "utf8", function(err, data){  
        if(err)  
            console.log("读取文件fail " + err);  
        else{  
            // 读取成功时  
            console.log(data);// 直接输出中文字符串了  
        }  
    });  
}

nodejs读取中文文件编码问题

准备一个文本文件(当然也可以是csv文件等)test.txt和text.csv,nodejs文件test.js如下:

var iconv = require('iconv-lite');  
  
var fs = require('fs');  
var fileStr = fs.readFileSync('D:\\test.csv', {encoding:'binary'});  
  
var buf = new Buffer(fileStr, 'binary');  
  
var str = iconv.decode(buf, 'GBK');  
console.log(str);  

直接读文件的话是乱码,不信你可以试试。需要先统一用二进制编码方式读取,然后再用GBK解码。

NodeJs 相关文章推荐
PHPStorm 2020.1 调试 Nodejs的多种方法详解
Sep 17 NodeJs
NodeJS创建基础应用并应用模板引擎
Apr 12 NodeJs
利用nodejs监控文件变化并使用sftp上传到服务器
Feb 18 NodeJs
nodejs开发微信小程序实现密码加密
Jul 11 NodeJs
详解redis在nodejs中的应用
May 02 NodeJs
nodejs的路径问题的解决
Jun 30 NodeJs
NodeJS搭建HTTP服务器的实现步骤
Oct 12 NodeJs
nodejs异步编程基础之回调函数用法分析
Dec 26 NodeJs
nodejs中request库使用HTTPS代理的方法
Apr 30 NodeJs
nodejs实现日志读取、日志查找及日志刷新的方法分析
May 20 NodeJs
图解NodeJS实现登录注册功能
Sep 16 NodeJs
NodeJS开发人员常见五个错误理解
Oct 14 NodeJs
nodejs require js文件入口,在package.json中指定默认入口main方法
Oct 10 #NodeJs
nodejs更新package.json中的dependencies依赖到最新版本的方法
Oct 10 #NodeJs
nodejs中用npm初始化来创建package.json的实例讲解
Oct 10 #NodeJs
nodejs初始化init的示例代码
Oct 10 #NodeJs
webpack打包nodejs项目的方法
Sep 26 #NodeJs
Nodejs把接收图片base64格式保存为文件存储到服务器上
Sep 26 #NodeJs
基于Nodejs的Tcp封包和解包的理解
Sep 19 #NodeJs
You might like
用PHP调用数据库的存贮过程!
2006/10/09 PHP
js 动态选中下拉框
2009/11/26 Javascript
jQuery回调函数的定义及用法实例
2014/12/23 Javascript
jQuery插件Tooltipster实现漂亮的工具提示
2015/04/12 Javascript
JavaScript+html5 canvas绘制缤纷多彩的三角形效果完整实例
2016/01/26 Javascript
基于cssSlidy.js插件实现响应式手机图片轮播效果
2016/08/30 Javascript
AngularJs directive详解及示例代码
2016/09/01 Javascript
jQuery基本选择器之标签名选择器
2016/09/03 Javascript
jQuery网页定位导航特效实现方法
2016/12/19 Javascript
jquery实现转盘抽奖功能
2017/01/06 Javascript
对Vue2 自定义全局指令Vue.directive和指令的生命周期介绍
2018/08/30 Javascript
Vue绑定内联样式问题
2018/10/17 Javascript
傻瓜式vuex语法糖kiss-vuex整理
2018/12/21 Javascript
JS跨浏览器解析XML应用过程详解
2020/10/16 Javascript
12步入门Python中的decorator装饰器使用方法
2016/06/20 Python
Python中偏函数用法示例
2018/06/07 Python
python绘制立方体的方法
2018/07/02 Python
Python re正则表达式元字符分组()用法分享
2020/02/10 Python
Django media static外部访问Django中的图片设置教程
2020/04/07 Python
利用python+ffmpeg合并B站视频及格式转换的实例代码
2020/11/24 Python
python爬虫实现爬取同一个网站的多页数据的实例讲解
2021/01/18 Python
英国高街电视:High Street TV
2018/05/22 全球购物
法国设计制造的扫帚和刷子:Andrée Jardin
2018/12/06 全球购物
Skyscanner新西兰:全球领先的旅游搜索网站
2019/08/26 全球购物
请问如下代码执行后a和b的值分别是什么
2016/05/05 面试题
标准导师推荐信(医学类)
2013/10/28 职场文书
医科大学生的自我评价
2013/12/04 职场文书
经理管理专业自荐信范文
2013/12/31 职场文书
创业计划书如何吸引他人眼球
2014/01/10 职场文书
求职简历的自我评价
2014/01/31 职场文书
开业庆典活动策划方案
2014/09/21 职场文书
优秀党员事迹材料
2014/12/18 职场文书
教师岗位职责
2015/02/03 职场文书
计生个人工作总结
2015/02/28 职场文书
python疲劳驾驶困倦低头检测功能的实现
2022/04/04 Python