nodejs读取本地中文json文件出现乱码解决方法


Posted in NodeJs onOctober 10, 2018

1. 确定json文件是UTF-8 无BOM编码的的。如果有BOM,会在读取第一行的时候出现乱码。

Per "fs.readFileSync(filename, 'utf8') doesn't strip BOM markers #1918", fs.readFile is
working as designed: BOM is not stripped from the header of the UTF-8 file, if it exists. It at the discretion of the developer to handle this.

Possible workarounds:

  • data= data.replace(/^\uFEFF/, ''); perhttps://github.com/joyent/node/issues/1918#issuecomment-2480359
  • Transform the incoming stream to remove the BOM header with the NPM module bomstrip perhttps://github.com/joyent/node/issues/1918#issuecomment-38491548

What you are getting is the byte order mark header (BOM) of the UTF-8 file. When JSON.parse sees
this, it gives an syntax error (read: "unexpected character" error). You must strip the byte order mark from the file before passing it to JSON.parse:

fs.readFile('./myconfig.json', 'utf8', function (err, data) {
  myconfig = JSON.parse(data.toString('utf8').replace(/^\uFEFF/, ''));
});
// note: data is an instance of Buffer

2. 确定json没有格式错误。我在用utf8编码并用utf8 encoding来读取文件之后依然报错,百思不得其解。

最后发现json有两个editor没有发现的格式错误,一个是一个数组中两个元素之间少了一个“,”,另一个是另一个数组最后多了一个“,”。

注1:Node的iconv模块,仅支持linux,不支持Windows,因此要用纯js的iconv-lite,另:作者说iconv-lite的性能更好,具体参考Git站点:iconv-lite

注2:我在测试读写文件时,始终无法把中文写入文件,一直乱码,读取正常,后来同事帮我发现:js文件的编码格式是ansi,nodejs的代码文件必须是utf8格式

注3:如果程序操作的文件,都是以UTF8编码格式保存的,那么就不需要使用iconv模块,直接以utf8格式读取文件即可,如:

// 参数file,必须保存为utf8格式,否则里面的中文会乱码  
function readFile(file){  
    // readFile的第2个参数表示读取编码格式,如果未传递这个参数,表示返回Buffer字节数组  
    fs.readFile(file, "utf8", function(err, data){  
        if(err)  
            console.log("读取文件fail " + err);  
        else{  
            // 读取成功时  
            console.log(data);// 直接输出中文字符串了  
        }  
    });  
}

nodejs读取中文文件编码问题

准备一个文本文件(当然也可以是csv文件等)test.txt和text.csv,nodejs文件test.js如下:

var iconv = require('iconv-lite');  
  
var fs = require('fs');  
var fileStr = fs.readFileSync('D:\\test.csv', {encoding:'binary'});  
  
var buf = new Buffer(fileStr, 'binary');  
  
var str = iconv.decode(buf, 'GBK');  
console.log(str);  

直接读文件的话是乱码,不信你可以试试。需要先统一用二进制编码方式读取,然后再用GBK解码。

NodeJs 相关文章推荐
nodejs中exports与module.exports的区别详细介绍
Jan 14 NodeJs
nodejs中使用monk访问mongodb
Jul 06 NodeJs
Nodejs获取网络数据并生成Excel表格
Mar 31 NodeJs
nodeJs链接Mysql做增删改查的简单操作
Feb 04 NodeJs
NodeJS如何实现同步的方法示例
Aug 24 NodeJs
详解从NodeJS搭建中间层再谈前后端分离
Nov 13 NodeJs
nodejs 使用 js 模块的方法实例详解
Dec 04 NodeJs
nodejs搭建本地服务器并访问文件操作示例
May 11 NodeJs
nodejs中各种加密算法的实现详解
Jul 11 NodeJs
nodejs二进制与Buffer的介绍与使用
Jul 11 NodeJs
NodeJS实现一个聊天室功能
Nov 25 NodeJs
nodejs处理tcp连接的核心流程
Feb 26 NodeJs
nodejs require js文件入口,在package.json中指定默认入口main方法
Oct 10 #NodeJs
nodejs更新package.json中的dependencies依赖到最新版本的方法
Oct 10 #NodeJs
nodejs中用npm初始化来创建package.json的实例讲解
Oct 10 #NodeJs
nodejs初始化init的示例代码
Oct 10 #NodeJs
webpack打包nodejs项目的方法
Sep 26 #NodeJs
Nodejs把接收图片base64格式保存为文件存储到服务器上
Sep 26 #NodeJs
基于Nodejs的Tcp封包和解包的理解
Sep 19 #NodeJs
You might like
php smarty的预保留变量总结
2008/12/04 PHP
一漂亮的PHP图片验证码实例
2014/03/21 PHP
PHP中几个可以提高运行效率的代码写法、技巧分享
2014/08/21 PHP
使用php完成常见的文件上传功能(推荐)
2017/01/13 PHP
Yii2设置默认控制器的两种方法
2017/05/19 PHP
读jQuery之五(取DOM元素)
2011/06/20 Javascript
jQuery Ajax提交表单查询获得数据实例代码
2012/09/19 Javascript
JavaScript中使用Object.create()创建对象介绍
2014/12/30 Javascript
jquery验证邮箱格式是否正确实例讲解
2015/11/16 Javascript
最好用的Bootstrap fileinput.js文件上传组件
2016/12/12 Javascript
bootstrap滚动监控器使用方法解析
2017/01/13 Javascript
Vue.js实现移动端短信验证码功能
2017/03/29 Javascript
浅谈在Vue.js中如何实现时间转换指令
2019/01/06 Javascript
前端路由&webpack基础配置详解
2019/06/10 Javascript
Vue项目中使用WebUploader实现文件上传的方法
2019/07/21 Javascript
windows下wxPython开发环境安装与配置方法
2014/06/28 Python
python入门之语句(if语句、while语句、for语句)
2015/01/19 Python
python实现查询IP地址所在地
2015/03/29 Python
python修改操作系统时间的方法
2015/05/18 Python
在Python的Django框架中更新数据库数据的方法
2015/07/17 Python
Python实现Linux中的du命令
2017/06/12 Python
Django基于ORM操作数据库的方法详解
2018/03/27 Python
python脚本生成caffe train_list.txt的方法
2018/04/27 Python
以SQLite和PySqlite为例来学习Python DB API
2020/02/05 Python
python多进程使用函数封装实例
2020/05/02 Python
Python绘图实现台风路径可视化代码实例
2020/10/23 Python
修复iPhone的safari浏览器上submit按钮圆角bug
2012/12/24 HTML / CSS
localStorage、sessionStorage使用总结
2017/11/17 HTML / CSS
Cinque网上商店:德国服装品牌
2019/03/17 全球购物
社区中秋节活动方案
2014/01/29 职场文书
设计师个人求职信范文
2014/02/02 职场文书
《灯光》教学反思
2014/02/08 职场文书
电台实习生求职信
2014/02/25 职场文书
销售会议开幕词
2015/01/28 职场文书
服务员岗位职责
2015/02/03 职场文书
外出听课学习心得体会
2016/01/15 职场文书