Nodejs进阶之服务端字符编解码和乱码处理


Posted in NodeJs onSeptember 04, 2017

写在前面

在web服务端开发中,字符的编解码几乎每天都要打交道。编解码一旦处理不当,就会出现令人头疼的乱码问题。

不少从事node服务端开发的同学,由于对字符编码码相关知识了解不足,遇到问题时,经常会一筹莫展,花大量的时间在排查、解决问题。

文本先对字符编解码的基础知识进行简单介绍,然后举例说明如何在node中进行编解码,最后是服务端的代码案例。本文相关代码示例可在这里找到。

关于字符编解码

在网络通信的过程中,传输的都是二进制的比特位,不管发送的内容是文本还是图片,采用的语言是中文还是英文。

举个例子,客户端向服务端发送"你好"。

客户端 --- 你好 ---> 服务端

这中间包含了两个关键步骤,分别对应的是编码、解码。

1.客户端:将"你好"这个字符串,编码成计算机网络需要的二进制比特位。

2.服务端:将接收到的二进制比特位,解码成"你好"这个字符串。

总结一下:

1.编码:将需要传送的数据,转成对应的二进制比特位。

2.解码:将二进制比特位,转成原始的数据。

上面有些重要的技术细节没有提到,答案在下一小节。

  • 客户端怎么知道"你好"这个字符对应的比特位是多少?
  • 服务端收到二进制比特位之后,怎么知道对应的字符串是什么?

关于字符集和字符编码

上面提到字符、二进制的转换问题。既然两者可以互相转换,也就是说存在明确的转换规则,可以实现字符<->二进制的相互转换。

这里提到的转换规则,其实就是我们经常听到的字符集&字符编码。

字符集是一系列字符(文字、标点符号等)的集合。字符集有很多,常见的有ASCII、Unicode、GBK等。不同字符集主要的区别在于包含字符个数的不同。

了解了字符集的概念后,接下来介绍下字符编码。

字符集告诉我们支持哪些字符,但具体字符怎么编码,是由字符编码决定的。比如Unicode字符集,支持的字符编码有UTF8(常用)、UTF16、UTF32。

概括一下:

  • 字符集:字符的集合,不同字符集包含的字符数不同。
  • 字符编码:字符集中字符的实际编码方式。
  • 一个字符集可能有多种字符编码方式。

可以把字符编码看成一个映射表,客户端、服务端就是根据这个映射表,来实现字符跟二进制的编解码转换。

举个例子,"你"这个字符,在UTF8编码中,占据三个字节0xe4 0xbd 0xa0,而在GBK编码中,占据两个字节0xc4 0xe3。

字符编解码例子

上面已经提到了字符编解码所需的基础知识。下面我们看一个简单的例子,这里借助了icon-lite这个库来帮助我们实现编解码的操作。

可以看到,在字符编码时,我们采用了gbk。在解码时,如果同样采用gbk,可以得到原始的字符。而当我们解码时采用utf8时,则出现了乱码。

var iconv = require('iconv-lite');

var oriText = '你';

var encodedBuff = iconv.encode(oriText, 'gbk');
console.log(encodedBuff);
// <Buffer c4 e3>

var decodedText = iconv.decode(encodedBuff, 'gbk');
console.log(decodedText);
// 你

var wrongText = iconv.decode(encodedBuff, 'utf8');
console.log(wrongText);
// ��

实际例子:服务端编解码

通常我们需要处理编解码的场景有文件读写、网络请求处理。这里距网络请求的例子,介绍如何在服务端进行编解码。

假设我们运行着如下http服务,监听来自客户端的请求。客户端传输数据时采用了gbk编码,而服务端默认采用的是utf8编码。

如果此时采用默认的utf8对请求进行解码,就会出现乱码,因此需要特殊处理。

服务端代码如下(为简化代码,这里跳过了请求方法、请求编码的判断)

var http = require('http');
var iconv = require('iconv-lite');

// 假设客户端采用post方法,编码为gbk
var server = http.createServer(function (req, res) {
  var chunks = [];
  
  req.on('data', function (chunk) {
    chunks.push(chunk)
  });

  req.on('end', function () {
    chunks = Buffer.concat(chunks);

    // 对二进制进行解码
    var body = iconv.decode(chunks, 'gbk');
    console.log(body);

    res.end('HELLO FROM SERVER');
  });

});

server.listen(3000);

对应的客户端代码如下:

var http = require('http');
var iconv = require('iconv-lite');

var charset = 'gbk';

// 对字符"你"进行编码
var reqBuff = iconv.encode('你', charset);

var options = {
  hostname: '127.0.0.1',
  port: '3000',
  path: '/',
  method: 'POST',
  headers: {
    'Content-Type': 'text/plain',
    'Content-Encoding': 'identity',
    'Charset': charset // 设置请求字符集编码
  }
};

var client = http.request(options, function(res) {
  res.pipe(process.stdout);
});

client.end(reqBuff);

相关链接

Nodejs学习笔记:https://github.com/chyingp/nodejs-learning-guide

iconv-lite:https://github.com/ashtuchkin/iconv-lite

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

NodeJs 相关文章推荐
nodejs 整合kindEditor实现图片上传
Feb 03 NodeJs
nodeJS代码实现计算交社保是否合适
Mar 09 NodeJs
Nodejs中解决cluster模块的多进程如何共享数据问题
Nov 10 NodeJs
Nodejs 搭建简单的Web服务器详解及实例
Nov 30 NodeJs
详谈Angular路由与Nodejs路由的区别
Mar 05 NodeJs
Nodejs 获取时间加手机标识的32位标识实现代码
Mar 07 NodeJs
nodejs后台集成ueditor富文本编辑器的实例
Jul 11 NodeJs
NodeJS设计模式总结【单例模式,适配器模式,装饰模式,观察者模式】
Sep 06 NodeJs
在Debian(Raspberry Pi)树莓派上安装NodeJS的教程详解
Sep 19 NodeJs
Nodejs把接收图片base64格式保存为文件存储到服务器上
Sep 26 NodeJs
PHPStorm中如何对nodejs项目进行单元测试详解
Feb 28 NodeJs
nodejs实现聊天机器人功能
Sep 19 NodeJs
Windows下使用Nodejs运行js的方法
Sep 02 #NodeJs
用nodejs实现json和jsonp服务的方法
Aug 25 #NodeJs
NodeJS收发GET和POST请求的示例代码
Aug 25 #NodeJs
Nodejs 和Session 原理及实战技巧小结
Aug 25 #NodeJs
Nodejs 复制文件/文件夹的方法
Aug 24 #NodeJs
使用Nodejs连接mongodb数据库的实现代码
Aug 21 #NodeJs
nodejs动态创建二维码的方法
Aug 12 #NodeJs
You might like
smarty基础之拼接字符串的详解
2013/06/18 PHP
Thinkphp框架使用list_to_tree 实现无限级分类列出所有节点示例
2020/04/04 PHP
js 动态文字滚动的例子
2011/01/17 Javascript
Ajax同步与异步传输的示例代码
2013/11/21 Javascript
Lua表达式和控制结构学习笔记
2014/12/15 Javascript
javascript修改图片src的方法
2015/01/27 Javascript
javascript包装对象实例分析
2015/03/27 Javascript
浏览器兼容性问题大汇总
2015/12/17 Javascript
JavaScript实现弹出模态窗体并接受传值的方法
2016/02/12 Javascript
基于jQuery和hwSlider实现内容左右滑动切换效果附源码下载(一)
2016/06/22 Javascript
BootstrapTable refresh 方法使用实例简单介绍
2017/02/20 Javascript
js实现京东轮播图效果
2017/06/30 Javascript
JS简单实现滑动加载数据的方法示例
2017/10/18 Javascript
js+html获取系统当前时间
2017/11/10 Javascript
详解React 在服务端渲染的实现
2017/11/16 Javascript
Vue单页应用引用单独的样式文件的两种方式
2018/03/30 Javascript
浅谈vuepress 踩坑记
2018/04/18 Javascript
原生js通过一行代码实现简易轮播图
2019/06/05 Javascript
解决layer弹出层自适应页面大小的问题
2019/09/16 Javascript
详解小程序云开发攻略(解决最棘手的问题)
2019/09/30 Javascript
Node对CommonJS的模块规范
2019/11/06 Javascript
js实现表格单列按字母排序
2020/08/12 Javascript
[33:39]DOTA2上海特级锦标赛C组小组赛#2 LGD VS Newbee第二局
2016/02/27 DOTA
Python中处理时间的几种方法小结
2015/04/09 Python
Windows下安装python2和python3多版本教程
2017/03/30 Python
Python基于多线程实现抓取数据存入数据库的方法
2018/06/22 Python
opencv python 图像去噪的实现方法
2018/08/31 Python
可视化pytorch 模型中不同BN层的running mean曲线实例
2020/06/24 Python
深入分析python 排序
2020/08/24 Python
如何使用Python调整图像大小
2020/09/26 Python
Perfume’s Club英国官网:购买香水和护肤品
2019/11/02 全球购物
应届生财务管理求职信
2013/11/06 职场文书
超市中秋节活动方案
2014/02/12 职场文书
Pandas加速代码之避免使用for循环
2021/05/30 Python
SpringBoot快速入门详解
2021/07/21 Java/Android
详解Nginx 被动检查服务器的存活状态
2021/10/16 Servers