nodejs和C语言插入mysql数据库乱码问题的解决方法


Posted in NodeJs onApril 14, 2017

在这里记录了nodejs过程中的一些乱码情况,这里的乱码主要是由于网页的编码方式与nodejs的默认解码方式(utf8)不一致所造成的。这一次要说一下的是在C语言和nodejs与MySQL进行交互的时候出现的乱码问题。

       1,由于爬虫程序在多个Docker中执行,因此我需要定期的同步每一个docker中的mysql数据到一个全局的mysql数据表中。使用nodejs进行数据同步,出现中文乱码。要知道在每一docker中的中文是不存在乱码的。原因是nodejs默认处理字符是utf8,而mysql默认是latin1,毕竟是欧洲人开发的数据库。分析如下

       命令show variables like 'char%';得到的结果如下:

+--------------------------+----------------------------+
| Variable_name | Value  |
+--------------------------+----------------------------+
| character_set_client | latin1  |
| character_set_connection | latin1  |
| character_set_database | latin1  |
| character_set_filesystem | binary  |
| character_set_results | latin1  |
| character_set_server | latin1  |
| character_set_system | latin1  |
| character_sets_dir | /usr/share/mysql/charsets/ |
+--------------------------+----------------------------+

       即在建立数据库的时候不特别指定,则数据库,数据表的以及数据字段的编码格式为默认值,而默认值在不更改配置文件的时候是latin1(默认安装形式)。由于utf8是较为通用的编码方式,因此我们将数据库的所有编码方式改为utf8。这里需要说明的是mysql的编码分为好几个层次,包括数据库级别,数据表级别以及数据字段级别等,我这里没有去深究这些方面,一个个去设置每个字段,每个表的编码方式,而是把所有的编码方式均设置为utf8。具体如下: 

      vi /etc/my.cnf修改my.cnf文件如下:

[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
user=mysql
default-character-set = utf8
character_set_server = utf8
[mysql]
default-character-set = utf8
[mysql.server]
default-character-set = utf8
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0
[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
default-character-set = utf8
[client]
default-character-set = utf8

       修改完之后,重起mysql服务service mysqld restart

       命令show variables like 'char%';再次查看编码格式,得到的结果如下:

+--------------------------+----------------------------+
| Variable_name | Value  |
+--------------------------+----------------------------+
| character_set_client | utf8  |
| character_set_connection | utf8  |
| character_set_database | utf8  |
| character_set_filesystem | binary  |
| character_set_results | utf8  |
| character_set_server | utf8  |
| character_set_system | utf8  |
| character_sets_dir | /usr/share/mysql/charsets/ |
+--------------------------+----------------------------+

       可以看到所有的编码格式都会变成utf8,至此在建立数据库和数据表,数据字段的时候如果不特别指定,那么则会采用默认的编码方式,即现在的utf8。

       2,虽然编码格式从latin1变成了utf8,但是我这里还是遇到如下的问题。

Specified key was too long; max key length is 1000 bytes

       意思是key值长度大于1000个字节了,这里面的key值长度指的是定义key值时候的长度和乘以编码格式字节数,而不指实际长度。同时由于取1utf8=3字节(这个我是看别人都是这么说的,具体取多少我这边不确定),因此将其和乘以3之后就大于1000个字节了。原先latin1是没问题的(取的是1)。 

       解决办法即就是(1),缩减key值的定义长度。(2),不使用utf8编码。(3),因为默认DB engine 是MyIsAm,把其换成innodb。我使用方式(3),然后错误得以消除。

       3,这个时候又出现了如下问题:

ERROR: ER_TOO_LONG_KEY: Specified key was too long; max key length is 767 bytes

       这个问题的原因还是utf8所导致的,在latin1编码格式下,我设置了VARCHAR (512)类型为主键是没有问题的,而utf8则不行,是由于utf8编码取的是3字节,也就说,只能容纳256个utf8编码格式的VARCHAR。因此定义的时候定义为VARCHAR (255)问题得以消除,或者换一种数据类型。 

       4,至此我使用nodejs进行数据库的读写都是没有问题的,但是我在使用C 语言的时候,发现插入utf8编码的中文,仍然显示的是乱码。原因可能由多种,这里面我说一下我遇到的两种情况。首先确认本地系统的默认编码方式,使用locale命令进行查看(Linux),通常情况应该是utf8,为了保险期间,我在C语言中加入了如下的代码显示指定编码方式

#include <locale.h>
setlocale(LC_ALL, "en_US.UTF-8");

       这个时候,C语言执行mysql_query插入数据的时候,数据库仍然显示乱码。解决方法如下:

mysql_query(g_pMyConn, "set character set utf8");
mysql_query(g_pMyConn, g_strSqlStatement)

       即在执行数据库插入命令前,多加上一行显示的说明使用utf8方式执行。

       由于nodejs插入的时候没有C语言的问题,我就简单构想了一下如下原因,纯属个人猜测:

       由于C语言使用的是mysql官方提供的api接口,而且mysql是由于欧洲人开发的,开始的时候没想到会应用那么广泛,因此使用了latin1默认编码,随着mysql应用的人越来越多,因此在支持其他编码的时候就需要在原来的接口上打补丁,因此就会出现上面显示的指定编码格式,并没有做到接口和数据库默认编码能够自动保持一致的情况。 

       对于nodejs来说,连接数据库的行为会由nodejs进行封装,考虑的就相对全面,因此没有C 语言中的问题。

       最后我发现DB engine 从MyIsAm换成innodb,读取速度好变慢了,不知是啥原因,知道的麻烦告知一声。

以上所述是小编给大家介绍的nodejs和C语言插入mysql数据库乱码问题,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

NodeJs 相关文章推荐
NodeJS的模块写法入门(实例代码)
Mar 07 NodeJs
nodejs 实现模拟form表单上传文件
Jul 14 NodeJs
轻松创建nodejs服务器(4):路由
Dec 18 NodeJs
Nodejs学习笔记之Stream模块
Jan 13 NodeJs
iPhone手机上搭建nodejs服务器步骤方法
Jul 06 NodeJs
浅析Nodejs npm常用命令
Jun 14 NodeJs
nodejs和php实现图片访问实时处理
Jan 05 NodeJs
NodeJs下的测试框架Mocha的简单介绍
Feb 22 NodeJs
nodejs简单读写excel内容的方法示例
Mar 16 NodeJs
webpack打包nodejs项目的方法
Sep 26 NodeJs
Nodejs实现用户注册功能
Apr 14 NodeJs
nodejs nedb 封装库与使用方法示例
Feb 06 NodeJs
解析NodeJS异步I/O的实现
Apr 13 #NodeJs
详解nodejs微信公众号开发——6.自定义菜单
Apr 13 #NodeJs
nodejs个人博客开发第七步 后台登陆
Apr 12 #NodeJs
nodejs个人博客开发第六步 数据分页
Apr 12 #NodeJs
nodejs个人博客开发第五步 分配数据
Apr 12 #NodeJs
nodejs个人博客开发第四步 数据模型
Apr 12 #NodeJs
nodejs个人博客开发第三步 载入页面
Apr 12 #NodeJs
You might like
PHP 面向对象实现代码
2009/11/11 PHP
PHP中如何调用webservice的实例参考
2013/04/25 PHP
php中文验证码实现方法
2015/06/18 PHP
tp5框架使用cookie加密算法实现登录功能示例
2020/02/10 PHP
使用jQuery UI的tooltip函数修饰title属性的气泡悬浮框
2013/06/24 Javascript
jQuery遍历之next()、nextAll()方法使用实例
2014/11/08 Javascript
js关于命名空间的函数实例
2015/02/05 Javascript
浅析Bootstrap缩略图组件与警示框组件
2016/04/29 Javascript
基于javascript实现的快速排序
2016/12/02 Javascript
VUE 更好的 ajax 上传处理 axios.js实现代码
2017/05/10 Javascript
js实现登录注册框手机号和验证码校验(前端部分)
2017/09/28 Javascript
tween.js缓动补间动画算法示例
2018/02/13 Javascript
如何获取vue单文件自身源码路径
2019/05/06 Javascript
简述vue-cli中chainWebpack的使用方法
2019/07/30 Javascript
JS实现骰子3D旋转效果
2019/10/24 Javascript
使用Vue实现调用接口加载页面初始数据
2019/10/28 Javascript
vue 根据选择条件显示指定参数的例子
2019/11/09 Javascript
vue3.0中使用element的完整步骤
2021/03/04 Vue.js
[46:28]EG vs Liquid 2019国际邀请赛淘汰赛 败者组 BO3 第二场 8.23
2019/09/05 DOTA
python encode和decode的妙用
2009/09/02 Python
用Python的Django框架编写从Google Adsense中获得报表的应用
2015/04/17 Python
Python中的rfind()方法使用详解
2015/05/19 Python
python 获取文件下所有文件或目录os.walk()的实例
2018/04/23 Python
浅谈python中str字符串和unicode对象字符串的拼接问题
2018/12/04 Python
详解python中index()、find()方法
2019/08/29 Python
在django admin详情表单显示中添加自定义控件的实现
2020/03/11 Python
基于Django OneToOneField和ForeignKey的区别详解
2020/03/30 Python
python中selenium库的基本使用详解
2020/07/31 Python
html5+css3气泡组件的实现
2014/11/21 HTML / CSS
去加拿大的旅行和假期:Canadian Affair
2016/10/25 全球购物
英国高档百货连锁店:John Lewis
2017/11/20 全球购物
讲文明树新风演讲稿
2014/05/12 职场文书
团支部推优材料
2014/05/21 职场文书
2015年乡镇人大工作总结
2015/04/22 职场文书
陶瓷类经典广告语集锦
2019/10/25 职场文书
小程序实现侧滑删除功能
2022/06/25 Javascript