详解MySQL中timestamp和datetime时区问题导致做DTS遇到的坑


Posted in MySQL onDecember 06, 2021

MySQL中如何表示当前时间?

其实,表达方式还是蛮多的,汇总如下:

 

Data Type “Zero” Value
DATE '0000-00-00'
TIME '00:00:00'
DATETIME '0000-00-00 00:00:00'
TIMESTAMP '0000-00-00 00:00:00'
YEAR 0000

datetime和timestamp这两种类型都是用于表示YYYY-MM-DD HH:MM:SS 这种年月日时分秒格式的数据,但两者还是有些许不同之处的。

结论

  • timestamp实际存储的是1970-01-01 00:00:00 UTC到目前的秒数占4字节(时间精度为毫秒和纳秒时会占用更多字节),故相当于是带时区的时间,通过设置会话的时区,会自动转换为设置的时区的时间
  • datetime存储的就是格式化后的字符串类似'2021-12-05 13:27:53.957033',不携带时区信息,在UTC和CST时区查询到的结果是一致的,例如在CST时区写入的'2021-12-05 13:27:53.957033',但是在UTC时区查询到的还是'2021-12-05 13:27:53.957033',如果没做时区转换,就相当于是直接将CST时间映射为UTC时间,但是实际上UTC时间比CST时间慢8个小时

验证

环境准备,简而言之就是存在一张表有timestamp字段和datetime字段,且当前服务端为CST时区

mysql> show create table test_time\G;
*************************** 1. row ***************************
Table: test_time
Create Table: CREATE TABLE `test_time` (
  `id` int NOT NULL AUTO_INCREMENT,
  `ts` timestamp(6) NULL DEFAULT CURRENT_TIMESTAMP(6) ON UPDATE CURRENT_TIMESTAMP(6),
  `dt` datetime(6) DEFAULT CURRENT_TIMESTAMP(6) ON UPDATE CURRENT_TIMESTAMP(6),
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci
1 row in set (0.00 sec)

mysql> show variables like '%time_zone%';
+------------------+--------+
| Variable_name    | Value  |
+------------------+--------+
| system_time_zone | CST    |
| time_zone        | SYSTEM |
+------------------+--------+
2 rows in set (0.01 sec)

插入一条数据,当前CST时区下ts和dt结果相同

mysql> select * from test_time;
Empty set (0.00 sec)

mysql> insert into test_time() values();
Query OK, 1 row affected (0.00 sec)

mysql> select * from test_time;
+----+----------------------------+----------------------------+
| id | ts                         | dt                         |
+----+----------------------------+----------------------------+
|  3 | 2021-12-05 15:04:13.293949 | 2021-12-05 15:04:13.293949 |
+----+----------------------------+----------------------------+
1 row in set (0.00 sec)

将会话的时区设置为UTC时区再次查询,ts由于从CST时区变为UTC时区查询到的结果比之前慢8个小时,由于dt不带时区信息,结果不变

mysql> set time_zone='+00:00';
Query OK, 0 rows affected (0.00 sec)

mysql> select * from test_time;
+----+----------------------------+----------------------------+
| id | ts                         | dt                         |
+----+----------------------------+----------------------------+
|  3 | 2021-12-05 07:04:13.293949 | 2021-12-05 15:04:13.293949 |
+----+----------------------------+----------------------------+
1 row in set (0.01 sec)

从刚刚insert产生的binlog中也有体现,ts在binlog中存储为时间戳(从1970-01-01 00:00:00 UTC到目前的秒数)相当于带UTC时区信息,dt为不带时区信息,结果为格式化后的字符串2021-12-05 15:04:13.293949,主要关注倒数第4第5行,@2=1638687853.293949表示ts字段的值, @3='2021-12-05 15:04:13.293949'表示dt字段的值

[mysql %] mysqlbinlog -v --base64-output=decode-rows ./mysqlbin.000012
... ...
SET @@SESSION.GTID_NEXT= '1cf4493a-dafd-11eb-944c-4016af29c14c:1416767'/*!*/;
# at 14220
#211205 15:04:13 server id 1  end_log_pos 14308 CRC32 0x1fd913a3 Query thread_id=137 exec_time=0 error_code=0
SET TIMESTAMP=1638687853.293949/*!*/;
BEGIN
/*!*/;
# at 14308
#211205 15:04:13 server id 1  end_log_pos 14368 CRC32 0xbb8937fb Table_map: `testa`.`test_time` mapped to number 121
# at 14368
#211205 15:04:13 server id 1  end_log_pos 14423 CRC32 0x2e0a3baa Write_rows: table id 121 flags: STMT_END_F
### INSERT INTO `testa`.`test_time`
### SET
###   @1=3
###   @2=1638687853.293949
###   @3='2021-12-05 15:04:13.293949'
# at 14423
#211205 15:04:13 server id 1  end_log_pos 14454 CRC32 0x68cee280 Xid = 1416
COMMIT/*!*/;

  • 如果在做DTS相关项目时,使用解析MySQL binlog的开源工具,例如github.com/go-mysql-org/go-mysql,如果配置了parseTime=true会将timestamp类型字段解析为Local时间,将datetime类型解析为UTC时间,也可配置为false获取到的就是字符串(timestamp已转换为会话时区的时间,datetime就是binlog中原生的字符串)自己解析,如果parseTime=true且不是使用的UTC时间插入的datetime字段,理论上拿到的时间已经不正确了,相当于直接将CST的2021-12-05 15:04:13.293949转换为了UTC的2021-12-05 15:04:13.293949,实际上应该转换为UTC的2021-12-05 07:04:13.293949才正确
  • 如果刚好业务需求中有time.Now()获取的Local时间和datetime类型字段比较的场景,需要注意时区问题,或者将时间都去掉时区,转换为格式化后的字符串相比较
  • 由于datetime本身就不带时区信息,除了转换UTC时间,也没有更好的选择,所以很坑!

到此这篇关于详解MySQL中timestamp和datetime时区问题导致做DTS遇到的坑的文章就介绍到这了,更多相关MySQL timestamp和datetime坑内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

MySQL 相关文章推荐
52条SQL语句教你性能优化
May 25 MySQL
Mysql 用户权限管理实现
May 25 MySQL
解决mysql问题:由于找不到MSVCR120.dll,无法继续执行代码
Jun 26 MySQL
Mysql中调试存储过程最简单的方法
Jun 30 MySQL
mysql定时自动备份数据库的方法步骤
Jul 07 MySQL
Mysql数据库中datetime、bigint、timestamp来表示时间选择,谁来存储时间效率最高
Aug 23 MySQL
一文弄懂MySQL中redo log与binlog的区别
Feb 15 MySQL
关于mysql中string和number的转换问题
Jun 14 MySQL
MySQL外键约束(Foreign Key)案例详解
Jun 28 MySQL
mysql sock 文件解析及作用讲解
Jul 15 MySQL
MySQL添加索引特点及优化问题
Jul 23 MySQL
mysql中整数数据类型tinyint详解
Dec 06 #MySQL
SQL注入详解及防范方法
Dec 06 #MySQL
防止web项目中的SQL注入
Dec 06 #MySQL
mysql创建存储过程及函数详解
Dec 04 #MySQL
mysql5.6主从搭建以及不同步问题详解
MySQL图形化管理工具Navicat安装步骤
全面盘点MySQL中的那些重要日志文件
You might like
使用Linux五年积累的一些经验技巧
2013/06/20 PHP
javascript使用正则表达式检测IP地址
2014/12/03 Javascript
JavaScript常用脚本汇总(三)
2015/03/04 Javascript
JS实现超精简响应鼠标显示二级菜单代码
2015/09/12 Javascript
基于JavaScript实现类似于百度学术高级检索功能
2016/03/02 Javascript
BootStrap智能表单实战系列(八)表单配置json详解
2016/06/13 Javascript
JS+CSS3实现超炫的散列画廊特效
2016/07/16 Javascript
微信小程序 wxapp画布 canvas详细介绍
2016/10/31 Javascript
jQuery与JavaScript节点创建方法的对比
2016/11/18 Javascript
使用JavaScript实现表格编辑器(实例讲解)
2017/08/02 Javascript
Angular搜索 过滤 批量删除 添加 表单验证功能集锦(实例代码)
2017/10/25 Javascript
js 公式编辑器 - 自定义匹配规则 - 带提示下拉框 - 动态获取光标像素坐标
2018/01/04 Javascript
Vue中render函数的使用方法
2018/01/31 Javascript
Redux实现组合计数器的示例代码
2018/07/04 Javascript
微信小程序按钮去除边框线分享页面功能
2018/08/27 Javascript
JavaScript事件对象深入详解
2018/12/30 Javascript
vue项目启动出现cannot GET /服务错误的解决方法
2020/04/26 Javascript
有趣的JavaScript隐式类型转换操作实例分析
2020/05/02 Javascript
vue 使用原生组件上传图片的实例
2020/09/08 Javascript
ES6中的Javascript解构的实现
2020/10/30 Javascript
python处理json数据中的中文
2014/03/06 Python
Python中给List添加元素的4种方法分享
2014/11/28 Python
解析Python中的eval()、exec()及其相关函数
2017/12/20 Python
Python 实现中值滤波、均值滤波的方法
2019/01/09 Python
python实现浪漫的烟花秀
2019/01/30 Python
pytorch 共享参数的示例
2019/08/17 Python
Python socket模块方法实现详解
2019/11/05 Python
python ftplib模块使用代码实例
2019/12/31 Python
python脚本实现mp4中的音频提取并保存在原目录
2020/02/27 Python
Python3 hashlib密码散列算法原理详解
2020/03/30 Python
牵手50台湾:专为黄金岁月的单身人士而设的交友网站
2021/02/18 全球购物
雷蛇美国官网:Razer
2020/04/03 全球购物
干部作风整顿自我剖析材料和整改措施
2014/09/18 职场文书
市场部经理岗位职责
2015/02/02 职场文书
2016年基层党组织创先争优承诺书
2016/03/25 职场文书
2016年五一国际劳动节活动总结
2016/04/06 职场文书