MySQL Server 层四个日志


Posted in MySQL onMarch 31, 2022

一、MySQL Server层日志简介

一个mysql client发起一个连接请求,处理请求的过程如下图所示:

MySQL Server 层四个日志

MySQL日志是在MySQL server上生成的,不管更改哪个存储引擎,这些日志都是需要有的,包括:

  • 错误日志:记录mysqld服务运行过程中出现的cordump、error、exception等
  • 查询日志:记录客户端所有的SQL。由于上线项目的SQL太多了,开启查询日志IO太多导致MySQL效率低下,我们一般都不会开启,只有调试时才开启
  • 二进制日志:记录数据的更改(insert、update、delete、alter …),非常重要,可用于数据恢复,主从复制。主从复制技术依赖于log_bin,主库所有的更改操作都记录在log_bin里,从库从binlog读取主库所有的操作,自己再执行一遍。
  • 慢查询日志:记录了一些执行时间超过指定值的SQL语句,可供开发人员分析耗时SQL,从而针对性优化

查看日志相关变量

MySQL Server 层四个日志

二、配置文件参数

my.cnf

MySQL Server 层四个日志

通过set方法只能影响当前session,如果想要配置永久有效,需要在配置文件上进行设置,然后重启MySQL服务,就可以永久生效

linux下重启mysqld服务的命令:sudo service mysqld restart

我们查看一下配置文件/etc/mysql/my.cnf

MySQL Server 层四个日志

  • 给出log-error的路径就是开启了log-error,如果不自定义log-error的路径,默认在data_dir
  • 在开启log-bin=mysql-bin的同时还要加上server-id=1(表示当前MySQL Server的身份),否则sudo service mysqld restart无法重启服务
  • 设置过期的时间expire_log_days,因为总有一天磁盘会被这个日志占满,导致服务器不可运行,超过设置时间后日志文件会被删除

三、错误日志

错误日志是 MySQL 中最重要的日志之一,它记录了当 mysqld 启动和停止,以及服务器在运行过程中发生任何严重错误(cordump,error,exception…)时的相关信息。当数据库出现故障导致无法正常使用时,可以首先查看此日志

mysqld 使用的错误日志名为 host_name.err(host_name 为主机名) ,并默认在参数data_dir(数据目录)指定的目录中写入日志文件

四、查询日志

查询日志记录了client发送的所有SQL语句

由于上线项目sql特别多,开启查询日志IO太多导致MySQL效率低,我们一般都不会开启,只有在调试时才开启,比如通过查看sql发现热点数据从而可以进行缓存

show global variables like '%genera%';

MySQL Server 层四个日志

五、二进制日志

不是明文,不能直接查看,需要通过mysqlbinlog工具(mysql原生自带)解析binlog日志文件

二进制日志(BINLOG)记录了所有的 DDL(数据定义语言)语句和 DML(数据操纵语言) 语句,但是不包括数据查询语句(不记录select操作,记录的是数据库的更改操作

语句以“事件”的形式保存,它描述了数据的更改过程。二进制日志对于灾难时的数据恢复起着极其重要的作用

两个重要的应用场景:主从复制、数据恢复

主从复制:主库所有的更新操作(update、delete、insert、alter …)都记录在binlog中,从库读主库的binlog,把binlog的所有操作在从库上在进行一遍

查看当前的binlog:

show binary logs;  -- show master logs;

MySQL Server 层四个日志

binlog默认在MySQL的data_dir下

1. 演示binlog记录更改

我们先刷新一下,生成一个新的binlog

MySQL Server 层四个日志

切换数据库

MySQL Server 层四个日志

更改一下数据

再次查看binlog

我们发现日志的filesize和刚才的不一样了,肯定记录我们刚才的数据更改操作

如果我们直接cat日志查看,会发现不是明文,无法直接查看

MySQL Server 层四个日志

我们需要通过mysqlbinlog进行查看,如下:

mysqlbinlog --no-defaults --database=school --base64-output=decode-rows -v --start-datetime='2022-03-01 00:00:00' --stop-datetime='2022-03-31 00:00:00' mysql-bin.000001 | more

database:指定查看某个库的更改base64-output:binlog解码方式start-datetime & stop-datetime:指定查看某个时间段内的更改,不写则查看所有的更改mysql-bin.000001:查看的二进制日志文件

我们查看一下binlog
MySQL Server 层四个日志

MySQL Server 层四个日志

MySQL Server 层四个日志

@1、@2、@3、@4:表示数据库表的4个字段server id:表示我们在my.cnf中设置的id,用于标识当前MySQL的身份at 565、at679:指的是当前事件在binlog记录的位置,数据恢复的时候使用

2. 演示binlog数据恢复

MySQL Server 层四个日志

现在创建数据库mytest,并创建表,添加数据

MySQL Server 层四个日志

假如现在有人把库删除了:

MySQL Server 层四个日志

这时mytest库的所有表和数据都没有了,然而这些操作都会记录在二进制日志binlog里面

理论上来说,可以从binlog把丢失的数据恢复出来。由于恢复过程也是对数据的修改,所以恢复过程产生的日志也要记录在binlog中,这就需要我们指定binlog恢复区间

我们现在知道,我们建库、建表、插入数据的操作都记录在mysql-bin.00003文件中

MySQL Server 层四个日志

我们现在刷新一下,生成一个新的binlog,这就可以让我们接下来数据恢复的操作被记录在mysql-bin.00004文件中,而不会在追加到mysql-bin.00003

我们先查看mysql-bin.00003,找需要恢复的区间

MySQL Server 层四个日志

MySQL Server 层四个日志


从mysql-bin.000003中拿出区间内所有的操作,通过管道放到MySQL shell上执行

MySQL Server 层四个日志

查看一下当前的库

MySQL Server 层四个日志

再查看一下表和数据

MySQL Server 层四个日志

到这里,数据已经全部恢复了

我们不仅可以通过binlog记录的位置,得到需要恢复的区间,也可以通过binlog记录的时间得到需要恢复的区间

MySQL Server 层四个日志

参数为:start-datetime、stop-datetime

由于binlog有一个过期时间,过期的日志数据都会进行备份,没有过期的数据可以直接通过binlog恢复,如果需要恢复过期的数据,通过以下命令即可:

mysql> source ~/data.sql
$cat ~/data.sql | mysql -u  root -p

六、慢查询日志

MySQL可以设置慢查询日志,当SQL执行的时间超过我们设定的时间,那么这些SQL就会被记录在慢查询日志当中

我们通过查看日志,用explain分析这些SQL的执行计划,来判定为什么效率低下,是没有使用到索引?还是索引本身创建的有问题?或者是索引使用到了,但是由于表的数据量太大,花费的时间就是很长,那么此时我们可以把表分成n个小表,比如订单表按年份分成多个小表等

慢查询日志记录了包含所有执行时间超过参数 long_query_time(单位:秒)所设置值的 SQL语句的日志,在MySQL上用命令可以查看,如下:

MySQL Server 层四个日志

这个值是可以修改的:

MySQL Server 层四个日志

现在修改成执行时间超过1秒的SQL都会被记录在慢查询日志当中!可以设置为0.01秒,表示10毫秒

慢查询日志,默认名称是host_name-slow.log,存放在MySQL的data_dir下,内容格式显示大致如下:

MySQL Server 层四个日志

show profiles命令可有查看sql详细的运行时间,全局变量的名字是:profiling

首先需要:set profiling=on

MySQL Server 层四个日志

到此这篇关于MySQL Server 层四个日志的文章就介绍到这了,更多相关MySQL Server层日志内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

MySQL 相关文章推荐
Mysql数据库命令大全
May 26 MySQL
MySQL 不等于的三种使用及区别
Jun 03 MySQL
mysql联合索引的使用规则
Jun 23 MySQL
MySQL连表查询分组去重的实现示例
Jul 01 MySQL
MySQL 1130异常,无法远程登录解决方案详解
Aug 23 MySQL
mysql 生成连续日期及变量赋值
Mar 20 MySQL
Mysql使用全文索引(FullText index)的实例代码
Apr 03 MySQL
MySQL 逻辑备份 into outfile
May 15 MySQL
MySQL 语句执行顺序举例解析
Jun 05 MySQL
MySQL运行报错:“Expression #1 of SELECT list is not in GROUP BY clause and contains nonaggre”解决方法
Jun 14 MySQL
MySQL数据库之存储过程 procedure
Jun 16 MySQL
前端传参数进行Mybatis调用mysql存储过程执行返回值详解
Aug 14 MySQL
MySQL RC事务隔离的实现
mysql中DCL常用的用户和权限控制
Mar 31 #MySQL
Mysql分析设计表主键为何不用uuid
你真的会用Mysql的explain吗
MySQL限制查询和数据排序介绍
MySQL学习必备条件查询数据
mysql中数据库覆盖导入的几种方式总结
You might like
php set_time_limit(0) 设置程序执行时间的函数
2010/05/26 PHP
PHP实现求两个字符串最长公共子串的方法示例
2017/11/17 PHP
jQuery(1.6.3) 中css方法对浮动的实现缺陷分析
2011/09/09 Javascript
教你用jquery实现iframe自适应高度
2014/06/11 Javascript
JS实现3D图片旋转展示效果代码
2015/09/22 Javascript
JavaScript编写检测用户所使用的浏览器的代码示例
2016/05/05 Javascript
jquery实现全选和全不选功能效果的实现代码【推荐】
2016/05/05 Javascript
jQuery ajax调用后台aspx后台文件的两种常见方法(不是ashx)
2016/06/28 Javascript
jQuery-mobile事件监听与用法详解
2016/11/23 Javascript
JS面向对象的程序设计相关知识小结
2018/05/26 Javascript
vue表单验证你真的会了吗?vue表单验证(form)validate
2019/04/07 Javascript
JS实现页面数据懒加载
2020/02/13 Javascript
基于js实现逐步显示文字输出代码实例
2020/04/02 Javascript
python自动化工具日志查询分析脚本代码实现
2013/11/26 Python
python调用java模块SmartXLS和jpype修改excel文件的方法
2015/04/28 Python
python使用pymysql实现操作mysql
2016/09/13 Python
Windows下安装python MySQLdb遇到的问题及解决方法
2017/03/16 Python
Python 创建空的list,以及append用法讲解
2018/05/04 Python
Pandas实现数据类型转换的一些小技巧汇总
2018/05/07 Python
python中时间转换datetime和pd.to_datetime详析
2019/08/11 Python
解决pycharm安装第三方库失败的问题
2020/05/09 Python
Django haystack实现全文搜索代码示例
2020/11/28 Python
前端canvas动画如何转成mp4视频的方法
2019/06/17 HTML / CSS
amazeui 验证按钮扩展的实现
2020/08/21 HTML / CSS
法国时尚童装网站:Melijoe
2016/08/10 全球购物
为什么要有struct关键字
2012/05/08 面试题
大学生咖啡店创业计划书
2014/01/21 职场文书
法律进学校实施方案
2014/03/15 职场文书
小学英语教学经验交流材料
2015/11/02 职场文书
机械生产实习心得体会
2016/01/22 职场文书
八年级数学教学反思
2016/02/17 职场文书
中秋节英文祝福语句(14句)
2019/09/11 职场文书
Django给表单添加honeypot验证增加安全性
2021/05/06 Python
springboot集成springCloud中gateway时启动报错的解决
2021/07/16 Java/Android
JS中forEach()、map()、every()、some()和filter()的用法
2022/05/11 Javascript
LyScript实现绕过反调试保护的示例详解
2022/08/14 Python