MySQL Server 层四个日志


Posted in MySQL onMarch 31, 2022

一、MySQL Server层日志简介

一个mysql client发起一个连接请求,处理请求的过程如下图所示:

MySQL Server 层四个日志

MySQL日志是在MySQL server上生成的,不管更改哪个存储引擎,这些日志都是需要有的,包括:

  • 错误日志:记录mysqld服务运行过程中出现的cordump、error、exception等
  • 查询日志:记录客户端所有的SQL。由于上线项目的SQL太多了,开启查询日志IO太多导致MySQL效率低下,我们一般都不会开启,只有调试时才开启
  • 二进制日志:记录数据的更改(insert、update、delete、alter …),非常重要,可用于数据恢复,主从复制。主从复制技术依赖于log_bin,主库所有的更改操作都记录在log_bin里,从库从binlog读取主库所有的操作,自己再执行一遍。
  • 慢查询日志:记录了一些执行时间超过指定值的SQL语句,可供开发人员分析耗时SQL,从而针对性优化

查看日志相关变量

MySQL Server 层四个日志

二、配置文件参数

my.cnf

MySQL Server 层四个日志

通过set方法只能影响当前session,如果想要配置永久有效,需要在配置文件上进行设置,然后重启MySQL服务,就可以永久生效

linux下重启mysqld服务的命令:sudo service mysqld restart

我们查看一下配置文件/etc/mysql/my.cnf

MySQL Server 层四个日志

  • 给出log-error的路径就是开启了log-error,如果不自定义log-error的路径,默认在data_dir
  • 在开启log-bin=mysql-bin的同时还要加上server-id=1(表示当前MySQL Server的身份),否则sudo service mysqld restart无法重启服务
  • 设置过期的时间expire_log_days,因为总有一天磁盘会被这个日志占满,导致服务器不可运行,超过设置时间后日志文件会被删除

三、错误日志

错误日志是 MySQL 中最重要的日志之一,它记录了当 mysqld 启动和停止,以及服务器在运行过程中发生任何严重错误(cordump,error,exception…)时的相关信息。当数据库出现故障导致无法正常使用时,可以首先查看此日志

mysqld 使用的错误日志名为 host_name.err(host_name 为主机名) ,并默认在参数data_dir(数据目录)指定的目录中写入日志文件

四、查询日志

查询日志记录了client发送的所有SQL语句

由于上线项目sql特别多,开启查询日志IO太多导致MySQL效率低,我们一般都不会开启,只有在调试时才开启,比如通过查看sql发现热点数据从而可以进行缓存

show global variables like '%genera%';

MySQL Server 层四个日志

五、二进制日志

不是明文,不能直接查看,需要通过mysqlbinlog工具(mysql原生自带)解析binlog日志文件

二进制日志(BINLOG)记录了所有的 DDL(数据定义语言)语句和 DML(数据操纵语言) 语句,但是不包括数据查询语句(不记录select操作,记录的是数据库的更改操作

语句以“事件”的形式保存,它描述了数据的更改过程。二进制日志对于灾难时的数据恢复起着极其重要的作用

两个重要的应用场景:主从复制、数据恢复

主从复制:主库所有的更新操作(update、delete、insert、alter …)都记录在binlog中,从库读主库的binlog,把binlog的所有操作在从库上在进行一遍

查看当前的binlog:

show binary logs;  -- show master logs;

MySQL Server 层四个日志

binlog默认在MySQL的data_dir下

1. 演示binlog记录更改

我们先刷新一下,生成一个新的binlog

MySQL Server 层四个日志

切换数据库

MySQL Server 层四个日志

更改一下数据

再次查看binlog

我们发现日志的filesize和刚才的不一样了,肯定记录我们刚才的数据更改操作

如果我们直接cat日志查看,会发现不是明文,无法直接查看

MySQL Server 层四个日志

我们需要通过mysqlbinlog进行查看,如下:

mysqlbinlog --no-defaults --database=school --base64-output=decode-rows -v --start-datetime='2022-03-01 00:00:00' --stop-datetime='2022-03-31 00:00:00' mysql-bin.000001 | more

database:指定查看某个库的更改base64-output:binlog解码方式start-datetime & stop-datetime:指定查看某个时间段内的更改,不写则查看所有的更改mysql-bin.000001:查看的二进制日志文件

我们查看一下binlog
MySQL Server 层四个日志

MySQL Server 层四个日志

MySQL Server 层四个日志

@1、@2、@3、@4:表示数据库表的4个字段server id:表示我们在my.cnf中设置的id,用于标识当前MySQL的身份at 565、at679:指的是当前事件在binlog记录的位置,数据恢复的时候使用

2. 演示binlog数据恢复

MySQL Server 层四个日志

现在创建数据库mytest,并创建表,添加数据

MySQL Server 层四个日志

假如现在有人把库删除了:

MySQL Server 层四个日志

这时mytest库的所有表和数据都没有了,然而这些操作都会记录在二进制日志binlog里面

理论上来说,可以从binlog把丢失的数据恢复出来。由于恢复过程也是对数据的修改,所以恢复过程产生的日志也要记录在binlog中,这就需要我们指定binlog恢复区间

我们现在知道,我们建库、建表、插入数据的操作都记录在mysql-bin.00003文件中

MySQL Server 层四个日志

我们现在刷新一下,生成一个新的binlog,这就可以让我们接下来数据恢复的操作被记录在mysql-bin.00004文件中,而不会在追加到mysql-bin.00003

我们先查看mysql-bin.00003,找需要恢复的区间

MySQL Server 层四个日志

MySQL Server 层四个日志


从mysql-bin.000003中拿出区间内所有的操作,通过管道放到MySQL shell上执行

MySQL Server 层四个日志

查看一下当前的库

MySQL Server 层四个日志

再查看一下表和数据

MySQL Server 层四个日志

到这里,数据已经全部恢复了

我们不仅可以通过binlog记录的位置,得到需要恢复的区间,也可以通过binlog记录的时间得到需要恢复的区间

MySQL Server 层四个日志

参数为:start-datetime、stop-datetime

由于binlog有一个过期时间,过期的日志数据都会进行备份,没有过期的数据可以直接通过binlog恢复,如果需要恢复过期的数据,通过以下命令即可:

mysql> source ~/data.sql
$cat ~/data.sql | mysql -u  root -p

六、慢查询日志

MySQL可以设置慢查询日志,当SQL执行的时间超过我们设定的时间,那么这些SQL就会被记录在慢查询日志当中

我们通过查看日志,用explain分析这些SQL的执行计划,来判定为什么效率低下,是没有使用到索引?还是索引本身创建的有问题?或者是索引使用到了,但是由于表的数据量太大,花费的时间就是很长,那么此时我们可以把表分成n个小表,比如订单表按年份分成多个小表等

慢查询日志记录了包含所有执行时间超过参数 long_query_time(单位:秒)所设置值的 SQL语句的日志,在MySQL上用命令可以查看,如下:

MySQL Server 层四个日志

这个值是可以修改的:

MySQL Server 层四个日志

现在修改成执行时间超过1秒的SQL都会被记录在慢查询日志当中!可以设置为0.01秒,表示10毫秒

慢查询日志,默认名称是host_name-slow.log,存放在MySQL的data_dir下,内容格式显示大致如下:

MySQL Server 层四个日志

show profiles命令可有查看sql详细的运行时间,全局变量的名字是:profiling

首先需要:set profiling=on

MySQL Server 层四个日志

到此这篇关于MySQL Server 层四个日志的文章就介绍到这了,更多相关MySQL Server层日志内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

MySQL 相关文章推荐
IDEA 链接Mysql数据库并执行查询操作的完整代码
May 20 MySQL
Mysql官方性能测试工具mysqlslap的使用简介
May 21 MySQL
探究Mysql模糊查询是否区分大小写
Jun 11 MySQL
新手入门Mysql--sql执行过程
Jun 20 MySQL
MySQL 8.0 驱动与阿里druid版本兼容问题解决
Jul 01 MySQL
MySQL深度分页(千万级数据量如何快速分页)
Jul 25 MySQL
mysql 联合索引生效的条件及索引失效的条件
Nov 20 MySQL
MySQL读取JSON转换的方式
Mar 18 MySQL
navicat 连接Ubuntu虚拟机的mysql的操作方法
Apr 02 MySQL
MySQL创建管理LIST分区
Apr 13 MySQL
mysql中如何用命令创建联合唯一索引
Apr 20 MySQL
MySQL中JOIN连接的基本用法实例
Jun 05 MySQL
MySQL RC事务隔离的实现
mysql中DCL常用的用户和权限控制
Mar 31 #MySQL
Mysql分析设计表主键为何不用uuid
你真的会用Mysql的explain吗
MySQL限制查询和数据排序介绍
MySQL学习必备条件查询数据
mysql中数据库覆盖导入的几种方式总结
You might like
深入理解ob_flush和flush的区别(ob_flush()与flush()使用方法)
2013/02/06 PHP
php页面防重复提交方法总结
2013/11/25 PHP
使用php批量删除数据库下所有前缀为prefix_的表
2014/06/09 PHP
PHP实现上传多文件示例代码
2017/02/20 PHP
PHP实现笛卡尔积算法的实例讲解
2019/12/22 PHP
浏览器无法运行JAVA脚本的解决方法
2008/01/09 Javascript
动态创建的表格单元格中的事件实现代码
2008/12/30 Javascript
jQuery的一些特性和用法整理小结
2010/01/13 Javascript
6款经典实用的jQuery小插件及源码(对话框/提示工具等等)
2013/02/04 Javascript
JS可以控制样式的名称写法一览
2014/01/16 Javascript
使用JavaScript刷新网页的方法
2015/06/04 Javascript
纯js实现无限空间大小的本地存储
2015/06/18 Javascript
Jquery实现简单的轮播效果(代码管用)
2016/03/14 Javascript
WebSocket+node.js创建即时通信的Web聊天服务器
2016/08/08 Javascript
微信js-sdk界面操作接口用法示例
2016/10/12 Javascript
Javascript 闭包详解及实例代码
2016/11/30 Javascript
Node.js通过身份证号验证年龄、出生日期与性别方法示例
2017/03/09 Javascript
js实现移动端轮播图效果
2020/12/09 Javascript
JS写XSS cookie stealer来窃取密码的步骤详解
2017/11/20 Javascript
JavaScript创建防篡改对象的方法分析
2018/12/30 Javascript
vue父组件给子组件的组件传值provide inject的方法
2019/10/23 Javascript
JavaScript实现H5接金币功能(实例代码)
2021/02/22 Javascript
简单介绍Python中的floor()方法
2015/05/15 Python
深度定制Python的Flask框架开发环境的一些技巧总结
2016/07/12 Python
Python中Django 后台自定义表单控件
2017/03/28 Python
用python wxpy管理微信公众号并利用微信获取自己的开源数据
2019/07/30 Python
详解tensorflow2.x版本无法调用gpu的一种解决方法
2020/05/25 Python
Python模拟登录和登录跳转的参考示例
2020/10/30 Python
高中体育教学反思
2014/01/29 职场文书
小学校长竞聘演讲稿
2014/05/16 职场文书
写给父母的感谢信
2015/01/22 职场文书
保险公司客户经理岗位职责
2015/04/09 职场文书
初中班主任心得体会
2016/01/07 职场文书
你为什么是穷人?可能是这5个缺点造成
2019/07/11 职场文书
详解PHP设计模式之依赖注入模式
2021/05/25 PHP
攻略丨滑雪究竟该选哪款对讲机?
2022/02/18 无线电