详解MySQL InnoDB存储引擎的内存管理


Posted in MySQL onApril 08, 2021

存储引擎之内存管理

在InnoDB存储引擎中,数据库中的缓冲池是通过LRU(Latest Recent Used,最近最少使用)算法来进行管理的,即最频繁使用的页在LRU列表的最前段,而最少使用的页在LRU列表的尾端,当缓冲池不能存放新读取到的页时,首先释放LRU列表尾端的页。

详解MySQL InnoDB存储引擎的内存管理

上面的图中,我使用8个数据页来表示队列,具体作用,先卖个关子。在InnoDB存储引擎中,缓冲池中页的默认大小是16KB,LRU列表中有一个midpoint的位置,新读取到的数据页并不是直接放入到LRU列表的首部,而是放入到LRU列表的midpoint位置,这个操作称之为midpoint insertion stategy,也叫中间点插入策略。在默认配置下,该位置在LRU长度的5/8处,这也就是上面使用8个数据页的作用。下面的图示意了新的数据页的插入过程:

详解MySQL InnoDB存储引擎的内存管理

mitpoint的位置可通过参数innodb_old_blocks_pct控制,如下:

mysql> show variables like 'innodb_old_blocks_pct';
+-----------------------+-------+
| Variable_name         | Value |
+-----------------------+-------+
| innodb_old_blocks_pct | 37    |
+-----------------------+-------+
 row in set (. sec)

从上面的例子看出,结果是37,这个37意味着新读取的页将被插入到大概距离LRU列表尾端37%的位置,差不多3/8的位置,在InnoDB存储引擎中,midpoint之前的页称为new列表,后面的页称之为old列表,new列表中的页是最为活跃的数据。

为什么不直接把数据页放在LRU队列的首部?

之所以不把新读取的数据页放在LRU队列的首部,是因为某些全表扫描的SQL操作可能会将所有的热点数据都刷新出LRU队列,导致下一次访问热点数据的时候,必须从磁盘中取相应的数据,从而影响缓冲池的效率。为了解决这个问题,InnoDB使用另外一个参数来管理LRU列表,就是innodb_old_blocks_time,用于表示页读取到midpoint之后,多久才会加入到LRU列表的热端。因此当需要执行上述所说的SQL操作时,可以通过下面的方法尽可能使LRU列表中的热点数据不被刷出。

mysql> set global innodb_old_blocks_time=;
Query OK,  rows affected (0.00 sec)

这表示在1000s之后,才允许这些数据刷新到LRU列表的热端。

如果在实际情况中,数据页活跃的比率不止63%,用户还可以通过设置innodb_old_blocks_pct来减少热点页可能被刷出的概率。

mysql> set global innodb_old_blocks_pct=;                                                                                                     
Query OK,  rows affected (0.00 sec)

当数据库刚启动时,LRU的内容是空的,这个时候,所有的数据页都放在Free列表中,当需要从缓冲池中分页时,首先从Free列表中查找是否有可用的Free页,如果存在,则将该页从Free页中删除,然后放入到LRU的列表中。淘汰掉LRU列表末尾的数据页,将该内存空间分配给新的页。这个过程的流程图如下:

详解MySQL InnoDB存储引擎的内存管理

当LRU列表中的页从old部分加入到new部分时,称此时发生的操作是page made young,而因为innodb_old_blocks_time的设置而没有从old部分移动到new部分的操作称之为page_not_made young。可以通过show engine innodb status来观察LRU列表以及Free列表的使用情况和运行状态。

mysql> show engine innodb status\G
***
***
----------------------
BUFFER POOL AND MEMORY
----------------------
Total large memory allocated 
Dictionary memory allocated 
Buffer pool size   
Free buffers       
Database pages     
Old database pages 
Modified db pages  
Pending reads      
Pending writes: LRU , flush list , single page 
Pages made young , not young 
0.00 youngs/s, 0.00 non-youngs/s
Pages read , created , written 
0.00 reads/s, 0.00 creates/s, 0.00 writes/s
No buffer pool page gets since the last printout
Pages read ahead 0.00/s, evicted without access 0.00/s, Random read ahead 0.00/s
LRU len: , unzip_LRU len: 
I/O sum[]:cur[], unzip sum[]:cur[]
--------------
ROW OPERATIONS
--------------
 queries inside InnoDB,  queries in queue
 read views open inside InnoDB
Process ID=, Main thread ID=, state: sleeping
Number of rows inserted , updated , deleted , read 
0.00 inserts/s, 0.00 updates/s, 0.00 deletes/s, 0.00 reads/s
----------------------------
END OF INNODB MONITOR OUTPUT
============================

 row in set (0.00 sec)

    从上面的结果可以看到:当前buffer pool size总共有8191个页,每个数据页的大小是16k,总共的大小是8191*16k=128M的缓冲池,其中Free buffers表示当前Free列表中页的数量。page made young显示了LRU列表中页移动到前端的次数,因为该服务器在运行阶段没有改变innodb_old_blocks_time的值,因此not young为0,youngs/s、non_youngs/s表示每秒这两类操作的次数。

    InnoDB存储引擎从1.0.x版本开始支持压缩页的功能,即将原本16kb的数据页压缩成1KB、2KB、4KB和8KB。对于非16KB的页,是通过unzip_LRU来管理的,上述命令中的第22行就显示了压缩页和非压缩页的信息。

需要注意的一点是Free buffers的值与Database Pages的值之和不一定等于buffer pool size,因为缓冲池中的页可能还会被分配各自适应哈希索引、锁信息等页,而这部分页并不需要LRU算法进行维护。

脏页

     在LRU列表中的页被修改之后,这个页就称之为“脏页”,即缓冲池中的数据页和磁盘上的数据产生了不一致,缓冲池的数据比较新,这时数据库会通过checkpoint机制将脏页刷新回磁盘,而Flush列表中的页也就是脏页列表,脏页既存在于LRU列表中,也存在与Flush列表中,LRU列表用来管理缓冲池中页的可用性,Flush列表用来管理将页刷新回磁盘,二者不影响。Flush列表也可以通过show engine innodb status来查看,前面的结果列表中的第13行,modified db pages就是当前的脏页数量,用户可以通过元数据表INNODB_BUFFER_PAGE_LRU表来查看。

以上就是详解MySQL InnoDB存储引擎的内存管理的详细内容,更多关于InnoDB 内存管理的资料请关注三水点靠木其它相关文章!

MySQL 相关文章推荐
MySQL连接查询你真的学会了吗?
Jun 02 MySQL
MySQL系列之二 多实例配置
Jul 02 MySQL
MySQL定时备份数据库(全库备份)的实现
Sep 25 MySQL
MySQL修炼之联结与集合浅析
Oct 05 MySQL
MySQL面试题讲解之如何设置Hash索引
Nov 01 MySQL
详解MySQL中timestamp和datetime时区问题导致做DTS遇到的坑
Dec 06 MySQL
浅谈MySQL中的六种日志
Mar 23 MySQL
简单聊一聊SQL注入及防止SQL注入
Mar 23 MySQL
MySql重置root密码 --skip-grant-tables
Apr 11 MySQL
分析MySQL优化 index merge 后引起的死锁
Apr 19 MySQL
MySQL数据库中的锁、解锁以及删除事务
May 06 MySQL
MySQL sql模式设置引起的问题
May 15 MySQL
MySQL Innodb关键特性之插入缓冲(insert buffer)
Apr 08 #MySQL
如何使用Maxwell实时同步mysql数据
MySQL创建索引需要了解的
Apr 08 #MySQL
MySQL 使用SQL语句修改表名的实现
详解Mysql 函数调用优化
Apr 07 #MySQL
MySQL复制问题的三个参数分析
Apr 07 #MySQL
MySQL pt-slave-restart工具的使用简介
Apr 07 #MySQL
You might like
如何在PHP中使用Oracle数据库(3)
2006/10/09 PHP
php Sql Server连接失败问题及解决办法
2009/08/07 PHP
php中用加号与用array_merge合并数组的区别深入分析
2013/06/03 PHP
smarty模板引擎使用内建函数foreach循环取出所有数组值的方法
2015/01/22 PHP
js中判断文本框是否为空的两种方法
2011/07/31 Javascript
js调用activeX获取u盘序列号的代码
2011/11/21 Javascript
Extjs 3.3切换tab隐藏相应工具栏出现空白解决
2013/04/02 Javascript
js控制表单操作的常用代码小结
2013/08/15 Javascript
Javascript实现检测客户端类型代码封包
2015/12/03 Javascript
Bootstrap按钮组件详解
2016/04/26 Javascript
深入浅出 jQuery中的事件机制
2016/08/23 Javascript
如何提高javascript加载速度
2016/12/26 Javascript
你真的了解BOM中的history对象吗
2017/02/13 Javascript
微信小程序左右滑动的实现代码
2017/12/15 Javascript
nodejs调取微信收货地址的方法
2017/12/20 NodeJs
关于Vue组件库开发详析
2018/07/01 Javascript
JavaScript闭包原理与用法实例分析
2018/08/10 Javascript
vue使用v-for实现hover点击效果
2018/09/29 Javascript
vue结合element-ui使用示例
2019/01/24 Javascript
npm qs模块使用详解
2020/02/07 Javascript
基于vue中的scoped坑点解说
2020/09/04 Javascript
Python和php通信乱码问题解决方法
2014/04/15 Python
Python中的ConfigParser模块使用详解
2015/05/04 Python
Python更新数据库脚本两种方法及对比介绍
2017/07/27 Python
python获取代理IP的实例分享
2018/05/07 Python
使用python模拟高斯分布例子
2019/12/09 Python
python神经网络编程实现手写数字识别
2020/05/27 Python
CSS3属性选择符介绍
2008/10/17 HTML / CSS
HTML5新控件之日期和时间选择输入的实现代码
2018/09/13 HTML / CSS
基于HTML5的齿轮动画特效
2016/02/29 HTML / CSS
XMLHttpRequest对象在IE和Firefox中创建方式有没有不同
2016/03/23 面试题
工商管理专业学生的自我评价
2013/10/01 职场文书
金融行业务员的自我评价
2013/12/13 职场文书
大学生实习证明范本
2014/01/15 职场文书
优秀学生评语大全
2014/04/25 职场文书
浅谈pytorch中的dropout的概率p
2021/05/27 Python