详解MySQL InnoDB存储引擎的内存管理


Posted in MySQL onApril 08, 2021

存储引擎之内存管理

在InnoDB存储引擎中,数据库中的缓冲池是通过LRU(Latest Recent Used,最近最少使用)算法来进行管理的,即最频繁使用的页在LRU列表的最前段,而最少使用的页在LRU列表的尾端,当缓冲池不能存放新读取到的页时,首先释放LRU列表尾端的页。

详解MySQL InnoDB存储引擎的内存管理

上面的图中,我使用8个数据页来表示队列,具体作用,先卖个关子。在InnoDB存储引擎中,缓冲池中页的默认大小是16KB,LRU列表中有一个midpoint的位置,新读取到的数据页并不是直接放入到LRU列表的首部,而是放入到LRU列表的midpoint位置,这个操作称之为midpoint insertion stategy,也叫中间点插入策略。在默认配置下,该位置在LRU长度的5/8处,这也就是上面使用8个数据页的作用。下面的图示意了新的数据页的插入过程:

详解MySQL InnoDB存储引擎的内存管理

mitpoint的位置可通过参数innodb_old_blocks_pct控制,如下:

mysql> show variables like 'innodb_old_blocks_pct';
+-----------------------+-------+
| Variable_name         | Value |
+-----------------------+-------+
| innodb_old_blocks_pct | 37    |
+-----------------------+-------+
 row in set (. sec)

从上面的例子看出,结果是37,这个37意味着新读取的页将被插入到大概距离LRU列表尾端37%的位置,差不多3/8的位置,在InnoDB存储引擎中,midpoint之前的页称为new列表,后面的页称之为old列表,new列表中的页是最为活跃的数据。

为什么不直接把数据页放在LRU队列的首部?

之所以不把新读取的数据页放在LRU队列的首部,是因为某些全表扫描的SQL操作可能会将所有的热点数据都刷新出LRU队列,导致下一次访问热点数据的时候,必须从磁盘中取相应的数据,从而影响缓冲池的效率。为了解决这个问题,InnoDB使用另外一个参数来管理LRU列表,就是innodb_old_blocks_time,用于表示页读取到midpoint之后,多久才会加入到LRU列表的热端。因此当需要执行上述所说的SQL操作时,可以通过下面的方法尽可能使LRU列表中的热点数据不被刷出。

mysql> set global innodb_old_blocks_time=;
Query OK,  rows affected (0.00 sec)

这表示在1000s之后,才允许这些数据刷新到LRU列表的热端。

如果在实际情况中,数据页活跃的比率不止63%,用户还可以通过设置innodb_old_blocks_pct来减少热点页可能被刷出的概率。

mysql> set global innodb_old_blocks_pct=;                                                                                                     
Query OK,  rows affected (0.00 sec)

当数据库刚启动时,LRU的内容是空的,这个时候,所有的数据页都放在Free列表中,当需要从缓冲池中分页时,首先从Free列表中查找是否有可用的Free页,如果存在,则将该页从Free页中删除,然后放入到LRU的列表中。淘汰掉LRU列表末尾的数据页,将该内存空间分配给新的页。这个过程的流程图如下:

详解MySQL InnoDB存储引擎的内存管理

当LRU列表中的页从old部分加入到new部分时,称此时发生的操作是page made young,而因为innodb_old_blocks_time的设置而没有从old部分移动到new部分的操作称之为page_not_made young。可以通过show engine innodb status来观察LRU列表以及Free列表的使用情况和运行状态。

mysql> show engine innodb status\G
***
***
----------------------
BUFFER POOL AND MEMORY
----------------------
Total large memory allocated 
Dictionary memory allocated 
Buffer pool size   
Free buffers       
Database pages     
Old database pages 
Modified db pages  
Pending reads      
Pending writes: LRU , flush list , single page 
Pages made young , not young 
0.00 youngs/s, 0.00 non-youngs/s
Pages read , created , written 
0.00 reads/s, 0.00 creates/s, 0.00 writes/s
No buffer pool page gets since the last printout
Pages read ahead 0.00/s, evicted without access 0.00/s, Random read ahead 0.00/s
LRU len: , unzip_LRU len: 
I/O sum[]:cur[], unzip sum[]:cur[]
--------------
ROW OPERATIONS
--------------
 queries inside InnoDB,  queries in queue
 read views open inside InnoDB
Process ID=, Main thread ID=, state: sleeping
Number of rows inserted , updated , deleted , read 
0.00 inserts/s, 0.00 updates/s, 0.00 deletes/s, 0.00 reads/s
----------------------------
END OF INNODB MONITOR OUTPUT
============================

 row in set (0.00 sec)

    从上面的结果可以看到:当前buffer pool size总共有8191个页,每个数据页的大小是16k,总共的大小是8191*16k=128M的缓冲池,其中Free buffers表示当前Free列表中页的数量。page made young显示了LRU列表中页移动到前端的次数,因为该服务器在运行阶段没有改变innodb_old_blocks_time的值,因此not young为0,youngs/s、non_youngs/s表示每秒这两类操作的次数。

    InnoDB存储引擎从1.0.x版本开始支持压缩页的功能,即将原本16kb的数据页压缩成1KB、2KB、4KB和8KB。对于非16KB的页,是通过unzip_LRU来管理的,上述命令中的第22行就显示了压缩页和非压缩页的信息。

需要注意的一点是Free buffers的值与Database Pages的值之和不一定等于buffer pool size,因为缓冲池中的页可能还会被分配各自适应哈希索引、锁信息等页,而这部分页并不需要LRU算法进行维护。

脏页

     在LRU列表中的页被修改之后,这个页就称之为“脏页”,即缓冲池中的数据页和磁盘上的数据产生了不一致,缓冲池的数据比较新,这时数据库会通过checkpoint机制将脏页刷新回磁盘,而Flush列表中的页也就是脏页列表,脏页既存在于LRU列表中,也存在与Flush列表中,LRU列表用来管理缓冲池中页的可用性,Flush列表用来管理将页刷新回磁盘,二者不影响。Flush列表也可以通过show engine innodb status来查看,前面的结果列表中的第13行,modified db pages就是当前的脏页数量,用户可以通过元数据表INNODB_BUFFER_PAGE_LRU表来查看。

以上就是详解MySQL InnoDB存储引擎的内存管理的详细内容,更多关于InnoDB 内存管理的资料请关注三水点靠木其它相关文章!

MySQL 相关文章推荐
MySQL 隔离数据列和前缀索引的使用总结
May 14 MySQL
MySQL中order by的使用详情
Nov 17 MySQL
教你如何让spark sql写mysql的时候支持update操作
Feb 15 MySQL
SQL注入篇学习之盲注/宽字节注入
Mar 03 MySQL
关于k8s环境部署mysql主从的问题
Mar 13 MySQL
mysql中数据库覆盖导入的几种方式总结
Mar 25 MySQL
一次Mysql update sql不当引起的生产故障记录
Apr 01 MySQL
MySQL表锁、行锁、排它锁及共享锁的使用详解
Apr 02 MySQL
MySQL 字符集 character
May 04 MySQL
MySQL详细讲解变量variables的用法
Jun 21 MySQL
mysql查看表结构的三种方法总结
Jul 07 MySQL
MySQL 原理与优化之Limit 查询优化
Aug 14 MySQL
MySQL Innodb关键特性之插入缓冲(insert buffer)
Apr 08 #MySQL
如何使用Maxwell实时同步mysql数据
MySQL创建索引需要了解的
Apr 08 #MySQL
MySQL 使用SQL语句修改表名的实现
详解Mysql 函数调用优化
Apr 07 #MySQL
MySQL复制问题的三个参数分析
Apr 07 #MySQL
MySQL pt-slave-restart工具的使用简介
Apr 07 #MySQL
You might like
与数据库连接
2006/10/09 PHP
PHP分页显示制作详细讲解
2006/12/05 PHP
又一个php 分页类实现代码
2009/12/03 PHP
php 空格,换行,跳格使用说明
2009/12/18 PHP
PHP5中Cookie与 Session使用详解
2013/04/30 PHP
PHP中SSO Cookie登录分析和实现
2015/11/06 PHP
使用laravel的migrate创建数据表的方法
2019/09/30 PHP
laravel框架路由分组,中间件,命名空间,子域名,路由前缀实例分析
2020/02/18 PHP
基于jQuery的自动完成插件
2011/02/03 Javascript
解析javascript系统错误:-1072896658的解决办法
2013/07/08 Javascript
JavaScript cookie的设置获取删除详解
2014/02/11 Javascript
js中精确计算加法和减法示例
2014/03/28 Javascript
基于jQuery实现二级下拉菜单效果
2016/02/01 Javascript
jQuery 常用代码集锦(必看篇)
2016/05/16 Javascript
js实现背景图自适应窗口大小
2017/01/10 Javascript
vue.js实现用户评论、登录、注册、及修改信息功能
2020/05/30 Javascript
JScript实现表格的简单操作
2017/08/15 Javascript
通过button将form表单的数据提交到action层的实例
2017/09/08 Javascript
微信小程序左右滑动的实现代码
2017/12/15 Javascript
Angular CLI 使用教程指南参考小结
2019/04/10 Javascript
vue@cli3项目模板怎么使用public目录下的静态文件
2020/07/07 Javascript
Python中Random和Math模块学习笔记
2015/05/18 Python
实例讲解Python编程中@property装饰器的用法
2016/06/20 Python
python select.select模块通信全过程解析
2017/09/20 Python
对Python3使运行暂停的方法详解
2019/02/18 Python
pandas实现将日期转换成timestamp
2019/12/07 Python
初学者学习Python好还是Java好
2020/05/26 Python
美国家居装饰店:Z Gallerie
2020/12/28 全球购物
下述程序的作用是计算机数组中的最大元素值及其下标
2012/11/26 面试题
员工薪酬福利制度
2014/01/17 职场文书
监察建议书范文
2014/03/12 职场文书
书法大赛策划方案
2014/06/04 职场文书
上海世博会口号
2014/06/19 职场文书
党的群众路线教育实践活动心得体会范文
2014/11/05 职场文书
青年志愿者服务活动总结
2015/05/06 职场文书
建房合同协议书
2016/03/21 职场文书