MySQL 隔离数据列和前缀索引的使用总结


Posted in MySQL onMay 14, 2021

隔离数据列

通常,我们会发现查询语句会妨碍MySQL使用索引。除非在查询语句中列是独立的,否则MySQL不会使用这些列的索引。“隔离”的意思是索引列不应该成为表达式的一部分或者在一个查询函数体中。例如下面的例子就不会命中actor_id这个索引。

SELECT `actor_id` FROM `actor` WHERE `actor_id` + 1 = 2;

对于人来说,很容易知道查询条件实际是actor_id = 4,但是MySQL不会这么处理,因此养成简化WHERE判决条件的习惯,这意味着索引列独立地在比较操作符的一侧。下面是另外一个普遍错误的案例:

SELECT ... WHERE TO_DAYS(CURRENT_DATE) - TO_DAYS(date_col) <= 10;

前缀索引和索引的选择性

有时候需要在很长字符的列上建立索引,但这样会导致索引占据的空间很大且查询变慢。一个策略是使用哈希索引模拟,但有时候这未必是足够好,这个时候该怎么做?

通常是可以将索引列前面的部分字符建立索引来替换全字段索引提高性能和节省空间。但这种方式会使得选择性变差。索引的选择性是指独立的索引值筛选出的数据占整个数据集合的比例。高选择性的索引可以让MySQL过滤掉更多无关的数据。例如,一个唯一索引的选择性是1。 列的前缀通常在选择性方面已经能够提供足够好的性能。如果使用BLOB或TEXT或非常长的VARCHAR字段列,你必须定义前缀索引,以为MySQL不允许做全长度索引。

你需要在使用更长的前缀以获得更好的选择性和足够短的前缀以节省存储空间之间平衡。为了确定一个合适的前缀长度,查找出最高频的值,然后和最频繁的前缀进行比较。例如以城市数据表为例,我们可以使用如下的语句统计:

SELECT COUNT(*) as cnt, `name` FROM `common_city` GROUP BY `name` ORDER BY cnt DESC LIMIT 10

MySQL 隔离数据列和前缀索引的使用总结

可以看到这些城市名称出现的次数比较多。现在我们可以使用1个字的前缀查找最为频繁的城市名称前缀。

SELECT COUNT(*) as cnt, LEFT(`name`, 1) as pref FROM `common_city` GROUP BY pref ORDER BY cnt DESC LIMIT 10

MySQL 隔离数据列和前缀索引的使用总结

可以看到1个字找出来的数据集更多了,这会导致独立选中的机会越少,因此需要调整一下前缀的长度。例如调到3个字。

SELECT COUNT(*) as cnt, LEFT(`name`, 3) as pref FROM `common_city` GROUP BY pref ORDER BY cnt DESC LIMIT 10

MySQL 隔离数据列和前缀索引的使用总结

可以看到这和全长度的相差不多,那实际三个字的前缀就够了(原文使用的是英文城市数据表,字符会更多)。另外一种方式是使用不同长度的前缀数量与全字段数量的比例评估多少合适。例如:

SELECT 
  COUNT(DISTINCT LEFT(`name`, 1)) / COUNT(`name`) as pref1, 
  COUNT(DISTINCT LEFT(`name`, 2)) / COUNT(`name`) as pref2, 
  COUNT(DISTINCT LEFT(`name`, 3)) / COUNT(`name`) as pref3, 
  COUNT(DISTINCT LEFT(`name`, 4)) / COUNT(`name`) as pref4 
FROM `common_city`

MySQL 隔离数据列和前缀索引的使用总结

数值越接近于1效果越好,但是也可以看到,随着前缀长度的加长改善的空间越小。只看平均值并不是一个好主意,还需要检查一下最坏情况。也许会觉得3-4个字足够了,但是如果数据分布很不均匀,那可能会存在陷阱。因此还需要检查一下前缀少的是不是存在一个前缀对应的数据与其他相比极其多的情况。最后可以给指定的列加前缀索引。

ALTER TABLE `common_city` ADD KEY (name(3));

前缀索引在节省空间和提高效率方面表现不错,但是也有缺陷,那就是在ORDER BY和GROUP BY上无法使用索引(实际验证在MySQL 5.7以上版本也有用)。另外一种常见的场景是在较长的十六进制字符串中,例如存储的sessionId,取前8位前缀做索引将过滤很多无关数据,效果很好。

以上就是MySQL 隔离数据列和前缀索引的使用总结的详细内容,更多关于MySQL 隔离数据列和前缀索引的资料请关注三水点靠木其它相关文章!

MySQL 相关文章推荐
Idea连接MySQL数据库出现中文乱码的问题
Apr 14 MySQL
MySQL 慢查询日志深入理解
Apr 22 MySQL
带你学习MySQL执行计划
May 31 MySQL
Mysql数据库索引面试题(程序员基础技能)
May 31 MySQL
mysql优化之query_cache_limit参数说明
Jul 01 MySQL
MySQL系列之二 多实例配置
Jul 02 MySQL
MySQL系列之三 基础篇
Jul 02 MySQL
通过shell脚本对mysql的增删改查及my.cnf的配置
Jul 07 MySQL
SQL语法CONSTRAINT约束操作详情
Jan 18 MySQL
Mysql排查分析慢sql之explain实战案例
Apr 19 MySQL
浅谈MySql update会锁定哪些范围的数据
Jun 25 MySQL
MySQL表字段数量限制及行大小限制详情
Jul 23 MySQL
MySQL 使用自定义变量进行查询优化
May 14 #MySQL
MySQL 逻辑备份与恢复测试的相关总结
May 14 #MySQL
MySQL 可扩展设计的基本原则
May 14 #MySQL
MySQL主从搭建(多主一从)的实现思路与步骤
May 13 #MySQL
MySQL如何构建数据表索引
May 13 #MySQL
MySQL 自定义变量的概念及特点
May 13 #MySQL
为什么mysql字段要使用NOT NULL
You might like
dedecms中使用php语句指南
2014/11/13 PHP
php函数与传递参数实例分析
2014/11/15 PHP
PHP中大括号'{}'用法实例总结
2017/02/08 PHP
CI框架(CodeIgniter)公共模型类定义与用法示例
2017/08/10 PHP
一直复略了的一个问题,关于表单重复提交
2007/02/15 Javascript
豆瓣网的jquery代码实例
2008/06/15 Javascript
JavaScript实现快速排序(自已编写)
2012/12/19 Javascript
Js操作树节点自动折叠展开的几种方法
2014/05/05 Javascript
js常用DOM方法详解
2017/02/04 Javascript
jQuery实现鼠标经过显示动画边框特效
2017/03/24 jQuery
JavaScript实现写入文件到本地的方法【基于FileSaver.js插件】
2018/03/15 Javascript
JS中的回调函数实例浅析
2018/03/21 Javascript
jquery 通过ajax请求获取后台数据显示在表格上的方法
2018/08/08 jQuery
详解vue文件中使用echarts.js的两种方式
2018/10/18 Javascript
JavaScript数据结构与算法之二叉树遍历算法详解【先序、中序、后序】
2019/02/21 Javascript
Vue多环境代理配置方法思路详解
2019/06/21 Javascript
JS实现提示效果弹出及延迟隐藏的功能
2019/08/26 Javascript
JavaScript如何借用构造函数继承
2019/11/06 Javascript
jQuery实现动态操作table行
2020/11/23 jQuery
python多线程扫描端口示例
2014/01/16 Python
Python函数中*args和**kwargs来传递变长参数的用法
2016/01/26 Python
python调用API实现智能回复机器人
2018/04/10 Python
python tornado微信开发入门代码
2018/08/24 Python
用Python中的turtle模块画图两只小羊方法
2019/04/09 Python
Python word文本自动化操作实现方法解析
2020/11/05 Python
html5.2 dialog简介详解
2018/02/27 HTML / CSS
小程序瀑布流解决左右两边高度差距过大的问题
2019/02/20 HTML / CSS
好莱坞百老汇御用王牌美妆:Koh Gen Do 江原道
2018/04/03 全球购物
怎样声明子类
2013/07/02 面试题
行政助理岗位职责
2013/11/10 职场文书
信息技术教学反思
2014/02/12 职场文书
我们的节日清明节活动方案
2014/03/05 职场文书
大学生村官座谈会发言材料
2014/05/25 职场文书
《彼得与狼》教学反思
2016/02/20 职场文书
游戏《我的世界》澄清Xbox版暂无计划加入光追
2022/04/03 其他游戏
JavaScript前端面试组合函数
2022/06/21 Javascript