MySQL 隔离数据列和前缀索引的使用总结


Posted in MySQL onMay 14, 2021

隔离数据列

通常,我们会发现查询语句会妨碍MySQL使用索引。除非在查询语句中列是独立的,否则MySQL不会使用这些列的索引。“隔离”的意思是索引列不应该成为表达式的一部分或者在一个查询函数体中。例如下面的例子就不会命中actor_id这个索引。

SELECT `actor_id` FROM `actor` WHERE `actor_id` + 1 = 2;

对于人来说,很容易知道查询条件实际是actor_id = 4,但是MySQL不会这么处理,因此养成简化WHERE判决条件的习惯,这意味着索引列独立地在比较操作符的一侧。下面是另外一个普遍错误的案例:

SELECT ... WHERE TO_DAYS(CURRENT_DATE) - TO_DAYS(date_col) <= 10;

前缀索引和索引的选择性

有时候需要在很长字符的列上建立索引,但这样会导致索引占据的空间很大且查询变慢。一个策略是使用哈希索引模拟,但有时候这未必是足够好,这个时候该怎么做?

通常是可以将索引列前面的部分字符建立索引来替换全字段索引提高性能和节省空间。但这种方式会使得选择性变差。索引的选择性是指独立的索引值筛选出的数据占整个数据集合的比例。高选择性的索引可以让MySQL过滤掉更多无关的数据。例如,一个唯一索引的选择性是1。 列的前缀通常在选择性方面已经能够提供足够好的性能。如果使用BLOB或TEXT或非常长的VARCHAR字段列,你必须定义前缀索引,以为MySQL不允许做全长度索引。

你需要在使用更长的前缀以获得更好的选择性和足够短的前缀以节省存储空间之间平衡。为了确定一个合适的前缀长度,查找出最高频的值,然后和最频繁的前缀进行比较。例如以城市数据表为例,我们可以使用如下的语句统计:

SELECT COUNT(*) as cnt, `name` FROM `common_city` GROUP BY `name` ORDER BY cnt DESC LIMIT 10

MySQL 隔离数据列和前缀索引的使用总结

可以看到这些城市名称出现的次数比较多。现在我们可以使用1个字的前缀查找最为频繁的城市名称前缀。

SELECT COUNT(*) as cnt, LEFT(`name`, 1) as pref FROM `common_city` GROUP BY pref ORDER BY cnt DESC LIMIT 10

MySQL 隔离数据列和前缀索引的使用总结

可以看到1个字找出来的数据集更多了,这会导致独立选中的机会越少,因此需要调整一下前缀的长度。例如调到3个字。

SELECT COUNT(*) as cnt, LEFT(`name`, 3) as pref FROM `common_city` GROUP BY pref ORDER BY cnt DESC LIMIT 10

MySQL 隔离数据列和前缀索引的使用总结

可以看到这和全长度的相差不多,那实际三个字的前缀就够了(原文使用的是英文城市数据表,字符会更多)。另外一种方式是使用不同长度的前缀数量与全字段数量的比例评估多少合适。例如:

SELECT 
  COUNT(DISTINCT LEFT(`name`, 1)) / COUNT(`name`) as pref1, 
  COUNT(DISTINCT LEFT(`name`, 2)) / COUNT(`name`) as pref2, 
  COUNT(DISTINCT LEFT(`name`, 3)) / COUNT(`name`) as pref3, 
  COUNT(DISTINCT LEFT(`name`, 4)) / COUNT(`name`) as pref4 
FROM `common_city`

MySQL 隔离数据列和前缀索引的使用总结

数值越接近于1效果越好,但是也可以看到,随着前缀长度的加长改善的空间越小。只看平均值并不是一个好主意,还需要检查一下最坏情况。也许会觉得3-4个字足够了,但是如果数据分布很不均匀,那可能会存在陷阱。因此还需要检查一下前缀少的是不是存在一个前缀对应的数据与其他相比极其多的情况。最后可以给指定的列加前缀索引。

ALTER TABLE `common_city` ADD KEY (name(3));

前缀索引在节省空间和提高效率方面表现不错,但是也有缺陷,那就是在ORDER BY和GROUP BY上无法使用索引(实际验证在MySQL 5.7以上版本也有用)。另外一种常见的场景是在较长的十六进制字符串中,例如存储的sessionId,取前8位前缀做索引将过滤很多无关数据,效果很好。

以上就是MySQL 隔离数据列和前缀索引的使用总结的详细内容,更多关于MySQL 隔离数据列和前缀索引的资料请关注三水点靠木其它相关文章!

MySQL 相关文章推荐
MySQL数字类型自增的坑
May 07 MySQL
MySQL查询学习之基础查询操作
May 08 MySQL
mysql 8.0.24版本安装配置方法图文教程
May 12 MySQL
MySQL 使用自定义变量进行查询优化
May 14 MySQL
浅析MySQL如何实现事务隔离
Jun 26 MySQL
MySQL子查询中order by不生效问题的解决方法
Aug 02 MySQL
MySQL命令无法输入中文问题的解决方式
Aug 30 MySQL
MySQL数据库⾼可⽤HA实现小结
Jan 22 MySQL
MySql分区类型及创建分区的方法
Apr 13 MySQL
mysql 乱码 字符集latin1转UTF8
Apr 19 MySQL
pt-archiver 主键自增
Apr 26 MySQL
mysqldump进行数据备份详解
Jul 15 MySQL
MySQL 使用自定义变量进行查询优化
May 14 #MySQL
MySQL 逻辑备份与恢复测试的相关总结
May 14 #MySQL
MySQL 可扩展设计的基本原则
May 14 #MySQL
MySQL主从搭建(多主一从)的实现思路与步骤
May 13 #MySQL
MySQL如何构建数据表索引
May 13 #MySQL
MySQL 自定义变量的概念及特点
May 13 #MySQL
为什么mysql字段要使用NOT NULL
You might like
php&amp;java(二)
2006/10/09 PHP
php-fpm超时时间设置request_terminate_timeout资源问题分析
2019/09/27 PHP
javascript实现倒计时并弹窗提示特效
2015/06/05 Javascript
深入理解JavaScript中的箭头函数
2015/07/28 Javascript
Bootstrap实现响应式导航栏效果
2015/12/28 Javascript
JavaScript 随机验证码的生成实例代码
2016/09/22 Javascript
概述javascript在Google IE中的调试技巧
2016/11/24 Javascript
利用jquery实现下拉框的禁用与启用
2016/12/07 Javascript
微信小程序 HTTPS报错整理常见问题及解决方案
2016/12/14 Javascript
JavaScript数据结构之二叉树的计数算法示例
2017/04/13 Javascript
js如何找出字符串中的最长回文串
2018/06/04 Javascript
微信小程序加载机制及运行机制图解
2019/11/27 Javascript
简单实现python爬虫功能
2015/12/31 Python
Python3安装Pymongo详细步骤
2017/05/26 Python
python利用rsa库做公钥解密的方法教程
2017/12/10 Python
用pandas按列合并两个文件的实例
2018/04/12 Python
详解Python3.6的py文件打包生成exe
2018/07/13 Python
python pandas消除空值和空格以及 Nan数据替换方法
2018/10/30 Python
强悍的Python读取大文件的解决方案
2019/02/16 Python
详解Python用户登录接口的方法
2019/04/17 Python
pycharm 激活码及使用方式的详细教程
2020/05/12 Python
Python实现aes加密解密多种方法解析
2020/05/15 Python
Python新手学习装饰器
2020/06/04 Python
css3设置box-pack和box-align让div里面的元素垂直居中
2014/09/01 HTML / CSS
澳大利亚工具仓库:Tools Warehouse
2018/10/15 全球购物
The North Face北面德国官网:美国著名户外品牌
2018/12/12 全球购物
大学生毕业自我鉴定范文
2013/11/03 职场文书
预备党员政审材料
2014/02/04 职场文书
社区综治宣传月活动总结
2014/07/02 职场文书
百日安全生产活动总结
2014/07/05 职场文书
安全目标管理责任书
2014/07/25 职场文书
2014年国庆节寄语
2014/09/19 职场文书
党员教师群众路线对照检查材料思想汇报
2014/09/29 职场文书
2019年思想汇报
2019/06/20 职场文书
Win11怎么把合并的任务栏分开 Win11任务栏合并分开教程
2022/04/06 数码科技
SpringBoot详解整合Redis缓存方法
2022/07/15 Java/Android