MySQL 隔离数据列和前缀索引的使用总结


Posted in MySQL onMay 14, 2021

隔离数据列

通常,我们会发现查询语句会妨碍MySQL使用索引。除非在查询语句中列是独立的,否则MySQL不会使用这些列的索引。“隔离”的意思是索引列不应该成为表达式的一部分或者在一个查询函数体中。例如下面的例子就不会命中actor_id这个索引。

SELECT `actor_id` FROM `actor` WHERE `actor_id` + 1 = 2;

对于人来说,很容易知道查询条件实际是actor_id = 4,但是MySQL不会这么处理,因此养成简化WHERE判决条件的习惯,这意味着索引列独立地在比较操作符的一侧。下面是另外一个普遍错误的案例:

SELECT ... WHERE TO_DAYS(CURRENT_DATE) - TO_DAYS(date_col) <= 10;

前缀索引和索引的选择性

有时候需要在很长字符的列上建立索引,但这样会导致索引占据的空间很大且查询变慢。一个策略是使用哈希索引模拟,但有时候这未必是足够好,这个时候该怎么做?

通常是可以将索引列前面的部分字符建立索引来替换全字段索引提高性能和节省空间。但这种方式会使得选择性变差。索引的选择性是指独立的索引值筛选出的数据占整个数据集合的比例。高选择性的索引可以让MySQL过滤掉更多无关的数据。例如,一个唯一索引的选择性是1。 列的前缀通常在选择性方面已经能够提供足够好的性能。如果使用BLOB或TEXT或非常长的VARCHAR字段列,你必须定义前缀索引,以为MySQL不允许做全长度索引。

你需要在使用更长的前缀以获得更好的选择性和足够短的前缀以节省存储空间之间平衡。为了确定一个合适的前缀长度,查找出最高频的值,然后和最频繁的前缀进行比较。例如以城市数据表为例,我们可以使用如下的语句统计:

SELECT COUNT(*) as cnt, `name` FROM `common_city` GROUP BY `name` ORDER BY cnt DESC LIMIT 10

MySQL 隔离数据列和前缀索引的使用总结

可以看到这些城市名称出现的次数比较多。现在我们可以使用1个字的前缀查找最为频繁的城市名称前缀。

SELECT COUNT(*) as cnt, LEFT(`name`, 1) as pref FROM `common_city` GROUP BY pref ORDER BY cnt DESC LIMIT 10

MySQL 隔离数据列和前缀索引的使用总结

可以看到1个字找出来的数据集更多了,这会导致独立选中的机会越少,因此需要调整一下前缀的长度。例如调到3个字。

SELECT COUNT(*) as cnt, LEFT(`name`, 3) as pref FROM `common_city` GROUP BY pref ORDER BY cnt DESC LIMIT 10

MySQL 隔离数据列和前缀索引的使用总结

可以看到这和全长度的相差不多,那实际三个字的前缀就够了(原文使用的是英文城市数据表,字符会更多)。另外一种方式是使用不同长度的前缀数量与全字段数量的比例评估多少合适。例如:

SELECT 
  COUNT(DISTINCT LEFT(`name`, 1)) / COUNT(`name`) as pref1, 
  COUNT(DISTINCT LEFT(`name`, 2)) / COUNT(`name`) as pref2, 
  COUNT(DISTINCT LEFT(`name`, 3)) / COUNT(`name`) as pref3, 
  COUNT(DISTINCT LEFT(`name`, 4)) / COUNT(`name`) as pref4 
FROM `common_city`

MySQL 隔离数据列和前缀索引的使用总结

数值越接近于1效果越好,但是也可以看到,随着前缀长度的加长改善的空间越小。只看平均值并不是一个好主意,还需要检查一下最坏情况。也许会觉得3-4个字足够了,但是如果数据分布很不均匀,那可能会存在陷阱。因此还需要检查一下前缀少的是不是存在一个前缀对应的数据与其他相比极其多的情况。最后可以给指定的列加前缀索引。

ALTER TABLE `common_city` ADD KEY (name(3));

前缀索引在节省空间和提高效率方面表现不错,但是也有缺陷,那就是在ORDER BY和GROUP BY上无法使用索引(实际验证在MySQL 5.7以上版本也有用)。另外一种常见的场景是在较长的十六进制字符串中,例如存储的sessionId,取前8位前缀做索引将过滤很多无关数据,效果很好。

以上就是MySQL 隔离数据列和前缀索引的使用总结的详细内容,更多关于MySQL 隔离数据列和前缀索引的资料请关注三水点靠木其它相关文章!

MySQL 相关文章推荐
MySQL学习总结-基础架构概述
Apr 05 MySQL
MySQL 常见存储引擎的优劣
Jun 02 MySQL
MySQL中的布尔值,怎么存储false或true
Jun 04 MySQL
mysql连接查询中and与where的区别浅析
Jul 01 MySQL
MySQL限制查询和数据排序介绍
Mar 25 MySQL
MySQL的存储函数与存储过程的区别解析
Apr 08 MySQL
MySQL 外连接语法之 OUTER JOIN
Apr 09 MySQL
MySQL创建管理RANGE分区
Apr 13 MySQL
Mysql调整优化之四种分区方式以及组合分区
Apr 13 MySQL
MySQL数据库Innodb 引擎实现mvcc锁
May 06 MySQL
sql查询语句之平均分、最高最低分及排序语句
May 30 MySQL
MySQL添加索引特点及优化问题
Jul 23 MySQL
MySQL 使用自定义变量进行查询优化
May 14 #MySQL
MySQL 逻辑备份与恢复测试的相关总结
May 14 #MySQL
MySQL 可扩展设计的基本原则
May 14 #MySQL
MySQL主从搭建(多主一从)的实现思路与步骤
May 13 #MySQL
MySQL如何构建数据表索引
May 13 #MySQL
MySQL 自定义变量的概念及特点
May 13 #MySQL
为什么mysql字段要使用NOT NULL
You might like
ftp类(myftp.php)
2006/10/09 PHP
PHP中的正则表达式函数介绍
2012/02/27 PHP
PHP 在5.1.* 和5.2.*之间 PDO数据库操作中的不同之处小结
2012/03/07 PHP
php文件打包 下载之使用PHP自带的ZipArchive压缩文件并下载打包好的文件
2012/06/13 PHP
PHP开启目录引索+fancyindex漂亮目录浏览带搜索功能
2019/09/23 PHP
javascript 数组学习资料收集
2010/04/11 Javascript
javascript中不提供sleep功能如何实现这个功能
2014/05/27 Javascript
深入浅析同源策略和跨域访问
2015/11/26 Javascript
详解jQuery Mobile自定义标签
2016/01/06 Javascript
jQuery树形控件zTree使用小结
2016/08/02 Javascript
Vue.js组件tabs实现选项卡切换效果
2016/12/01 Javascript
javascript 中null和undefined区分和比较
2017/04/19 Javascript
vue中七牛插件使用的实例代码
2017/07/28 Javascript
jQuery 导航自动跟随滚动的实现代码
2018/05/30 jQuery
vue中的自定义分页插件组件的示例
2018/08/18 Javascript
详解javascript replace高级用法
2019/02/17 Javascript
jQuery实现移动端下拉展现新的内容回弹动画
2020/06/24 jQuery
vue在响应头response中获取自定义headers操作
2020/07/24 Javascript
JS常用跨域方法实现原理解析
2020/12/09 Javascript
python mysqldb连接数据库
2009/03/16 Python
Python实现保证只能运行一个脚本实例
2015/06/24 Python
解决django 新增加用户信息出现错误的问题
2019/07/28 Python
python3-flask-3将信息写入日志的实操方法
2019/11/12 Python
Django中template for如何使用方法
2021/01/31 Python
python定义具名元组实例操作
2021/02/28 Python
HTML5 video 事件应用示例
2014/09/11 HTML / CSS
德国高端单身人士交友网站:ElitePartner
2018/12/02 全球购物
给老师的道歉信
2014/01/11 职场文书
感恩节活动策划方案
2014/05/16 职场文书
社区先进事迹材料
2014/05/19 职场文书
投资意向书
2014/07/30 职场文书
教务处干事工作总结
2015/08/14 职场文书
大学迎新生欢迎词
2015/09/29 职场文书
机关干部正风肃纪心得体会
2016/01/15 职场文书
根德5570型九灯四波段立体声收音机是电子管收音机的楷模 ? 再论5570
2022/04/05 无线电
MySQL索引失效十种场景与优化方案
2023/05/08 MySQL