MySQL创建管理HASH分区


Posted in MySQL onApril 13, 2022

介绍

基于给定的分区个数,将数据分配到不同的分区,HASH分区只能针对整数进行HASH,对于非整形的字段只能通过表达式将其转换成整数。表达式可以是mysql中任意有效的函数或者表达式,对于非整形的HASH往表插入数据的过程中会多一步表达式的计算操作,所以不建议使用复杂的表达式这样会影响性能。

MYSQL支持两种HASH分区,常规HASH(HASH)和线性HASH(LINEAR HASH)。

一、常规HASH

常规hash是基于分区个数的取模(%)运算。根据余数插入到指定的分区

CREATE TABLE tbhash (
    id INT NOT NULL,
    store_id INT
)
PARTITION BY HASH(store_id)
PARTITIONS 4
;
ALTER TABLE tbhash ADD INDEX ix_store_id(store_id);
INSERT INTO tbhash() VALUES(1,100),(1,101),(2,102),(3,103),(4,104);

SELECT PARTITION_NAME,PARTITION_METHOD,PARTITION_EXPRESSION,PARTITION_DESCRIPTION,TABLE_ROWS,SUBPARTITION_NAME,SUBPARTITION_METHOD,SUBPARTITION_EXPRESSION 
FROM information_schema.PARTITIONS WHERE TABLE_SCHEMA=SCHEMA() AND TABLE_NAME='tbhash';

MySQL创建管理HASH分区

其中100,104对4取模是0所以这两条数据被分配到了p0分区。

MySQL创建管理HASH分区

2.时间类型字段

CREATE TABLE employees (
    id INT NOT NULL,
    hired DATE NOT NULL DEFAULT '1970-01-01',
)
PARTITION BY HASH( YEAR(hired) )
PARTITIONS 4;

常规hash的分区非常的简便,通过取模的方式可以让数据非常平均的分布每一个分区,但是由于分区在创建表的时候已经固定了。如果新增或者收缩分区的数据迁移比较大。

二、线性HASH(LINEAR HASH)

LINEAR HASH和HASH的唯一区别就是PARTITION BY LINEAR HASH

CREATE TABLE tblinhash (
    id INT NOT NULL,
    hired DATE NOT NULL DEFAULT '1970-01-01'
)
PARTITION BY LINEAR HASH( YEAR(hired) )
PARTITIONS 6;

线性HASH的计算原理如下:

假设分区个数num=6,N表示数据最终存储的分区

sep1:V = POWER(2, CEILING(LOG(2, num))),LOG()是计算NUM以2为底的对数,CEILING()是向上取整,POWER()是取2的次方值;如果num的值是2的倍数那么这个表达式计算出来的结果不变。

V=POWER(2,CEILING(LOG(2,6)))

V=POWER(2,3)

V=8

sep2:N=values&(V-1);&位与运算,将两个值都转换成2进行求与运算,当都为1才为1;当num是2的倍数时由于V计算出来的结果不变,这时values&(V-1)=MOD(values/num)和时间HASH取模算出的结果是一致的,这时特殊情况只有当分区是2的倍数才是这种 情况。values是YEAR(hired)的值

sep3:while N>=num

sep3-1:N=N& (CEIL(V/ 2)- 1)

例如:

1.当插入的值是'2003-04-14'时

    V = POWER(2, CEILING( LOG(2,6) )) = 8

N = YEAR('2003-04-14') & (8 - 1)

= 2003 & 7

=3

(3 >= 6 is FALSE: record stored in partition #3),N不大于num所以存储在第3分区,注意这里的3指的是P3,分区号是从P0开始。

2.当插入的值是‘1998-10-19’

V = POWER(2, CEILING( LOG(2,6) )) = 8

N = YEAR('1998-10-19') & (8-1)

= 1998 & 7

= 6

(6 >= 6 is TRUE: additional step required),由于N>=num所以要进行第三步操作

N=N&(CEILING(8/2)-1)

=6&3

=2

(2>=6is FALSE:recored in partition #2),由于2不大于6所以存储在第2个分区,注意这里的3指的是P2,分区号是从P0开始。

INSERT INTO tblinhash() VALUES(1,'2003-04-14'),(2,'1998-10-19');
SELECT PARTITION_NAME,PARTITION_METHOD,PARTITION_EXPRESSION,PARTITION_DESCRIPTION,TABLE_ROWS,SUBPARTITION_NAME,SUBPARTITION_METHOD,SUBPARTITION_EXPRESSION 
FROM information_schema.PARTITIONS WHERE TABLE_SCHEMA=SCHEMA() AND TABLE_NAME='tblinhash';

MySQL创建管理HASH分区

EXPLAIN SELECT * FROM tblinhash WHERE hired='2003-04-14';

MySQL创建管理HASH分区

三、分区管理

常规HASH和线性HASH的增加收缩分区的原理是一样的。增加和收缩分区后原来的数据会根据现有的分区数量重新分布。HASH分区不能删除分区,所以不能使用DROP PARTITION操作进行分区删除操作;

只能通过ALTER TABLE ... COALESCE PARTITION num来合并分区,这里的num是减去的分区数量;

可以通过ALTER TABLE ... ADD PARTITION PARTITIONS num来增加分区,这里是null是在原先基础上再增加的分区数量。

1.合并分区

减去3个分区

ALTER TABLE tblinhash COALESCE PARTITION 3;
SELECT PARTITION_NAME,PARTITION_METHOD,PARTITION_EXPRESSION,PARTITION_DESCRIPTION,TABLE_ROWS,SUBPARTITION_NAME,SUBPARTITION_METHOD,SUBPARTITION_EXPRESSION 
FROM information_schema.PARTITIONS WHERE TABLE_SCHEMA=SCHEMA() AND TABLE_NAME='tblinhash';

MySQL创建管理HASH分区

注意:减去两个分区后,数据根据现有的分区进行了重新的分布,以'2003-04-14'为例:POWER(2, CEILING( LOG(2,3) ))=4,2003&(4-1)=3,3>=3,3&(CEILING(3/2)-1)=1,所以现在的'2003-04-14'这条记录由原来的p3变成了p1

MySQL创建管理HASH分区

2.增加分区

增加4个分区

ALTER TABLE tblinhash add PARTITION partitions 4;
SELECT PARTITION_NAME,PARTITION_METHOD,PARTITION_EXPRESSION,PARTITION_DESCRIPTION,TABLE_ROWS,SUBPARTITION_NAME,SUBPARTITION_METHOD,SUBPARTITION_EXPRESSION 
FROM information_schema.PARTITIONS WHERE TABLE_SCHEMA=SCHEMA() AND TABLE_NAME='tblinhash';

MySQL创建管理HASH分区

MySQL创建管理HASH分区

当在3个分区的基础上增加4个分区后,‘2003-04-14’由原来的p1变成了p3,而另一条记录由原来的p2变成了p6

四、移除表的分区

ALTER TABLE tablename
REMOVE PARTITIONING ;

注意:使用remove移除分区是仅仅移除分区的定义,并不会删除数据和drop PARTITION不一样,后者会连同数据一起删除

总结

常规HASH的数据分布更加均匀一些,也便于理解;目前还没有彻底理解为什么线性HASH在收缩和增加分区时处理的速度会更快,同时线性HASH的数据分布不均匀。

到此这篇关于MySQL分区之HASH分区的文章就介绍到这了!

MySQL 相关文章推荐
MySQL库表名大小写的选择
Jun 05 MySQL
MySQL单表千万级数据处理的思路分享
Jun 05 MySQL
MySQL的安装与配置详细教程
Jun 26 MySQL
mysq启动失败问题及场景分析
Jul 15 MySQL
MySQL数据库如何给表设置约束详解
Mar 13 MySQL
Mysql 文件配置解析介绍
May 06 MySQL
MySQL数据库安装方法与图形化管理工具介绍
May 30 MySQL
MySQL 语句执行顺序举例解析
Jun 05 MySQL
MySQL聚簇索引和非聚簇索引的区别详情
Jun 14 MySQL
MySQL约束(创建表时的各种条件说明)
Jun 21 MySQL
Mysql表数据比较大情况下修改添加字段的方法实例
Jun 28 MySQL
分享很少见很有用的SQL功能CORRESPONDING
Aug 05 MySQL
MySQL创建管理RANGE分区
Apr 13 #MySQL
MySQL创建管理LIST分区
Apr 13 #MySQL
MySql分区类型及创建分区的方法
Apr 13 #MySQL
深入理解mysql事务隔离级别和存储引擎
mysql使用 not int 子查询隐含陷阱
Apr 12 #MySQL
MySQL数据库如何使用Shell进行连接
CentOS 7安装mysql5.7使用XtraBackUp备份工具命令详解
Apr 12 #MySQL
You might like
php入门学习知识点四 PHP正则表达式基本应用
2011/07/14 PHP
国外十大最流行的PHP框架排名
2013/07/04 PHP
php检索或者复制远程文件的方法
2015/03/13 PHP
PHP中PDO的事务处理分析
2016/04/07 PHP
用js+xml自动生成表格的东西
2006/12/21 Javascript
改进:论坛UBB代码自动插入方式
2006/12/22 Javascript
javascript实现轮显新闻标题链接
2007/08/13 Javascript
基于Bootstrap+jQuery.validate实现Form表单验证
2014/12/16 Javascript
JavaScript实现16进制颜色值转RGB的方法
2015/02/09 Javascript
Javascript实现计算个人所得税
2015/05/10 Javascript
JS实现批量上传文件并显示进度功能
2017/06/27 Javascript
移动web开发之touch事件实例详解
2018/01/17 Javascript
vue :src 文件路径错误问题的解决方法
2018/05/15 Javascript
webpack4 处理CSS的方法示例
2018/09/03 Javascript
在Vue中用canvas实现二维码和图片合成海报的方法
2019/06/10 Javascript
vue 实现单选框设置默认选中值
2019/11/07 Javascript
pyqt4教程之实现半透明的天气预报界面示例
2014/03/02 Python
Python中for循环和while循环的基本使用方法
2015/08/21 Python
linux平台使用Python制作BT种子并获取BT种子信息的方法
2017/01/20 Python
浅谈Django REST Framework限速
2017/12/12 Python
Windows下将Python文件打包成.EXE可执行文件的方法
2018/08/03 Python
在Python中增加和插入元素的示例
2018/11/01 Python
Python实现简单的列表冒泡排序和反转列表操作示例
2019/07/10 Python
Pytorch使用MNIST数据集实现基础GAN和DCGAN详解
2020/01/10 Python
python实现猜拳游戏项目
2020/11/30 Python
python中slice参数过长的处理方法及实例
2020/12/15 Python
HTML5 canvas基本绘图之绘制线条
2016/06/27 HTML / CSS
Dockers美国官方网站:卡其裤、男士服装、鞋及配件
2016/11/22 全球购物
elf彩妆英国官网:e.l.f. Cosmetics英国(美国平价彩妆品牌)
2017/11/02 全球购物
DataList 能否分页,请问如何实现?
2015/05/03 面试题
教育技术职业规划范文
2014/03/04 职场文书
计算机毕业大学生求职信
2014/06/26 职场文书
活动总结格式
2014/08/30 职场文书
开展党的群众路线教育实践活动总结报告
2014/10/31 职场文书
群众路线学习笔记范文
2014/11/06 职场文书
导游词之无锡古运河
2019/11/14 职场文书