MySQL创建管理HASH分区


Posted in MySQL onApril 13, 2022

介绍

基于给定的分区个数,将数据分配到不同的分区,HASH分区只能针对整数进行HASH,对于非整形的字段只能通过表达式将其转换成整数。表达式可以是mysql中任意有效的函数或者表达式,对于非整形的HASH往表插入数据的过程中会多一步表达式的计算操作,所以不建议使用复杂的表达式这样会影响性能。

MYSQL支持两种HASH分区,常规HASH(HASH)和线性HASH(LINEAR HASH)。

一、常规HASH

常规hash是基于分区个数的取模(%)运算。根据余数插入到指定的分区

CREATE TABLE tbhash (
    id INT NOT NULL,
    store_id INT
)
PARTITION BY HASH(store_id)
PARTITIONS 4
;
ALTER TABLE tbhash ADD INDEX ix_store_id(store_id);
INSERT INTO tbhash() VALUES(1,100),(1,101),(2,102),(3,103),(4,104);

SELECT PARTITION_NAME,PARTITION_METHOD,PARTITION_EXPRESSION,PARTITION_DESCRIPTION,TABLE_ROWS,SUBPARTITION_NAME,SUBPARTITION_METHOD,SUBPARTITION_EXPRESSION 
FROM information_schema.PARTITIONS WHERE TABLE_SCHEMA=SCHEMA() AND TABLE_NAME='tbhash';

MySQL创建管理HASH分区

其中100,104对4取模是0所以这两条数据被分配到了p0分区。

MySQL创建管理HASH分区

2.时间类型字段

CREATE TABLE employees (
    id INT NOT NULL,
    hired DATE NOT NULL DEFAULT '1970-01-01',
)
PARTITION BY HASH( YEAR(hired) )
PARTITIONS 4;

常规hash的分区非常的简便,通过取模的方式可以让数据非常平均的分布每一个分区,但是由于分区在创建表的时候已经固定了。如果新增或者收缩分区的数据迁移比较大。

二、线性HASH(LINEAR HASH)

LINEAR HASH和HASH的唯一区别就是PARTITION BY LINEAR HASH

CREATE TABLE tblinhash (
    id INT NOT NULL,
    hired DATE NOT NULL DEFAULT '1970-01-01'
)
PARTITION BY LINEAR HASH( YEAR(hired) )
PARTITIONS 6;

线性HASH的计算原理如下:

假设分区个数num=6,N表示数据最终存储的分区

sep1:V = POWER(2, CEILING(LOG(2, num))),LOG()是计算NUM以2为底的对数,CEILING()是向上取整,POWER()是取2的次方值;如果num的值是2的倍数那么这个表达式计算出来的结果不变。

V=POWER(2,CEILING(LOG(2,6)))

V=POWER(2,3)

V=8

sep2:N=values&(V-1);&位与运算,将两个值都转换成2进行求与运算,当都为1才为1;当num是2的倍数时由于V计算出来的结果不变,这时values&(V-1)=MOD(values/num)和时间HASH取模算出的结果是一致的,这时特殊情况只有当分区是2的倍数才是这种 情况。values是YEAR(hired)的值

sep3:while N>=num

sep3-1:N=N& (CEIL(V/ 2)- 1)

例如:

1.当插入的值是'2003-04-14'时

    V = POWER(2, CEILING( LOG(2,6) )) = 8

N = YEAR('2003-04-14') & (8 - 1)

= 2003 & 7

=3

(3 >= 6 is FALSE: record stored in partition #3),N不大于num所以存储在第3分区,注意这里的3指的是P3,分区号是从P0开始。

2.当插入的值是‘1998-10-19’

V = POWER(2, CEILING( LOG(2,6) )) = 8

N = YEAR('1998-10-19') & (8-1)

= 1998 & 7

= 6

(6 >= 6 is TRUE: additional step required),由于N>=num所以要进行第三步操作

N=N&(CEILING(8/2)-1)

=6&3

=2

(2>=6is FALSE:recored in partition #2),由于2不大于6所以存储在第2个分区,注意这里的3指的是P2,分区号是从P0开始。

INSERT INTO tblinhash() VALUES(1,'2003-04-14'),(2,'1998-10-19');
SELECT PARTITION_NAME,PARTITION_METHOD,PARTITION_EXPRESSION,PARTITION_DESCRIPTION,TABLE_ROWS,SUBPARTITION_NAME,SUBPARTITION_METHOD,SUBPARTITION_EXPRESSION 
FROM information_schema.PARTITIONS WHERE TABLE_SCHEMA=SCHEMA() AND TABLE_NAME='tblinhash';

MySQL创建管理HASH分区

EXPLAIN SELECT * FROM tblinhash WHERE hired='2003-04-14';

MySQL创建管理HASH分区

三、分区管理

常规HASH和线性HASH的增加收缩分区的原理是一样的。增加和收缩分区后原来的数据会根据现有的分区数量重新分布。HASH分区不能删除分区,所以不能使用DROP PARTITION操作进行分区删除操作;

只能通过ALTER TABLE ... COALESCE PARTITION num来合并分区,这里的num是减去的分区数量;

可以通过ALTER TABLE ... ADD PARTITION PARTITIONS num来增加分区,这里是null是在原先基础上再增加的分区数量。

1.合并分区

减去3个分区

ALTER TABLE tblinhash COALESCE PARTITION 3;
SELECT PARTITION_NAME,PARTITION_METHOD,PARTITION_EXPRESSION,PARTITION_DESCRIPTION,TABLE_ROWS,SUBPARTITION_NAME,SUBPARTITION_METHOD,SUBPARTITION_EXPRESSION 
FROM information_schema.PARTITIONS WHERE TABLE_SCHEMA=SCHEMA() AND TABLE_NAME='tblinhash';

MySQL创建管理HASH分区

注意:减去两个分区后,数据根据现有的分区进行了重新的分布,以'2003-04-14'为例:POWER(2, CEILING( LOG(2,3) ))=4,2003&(4-1)=3,3>=3,3&(CEILING(3/2)-1)=1,所以现在的'2003-04-14'这条记录由原来的p3变成了p1

MySQL创建管理HASH分区

2.增加分区

增加4个分区

ALTER TABLE tblinhash add PARTITION partitions 4;
SELECT PARTITION_NAME,PARTITION_METHOD,PARTITION_EXPRESSION,PARTITION_DESCRIPTION,TABLE_ROWS,SUBPARTITION_NAME,SUBPARTITION_METHOD,SUBPARTITION_EXPRESSION 
FROM information_schema.PARTITIONS WHERE TABLE_SCHEMA=SCHEMA() AND TABLE_NAME='tblinhash';

MySQL创建管理HASH分区

MySQL创建管理HASH分区

当在3个分区的基础上增加4个分区后,‘2003-04-14’由原来的p1变成了p3,而另一条记录由原来的p2变成了p6

四、移除表的分区

ALTER TABLE tablename
REMOVE PARTITIONING ;

注意:使用remove移除分区是仅仅移除分区的定义,并不会删除数据和drop PARTITION不一样,后者会连同数据一起删除

总结

常规HASH的数据分布更加均匀一些,也便于理解;目前还没有彻底理解为什么线性HASH在收缩和增加分区时处理的速度会更快,同时线性HASH的数据分布不均匀。

到此这篇关于MySQL分区之HASH分区的文章就介绍到这了!

MySQL 相关文章推荐
MySQL分库分表与分区的入门指南
Apr 22 MySQL
详解mysql三值逻辑与NULL
May 19 MySQL
Mysql 用户权限管理实现
May 25 MySQL
MySQL中InnoDB存储引擎的锁的基本使用教程
May 26 MySQL
Mysql 设置boolean类型的操作
Jun 04 MySQL
解决mysql的int型主键自增问题
Jul 15 MySQL
浅谈MySQL之select优化方案
Aug 07 MySQL
MySQL修炼之联结与集合浅析
Oct 05 MySQL
分享几个简单MySQL优化小妙招
Mar 31 MySQL
MySQL事务的ACID特性以及并发问题方案
Jul 15 MySQL
MySQL事务的隔离级别详情
Jul 15 MySQL
MySQL存储过程及语法详解
Aug 05 MySQL
MySQL创建管理RANGE分区
Apr 13 #MySQL
MySQL创建管理LIST分区
Apr 13 #MySQL
MySql分区类型及创建分区的方法
Apr 13 #MySQL
深入理解mysql事务隔离级别和存储引擎
mysql使用 not int 子查询隐含陷阱
Apr 12 #MySQL
MySQL数据库如何使用Shell进行连接
CentOS 7安装mysql5.7使用XtraBackUp备份工具命令详解
Apr 12 #MySQL
You might like
新的一年,新的期待:DC在2020年的四部动画电影
2020/01/01 欧美动漫
PHP中file_exists函数不支持中文名的解决方法
2014/07/26 PHP
php上传文件问题汇总
2015/01/30 PHP
PHP编程实现csv文件导入mysql数据库的方法
2017/04/29 PHP
js 程序执行与顺序实现详解
2013/05/13 Javascript
div模拟滚动条效果示例代码
2013/10/16 Javascript
javascript中的循环语句for语句深入理解
2014/04/04 Javascript
详解JavaScript中void语句的使用
2015/06/04 Javascript
基于jQuery和CSS3制作数字时钟附源码下载(jquery篇)
2015/11/24 Javascript
深入浅析JSON.parse()、JSON.stringify()和eval()的作用详解
2016/04/03 Javascript
JavaScript的React Web库的理念剖析及基础上手指南
2016/05/10 Javascript
javascirpt实现2个iframe之间传值的方法
2016/06/30 Javascript
Angular多选、全选、批量选择操作实例代码
2017/03/10 Javascript
JavaScript实现的浏览器下载文件的方法
2017/08/09 Javascript
使用JS组件实现带ToolTip验证框的实例代码
2017/08/23 Javascript
基于JavaScript实现幸运抽奖页面
2020/07/05 Javascript
js实现数字从零慢慢增加到指定数字示例
2019/11/07 Javascript
python二叉树遍历的实现方法
2013/11/21 Python
Python编程中time模块的一些关键用法解析
2016/01/19 Python
Python cookbook(字符串与文本)针对任意多的分隔符拆分字符串操作示例
2018/04/19 Python
python requests爬取高德地图数据的实例
2018/11/10 Python
对python遍历文件夹中的所有jpg文件的实例详解
2018/12/08 Python
使用python模拟高斯分布例子
2019/12/09 Python
TensorFlow学习之分布式的TensorFlow运行环境
2020/02/05 Python
关于Python turtle库使用时坐标的确定方法
2020/03/19 Python
浅谈Django前端后端值传递问题
2020/07/15 Python
利用python+ffmpeg合并B站视频及格式转换的实例代码
2020/11/24 Python
利用python实现后端写网页(flask框架)
2021/02/28 Python
马来西亚在线药房:RoyalePharma
2019/12/01 全球购物
酒店中秋节活动方案
2014/01/31 职场文书
上课迟到检讨书
2014/02/19 职场文书
个人贷款承诺书
2014/03/28 职场文书
个人存款证明书
2014/10/18 职场文书
客服专员岗位职责范本
2015/04/07 职场文书
Nginx服务器如何设置url链接
2021/03/31 Servers
centos环境下nginx高可用集群的搭建指南
2022/07/23 Servers