MySQL库表太大怎么办? 数据库分库分表项目实践


Posted in MySQL onApril 11, 2022

一、为什么要分库分表

数据库架构演变

刚开始多数项目用单机数据库就够了,随着服务器流量越来越大,面对的请求也越来越多,我们做了数据库读写分离, 使用多个从库副本(Slave)负责读,使用主库(Master)负责写,master和slave通过主从复制实现数据同步更新,保持数据一致。slave 从库可以水平扩展,所以更多的读请求不成问题

但是当用户量级上升,写请求越来越多,怎么保证数据库的负载足够?增加一个Master是不能解决问题的, 因为数据要保存一致性,写操作需要2个master之间同步,相当于是重复了,而且架构设计更加复杂

这时需要用到分库分表(sharding),把库和表存放在不同的MySQL Server上,每台服务器可以均衡写请求的次数

二、库表太大产生的问题

  • 单库太大:单库处理能力有限、所在服务器上的磁盘空间不足、遇到IO瓶颈,需要把单库切分成更多更小的库
  • 单表太大:CURD效率都很低、数据量太大导致索引文件过大,磁盘IO加载索引花费时间,导致查询超时。所以只用索引还是不行的,需要把单表切分成多个数据集更小的表。MyCat提供的分表算法都在rule.xml,可以根据不同的分表算法进行拆分,比如根据时间拆分、一致性哈希、直接用主键对分表的个数取模等

拆分策略

单个库太大,先考虑是表多还是数据多:

  • 如果因为表多而造成数据过多,则使用垂直拆分,即根据业务拆分成不同的库
  • 如果因为单张表的数据量太大,则使用水平拆分,即把表的数据按照某种规则(rule.xml定义的分表算法)拆分成多张表

分库分表的原则应该是先考虑垂直拆分,再考虑水平拆分

三、垂直拆分

分库分表和读写分离可以共同进行

1. 垂直分库

server.xml

<user name="root">
<property name="password">123456</property>
<property name="schemas">USERDB1,USERDB2</property>
</user>

配置了USERDB1、USERDB2这两个逻辑库

schema.xml

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
	<!-- 逻辑数据库 -->
	<schema name="USERDB1" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1" /> <!-- 两个逻辑库对应两个不同的数据节点 -->
	<schema name="USERDB2" checkSQLschema="false" sqlMaxLimit="100"dataNode="dn2" />
	<!-- 存储节点 -->
	<dataNode name="dn1" dataHost="node1" database="mytest1" />  <!-- 两个数据节点对应两个不同的物理机器 -->
	<dataNode name="dn2" dataHost="node2" database="mytest2" />  <!-- USERDB1对应mytest1,USERDB2对应mytest2 -->
	<!-- 数据库主机 -->
	<dataHost name="node1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">
		<heartbeat>select user()</heartbeat>
		<writeHost host="192.168.131.129" url="192.168.131.129:3306" user="root" password="123456" />
	</dataHost>
	
	<dataHost name="node2" maxCon="1000" minCon="10" balance="0"writeType="0" dbType="mysql" dbDriver="native">
		<heartbeat>select user()</heartbeat>
		<writeHost host="192.168.0.6" url="192.168.0.6:3306" user="root" password="123456" />
	</dataHost>
</mycat:schema>

两个逻辑库对应两个不同的数据节点,两个数据节点对应两个不同的物理机器

MySQL库表太大怎么办? 数据库分库分表项目实践

mytest1和mytest2分成了不同机器上的不同的库,各包含一部分表,它们原来是合在一块的,在一台机器上,现在做了垂直的拆分。
客户端就需要去连接不同的逻辑库了,根据业务操作不同的逻辑库

MySQL库表太大怎么办? 数据库分库分表项目实践

然后配置了两个写库,两台机器把库平分了,分担了原来单机的压力。分库伴随着分表,从业务上对表拆分

2. 垂直分表

垂直分表,基于列字段进行。一般是针对几百列的这种大表,也避免查询时,数据量太大造成的“跨页”问题。

一般是表中的字段较多,将不常用的, 数据较大,长度较长(比如text类型字段)的拆分到扩展表。访问频率较高的字段单独放在一张表

四、水平分库分表

针对数据量巨大的单张表(比如订单表),按照某种规则(RANGE、HASH取模等),切分到多张表里面去。 但是这些表还是在同一个库中,所以库级别的数据库操作还是有IO瓶颈,不建议采用

将单张表的数据切分到多个服务器上去,每个服务器具有一部分库与表,只是表中数据集合不同。 水平分库分表能够有效的缓解单机和单库的性能瓶颈和压力,突破IO、连接数、硬件资源等的瓶颈

分库分表可以和主从复制同时进行,但不基于主从复制;读写分离才基于主从复制

server.xml

<user name="root">
	<property name="password">123456</property>
	<property name="schemas">USERDB</property>
</user>

schema.xml

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
	<!-- 逻辑数据库 -->
	<schema name="USERDB" checkSQLschema="false" sqlMaxLimit="100">
		<table name="user" dataNode="dn1" /> <!-- 这里的user和student都是实际存在的物理表名 -->
		<table name="student" primaryKey="id" autoIncrement="true" dataNode="dn1,dn2" rule="mod-long"/>
	</schema>
	<!-- 存储节点 -->
	<dataNode name="dn1" dataHost="node1" database="mytest1" />
	<dataNode name="dn2" dataHost="node2" database="mytest2" />
	<!-- 数据库主机 -->
	<dataHost name="node1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">
		<heartbeat>select user()</heartbeat>
		<writeHost host="192.168.131.129" url="192.168.131.129:3306" user="root" password="123456" />
	</dataHost>
	<dataHost name="node2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">
		<heartbeat>select user()</heartbeat>
		<writeHost host="192.168.0.6" url="192.168.0.6:3306" user="root" password="123456" />
	</dataHost>
</mycat:schema>

MySQL库表太大怎么办? 数据库分库分表项目实践

user表示一个普通的表,直接放在数据节点dn1上,放在一台机器上,这张表不用进行拆分

student表的primaryKey是id,根据id拆分,放在dn1和dn2上,最终这个表要分在两台机器上,在物理上分开了,但是在逻辑上还是一个,往哪张表里增加,在2台机器上查询然后如何合并这些操作都是由mycat完成的

拆分的规则是取模(mod - long),每次插入用id模上存在的机器数(2)

此外还需要在rule.xml中配置以下拆分算法

找到算法mod-long,因为我们将逻辑表student分开映射到两台主机上,所以修改数据节点的数量为2

MySQL库表太大怎么办? 数据库分库分表项目实践

2. 测试水平分表

Linux主机

MySQL库表太大怎么办? 数据库分库分表项目实践

Windows主机

MySQL库表太大怎么办? 数据库分库分表项目实践

登录到mycat的8066端口

MySQL库表太大怎么办? 数据库分库分表项目实践

使用MyCat给user表插入两条数据

MySQL库表太大怎么办? 数据库分库分表项目实践

由于schema.xml配置文件中,逻辑表user只在Linux主机的mytest1库中存在,mycat操作的逻辑表user会影响Linux主机上的物理表,而不会影响Windows主机上的表。我们分别查看一下Linux和Windows主机的user表:

MySQL库表太大怎么办? 数据库分库分表项目实践

MySQL库表太大怎么办? 数据库分库分表项目实践

我们再通过MyCat给student表插入两条数据

MySQL库表太大怎么办? 数据库分库分表项目实践

我们知道schema.xml配置文件中,逻辑表student对应两台主机上的两个库mytest1、mytest2中的两张表,所以对逻辑表插入的两条数据,会实际影响到两张物理表(用id%机器数,决定插入到哪张物理表)。我们分别查看一下Linux和Windows主机的student表:

MySQL库表太大怎么办? 数据库分库分表项目实践

再通过MyCat插入id=3和id=4的数据,应该插入不同主机上的不同物理表

MySQL库表太大怎么办? 数据库分库分表项目实践

MySQL库表太大怎么办? 数据库分库分表项目实践

这就相当于把student表进行水平拆分了

通过MyCat查询的时候只需要正常输入就行,我们配置的是表拆分后放在这2个数据节点上,MyCat会根据配置在两个库上查询并进行数据合并

MySQL库表太大怎么办? 数据库分库分表项目实践

MySQL 相关文章推荐
详解MySQL 联合查询优化机制
May 10 MySQL
MySQL 重命名表的操作方法及注意事项
May 21 MySQL
Mysql 如何实现多张无关联表查询数据并分页
Jun 05 MySQL
为什么MySQL选择Repeatable Read作为默认隔离级别
Jul 26 MySQL
详细聊聊MySQL中慢SQL优化的方向
Aug 30 MySQL
MySQL基础快速入门知识总结(附思维导图)
Sep 25 MySQL
mysql事务隔离级别详情
Oct 24 MySQL
如何避免mysql启动时错误及sock文件作用分析
Jan 22 MySQL
MySQL的索引你了解吗
Mar 13 MySQL
MySQL RC事务隔离的实现
Mar 31 MySQL
数据分析数据库ClickHouse在大数据领域应用实践
Apr 03 MySQL
MySQL运行报错:“Expression #1 of SELECT list is not in GROUP BY clause and contains nonaggre”解决方法
Jun 14 MySQL
排查MySQL生产环境索引没有效果
Apr 11 #MySQL
排查并解决MySQL生产库内存使用率高的报警
Apr 11 #MySQL
Windows下载并安装MySQL8.0.x 版本的完整教程
MySQL数据库优化之通过索引解决SQL性能问题
Apr 10 #MySQL
MySQL 外连接语法之 OUTER JOIN
Apr 09 #MySQL
MySQL中优化SQL语句的方法(show status、explain分析服务器状态信息)
Apr 09 #MySQL
进阶篇之linux环境下安装MySQL数据库
You might like
php下删除一篇文章生成的多个静态页面
2010/08/08 PHP
PHP抽象类 介绍
2012/06/13 PHP
PHP中执行cmd命令的方法
2014/10/11 PHP
php数组实现根据某个键值将相同键值合并生成新二维数组的方法
2017/04/26 PHP
PHP优化之批量操作MySQL实例分析
2020/04/23 PHP
基于json的jquery地区联动效果代码
2011/07/06 Javascript
各情景下元素宽高的获取实现代码
2011/09/13 Javascript
DOM 中的事件处理介绍
2012/01/18 Javascript
jquery选择器的选择使用及性能介绍
2013/01/16 Javascript
EasyUi中的Combogrid 实现分页和动态搜索远程数据
2016/04/01 Javascript
JavaScript生成验证码并实现验证功能
2016/09/24 Javascript
jQuery+PHP+Mysql实现抽奖程序
2020/04/12 jQuery
解决ztree搜索中多级菜单展示不全问题
2017/07/05 Javascript
jQuery选择器之子元素选择器详解
2017/09/18 jQuery
详解cordova打包成webapp的方法
2017/10/18 Javascript
Bootstrap4如何定制自己的颜色和风格
2018/02/26 Javascript
小程序封装wx.request请求并创建接口管理文件的实现
2019/04/29 Javascript
JavaScript实现星级评价效果
2019/05/17 Javascript
小程序怎样让wx.navigateBack更好用的方法实现
2019/11/01 Javascript
vue中上传视频或图片或图片和文字一起到后端的解决方法
2019/12/01 Javascript
jQuery实时统计输入框字数及限制
2020/06/24 jQuery
[02:12]打造更好的电竞完美世界:完美盛典回顾篇
2018/12/19 DOTA
Python中线程编程之threading模块的使用详解
2015/06/23 Python
一道python走迷宫算法题
2018/01/22 Python
django 实现电子支付功能的示例代码
2018/07/25 Python
详解Python基础random模块随机数的生成
2019/03/23 Python
使用OpenCV实现仿射变换—缩放功能
2019/08/29 Python
基于MSELoss()与CrossEntropyLoss()的区别详解
2020/01/02 Python
python os模块常用的29种方法使用详解
2020/06/02 Python
Pytest单元测试框架如何实现参数化
2020/09/05 Python
Python3读写ini配置文件的示例
2020/11/06 Python
CSS3属性box-shadow使用详细教程
2012/01/21 HTML / CSS
新加坡鲜花速递/新加坡网上花店:Ferns N Petals
2020/08/29 全球购物
统计每一学生的平均成绩
2014/06/06 面试题
建筑施工员岗位职责
2013/11/26 职场文书
卫生安全检查制度
2014/02/04 职场文书