SQL Server表分区降低运维和维护成本


Posted in SQL Server onApril 08, 2022

1.简介

当一个表数据量很大时候,很自然我们就会想到将表拆分成很多小表,在执行查询时候就到各个小表去查,最后汇总数据集返回给调用者加快查询速度。比如电商平台订单表,库存表,由于长年累月读写较多,积累数据都是异常庞大的,这时候,我们可以想到表分区这个做法,降低运维和维护成本,提高读写性能。比如将前半年订单放一个历史分区表,不活跃库存放一个历史分区表。截止到SQL Server 2016,一张表或一个索引最多可以有15000个分区。

2.表分区

2.1分区范围

分区范围是指在要分区的表中,根据业务选择表中的关键字段做为分区边界条件,分区后,数据所在的具体位置至关重要,这样才能在需要时只访问相应的分区。注意分区是指数据的逻辑分离,不是数据在磁盘上的物理位置,数据的位置由文件组来决定,所以一般建议一个分区对应一个文件组。

2.2分区键

分区表中的字段可以作为分区键,比如库存表中供应商ID。对表和索引进行分区的第一步就是定义分区的关键数据。

2.3索引分区

除了对表的数据集进行分区之外,还可以对索引进行分区,使用相同的函数对表及其索引进行分区通常可以优化性能。

3.创建表分区

3.1创建文件组

在这里演示示例当中,我根据业务场景在TestDB数据库新增三个文件组,而三个文件组分别对应三个分区。而多个文件组好处是可以按照不同业务场景将数据放在对应文件组当中,优化性能同时好维护数据。文件组数量由硬件决定,最好是一个文件组对应一个分区,好维护。而通常文件组都处于不同磁盘上的,但是由于是演示,我只在一个磁盘中存放。

--创建四个文件组
ALTER DATABASE [TestDB] ADD FILEGROUP SupIDGroup1
ALTER DATABASE [TestDB] ADD FILEGROUP SupIDGroup2
ALTER DATABASE [TestDB] ADD FILEGROUP SupIDGroup3

3.2指定文件组存放路径

在创建文件组之后,指定文件组存放磁盘位置,文件大小。

--创建四个ndf文件,对应到各文件组中,FILENAME文件存储路径
ALTER DATABASE [TestDB] ADD FILE(
NAME='SupIDGroupFile1',
FILENAME='D:\Microsoft SQL Server\MSSQL11.MSSQLSERVER\MSSQL\DATA\SupIDGroupFile1.ndf',
SIZE=10MB,
FILEGROWTH=10MB)
TO FILEGROUP SupIDGroup1

ALTER DATABASE [TestDB] ADD FILE(
NAME='SupIDGroupFile2',
FILENAME='D:\Microsoft SQL Server\MSSQL11.MSSQLSERVER\MSSQL\DATA\SupIDGroupFile2.ndf',
SIZE=10MB,
FILEGROWTH=10MB)
TO FILEGROUP SupIDGroup2

ALTER DATABASE [TestDB] ADD FILE(
NAME='SupIDGroupFile3',
FILENAME='D:\Microsoft SQL Server\MSSQL11.MSSQLSERVER\MSSQL\DATA\SupIDGroupFile3.ndf',
SIZE=10MB,
FILEGROWTH=10MB)
TO FILEGROUP SupIDGroup3

注(附上删除文件组T-SQL):

ALTER DATABASE [TestDB] REMOVE FILE SupIDGroupFile3

SQL Server表分区降低运维和维护成本
可以通过以下T-SQL语句查看文件组存放相关信息:

SELECT file_id,type,type_desc,data_space_id,name,physical_name,state_desc,size,growth
FROM sys.database_files

SQL Server表分区降低运维和维护成本

3.3创建分区函数

如何创建表分区边界值,我们肯定要根据业务场景来决定。比如我测试库库存表有36万左右数据,而有些供应商的库存数据远远比其他供应商大,那么我可以考虑使用供应商ID字段作为边界值分区。例如:根据T-SQL统计,18080供应商库存数据最大,那么我可以根据18080供应商上下分为三个区。
SQL Server表分区降低运维和维护成本
第一个分区范围记录:供应商ID小于等于13570的39097条库存数据。
SQL Server表分区降低运维和维护成本
第二个分区范围记录:供应商ID大于13570和小于等于18079的45962条库存数据。
SQL Server表分区降低运维和维护成本
第三个分区范围记录:供应商ID大于18079小于等于18080的164937条库存数据。
SQL Server表分区降低运维和维护成本
第四个分区范围记录:供应商ID大于18080的111116条库存数据。
SQL Server表分区降低运维和维护成本
根据上述分区范围记录,我们可以将供应商ID作为边界值设置,执行以下T-SQL语句设置边界值:

--设置边界值
CREATE PARTITION FUNCTION PF_SupplierID(int)
AS RANGE LEFT FOR VALUES (13570,18079,18080)

执行完毕后如图所示:

SQL Server表分区降低运维和维护成本

3.4创建分区方案

执行以下T-SQL语句创建分区方案:

--创建分区方案
CREATE PARTITION SCHEME PS_SupplierID
AS PARTITION PF_SupplierID TO ([PRIMARY], [SupIDGroup1],[SupIDGroup2],[SupIDGroup3])

执行完毕后如图所示:

SQL Server表分区降低运维和维护成本

3.5创建分区表

上面那些分区步骤都是为了接下来创建分区表这一步骤而准备的。废话不多说,现在我们来看看如何创建分区表。右键需要分区的表->储存->创建分区,具体步骤如下图所示:
SQL Server表分区降低运维和维护成本

SQL Server表分区降低运维和维护成本
SQL Server表分区降低运维和维护成本
SQL Server表分区降低运维和维护成本
SQL Server表分区降低运维和维护成本

SQL Server表分区降低运维和维护成本

3.6创建分区索引

--创建分区索引
CREATE NONCLUSTERED INDEX [NCI_SupplierID] ON dbo.Stock
(
    SupplierID ASC
)
INCLUDE ( [Model],[Brand],[Encapsulation]) WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, SORT_IN_TEMPDB = OFF, IGNORE_DUP_KEY = OFF, DROP_EXISTING = OFF, ONLINE = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON)
GO

或者
SQL Server表分区降低运维和维护成本
执行完毕后如图所示:

SQL Server表分区降低运维和维护成本
创建好索引之后,我们来看看分区情况:

--查看各分区有多少行数据
SELECT * FROM (
SELECT $PARTITION.PF_SupplierID([SupplierID]) AS Patition,COUNT(*) AS CountRows FROM dbo.Stock
GROUP BY $PARTITION.PF_SupplierID([SupplierID])
)TB ORDER BY Patition

SQL Server表分区降低运维和维护成本

最后我们来看看加了索引之后表数据查询情况:
SQL Server表分区降低运维和维护成本

4.表分区的优缺点

优点:
改善查询性能:对分区对象的查询可以仅搜索自己关心的分区,提高检索速度。
增强可用性:如果表的某个分区出现故障,表在其他分区的数据仍然可用。
维护方便:如果表的某个分区出现故障,需要修复数据,只修复该分区即可。
均衡I/O:可以把不同的分区映射到不同磁盘以平衡I/O,改善整个系统性能。
缺点:
分区表相关:已经存在的表没有方法可以直接转化为分区表。

SQL Server 相关文章推荐
2021-4-5课程——SQL Server查询【3】
Apr 05 SQL Server
解决sql server 数据库,sa用户被锁定的问题
Jun 11 SQL Server
SQL Server中使用判断语句(IF ELSE/CASE WHEN )案例
Jul 07 SQL Server
SqlServer数据库远程连接案例教程
Jul 15 SQL Server
sql server删除前1000行数据的方法实例
Aug 30 SQL Server
SQL Server表分区删除详情
Oct 16 SQL Server
SQL Server数据库基本概念、组成、常用对象与约束
Mar 20 SQL Server
如何使用SQL Server语句创建表
Apr 12 SQL Server
SQL Server使用PIVOT与unPIVOT实现行列转换
May 25 SQL Server
SQL Server使用CROSS APPLY与OUTER APPLY实现连接查询
May 25 SQL Server
SQL Server中T-SQL标识符介绍与无排序生成序号的方法
May 25 SQL Server
SQL Server携程核心系统无感迁移到MySQL实战
Jun 01 SQL Server
SQL Server使用导出向导功能
SQL Server内存机制浅探
sqlserver连接错误之SQL评估期已过的问题解决
SQL Server远程连接的设置步骤(图文)
SQLServer RANK() 排名函数的使用
SQL CASE 表达式的具体使用
Mar 21 #SQL Server
SQL Server数据库基本概念、组成、常用对象与约束
Mar 20 #SQL Server
You might like
解析PHP中intval()等int转换时的意外异常情况
2013/06/21 PHP
laravel 框架执行流程与原理简单分析
2020/02/01 PHP
前端开发的开始---基于面向对象的Ajax类
2010/09/17 Javascript
jquery中常用的SET和GET$(”#msg”).html循环介绍
2013/10/09 Javascript
jQery使网页在显示器上居中显示适用于任何分辨率
2014/06/09 Javascript
浅谈Jquery为元素绑定事件
2015/04/27 Javascript
javascript实现仿百度图片的瀑布流加载效果
2016/04/20 Javascript
bootstrap weebox 支持ajax的模态弹出框
2017/02/23 Javascript
ionic 自定义弹框效果
2017/06/27 Javascript
WebStorm ES6 语法支持设置&babel使用及自动编译(详解)
2017/09/08 Javascript
利用JS hash制作单页Web应用的方法详解
2017/10/10 Javascript
jQuery实现的form转json经典示例
2017/10/10 jQuery
动手写一个angular版本的Message组件的方法
2017/12/16 Javascript
微信小程序左滑动显示菜单功能的实现
2018/06/14 Javascript
vue防止花括号{{}}闪烁v-text和v-html、v-cloak用法示例
2019/03/13 Javascript
vue 组件内获取actions的response方式
2019/11/08 Javascript
[52:15]2014 DOTA2国际邀请赛中国区预选赛5.21 HGT VS LGD-GAMING
2014/05/23 DOTA
[55:54]FNATIC vs EG 2019国际邀请赛小组赛 BO2 第一场 8.15
2019/08/16 DOTA
浅谈Python爬取网页的编码处理
2016/11/04 Python
pycharm安装和首次使用教程
2018/08/27 Python
python url 参数修改方法
2018/12/26 Python
Python yield生成器和return对比代码实例
2020/04/20 Python
Python-jenkins模块之folder相关操作介绍
2020/05/12 Python
利用Python批量识别电子账单数据的方法
2021/02/08 Python
HTML5拖拽文件到浏览器并实现文件上传下载功能代码
2013/06/06 HTML / CSS
使用Html5中的cavas画一面国旗
2019/09/25 HTML / CSS
Marlies Dekkers内衣法国官方网上商店:国际知名的荷兰内衣品牌
2019/03/18 全球购物
最新的小工具和卓越的产品设计:Oh That Tech!
2019/08/07 全球购物
商务专员岗位职责
2013/11/23 职场文书
2013年研究生毕业感言
2014/02/06 职场文书
文明礼仪伴我行演讲稿
2014/05/12 职场文书
卖车协议书范本4篇
2014/10/01 职场文书
2014年优秀党员材料
2014/12/18 职场文书
2014年审计人员工作总结
2014/12/19 职场文书
冲出亚马逊观后感
2015/06/03 职场文书
详解python网络进程
2021/06/15 Python