mysql的数据压缩性能对比详情


Posted in MySQL onNovember 07, 2021

数据魔方需要的数据,一旦写入就很少或者根本不会更新。这种数据非常适合压缩以降低磁盘占用。MySQL本身提供了两种压缩方式??archive引擎以及针对MyISAM引擎的myisampack方式。今天对这两种方式分别进行了测试,对比了二者在磁盘占用以及查询性能方面各自的优劣。至于为什么做这个,你们应该懂的,我后文还会介绍。且看正文:

1. 测试环境

1.1 软硬件

一台 64位 2.6.18-92 内核Linux开发机,4G内存,4个2800Mhz Dual-Core AMD Opteron(tm) Processor 2220 CPU。

MySQL放在一块7200转SAT硬盘,未做raid

MySQL未做任何优化, 关闭了query cache ,目的在于避免query cache对测试结果造成干扰。

1.2 表结构

2424753条记录,生产环境某一个分片的实际数据;

分别建立了(partition_by1,idx_rank) 和 (partition_by1,chg_idx)的联合索引,其中 partition_by1为32长度的varchar类型 ,用于检索;其余两个字段均为浮点数,多用于排序;

autokid作为子增列,充当PRIMARY KEY,仅作为数据装载时原子性保证用,无实际意义。

2. 测试目的

2.1 压缩空间对比

压缩率越大,占用的磁盘空间越小,直接降低数据的存储成本;

2.2 查询性能对比

压缩后查询性能不应该有显著降低。Archive是不支持索引的,因此性能降低是必然的,那么我们也应该心里有个谱,到底降低了多少,能不能接受。

3. 测试工具

3.1 mysqlslap

官方的工具当然是不二之选。关于mysqlslap的介绍请参考 官方文档 。

3.2 测试query

截取生产环境访问topranks_v3表的实际SQL共9973条,从中抽取访问量较大的7条,并发50,重复执行10次。命令如下:

./mysqlslap --defaults-file=../etc/my.cnf -u**** -p**** -c50 -i10 -q ../t.sql --debug-info

4.测试结论

 

比较项 磁盘空间 耗时(秒) CPU Idle LOAD 并发
基准表(MyISAM) 403956004 2.308 30 15 50
ARCHIVE 75630745 >300 75 4 1
PACK 99302109 2.596 30 22 50

根据上面的表格给出的测试数据,我们简单得出以下结论:

  • 针对测试表,Archive表占用空间约为之前的18.7%myisampack后空间占用约为之前的24.6%;二者相差不多,单纯从空间利用情况来看,我们似乎需要选择archive表;
  • 我们再看查询性能,与基准表进行对比。无论在总耗时还是系统负载方面,50并发下的pack表查询性能与基准表相当; 而archive表在单并发情况下耗时超过了5分钟 (实在等不了了,kill之)!

那么,我们似乎可以得出结论,针对需要在线查询的表,ARCHIVE引擎基本上可以不考虑了。

为什么这个测试过程中ARCHIVE引擎如此地慢呢?

我们知道,mysql提供archive这种存储引擎是为了降低磁盘开销,但还有一个前提,那就是被归档的数据不需要或者很少被在线查询,偶尔的查询慢一些也是没关系的。鉴于上述原因,archive表是不允许建立自增列之外的索引的。

有了这个共识,我们拿一条测试SQL来分析一下不用索引前后的查询性能差别为什么这么大。

在我们的测试SQL中有这么一条:

SELECT c1,c2,...,cn FROM  mysqlslap.rpt_topranks_v3
WHERE ... AND partition_by1 = '50008090'
ORDER BY added_quantity3 DESC
LIMIT 500

我们前边说过,测试的这个表在partition_by1这个字段上建立了索引,那么,我们初步判断在基准表和myisampack表上,这个查询应该用到了partition_by1的索引; EXPLAIN 一下:

mysql> EXPLAIN
    -> SELECT ... FROM  mysqlslap.rpt_topranks_v3
    -> WHERE ... AND partition_by1 = '50008090'
    -> ORDER BY added_quantity3 DESC
    -> LIMIT 500\G
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        TABLE: rpt_topranks_v3
         type: ref
possible_keys: idx_toprank_pid,idx_toprank_chg
          KEY: idx_toprank_pid
      key_len: 99
          ref: const
         rows: 2477
        Extra: USING WHERE; USING filesort
1 row IN SET (0.00 sec)

正如我们所料,这个查询用到了建立在partition_by1这个字段上的索引,匹配的目标行数为2477,然后还有一个在added_quantity3字段上的排序。由于added_quantity3没有索引,所以用到了filesort

我们再看一下这条SQL在归档表上的 EXPLAIN 结果:

mysql> EXPLAIN
    -> SELECT ... FROM  mysqlslap.rpt_topranks_v3_<strong>archive</strong>
    -> WHERE ... AND partition_by1 = '50008090'
    -> ORDER BY added_quantity3 DESC
    -> LIMIT 500\G
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        TABLE: rpt_topranks_v3_archive
         type: ALL
possible_keys: NULL
          KEY: NULL
      key_len: NULL
          ref: NULL
         rows: 2424753
        Extra: USING WHERE; USING filesort
1 row IN SET (0.00 sec)

EXPLAIN 说:“我没有索引可用,所以只能全表扫描2424753行记录,然后再来个filesort。”你要追求性能,那显然是委屈MySQL了。

到此这篇关于mysql的数据压缩性能对比详情的文章就介绍到这了,更多相关mysql的数据压缩性能对比内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

MySQL 相关文章推荐
MySQL创建高性能索引的全步骤
May 02 MySQL
详解Mysql和Oracle之间的误区
May 18 MySQL
MYSQL主从数据库同步备份配置的方法
May 26 MySQL
MySQL库表名大小写的选择
Jun 05 MySQL
如何使用分区处理MySQL的亿级数据优化
Jun 18 MySQL
MySQL系列之十四 MySQL的高可用实现
Jul 02 MySQL
Mysql中where与on的区别及何时使用详析
Aug 04 MySQL
MySQL 数据类型详情
Nov 11 MySQL
MySQL数据库中varchar类型的数字比较大小的方法
Nov 17 MySQL
Mysql多层子查询示例代码(收藏夹案例)
Mar 31 MySQL
mysql实现将字符串字段转为数字排序或比大小
Jun 14 MySQL
MySQL常用慢查询分析工具详解
Aug 14 MySQL
Mysql数据库手动及定时备份步骤
一篇文章看懂MySQL主从复制与读写分离
MySQL基于索引的压力测试的实现
Nov 07 #MySQL
基于MySql验证的vsftpd虚拟用户
Nov 07 #MySQL
MySQL悲观锁与乐观锁的实现方案
SpringBoot连接MySQL获取数据写后端接口的操作方法
Mysql排序的特性详情
Nov 01 #MySQL
You might like
ADODB的数据库封包程序库
2006/12/31 PHP
php数组函数序列之array_keys() - 获取数组键名
2011/10/30 PHP
Drupal读取Excel并导入数据库实例
2014/03/02 PHP
php的闭包(Closure)匿名函数详解
2015/02/22 PHP
YII2框架中ActiveDataProvider与GridView的配合使用操作示例
2020/03/18 PHP
Mootools 1.2教程 滑动效果(Slide)
2009/09/15 Javascript
jQuery调用WebService的实现代码
2011/06/19 Javascript
JavaScript 数组详解
2013/10/10 Javascript
JS小功能(checkbox实现全选和全取消)实例代码
2013/11/28 Javascript
javascript trim函数在IE下不能用的解决方法
2014/09/12 Javascript
jQuery中next()方法用法实例
2015/01/07 Javascript
教你JS中的运算符乘方、开方及变量格式转换
2016/08/09 Javascript
利用node.js+mongodb如何搭建一个简单登录注册的功能详解
2017/07/30 Javascript
Angularjs实现下拉框联动的示例代码
2017/08/22 Javascript
写给小白看的JavaScript异步
2017/11/29 Javascript
详解vue渲染函数render的使用
2017/12/12 Javascript
js循环map 获取所有的key和value的实现代码(json)
2018/05/09 Javascript
详解Vue3 Composition API中的提取和重用逻辑
2020/04/29 Javascript
angular组件间传值测试的方法详解
2020/05/07 Javascript
Vue使用Element实现增删改查+打包的步骤
2020/11/25 Vue.js
js制作提示框插件
2020/12/24 Javascript
Python 和 JS 有哪些相同之处
2017/11/23 Python
教你使用python画一朵花送女朋友
2018/03/29 Python
Python元组常见操作示例
2019/02/19 Python
Python程序暂停的正常处理方法
2019/11/07 Python
tensorboard显示空白的解决
2020/02/15 Python
Django Auth用户认证组件实现代码
2020/10/13 Python
python实现测试工具(一)——命令行发送get请求
2020/10/19 Python
亚洲颇具影响力的男性在线购物零售商:His
2019/11/24 全球购物
法律专业个人实习自我鉴定
2013/09/23 职场文书
幼儿运动会邀请函
2014/01/17 职场文书
优质服务演讲稿
2014/05/14 职场文书
经济管理自荐书
2014/06/09 职场文书
2014年流动人口工作总结
2014/11/26 职场文书
药店营业员岗位职责
2015/04/14 职场文书
毕业典礼致辞
2015/07/29 职场文书