MySQL如何快速创建800w条测试数据表


Posted in MySQL onMarch 17, 2022

一、数据插入思路

如果一条一条插入普通表的话,效率太低下,但内存表插入速度是很快的,可以先建立一张内存表,插入数据后,在导入到普通表中。

1、创建内存表

 View Code

2、创建普通表

普通表参数设置和内存表相同,否则从内存表往普通标导入数据会报错。

 View Code

3、创建存储函数

产生伪随机码user_id 要用到存储函数。

 View Code

4、创建存储过程

存储过程是保存起来的可以接受和返回用户提供的参数的Transact-SQL 语句的集合,可以创建一个过程供永久使用。

 View Code

 5、调用存储过程

call 就是调用存储过程或者函数,这里调用存储过程1000000次

CALL add_vote_memory(1000000)

6、导入数据

将内存表中的数据导入普通表。

INSERT into vote_record SELECT * from vote_record_memory

7、内存不足

如果报错内存满了,报错信息如下:

 CALL add_vote_memory(1000000)
> 1114 - The table 'vote_record_memory' is full
 > 时间: 74.61s

则可以使用命令查看内存表和临时表允许写入的最大值:

show variables like '%%table_size%'

MySQL默认16M:

MySQL如何快速创建800w条测试数据表

 修改默认内存配置:

set session tmp_table_size=1024*1024*1024; 
set session max_heap_table_size=1024*1024*1024; 

配置修改后,再执行上述调用存储过程和数据导入步骤。

8、查看结果

查看记录,是否有插入100W条数据。

select count(*) AS total from vote_record

MySQL如何快速创建800w条测试数据表

9、插入800W条数据

测试插入800W条数据,call 调用存储过程800W次。

MySQL如何快速创建800w条测试数据表

 查看结果:

MySQL如何快速创建800w条测试数据表

 800W条测试数据插入OK,想插入多少条测试数据就调用n次存储过程,CALL add_vote_memory(n)。

二、MySQL深度分页

所谓的深度分页问题,涉及到mysql分页的原理。通常情况下,mysql的分页是这样写的:

select id, user_id, vote_id, group_id from vote_record limit 200, 10

SQL意思就是从vote_reccord 表里查200到210这10条数据即【201,210】,mysql会把前210条数据都查出来,抛弃前200条,返回10条。当分页所以深度不大的时候当然没问题,随着分页的深入,sql可能会变成这样:

select id, user_id, vote_id, group_id from vote_record limit 7999900, 10

这个时候,mysql会查出来7999920条数据,抛弃前7999900条,如此大的数据量,速度一定快不起来。

那如何解决呢?一般情况下,最简单的方式是增加一个条件,利用表的覆盖索引来加速分页查询:

select id, user_id, vote_id, group_id from vote_record where id > 7999900 limit 10

我们都知道,利用了索引查询的语句中如果只包含了那个索引列(覆盖索引),那么这种情况会查询很快。

因为利用索引查找有优化算法,且数据就在查询索引上面,不用再去找相关的数据地址了,这样节省了很多时间。上述vote_record 表的id字段是主键,自然就包含了默认的主键索引,这样,mysql会走主键索引,直接连接到7999900处,然后查出来10条数据。但是这个方式需要接口的调用方配合改造,把上次查询出来的最大id以参数的方式传给接口提供方,会有一定沟通成本。

1、测试深度分页

优化前,查询耗时2.362s,随着数据的增大耗时会更多,limit语句的查询时间与起始记录的位置成正比。

MySQL如何快速创建800w条测试数据表

 优化后,耗时0.012s,性能提升了196.8倍。

MySQL如何快速创建800w条测试数据表

到此这篇关于MySQL如何快速创建800w条测试数据表的文章就介绍到这了,更多相关MySQL创建测试数据表内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

MySQL 相关文章推荐
MySQL COUNT函数的使用与优化
May 10 MySQL
MySQL 隔离数据列和前缀索引的使用总结
May 14 MySQL
MySQL 外键约束和表关系相关总结
Jun 20 MySQL
MySQL中日期型单行函数代码详解
Jun 21 MySQL
MySQL去除重叠时间求时间差和的实现
Aug 23 MySQL
Mysql排序的特性详情
Nov 01 MySQL
mysql自增长id用完了该怎么办
Feb 12 MySQL
MySQL中rank() over、dense_rank() over、row_number() over用法介绍
Mar 23 MySQL
单机多实例部署 MySQL8.0.20
May 15 MySQL
Mysql数据库事务的脏读幻读及不可重复读详解
May 30 MySQL
MySQL详细讲解变量variables的用法
Jun 21 MySQL
利用JuiceFS使MySQL 备份验证性能提升 10 倍
MySQL 分区表中分区键为什么必须是主键的一部分
MySQL优化及索引解析
一条 SQL 语句执行过程
Mysql事务索引知识汇总
Mar 17 #MySQL
MySQL慢查询优化解决问题
Mar 17 #MySQL
MySQL日期时间函数知识汇总
You might like
迅雷下载《中学科技》怀旧期刊下载
2021/02/27 无线电
php下使用SMTP发邮件的代码
2008/01/10 PHP
php调用方法mssql_fetch_row、mssql_fetch_array、mssql_fetch_assoc和mssql_fetch_objcect读取数据的区别
2012/08/08 PHP
PHP执行linux命令常用函数汇总
2016/02/02 PHP
JQuery插件Style定制化方法的分析与比较
2012/05/03 Javascript
JQuery判断子iframe何时加载完成解决方案
2013/08/20 Javascript
Javascript让DEDECMS告别手写Tag
2014/09/01 Javascript
javascript事件绑定学习要点
2016/03/09 Javascript
Easyui Treegrid改变默认图标的方法
2016/04/29 Javascript
jQuery中设置form表单中action值的实现方法
2016/05/25 Javascript
HTML5 JS压缩图片并获取图片BASE64编码上传
2020/11/16 Javascript
使用JS批量选中功能实现更改数据库中的status状态值(批量展示)
2016/11/22 Javascript
vue.js select下拉框绑定和取值方法
2018/03/03 Javascript
vue 组件中slot插口的具体用法
2018/04/03 Javascript
解决select2在bootstrap modal中不能正常使用的问题
2018/08/09 Javascript
jQuery 获取除某指定对象外的其他对象 ( :not() 与.not())
2018/10/10 jQuery
vue+webpack中配置ESLint
2018/11/07 Javascript
Vue.js中的组件系统
2019/05/30 Javascript
详解小程序如何动态绑定点击的执行方法
2019/11/26 Javascript
Vue+axios封装请求实现前后端分离
2020/10/23 Javascript
vue 在单页面应用里使用二级套嵌路由
2020/12/19 Vue.js
Vue实现todo应用的示例
2021/02/20 Vue.js
[02:41]DOTA2英雄基础教程 冥魂大帝
2014/01/16 DOTA
[30:00]完美世界DOTA2联赛PWL S2 Rebirth vs LBZS 第二场 11.28
2020/12/01 DOTA
Python 操作MySQL详解及实例
2017/04/30 Python
pygame库实现移动底座弹球小游戏
2020/04/14 Python
浅谈JupyterNotebook导出pdf解决中文的问题
2020/04/22 Python
详解Pycharm与anaconda安装配置指南
2020/08/25 Python
浅析CSS3中鲜为人知的属性:-webkit-tap-highlight-color
2017/01/12 HTML / CSS
MaBelle玛贝尔香港官网:香港钻饰连锁店
2019/09/09 全球购物
校园新闻广播稿
2014/01/10 职场文书
毕业生实习证明
2014/09/19 职场文书
会议接待欢迎词范文
2015/01/26 职场文书
庆祝教师节新闻稿
2015/07/17 职场文书
MySQL系列之十 MySQL事务隔离实现并发控制
2021/07/02 MySQL
分享MySQL常用 内核 Debug 几种常见方法
2022/03/17 MySQL