MySQL如何快速创建800w条测试数据表


Posted in MySQL onMarch 17, 2022

一、数据插入思路

如果一条一条插入普通表的话,效率太低下,但内存表插入速度是很快的,可以先建立一张内存表,插入数据后,在导入到普通表中。

1、创建内存表

 View Code

2、创建普通表

普通表参数设置和内存表相同,否则从内存表往普通标导入数据会报错。

 View Code

3、创建存储函数

产生伪随机码user_id 要用到存储函数。

 View Code

4、创建存储过程

存储过程是保存起来的可以接受和返回用户提供的参数的Transact-SQL 语句的集合,可以创建一个过程供永久使用。

 View Code

 5、调用存储过程

call 就是调用存储过程或者函数,这里调用存储过程1000000次

CALL add_vote_memory(1000000)

6、导入数据

将内存表中的数据导入普通表。

INSERT into vote_record SELECT * from vote_record_memory

7、内存不足

如果报错内存满了,报错信息如下:

 CALL add_vote_memory(1000000)
> 1114 - The table 'vote_record_memory' is full
 > 时间: 74.61s

则可以使用命令查看内存表和临时表允许写入的最大值:

show variables like '%%table_size%'

MySQL默认16M:

MySQL如何快速创建800w条测试数据表

 修改默认内存配置:

set session tmp_table_size=1024*1024*1024; 
set session max_heap_table_size=1024*1024*1024; 

配置修改后,再执行上述调用存储过程和数据导入步骤。

8、查看结果

查看记录,是否有插入100W条数据。

select count(*) AS total from vote_record

MySQL如何快速创建800w条测试数据表

9、插入800W条数据

测试插入800W条数据,call 调用存储过程800W次。

MySQL如何快速创建800w条测试数据表

 查看结果:

MySQL如何快速创建800w条测试数据表

 800W条测试数据插入OK,想插入多少条测试数据就调用n次存储过程,CALL add_vote_memory(n)。

二、MySQL深度分页

所谓的深度分页问题,涉及到mysql分页的原理。通常情况下,mysql的分页是这样写的:

select id, user_id, vote_id, group_id from vote_record limit 200, 10

SQL意思就是从vote_reccord 表里查200到210这10条数据即【201,210】,mysql会把前210条数据都查出来,抛弃前200条,返回10条。当分页所以深度不大的时候当然没问题,随着分页的深入,sql可能会变成这样:

select id, user_id, vote_id, group_id from vote_record limit 7999900, 10

这个时候,mysql会查出来7999920条数据,抛弃前7999900条,如此大的数据量,速度一定快不起来。

那如何解决呢?一般情况下,最简单的方式是增加一个条件,利用表的覆盖索引来加速分页查询:

select id, user_id, vote_id, group_id from vote_record where id > 7999900 limit 10

我们都知道,利用了索引查询的语句中如果只包含了那个索引列(覆盖索引),那么这种情况会查询很快。

因为利用索引查找有优化算法,且数据就在查询索引上面,不用再去找相关的数据地址了,这样节省了很多时间。上述vote_record 表的id字段是主键,自然就包含了默认的主键索引,这样,mysql会走主键索引,直接连接到7999900处,然后查出来10条数据。但是这个方式需要接口的调用方配合改造,把上次查询出来的最大id以参数的方式传给接口提供方,会有一定沟通成本。

1、测试深度分页

优化前,查询耗时2.362s,随着数据的增大耗时会更多,limit语句的查询时间与起始记录的位置成正比。

MySQL如何快速创建800w条测试数据表

 优化后,耗时0.012s,性能提升了196.8倍。

MySQL如何快速创建800w条测试数据表

到此这篇关于MySQL如何快速创建800w条测试数据表的文章就介绍到这了,更多相关MySQL创建测试数据表内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

MySQL 相关文章推荐
MySQL 分页查询的优化技巧
May 12 MySQL
MySQL 使用事件(Events)完成计划任务
May 24 MySQL
MySQL5.7并行复制原理及实现
Jun 03 MySQL
MySQL千万级数据表的优化实战记录
Aug 04 MySQL
MySQL中的引号和反引号的区别与用法详解
Oct 24 MySQL
浅谈MySql整型索引和字符串索引失效或隐式转换问题
Nov 20 MySQL
你真的会用Mysql的explain吗
Mar 31 MySQL
Mysql多层子查询示例代码(收藏夹案例)
Mar 31 MySQL
Mysql调整优化之四种分区方式以及组合分区
Apr 13 MySQL
mysql 乱码 字符集latin1转UTF8
Apr 19 MySQL
MYSQL常用函数介绍
May 05 MySQL
mysql 获取相邻数据项
May 11 MySQL
利用JuiceFS使MySQL 备份验证性能提升 10 倍
MySQL 分区表中分区键为什么必须是主键的一部分
MySQL优化及索引解析
一条 SQL 语句执行过程
Mysql事务索引知识汇总
Mar 17 #MySQL
MySQL慢查询优化解决问题
Mar 17 #MySQL
MySQL日期时间函数知识汇总
You might like
关于svn冲突的解决方法
2013/06/21 PHP
php批量删除cookie的简单实现方法
2015/01/26 PHP
php使用变量动态创建类的对象用法示例
2017/02/06 PHP
javascript 单选框,多选框美化代码
2008/08/01 Javascript
javascript天然的迭代器
2010/10/29 Javascript
jquery左右滚动焦点图banner图片鼠标经过显示上下页按钮
2013/10/11 Javascript
Javscript调用iframe框架页面中函数的方法
2014/11/01 Javascript
node.js中的fs.futimes方法使用说明
2014/12/17 Javascript
js实现不提交表单获取单选按钮值的方法
2015/08/21 Javascript
jquery ajax 如何向jsp提交表单数据
2015/08/23 Javascript
JavaScript判断变量是否为数组的方法(Array)
2016/02/24 Javascript
使用getBoundingClientRect方法实现简洁的sticky组件的方法
2016/03/22 Javascript
Asp.Net之JS生成分页条的方法
2016/11/23 Javascript
jQuery选择器之属性筛选选择器用法详解
2017/09/19 jQuery
用React-Native+Mobx做一个迷你水果商城APP(附源码)
2017/12/25 Javascript
详解jQuery获取特殊属性的值以及设置内容
2018/11/14 jQuery
JS实现的雪花飘落特效示例
2019/12/03 Javascript
在vue-cli3.0 中使用预处理器 (Sass/Less/Stylus) 配置全局变量操作
2020/08/10 Javascript
js实现验证码干扰(动态)
2021/02/23 Javascript
django云端留言板实例详解
2019/07/22 Python
tensorflow如何批量读取图片
2019/08/29 Python
python中的逆序遍历实例
2019/12/25 Python
Python爬虫入门教程02之笔趣阁小说爬取
2021/01/24 Python
HTML5 Canvas实现文本对齐的方法总结
2016/03/24 HTML / CSS
AmazeUI 网格的实现示例
2020/08/13 HTML / CSS
Probikekit欧盟:在线公路自行车专家
2019/07/12 全球购物
NYX Professional Makeup官方网站:专业彩妆和美容产品
2019/10/29 全球购物
Sisley法国希思黎美国官方网站:享誉全球的奢华植物美容品牌
2020/06/27 全球购物
信息科学与技术专业求职信范文
2014/02/20 职场文书
高考寄语大全
2014/04/08 职场文书
2014年班主任自我评价范文
2014/04/23 职场文书
毕业生就业推荐表导师评语
2014/12/31 职场文书
作弊检讨书范文
2015/05/06 职场文书
如何书写授权委托书?
2019/06/25 职场文书
MySQL连表查询分组去重的实现示例
2021/07/01 MySQL
mysql如何查询连续记录
2022/05/11 MySQL