MySQL如何快速创建800w条测试数据表


Posted in MySQL onMarch 17, 2022

一、数据插入思路

如果一条一条插入普通表的话,效率太低下,但内存表插入速度是很快的,可以先建立一张内存表,插入数据后,在导入到普通表中。

1、创建内存表

 View Code

2、创建普通表

普通表参数设置和内存表相同,否则从内存表往普通标导入数据会报错。

 View Code

3、创建存储函数

产生伪随机码user_id 要用到存储函数。

 View Code

4、创建存储过程

存储过程是保存起来的可以接受和返回用户提供的参数的Transact-SQL 语句的集合,可以创建一个过程供永久使用。

 View Code

 5、调用存储过程

call 就是调用存储过程或者函数,这里调用存储过程1000000次

CALL add_vote_memory(1000000)

6、导入数据

将内存表中的数据导入普通表。

INSERT into vote_record SELECT * from vote_record_memory

7、内存不足

如果报错内存满了,报错信息如下:

 CALL add_vote_memory(1000000)
> 1114 - The table 'vote_record_memory' is full
 > 时间: 74.61s

则可以使用命令查看内存表和临时表允许写入的最大值:

show variables like '%%table_size%'

MySQL默认16M:

MySQL如何快速创建800w条测试数据表

 修改默认内存配置:

set session tmp_table_size=1024*1024*1024; 
set session max_heap_table_size=1024*1024*1024; 

配置修改后,再执行上述调用存储过程和数据导入步骤。

8、查看结果

查看记录,是否有插入100W条数据。

select count(*) AS total from vote_record

MySQL如何快速创建800w条测试数据表

9、插入800W条数据

测试插入800W条数据,call 调用存储过程800W次。

MySQL如何快速创建800w条测试数据表

 查看结果:

MySQL如何快速创建800w条测试数据表

 800W条测试数据插入OK,想插入多少条测试数据就调用n次存储过程,CALL add_vote_memory(n)。

二、MySQL深度分页

所谓的深度分页问题,涉及到mysql分页的原理。通常情况下,mysql的分页是这样写的:

select id, user_id, vote_id, group_id from vote_record limit 200, 10

SQL意思就是从vote_reccord 表里查200到210这10条数据即【201,210】,mysql会把前210条数据都查出来,抛弃前200条,返回10条。当分页所以深度不大的时候当然没问题,随着分页的深入,sql可能会变成这样:

select id, user_id, vote_id, group_id from vote_record limit 7999900, 10

这个时候,mysql会查出来7999920条数据,抛弃前7999900条,如此大的数据量,速度一定快不起来。

那如何解决呢?一般情况下,最简单的方式是增加一个条件,利用表的覆盖索引来加速分页查询:

select id, user_id, vote_id, group_id from vote_record where id > 7999900 limit 10

我们都知道,利用了索引查询的语句中如果只包含了那个索引列(覆盖索引),那么这种情况会查询很快。

因为利用索引查找有优化算法,且数据就在查询索引上面,不用再去找相关的数据地址了,这样节省了很多时间。上述vote_record 表的id字段是主键,自然就包含了默认的主键索引,这样,mysql会走主键索引,直接连接到7999900处,然后查出来10条数据。但是这个方式需要接口的调用方配合改造,把上次查询出来的最大id以参数的方式传给接口提供方,会有一定沟通成本。

1、测试深度分页

优化前,查询耗时2.362s,随着数据的增大耗时会更多,limit语句的查询时间与起始记录的位置成正比。

MySQL如何快速创建800w条测试数据表

 优化后,耗时0.012s,性能提升了196.8倍。

MySQL如何快速创建800w条测试数据表

到此这篇关于MySQL如何快速创建800w条测试数据表的文章就介绍到这了,更多相关MySQL创建测试数据表内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

MySQL 相关文章推荐
多属性、多分类MySQL模式设计
Apr 05 MySQL
详解MySQL数据库千万级数据查询和存储
May 18 MySQL
MySQL的Query Cache图文详解
Jul 01 MySQL
ORM模型框架操作mysql数据库的方法
Jul 25 MySQL
MySQL 1130异常,无法远程登录解决方案详解
Aug 23 MySQL
MySQL定时备份数据库(全库备份)的实现
Sep 25 MySQL
Innodb存储引擎中的后台线程详解
Apr 03 MySQL
MySQ InnoDB和MyISAM存储引擎介绍
Apr 26 MySQL
MySQL数据库中的锁、解锁以及删除事务
May 06 MySQL
MySQL示例讲解数据库约束以及表的设计
Jun 16 MySQL
MySQL添加索引特点及优化问题
Jul 23 MySQL
MySQL中TIMESTAMP类型返回日期时间数据中带有T的解决
Dec 24 MySQL
利用JuiceFS使MySQL 备份验证性能提升 10 倍
MySQL 分区表中分区键为什么必须是主键的一部分
MySQL优化及索引解析
一条 SQL 语句执行过程
Mysql事务索引知识汇总
Mar 17 #MySQL
MySQL慢查询优化解决问题
Mar 17 #MySQL
MySQL日期时间函数知识汇总
You might like
PHP中字符安全过滤函数使用小结
2015/02/25 PHP
零基础php编程好学吗
2019/10/11 PHP
JavaScript的面向对象(一)
2006/11/09 Javascript
javascript中attribute和property的区别详解
2014/06/05 Javascript
使用JS实现jQuery的addClass, removeClass, hasClass函数功能
2014/10/31 Javascript
Javascript基础教程之switch语句
2015/01/18 Javascript
javascript+html5实现仿flash滚动播放图片的方法
2015/04/27 Javascript
jquery实现模拟百分比进度条渐变效果代码
2015/10/29 Javascript
Jquery zTree 树控件异步加载操作
2016/02/25 Javascript
js简单倒计时实现代码
2016/04/30 Javascript
Three.js学习之正交投影照相机
2016/08/01 Javascript
AngularJS动态加载模块和依赖的方法分析
2016/11/08 Javascript
angularjs ocLazyLoad分步加载js文件实例
2017/01/17 Javascript
初探JavaScript 面向对象(推荐)
2017/09/03 Javascript
React实践之Tree组件的使用方法
2017/09/30 Javascript
javascript实现Emrips反质数枚举的示例代码
2017/12/06 Javascript
Angular通过指令动态添加组件问题
2018/07/09 Javascript
解决vue.js 数据渲染成功仍报错的问题
2018/08/25 Javascript
浅谈vue方法内的方法使用this的问题
2018/09/15 Javascript
使用VUE+iView+.Net Core上传图片的方法示例
2019/01/04 Javascript
vue实现配置全局访问路径头(axios)
2019/11/01 Javascript
javascript实现蒙版与禁止页面滚动
2020/01/11 Javascript
解决echarts vue数据更新,视图不更新问题(echarts嵌在vue弹框中)
2020/07/20 Javascript
Python实现的朴素贝叶斯分类器示例
2018/01/06 Python
python异步实现定时任务和周期任务的方法
2019/06/29 Python
Pandas中resample方法详解
2019/07/02 Python
Python包,__init__.py功能与用法分析
2020/01/07 Python
django中嵌套的try-except实例
2020/05/21 Python
python字典的值可以修改吗
2020/06/29 Python
Python3以GitHub为例来实现模拟登录和爬取的实例讲解
2020/07/30 Python
Python SMTP发送电子邮件的示例
2020/09/23 Python
美国休闲服装品牌:J.Crew Factory
2017/03/04 全球购物
Skyscanner台湾:全球知名的旅行比价引擎
2018/07/01 全球购物
广告学专业自荐信范文
2014/02/24 职场文书
学习走群众路线心得体会
2014/11/05 职场文书
24年收藏2000多部退役军用电台
2022/02/18 无线电