为什么代码规范要求SQL语句不要过多的join


Posted in MySQL onJune 23, 2021

送分题

面试官:有操作过Linux吗?

:有的呀

面试官:我想查看内存的使用情况该用什么命令

free 或者 top

面试官:那你说一下用free命令都可以看到啥信息

:那,如下图所示 可以看到内存以及缓存的使用情况

  • total 总内存
  • used 已用内存
  • free 空闲内存
  • buff/cache 已使用的缓存
  • avaiable 可用内存

为什么代码规范要求SQL语句不要过多的join

面试官:那你知道怎么清理已使用的缓存吗(buff/cache)

:em… 不知道

面试官sync; echo 3 > /proc/sys/vm/drop_caches就可以清理buff/cache了,你说说我在线上执行这条命令做好不好?

为什么代码规范要求SQL语句不要过多的join

:(送分题,内心大喜)好处大大的有,清理出缓存我们就有更多可用的内存空间, 就跟pc上面xx卫士的小火箭一样,点一下,就释放出好多的内存

面试官:em…, 回去等通知吧

再谈SQL Join

面试官:换个话题,谈谈你对join的理解

: 好的(再答错就彻底完了,把握住机会)

回顾

SQL中的join可以根据某些条件把指定的表给结合起来并将数据返回给客户端

join的方式有

inner join 内连接

为什么代码规范要求SQL语句不要过多的join

left join 左连接

为什么代码规范要求SQL语句不要过多的join

right join 右连接

为什么代码规范要求SQL语句不要过多的join

full join 全连接

为什么代码规范要求SQL语句不要过多的join

面试官:在项目开发中如果需要使用join语句,如何优化提升性能?

: 分为两种情况,数据规模小的,数据规模大的。

面试官: 然后?

:对于

  • 数据规模较小 全部干进内存就完事了嗷
  • 数据规模较大

可以通过增加索引来优化join语句的执行速度 可以通过冗余信息来减少join的次数 尽量减少表连接的次数,一个SQL语句表连接的次数不要超过5次

面试官:可以总结为join语句是相对比较耗费性能,对吗?

:是的

面试官: 为什么?

缓冲区

: 在执行join语句的时候必然要有一个比较的过程

面试官: 是的

:逐条比较两个表的语句是比较慢的,因此我们可以把两个表中数据依次读进一个内存块中, 以MySQL的InnoDB引擎为例,使用以下语句我们必然可以查到相关的内存区域show variables like '%buffer%'

为什么代码规范要求SQL语句不要过多的join

如下图所示join_buffer_size的大小将会影响我们join语句的执行性能

面试官: 除此之外呢?

一个大前提

:任何项目终究要上线,不可避免的要产生数据,数据的规模又不可能太小

面试官: 是这样的

:大部分数据库中的数据最终要保存到硬盘上,并且以文件的形式进行存储。

以MySQL的InnoDB引擎为例

  • InnoDB以(page)为基本的IO单位,每个页的大小为16KB
  • InnoDB会为每个表创建用于存储数据的.ibd文件

为什么代码规范要求SQL语句不要过多的join

验证

为什么代码规范要求SQL语句不要过多的join

:这意味着我们有多少表要连接就需要读多少个文件,虽然可以利用索引,但还是免不了频繁的移动硬盘的磁头

面试官:也就是说频繁的移动磁头会影响性能对吧

:是的,现在的开源框架不都喜欢说自己通过顺序读写大大的提升了性能吗,比如hbasekafka

面试官:说的没错,那你认为Linux有对此做出优化吗?提示,你可以再执行一次free命令看一下

:奇怪缓存怎么占用了1.2G多

为什么代码规范要求SQL语句不要过多的join

为什么代码规范要求SQL语句不要过多的join

面试官: 你有没有想过

  • buff/cache 里面存的是什么,?
  • 为什么buff/cache 占了那么多内存,可用内存即availlable还有1.1G
  • 为什么你可以通过两条命令来清理buff/cache占用的内存,而想要释放used只能通过结束进程来实现?

品,你细品

思考了几分钟后

为什么代码规范要求SQL语句不要过多的join

:这么随便就释放了buff/cache所占用的内存,说明它就不重要, 清除它不会对系统的运行造成影响

面试官: 不完全对

:难道是?想起来《CSAPP》(深入理解计算机系统)里面说过一句话

存储器层次结构的本质是,每一层存储设备都是较低一层设备的缓存

为什么代码规范要求SQL语句不要过多的join

翻译成人话,就是说Linux会把内存当作是硬盘的高速缓存

面试官:现在知道那道送分题应该怎么回答了吧

:我…

为什么代码规范要求SQL语句不要过多的join

Join算法

面试官:再给你个机会,如果让你来实现Join算法你会怎么做?

:无索引的话,嵌套循环就完事了嗷。有索引的话,则可以利用索引来提升性能.

面试官:说回join_buffer 你认为join_buffer里面存储的是什么?

:在扫描过程中,数据库会选择一个表把他要返回以及需要进行和其他表进行比较的数据放进join_buffer

面试官:有索引的情况下是怎么处理的?

:这个就比较简单了,直接读取两个表的索引树进行比较就完事了嗷,我这边介绍一下无索引的处理方式

Nested Loop Join

为什么代码规范要求SQL语句不要过多的join

嵌套循环,每次只读取表中的一行数据,也就是说如果outerTable有10万行数据, innerTable有100行数据,需要读取10000000次(假设这两个表的文件没有被操作系统给缓存到内存, 我们称之为冷数据表)

当然现在没啥数据库引擎使用这种算法(太慢了)

Block nested loop

为什么代码规范要求SQL语句不要过多的join

Block 块,也就是说每次都会取一块数据到内存以减少I/O的开销

当没有索引可以使用的时候,MySQL InnoDB 就会使用这种算法

考虑以下两个表 t_at_b

为什么代码规范要求SQL语句不要过多的join

当无法使用索引执行join操作的时候,InnoDB会自动使用Block nested loop 算法

为什么代码规范要求SQL语句不要过多的join

总结

上学时,数据库老师最喜欢考数据库范式,直到上班才学会一切以性能为准,能冗余就冗余,实在冗余不了的就join如果join真的影响到性能。试着调大你的join_buffer_size, 或者换固态硬盘。

到此这篇关于为什么代码规范要求SQL语句不要过多的join的文章就介绍到这了,更多相关SQL语句不要过多join内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

MySQL 相关文章推荐
教你用eclipse连接mysql数据库
Apr 22 MySQL
Mysql Online DDL的使用详解
May 20 MySQL
MYSQL(电话号码,身份证)数据脱敏的实现
May 28 MySQL
MySQL 如何限制一张表的记录数
Sep 14 MySQL
SQL实战演练之网上商城数据库商品类别数据操作
Oct 24 MySQL
mysql分表之后如何平滑上线详解
Nov 01 MySQL
mysql 联合索引生效的条件及索引失效的条件
Nov 20 MySQL
将MySQL的表数据全量导入clichhouse库中
Mar 21 MySQL
关于MySQL临时表为什么可以重名的问题
Mar 22 MySQL
Mysql 8.x 创建用户以及授予权限的操作记录
Apr 18 MySQL
mysql查找连续出现n次以上的数字
May 11 MySQL
MySQL示例讲解数据库约束以及表的设计
Jun 16 MySQL
详解MySQL多版本并发控制机制(MVCC)源码
MySQL快速插入一亿测试数据
MySQL8.0.18配置多主一从
Jun 21 #MySQL
MySQL中日期型单行函数代码详解
如何搭建 MySQL 高可用高性能集群
Jun 21 #MySQL
MySQL 发生同步延迟时Seconds_Behind_Master还为0的原因
Jun 21 #MySQL
分析mysql中一条SQL查询语句是如何执行的
You might like
PHP similar_text 字符串的相似性比较函数
2010/05/26 PHP
探讨PHP使用eAccelerator的API开发详解
2013/06/09 PHP
Laravel 5框架学习之数据库迁移(Migrations)
2015/04/08 PHP
php中smarty变量修饰用法实例分析
2015/06/11 PHP
深入浅析Yii admin的权限控制
2016/08/31 PHP
PHP序列化的四种实现方法与横向对比
2018/11/29 PHP
Jquery时间验证和转换工具小例子
2013/07/01 Javascript
原生javascript实现自动更新的时间日期
2016/02/12 Javascript
Node.js的npm包管理器基础使用教程
2016/05/26 Javascript
温习Javascript基础语法之词法结构
2016/05/31 Javascript
js获取上传文件的绝对路径实现方法
2016/08/02 Javascript
Node.js制作简单聊天室
2017/01/12 Javascript
JS求Number类型数组中最大元素方法
2018/04/08 Javascript
详解vue项目中如何引入全局sass/less变量、function、mixin
2018/06/02 Javascript
vue使用vuex实现首页导航切换不同路由的方法
2019/05/08 Javascript
Python显示进度条的方法
2014/09/20 Python
对tf.reduce_sum tensorflow维度上的操作详解
2018/07/26 Python
Python中按值来获取指定的键
2019/03/04 Python
Python实现TCP探测目标服务路由轨迹的原理与方法详解
2019/09/04 Python
利用Tensorflow的队列多线程读取数据方式
2020/02/05 Python
自定义Django Form中choicefield下拉菜单选取数据库内容实例
2020/03/13 Python
Python爬取股票信息,并可视化数据的示例
2020/09/26 Python
Python实现哲学家就餐问题实例代码
2020/11/09 Python
pytorch加载语音类自定义数据集的方法教程
2020/11/10 Python
python中pow函数用法及功能说明
2020/12/04 Python
HTML5 Canvas概述
2009/08/26 HTML / CSS
自我鉴定总结
2014/03/24 职场文书
2014物价局群众路线对照检查材料思想汇报
2014/09/21 职场文书
影视后期实训报告
2014/11/05 职场文书
2015年采购员工作总结
2015/04/27 职场文书
毕业设计答辩开场白
2015/05/29 职场文书
培训感想范文
2015/08/07 职场文书
2016高三毕业赠言寄语
2015/12/04 职场文书
Django一小时写出账号密码管理系统
2021/04/29 Python
Python中json.dumps()函数的使用解析
2021/05/17 Python
用JS实现飞机大战小游戏
2021/06/09 Javascript