为什么代码规范要求SQL语句不要过多的join


Posted in MySQL onJune 23, 2021

送分题

面试官:有操作过Linux吗?

:有的呀

面试官:我想查看内存的使用情况该用什么命令

free 或者 top

面试官:那你说一下用free命令都可以看到啥信息

:那,如下图所示 可以看到内存以及缓存的使用情况

  • total 总内存
  • used 已用内存
  • free 空闲内存
  • buff/cache 已使用的缓存
  • avaiable 可用内存

为什么代码规范要求SQL语句不要过多的join

面试官:那你知道怎么清理已使用的缓存吗(buff/cache)

:em… 不知道

面试官sync; echo 3 > /proc/sys/vm/drop_caches就可以清理buff/cache了,你说说我在线上执行这条命令做好不好?

为什么代码规范要求SQL语句不要过多的join

:(送分题,内心大喜)好处大大的有,清理出缓存我们就有更多可用的内存空间, 就跟pc上面xx卫士的小火箭一样,点一下,就释放出好多的内存

面试官:em…, 回去等通知吧

再谈SQL Join

面试官:换个话题,谈谈你对join的理解

: 好的(再答错就彻底完了,把握住机会)

回顾

SQL中的join可以根据某些条件把指定的表给结合起来并将数据返回给客户端

join的方式有

inner join 内连接

为什么代码规范要求SQL语句不要过多的join

left join 左连接

为什么代码规范要求SQL语句不要过多的join

right join 右连接

为什么代码规范要求SQL语句不要过多的join

full join 全连接

为什么代码规范要求SQL语句不要过多的join

面试官:在项目开发中如果需要使用join语句,如何优化提升性能?

: 分为两种情况,数据规模小的,数据规模大的。

面试官: 然后?

:对于

  • 数据规模较小 全部干进内存就完事了嗷
  • 数据规模较大

可以通过增加索引来优化join语句的执行速度 可以通过冗余信息来减少join的次数 尽量减少表连接的次数,一个SQL语句表连接的次数不要超过5次

面试官:可以总结为join语句是相对比较耗费性能,对吗?

:是的

面试官: 为什么?

缓冲区

: 在执行join语句的时候必然要有一个比较的过程

面试官: 是的

:逐条比较两个表的语句是比较慢的,因此我们可以把两个表中数据依次读进一个内存块中, 以MySQL的InnoDB引擎为例,使用以下语句我们必然可以查到相关的内存区域show variables like '%buffer%'

为什么代码规范要求SQL语句不要过多的join

如下图所示join_buffer_size的大小将会影响我们join语句的执行性能

面试官: 除此之外呢?

一个大前提

:任何项目终究要上线,不可避免的要产生数据,数据的规模又不可能太小

面试官: 是这样的

:大部分数据库中的数据最终要保存到硬盘上,并且以文件的形式进行存储。

以MySQL的InnoDB引擎为例

  • InnoDB以(page)为基本的IO单位,每个页的大小为16KB
  • InnoDB会为每个表创建用于存储数据的.ibd文件

为什么代码规范要求SQL语句不要过多的join

验证

为什么代码规范要求SQL语句不要过多的join

:这意味着我们有多少表要连接就需要读多少个文件,虽然可以利用索引,但还是免不了频繁的移动硬盘的磁头

面试官:也就是说频繁的移动磁头会影响性能对吧

:是的,现在的开源框架不都喜欢说自己通过顺序读写大大的提升了性能吗,比如hbasekafka

面试官:说的没错,那你认为Linux有对此做出优化吗?提示,你可以再执行一次free命令看一下

:奇怪缓存怎么占用了1.2G多

为什么代码规范要求SQL语句不要过多的join

为什么代码规范要求SQL语句不要过多的join

面试官: 你有没有想过

  • buff/cache 里面存的是什么,?
  • 为什么buff/cache 占了那么多内存,可用内存即availlable还有1.1G
  • 为什么你可以通过两条命令来清理buff/cache占用的内存,而想要释放used只能通过结束进程来实现?

品,你细品

思考了几分钟后

为什么代码规范要求SQL语句不要过多的join

:这么随便就释放了buff/cache所占用的内存,说明它就不重要, 清除它不会对系统的运行造成影响

面试官: 不完全对

:难道是?想起来《CSAPP》(深入理解计算机系统)里面说过一句话

存储器层次结构的本质是,每一层存储设备都是较低一层设备的缓存

为什么代码规范要求SQL语句不要过多的join

翻译成人话,就是说Linux会把内存当作是硬盘的高速缓存

面试官:现在知道那道送分题应该怎么回答了吧

:我…

为什么代码规范要求SQL语句不要过多的join

Join算法

面试官:再给你个机会,如果让你来实现Join算法你会怎么做?

:无索引的话,嵌套循环就完事了嗷。有索引的话,则可以利用索引来提升性能.

面试官:说回join_buffer 你认为join_buffer里面存储的是什么?

:在扫描过程中,数据库会选择一个表把他要返回以及需要进行和其他表进行比较的数据放进join_buffer

面试官:有索引的情况下是怎么处理的?

:这个就比较简单了,直接读取两个表的索引树进行比较就完事了嗷,我这边介绍一下无索引的处理方式

Nested Loop Join

为什么代码规范要求SQL语句不要过多的join

嵌套循环,每次只读取表中的一行数据,也就是说如果outerTable有10万行数据, innerTable有100行数据,需要读取10000000次(假设这两个表的文件没有被操作系统给缓存到内存, 我们称之为冷数据表)

当然现在没啥数据库引擎使用这种算法(太慢了)

Block nested loop

为什么代码规范要求SQL语句不要过多的join

Block 块,也就是说每次都会取一块数据到内存以减少I/O的开销

当没有索引可以使用的时候,MySQL InnoDB 就会使用这种算法

考虑以下两个表 t_at_b

为什么代码规范要求SQL语句不要过多的join

当无法使用索引执行join操作的时候,InnoDB会自动使用Block nested loop 算法

为什么代码规范要求SQL语句不要过多的join

总结

上学时,数据库老师最喜欢考数据库范式,直到上班才学会一切以性能为准,能冗余就冗余,实在冗余不了的就join如果join真的影响到性能。试着调大你的join_buffer_size, 或者换固态硬盘。

到此这篇关于为什么代码规范要求SQL语句不要过多的join的文章就介绍到这了,更多相关SQL语句不要过多join内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

MySQL 相关文章推荐
教你解决往mysql数据库中存入汉字报错的方法
May 06 MySQL
MySQL 重写查询语句的三种策略
May 10 MySQL
MySQL 存储过程的优缺点分析
May 20 MySQL
Mysql效率优化定位较低sql的两种方式
May 26 MySQL
MySQL 如何设计统计数据表
Jun 15 MySQL
MySQL系列之一 MariaDB-server安装
Jul 02 MySQL
MySql子查询IN的执行和优化的实现
Aug 02 MySQL
MyBatis 动态SQL全面详解
Oct 05 MySQL
MYSQL事务的隔离级别与MVCC
May 25 MySQL
MySQL数据库安装方法与图形化管理工具介绍
May 30 MySQL
Mysql的Table doesn't exist问题及解决
Dec 24 MySQL
SQL中去除重复数据的几种方法汇总(窗口函数对数据去重)
May 08 MySQL
详解MySQL多版本并发控制机制(MVCC)源码
MySQL快速插入一亿测试数据
MySQL8.0.18配置多主一从
Jun 21 #MySQL
MySQL中日期型单行函数代码详解
如何搭建 MySQL 高可用高性能集群
Jun 21 #MySQL
MySQL 发生同步延迟时Seconds_Behind_Master还为0的原因
Jun 21 #MySQL
分析mysql中一条SQL查询语句是如何执行的
You might like
php判断两个日期之间相差多少个月份的方法
2015/06/18 PHP
php简单创建zip压缩文件的方法
2016/04/30 PHP
基于jquery的让页面控件不可用的实现代码
2010/04/27 Javascript
ModelDialog JavaScript模态对话框类代码
2011/04/17 Javascript
node.js中的fs.ftruncate方法使用说明
2014/12/15 Javascript
jQuery使用之设置元素样式用法实例
2015/01/19 Javascript
javascript实现点击单选按钮链接转向对应网址的方法
2015/08/12 Javascript
jquery.serialize() 函数语法及简单实例
2016/07/08 Javascript
基于jQuery实现仿微博发布框字数提示
2016/07/27 Javascript
基于JavaScript中字符串的match与replace方法(详解)
2017/12/04 Javascript
微信小程序实现时间预约功能
2018/11/27 Javascript
如何通过shell脚本自动生成vue文件详解
2019/09/10 Javascript
webpack DllPlugin xxx is not defined解决办法
2019/12/13 Javascript
基于Electron实现桌面应用开发代码实例
2020/07/07 Javascript
[55:04]海涛DOTA2死魂复燃6.82版本介绍
2014/09/28 DOTA
python装饰器使用方法实例
2013/11/21 Python
python遍历文件夹并删除特定格式文件的示例
2014/03/05 Python
Python常用的日期时间处理方法示例
2015/02/08 Python
python 自动化将markdown文件转成html文件的方法
2016/09/23 Python
JSON Web Tokens的实现原理
2017/04/02 Python
Python基于更相减损术实现求解最大公约数的方法
2018/04/04 Python
python读取一个目录下所有txt里面的内容方法
2018/06/23 Python
Face++ API实现手势识别系统设计
2018/11/21 Python
对Python模块导入时全局变量__all__的作用详解
2019/01/11 Python
Python的高阶函数用法实例分析
2019/04/11 Python
python字符串Intern机制详解
2019/07/01 Python
python中with用法讲解
2020/02/07 Python
python怎么删除缓存文件
2020/07/19 Python
matplotlib源码解析标题实现(窗口标题,标题,子图标题不同之间的差异)
2021/02/22 Python
CSS3 text-shadow实现文字阴影效果
2016/02/24 HTML / CSS
洲际酒店集团英国官网:IHG英国
2019/07/10 全球购物
Java的五个基础面试题
2016/02/26 面试题
质检的岗位职责
2013/11/17 职场文书
学习实践科学发展观心得体会
2014/09/10 职场文书
致运动员的广播稿
2015/08/19 职场文书
Go各时间字符串使用解析
2021/04/02 Golang