如何自己动手写SQL执行引擎


Posted in MySQL onJune 02, 2021

前言

在阅读了大量关于数据库的资料后,笔者情不自禁产生了一个造数据库轮子的想法。来验证一下自己对于数据库底层原理的掌握是否牢靠。在笔者的github中给这个database起名为Freedom。

整体结构

既然造轮子,那当然得从前端的网络协议交互到后端的文件存储全部给撸一遍。下面是Freedom实现的整体结构,里面包含了实现的大致模块:

如何自己动手写SQL执行引擎

最终存储结构当然是使用经典的B+树结构。当然在B+树和文件系统block块之间的转换则通过Buffer(Page) Manager来进行。当然了,为了完成事务,还必须要用WAL协议,其通过Log Manager来操作。
Freedom采用的是索引组织表,通过DruidSQL Parse来将sql翻译为对应的索引操作符进而进行对应的语义操作。

MySQL Protocol结构

client/server之间的交互采用的是MySQL协议,这样很容易就可以和mysql client以及jdbc进行交互了。

query packet

mysql通过3byte的定长包头去进行分包,进而解决tcp流的读取问题。再通过一个sequenceId来再应用层判断packet是否连续。

如何自己动手写SQL执行引擎

result set packet

mysql协议部分最复杂的内容是其对于result set的读取,在NIO的方式下加重了复杂性。
Freedom通过设置一系列的读取状态可以比较好的在Netty框架下解决这一问题。

如何自己动手写SQL执行引擎

row packet

还有一个较简单的是对row格式进行读取,如上图所示,只需要按部就班的解析即可。

如何自己动手写SQL执行引擎

由于协议解析部分较为简单,在这里就不再赘述。

SQL Parse

Freedom采用成熟好用的Druid SQL Parse作为解析器。事实上,解析sql就是将用文本表示
的sql语义表示为一系列操作符(这里限于篇幅原因,仅仅给出select中where过滤的原理)。

对where的处理

例如where后面的谓词就可以表示为一系列的以树状结构组织的SQL表达式,如下图所示:

如何自己动手写SQL执行引擎

当access层通过游标提供一系列row后,就可以通过这个树状表达式来过滤出符合where要求的数据。Druid采用了Parse中常用的visitor很方便的处理上面的表达式计算操作。

对join的处理

对join最简单处理方案就是对两张表进行笛卡尔积,然后通过上面的where condition进行过滤,如下图所示:

如何自己动手写SQL执行引擎

Freedom对于缩小笛卡尔积的处理

由于Freedom采用的是B+树作为底层存储结构,所以可以通过where谓词来界定B+树scan(搜索)的范围(也即最大搜索key和最小搜索key在B+树种中的位置)。考虑sql

select a.*,b.* from t_archer as a join t_rider as b where a.id>=3 and a.id<=11 and b.id>=19 and b.id<=31

那么就可以界定出在id这个索引上,a的scan范围为[3,11],如下图所示:

如何自己动手写SQL执行引擎

b的scan范围为[19,31],如下图所示(假设两张表数据一样,便于绘图):

如何自己动手写SQL执行引擎

scan少了从原来的15*15(一共15个元素)次循环减少到4*4次循环,即循环次数减少到7.1%

当然如果存在join condition的话,那么Freedom在底层cursor递归处理的过程中会预先过滤掉一部分数据,进一步减少上层的过滤。

B+Tree的磁盘结构

leaf磁盘结构

Freedom的B+Tree是存储到磁盘里的。考虑到存储的限制以及不定长的key值,所以会变得非常复杂。Freedom以page为单位来和磁盘进行交互。叶子节点和非叶子节点都由page承载并刷入磁盘。结构如下所示:

如何自己动手写SQL执行引擎

一个元组(tuple/item)在一个page中分为定长的ItemPointer和不定长的Item两部分。
其中ItemPointer里面存储了对应item的起始偏移和长度。同时ItemPointer和Item如图所示是向着中心方向进行伸张,这种结构很有效的组织了非定长Item。

leaf和node节点在Page中的不同

虽然leaf和node在page中组织结构一致,但其item包含的项确有区别。由于Freedom采用的是索引组织表,所以对于leaf在聚簇索引(clusterIndex)和二级索引(secondaryIndex)中对item的表示也有区别,如下图所示:

如何自己动手写SQL执行引擎

其中在二级索引搜索时通过secondaryIndex通过index-key找到对应的clusterId,再通过
clusterId在clusterIndex中找到对应的row记录。
由于要落盘,所以Freedom在node节点中的item里面写入了index-key对应的pageno,
这样就可以容易的从磁盘恢复所有的索引结构了。

B+Tree在文件中的组织

有了Page结构,我们就可以将数据承载在一个个page大小的内存里面,同时还可以将page刷新到对应的文件里。有了node.item中的pageno,我们就可以较容易的进行文件和内存结构之间的互相映射了。
B+树在磁盘文件中的组织如下图所示:

如何自己动手写SQL执行引擎

B+树在内存中相对应的映射结构如下图所示:

如何自己动手写SQL执行引擎

文件page和内存page中的内容基本是一致的,除了一些内存page中特有的字段,例如dirty等。

每个索引一个B+树

在Freedom中,每个索引都是一颗B+树,对记录的插入和修改都要对所有的B+树进行操作。

B+Tree的测试

笔者通过一系列测试case,例如随机变长记录对B+树进行插入并落盘,修复了其中若干个非常诡异的corner case。

B+Tree的todo

笔者这里只是完成了最简单的B+树结构,没有给其添加并发修改的锁机制,也没有在B+树做操作的时候记录log来保证B+树在宕机等灾难性情况下的一致性,所以就算完成了这么多的工作量,距离一个高并发高可用的bptree还有非常大的距离。

Meta Data

table的元信息由create table所创建。创建之后会将元信息落盘,以便Freedom在重启的时候加载表信息。每张表的元信息只占用一页的空间,依旧复用page结构,主要保存的是聚簇索引和二级索引的信息。元信息对应的Item如下图所示:

如何自己动手写SQL执行引擎

如果想让mybatis可以自动生成关于Freedom的代码,还需实现一些特定的sql来展现Freedom的元信息。这个在笔者另一个项目rider中有这样的实现。原理如下图所示:

如何自己动手写SQL执行引擎

实现了上述4类SQL之后,mybatis-generator就可以通过jdbc从Freedom获取元信息进而自动生成代码了。

事务支持

由于当前Freedom并没有保证并发,所以对于事务的支持只做了最简单的WAL协议。通过记录redo/undolog从而实现原子性。

redo/undo log协议格式

Freedom在每做一个修改操作时,都会生成一条日志,其中记录了修改前(undo)和修改后(redo)的行信息,undo用来回滚,redo用来宕机recover。结构如下图所示:

如何自己动手写SQL执行引擎

WAL协议

WAL协议很好理解,就是在事务commit前将当前事务中所产生的的所有log记录刷入磁盘。
Freedom自然也做了这个操作,使得可以在宕机后通过log恢复出所有的数据。

如何自己动手写SQL执行引擎

回滚的实现

由于日志中记录了undo,所以对于一个事务的回滚直接通过日志进行undo即可。如下图所示:

如何自己动手写SQL执行引擎

宕机恢复

Freedom如果在page全部刷盘之后关机,则可以由通过加载page的方式获取原来的数据。
但如果突然宕机,例如kill -9之后,则可以通过WAL协议中记录的redo/undo log来重新
恢复所有的数据。由于时间和精力所限,笔者并没有实现基于LSN的检查点机制。

Freedom运行

git clone https://github.com/alchemystar/Freedom.git

// 并没有做打包部署的工作,所以最简单的方法是在java编辑器里面

run alchemystar.freedom.engine.server.main

以下是笔者实际运行Freedom的例子:

如何自己动手写SQL执行引擎

join查询

如何自己动手写SQL执行引擎

delete回滚

如何自己动手写SQL执行引擎

尾声

在造轮子的过程中一开始是非常有激情非常快乐的。但随着系统越来越庞大,复杂性越来越高,进度就会越来越慢,还时不时要推翻自己原来的设想并重新设计,然后再协同修改关联的所有代码,就如同泥沼,越陷越深。至此,笔者才领悟了软件工程最重要的其实是控制复杂度!始终保持简洁的接口和优雅的设计是实现一个大型系统的必要条件。

github链接:https://github.com/alchemystar/Freedom

以上就是如何自己动手写SQL执行引擎的详细内容,更多关于自己动手写SQL执行引擎的资料请关注三水点靠木其它相关文章!

MySQL 相关文章推荐
Mysql数据库命令大全
May 26 MySQL
MySQL不使用order by实现排名的三种思路总结
Jun 02 MySQL
Navicat连接MySQL错误描述分析
Jun 02 MySQL
解析MySQL binlog
Jun 11 MySQL
MySQL系列之八 MySQL服务器变量
Jul 02 MySQL
MySQL索引是啥?不懂就问
Jul 21 MySQL
MySQL令人大跌眼镜的隐式转换
Aug 23 MySQL
MySQL Innodb索引机制详细介绍
Nov 23 MySQL
解决Mysql多行子查询的使用及空值问题
Jan 22 MySQL
分享MySQL常用 内核 Debug 几种常见方法
Mar 17 MySQL
深入理解mysql事务隔离级别和存储引擎
Apr 12 MySQL
详细介绍MySQL中limit和offset的用法
May 06 MySQL
MySQL 8.0 Online DDL快速加列的相关总结
MySQL 常见存储引擎的优劣
Jun 02 #MySQL
Mysql文件存储图文详解
一文读懂navicat for mysql基础知识
Mysql数据库索引面试题(程序员基础技能)
MySQL CHAR和VARCHAR该如何选择
May 31 #MySQL
带你学习MySQL执行计划
May 31 #MySQL
You might like
php网页后退不再出现过期
2007/03/08 PHP
解析php下载远程图片函数 可伪造来路
2013/06/25 PHP
php定界符
2014/06/19 PHP
thinkphp判断访客为手机端或PC端的方法
2014/11/24 PHP
Yii2中DropDownList简单用法示例
2016/07/18 PHP
php从数据库读取数据,并以json格式返回数据的方法
2018/08/21 PHP
JavaScript与函数式编程解释
2007/04/27 Javascript
Javascript base64编码实现代码
2011/12/02 Javascript
JavaScript中的作用域链和闭包
2012/06/30 Javascript
javascript object array方法使用详解
2012/12/03 Javascript
利用javascript打开模态对话框(示例代码)
2014/01/11 Javascript
Jquery对象和Dom对象的区别分析
2014/11/20 Javascript
javascript三元运算符用法实例
2015/04/16 Javascript
JS实现下拉菜单列表与登录注册弹窗效果
2017/08/10 Javascript
NodeJs通过async/await处理异步的方法
2017/10/09 NodeJs
Vue.js递归组件构建树形菜单
2017/12/24 Javascript
JS模拟实现哈希表及应用详解
2018/05/04 Javascript
angular中如何绑定iframe中src的方法
2019/02/01 Javascript
详解jenkins自动化部署vue
2019/05/14 Javascript
Webpack中loader打包各种文件的方法实例
2019/09/03 Javascript
[05:34]2014DOTA2国际邀请赛中国区预选赛精彩TOPPLAY第二弹
2014/06/25 DOTA
用Python将IP地址在整型和字符串之间轻松转换
2017/03/22 Python
我们为什么要减少Python中循环的使用
2019/07/10 Python
python科学计算之scipy——optimize用法
2019/11/25 Python
解决Jupyter notebook中.py与.ipynb文件的import问题
2020/04/21 Python
IntelliJ 中配置 Anaconda的过程图解
2020/06/01 Python
Keras 加载已经训练好的模型进行预测操作
2020/06/17 Python
解决Alexnet训练模型在每个epoch中准确率和loss都会一升一降问题
2020/06/17 Python
python实现登录与注册系统
2020/11/30 Python
加拿大票务网站:Ticketmaster加拿大
2017/07/17 全球购物
全球最大的户外用品零售商之一:The House
2018/06/12 全球购物
匡威爱尔兰官网:Converse爱尔兰
2019/06/09 全球购物
大学生学习2014年全国两会心得体会
2014/03/12 职场文书
学雷锋志愿者活动方案
2014/08/21 职场文书
中秋节作文(五年级)之关于月亮
2019/09/11 职场文书
vue判断按钮是否可以点击
2022/04/09 Vue.js