Java中的Kafka为什么性能这么快及4大核心详析


Posted in Java/Android onSeptember 23, 2022

Java中的Kafka为什么性能这么快及4大核心详析

Kafka的性能快这是大厂Java面试经常问的一个话题,下面我就重点讲解Kafka为什么性能这么快的4大核心原因

1、页缓存技术

Kafka 是基于操作系统 的页缓存(page cache)来实现文件写入的,我们也可以称之为 os cache,意思就是操作系统自己管理的缓存。

Kafka 在写入磁盘文件的时候,可以直接写入这个 os cache 里,也就是仅仅写入内存中,接下来由操作系统自己决定什么时候把 os cache 里的数据真的刷入磁盘文件中。

通过这一个步骤,就可以将磁盘文件写性能提升很多了,因为其实这里相当于是在写内存,不是在写磁盘,原理图如下:

Java中的Kafka为什么性能这么快及4大核心详析

2、磁盘顺序写

另一个主要功能是 kafka 写数据的时候,是以磁盘顺序写的方式来写的,也就是说仅仅将数据追加到文件的末尾,不是在文件的随机位置来修改数据。

为什么要采用磁盘顺序写?

完成一次磁盘 IO,需要经过寻道、旋转和数据传输三个步骤:

Java中的Kafka为什么性能这么快及4大核心详析

  • 寻道(时间):磁头移动定位到指定磁道;
  • 旋转延迟(时间):等待指定扇区从磁头下旋转经过;
  • 数据传输(时间):数据在磁盘、内存与网络之间的实际传输。

首先必须找到柱面,即磁头需要移动对准相应磁道,这个过程叫做寻道,所耗费时间叫做寻道时间,然后目标扇区旋转到磁头下,这个过程耗费的时间叫做旋转时间。

怎么样才能提高磁盘的读写效率呢?

即采用磁盘顺序写,这样就不需要寻道时间,只需很少的旋转时间,将数据追加到文件的末尾,不是在文件的随机位置来修改数据。

Java中的Kafka为什么性能这么快及4大核心详析

基于上面两点,kafka 就实现了写入数据的超高性能。

3、零拷贝

先来看看非零拷贝的情况,如下图所示:

Java中的Kafka为什么性能这么快及4大核心详析

可以看到数据的拷贝从内存拷贝到 Kafka 服务进程那块,又拷贝到 Socket 缓存那块,整个过程耗费的时间比较高。

Kafka 利用了 Linux 的 sendFile 技术(NIO),省去了进程切换和一次数据拷贝,让性能变得更好,

如下图所示:

Java中的Kafka为什么性能这么快及4大核心详析

通过 零拷贝技术,就不需要把 os cache 里的数据拷贝到应用缓存,再从应用缓存拷贝到 Socket 缓存了,两次拷贝都省略了,所以叫做零拷贝。

4、分区分段+索引

Kafka 的 message 是按 topic分 类存储的,topic 中的数据又是按照一个一个的 partition 即分区存储到不同 broker 节点。每个 partition 对应了操作系统上的一个文件夹,partition 实际上又是按照segment分段存储的。

通过这种分区分段的设计,Kafka 的 message 消息实际上是分布式存储在一个一个小的 segment 中的,每次文件操作也是直接操作的 segment。为了进一步的查询优化,Kafka 又默认为分段后的数据文件建立了索引文件,就是文件系统上的.index文件。这种分区分段+索引的设计,不仅提升了数据读取的效率,同时也提高了数据操作的并行度。

到此这篇关于Java中的Kafka为什么性能这么快及4大核心详析的文章就介绍到这了,更多相关Java Kafka内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Java/Android 相关文章推荐
探讨Java中的深浅拷贝问题
Jun 26 Java/Android
Java实现二维数组和稀疏数组之间的转换
Jun 27 Java/Android
Spring中bean的生命周期之getSingleton方法
Jun 30 Java/Android
解决MultipartFile.transferTo(dest) 报FileNotFoundExcep的问题
Jul 01 Java/Android
springboot中rabbitmq实现消息可靠性机制详解
Sep 25 Java/Android
解析mybatis-plus中的resultMap简单使用
Nov 23 Java/Android
Java9新特性之Module模块化编程示例演绎
Mar 16 Java/Android
你知道Java Spring的两种事务吗
Mar 16 Java/Android
Java基于Dijkstra算法实现校园导游程序
Mar 17 Java/Android
spring cloud eureka 服务启动失败的原因分析及解决方法
Mar 17 Java/Android
Java 数据结构七大排序使用分析
Apr 02 Java/Android
Android存储中最基本的文件存储方式
Apr 30 Java/Android
Mybatis 一级缓存和二级缓存原理区别
Sep 23 #Java/Android
Java实现贪吃蛇游戏的示例代码
Sep 23 #Java/Android
Java获取字符串编码格式实现思路
Sep 23 #Java/Android
java获取一个文本文件的编码(格式)信息
Sep 23 #Java/Android
JDK8中String的intern()方法实例详细解读
Sep 23 #Java/Android
Spring boot实现上传文件到本地服务器
Aug 14 #Java/Android
Spring Boot实现文件上传下载
Aug 14 #Java/Android
You might like
一个分页的论坛
2006/10/09 PHP
解析thinkphp中的M()与D()方法的区别
2013/06/22 PHP
php生成动态验证码gif图片
2015/10/19 PHP
3种php生成唯一id的方法
2015/11/23 PHP
PHP 二维数组和三维数组的过滤
2016/03/16 PHP
mac系统下安装多个php并自由切换的方法详解
2017/04/21 PHP
php实现每日签到功能
2018/11/29 PHP
PHP删除数组中特定元素的两种方法
2019/02/28 PHP
jQuery实现类似滑动门切换效果的层切换
2013/09/23 Javascript
easyui combotree加载静态数据问题(选不上)解决方法
2016/12/26 Javascript
让微信小程序支持ES6中Promise特性的方法详解
2017/06/13 Javascript
vue中动态绑定表单元素的属性方法
2018/02/23 Javascript
vue组件详解之使用slot分发内容
2018/04/09 Javascript
vue 引用自定义ttf、otf、在线字体的方法
2019/05/09 Javascript
vue 2.5.1 源码学习 之Vue.extend 和 data的合并策略
2019/06/04 Javascript
[35:43]2018DOTA2亚洲邀请赛 4.1 小组赛B组 paiN vs Effect
2018/04/03 DOTA
python中关于时间和日期函数的常用计算总结(time和datatime)
2013/03/08 Python
Python创建日历实例
2014/08/21 Python
在Python中使用正则表达式的方法
2015/08/13 Python
Python验证企业工商注册码
2015/10/25 Python
深入浅析Python传值与传址
2018/07/10 Python
pyqt5实现登录界面的模板
2020/05/30 Python
Django实现CAS+OAuth2的方法示例
2019/10/30 Python
使用Python进行防病毒免杀解析
2019/12/13 Python
Django之form组件自动校验数据实现
2020/01/14 Python
Python实现新型冠状病毒传播模型及预测代码实例
2020/02/05 Python
详解css3中的伪类before和after常见用法
2020/11/17 HTML / CSS
h5网页水印SDK的实现代码示例
2019/02/19 HTML / CSS
Cecil Mode法国在线商店:女性时尚
2021/01/08 全球购物
公司的门卫岗位职责
2014/09/09 职场文书
树转促学习心得体会
2014/09/10 职场文书
2014班子成员自我剖析材料思想汇报
2014/10/01 职场文书
2015应届毕业生求职信范文
2015/03/20 职场文书
创业计划书之水果店
2019/07/18 职场文书
python实现批量移动文件
2021/04/05 Python
python通过新建环境安装tfx的问题
2022/05/20 Python