Apache Hudi的多版本清理服务彻底讲解


Posted in Servers onMarch 31, 2022

Apache Hudi提供了MVCC并发模型,保证写入端和读取端之间快照级别隔离。在本篇博客中我们将介绍如何配置来管理多个文件版本,此外还将讨论用户可使用的清理机制,以了解如何维护所需数量的旧文件版本,以使长时间运行的读取端不会失败。

1. 回收空间以控制存储成本

Hudi 提供不同的表管理服务来管理数据湖上表的数据,其中一项服务称为Cleaner(清理服务)。 随着用户向表中写入更多数据,对于每次更新,Hudi会生成一个新版本的数据文件用于保存更新后的记录(COPY_ON_WRITE) 或将这些增量更新写入日志文件以避免重写更新版本的数据文件 (MERGE_ON_READ)。 在这种情况下,根据更新频率,文件版本数可能会无限增长,但如果不需要保留无限的历史记录,则必须有一个流程(服务)来回收旧版本的数据,这就是 Hudi 的清理服务。

2. 问题描述

在数据湖架构中,读取端和写入端同时访问同一张表是非常常见的场景。由于 Hudi 清理服务会定期回收较旧的文件版本,因此可能会出现长时间运行的查询访问到被清理服务回收的文件版本的情况,因此需要使用正确的配置来确保查询不会失败。

3. 深入了解 Hudi清理服务

针对上述场景,我们先了解一下 Hudi 提供的不同清理策略以及需要配置的相应属性,Hudi提供了异步或同步清理两种方式。在详细介绍之前我们先解释一些基本概念:

  • Hudi 基础文件(HoodieBaseFile):由压缩后的最终数据组成的列式文件,基本文件的名称遵循以下命名约定:<fileId>_<writeToken>_<instantTime>.parquet。在此文件的后续写入中文件 ID 保持不变,并且提交时间会更新以显示最新版本。这也意味着记录的任何特定版本,给定其分区路径,都可以使用文件 ID 和 instantTime进行唯一定位。
  • 文件切片(FileSlice):在 MERGE_ON_READ 表类型的情况下,文件切片由基本文件和由多个增量日志文件组成。
  • Hudi 文件组(FileGroup):Hudi 中的任何文件组都由分区路径和文件ID 唯一标识,该组中的文件作为其名称的一部分。文件组由特定分区路径中的所有文件片组成。此外任何分区路径都可以有多个文件组。

4. 清理服务

Hudi 清理服务目前支持以下清理策略:

  • KEEP_LATEST_COMMITS:这是默认策略。该清理策略可确保回溯前X次提交中发生的所有更改。假设每 30 分钟将数据摄取到 Hudi 数据集,并且最长的运行查询可能需要 5 小时才能完成,那么用户应该至少保留最后 10 次提交。通过这样的配置,我们确保文件的最旧版本在磁盘上保留至少 5 小时,从而防止运行时间最长的查询在任何时间点失败,使用此策略也可以进行增量清理。
  • KEEP_LATEST_FILE_VERSIONS:此策略具有保持 N 个文件版本而不受时间限制的效果。当知道在任何给定时间想要保留多少个 MAX 版本的文件时,此策略很有用,为了实现与以前相同的防止长时间运行的查询失败的行为,应该根据数据模式进行计算,或者如果用户只想维护文件的 1 个最新版本,此策略也很有用。

5. 例子

假设用户每 30 分钟将数据摄取到 COPY_ON_WRITE 类型的 Hudi 数据集,如下所示:

Apache Hudi的多版本清理服务彻底讲解

图1:每30分钟将传入的记录提取到hudi数据集中

该图显示了 DFS 上的一个特定分区,其中提交和相应的文件版本是彩色编码的。在该分区中创建了 4 个不同的文件组,如 fileId1、fileId2、fileId3 和 fileId4 所示。 fileId2 对应的文件组包含所有 5 次提交的记录,而 fileId4 对应的组仅包含最近 2 次提交的记录。

假设使用以下配置进行清理:

hoodie.cleaner.policy=KEEP_LATEST_COMMITS
hoodie.cleaner.commits.retained=2

Cleaner 通过处理以下事项来选择要清理的文件版本:

  • 不应清理文件的最新版本。
  • 确定最后 2 次(已配置)+ 1 次提交的提交时间。在图 1 中,commit 10:30 和 commit 10:00 对应于时间线中最新的 2 个提交。包含一个额外的提交,因为保留提交的时间窗口本质上等于最长的查询运行时间。因此如果最长的查询需要 1 小时才能完成,并且每 30 分钟发生一次摄取,则您需要保留自 2*30 = 60(1 小时)以来的最后 2 次提交。此时最长的查询仍然可以使用以相反顺序在第 3 次提交中写入的文件。这意味着如果一个查询在 commit 9:30 之后开始执行,当在 commit 10:30 之后触发清理操作时,它仍然会运行,如图 2 所示。
  • 现在对于任何文件组,只有那些没有保存点(另一个 Hudi 表服务)且提交时间小于第 3 次提交(下图中的“提交 9:30”)的文件切片被清理。

Apache Hudi的多版本清理服务彻底讲解

图2:保留最近3次提交对应的文件

假设使用以下配置进行清理:

hoodie.cleaner.policy=KEEP_LATEST_FILE_VERSIONS
hoodie.cleaner.fileversions.retained=1

清理服务执行以下操作:

  • 对于任何文件组,文件切片的最新版本(包括任何待压缩的)被保留,其余的清理掉。 如图 3 所示,如果在 commit 10:30之后立即触发清理操作,清理服务将简单地保留每个文件组中的最新版本并删除其余的。

Apache Hudi的多版本清理服务彻底讲解

图3:保留每个文件组中的最新文件版本

6. 配置

可以在 此处 中找到有关所有可能配置的详细信息以及默认值。

7. 运行命令

Hudi 的清理表服务可以作为单独的进程运行,可以与数据摄取一起运行。正如前面提到的,它会清除了任何陈旧文件。如果您想将它与摄取数据一起运行,可以使用配置同步或异步运行。或者可以使用以下命令独立运行清理服务:

[hoodie]$ spark-submit --class org.apache.hudi.utilities.HoodieCleaner \
  --props s3:///temp/hudi-ingestion-config/config.properties \
  --target-base-path s3:///temp/hudi \
  --spark-master yarn-cluster

如果您希望与写入异步运行清理服务,可以配置如下内容:

hoodie.clean.automatic=true
hoodie.clean.async=true

此外还可以使用 Hudi CLI 来管理 Hudi 数据集。CLI 为清理服务提供了以下命令:

cleans show

clean showpartitions

clean run

可以在 org.apache.hudi.cli.commands.CleansCommand 类 中找到这些命令的更多详细信息和相关代码。

8. 未来计划

目前正在进行根据已流逝的时间间隔引入新的清理策略,即无论摄取发生的频率如何,都可以保留想要的文件版本,可以在 此处 跟踪进度。

我们希望这篇博客能让您了解如何配置 Hudi 清理服务和支持的清理策略。请访问博客部分 以更深入地了解各种 Hudi 概念。

以上就是Apache Hudi的多版本清理服务彻底讲解的详细内容,更多关于Apache Hudi多版本清理服务的资料请关注三水点靠木其它相关文章!

Servers 相关文章推荐
nginx常用命令放入shell脚本详解
Mar 31 Servers
Mac环境Nginx配置和访问本地静态资源的实现
Mar 31 Servers
Windows下用Nginx配置https服务器及反向代理的问题
Sep 25 Servers
关于nginx 实现jira反向代理的问题
Sep 25 Servers
Vertica集成Apache Hudi重磅使用指南
Mar 31 Servers
Mac电脑OS系统下安装Nginx的详细教程
Apr 14 Servers
解决IIS7下无法绑定https主机的问题
Apr 29 Servers
如何Tomcat中使用ipv6地址
May 06 Servers
Linux中文件的基本属性介绍
Jun 01 Servers
linux目录管理方法介绍
Jun 01 Servers
ubuntu下常用apt命令介绍
Jun 05 Servers
WinServer2012搭建DNS服务器的方法步骤
Jun 10 Servers
Z-Order加速Hudi大规模数据集方案分析
Mar 31 #Servers
深入解析Apache Hudi内核文件标记机制
Apache Hudi数据布局黑科技降低一半查询时间
Apache Hudi集成Spark SQL操作hide表
Nginx工作模式及代理配置的使用细节
nginx常用配置conf的示例代码详解
Mar 21 #Servers
Nginx设置HTTPS的方法步骤 443证书配置方法
You might like
PHP与SQL注入攻击[三]
2007/04/17 PHP
php 图片加水印与上传图片加水印php类
2010/05/12 PHP
phpmyadmin打开很慢的解决方法
2014/04/21 PHP
ThinkPHP中redirect用法分析
2014/12/05 PHP
php中执行系统命令的方法
2015/03/21 PHP
PHP进制转换实例分析(2,8,16,36,64进制至10进制相互转换)
2017/02/04 PHP
PHP验证终端类型是否为手机的简单实例
2017/02/07 PHP
php格式文件打开的四种方法
2018/02/24 PHP
PHP实现获取毫秒时间戳的方法【使用microtime()函数】
2019/03/01 PHP
PHP获取类私有属性的3种方法
2020/09/10 PHP
JS执行删除前的判断代码
2014/02/18 Javascript
JavaScript实现简单的日历效果
2016/09/25 Javascript
解决Angular.Js与Django标签冲突的方案
2016/12/20 Javascript
vue 设置proxyTable参数进行代理跨域
2018/04/09 Javascript
JS判断两个数组或对象是否相同的方法示例
2019/02/28 Javascript
jQuery使用jsonp实现百度搜索的示例代码
2020/07/08 jQuery
vue实现选中效果
2020/10/07 Javascript
[43:51]2014 DOTA2国际邀请赛中国区预选赛 Dream Times VS TongFu
2014/05/22 DOTA
Python比较文件夹比另一同名文件夹多出的文件并复制出来的方法
2015/03/05 Python
Python统计日志中每个IP出现次数的方法
2015/07/06 Python
Python matplotlib画图实例之绘制拥有彩条的图表
2017/12/28 Python
Python实现备份MySQL数据库的方法示例
2018/01/11 Python
django框架中ajax的使用及避开CSRF 验证的方式详解
2019/12/11 Python
python中数字是否为可变类型
2020/07/08 Python
Python 日期与时间转换的方法
2020/08/01 Python
用Python实现童年贪吃蛇小游戏功能的实例代码
2020/12/07 Python
python利用pytesseract 实现本地识别图片文字
2020/12/14 Python
详解window.open被浏览器拦截的解决方案
2019/07/18 HTML / CSS
香蕉共和国加拿大官网:Banana Republic加拿大
2018/08/06 全球购物
德国咖啡批发商:Coffeefair
2019/08/26 全球购物
怎样写好自我鉴定
2013/12/04 职场文书
法律专业求职信
2014/05/24 职场文书
售后客服工作职责
2014/06/16 职场文书
学校德育工作总结2015
2015/05/11 职场文书
会议主持人开场白台词
2015/05/28 职场文书
用Python提取PDF表格的方法
2021/04/11 Python