Apache Hudi 加速传统的批处理模式


Posted in Servers onApril 24, 2022

Apache Hudi(简称:Hudi)使得您能在hadoop兼容的存储之上存储大量数据,同时它还提供两种原语,使得除了经典的批处理之外,还可以在数据湖上进行流处理。

1. 现状说明

1.1 数据湖摄取和计算过程 - 处理更新

在我们的用例中1-10% 是对历史记录的更新。当记录更新时,我们需要从之前的 updated_date 分区中删除之前的条目,并将条目添加到最新的分区中,在没有删除和更新功能的情况下,我们必须重新读取整个历史表分区 -> 去重数据 -> 用新的去重数据覆盖整个表分区

1.2 当前批处理过程中的挑战

这个过程有效,但也有其自身的缺陷:

  1. 时间和成本——每天都需要覆盖整个历史表
  2. 数据版本控制——没有开箱即用的数据和清单版本控制(回滚、并发读取和写入、时间点查询、时间旅行以及相关功能不存在)
  3. 写入放大——日常历史数据覆盖场景中的外部(或自我管理)数据版本控制增加了写入放大,从而占用更多的 S3 存储

借助Apache Hudi,我们希望在将数据摄取到数据湖中的同时,找到更好的重复数据删除和数据版本控制优化解决方案。

2. Hudi 数据湖 — 查询模式

当我们开始在我们的数据湖上实现 Apache Hudi 的旅程时,我们根据表的主要用户的查询模式将表分为 2 类。

  • 面向ETL :这是指我们从各种生产系统摄取到数据湖中的大多数原始/基本快照表。 如果这些表被 ETL 作业广泛使用,那么我们将每日数据分区保持在 updated_date,这样下游作业可以简单地读取最新的 updated_at 分区并(重新)处理数据。
  • 面向分析师:通常包括维度表和业务分析师查询的大部分计算 OLAP,分析师通常需要查看基于事务(或事件)created_date 的数据,而不太关心 updated_date。

这是一个示例电子商务订单数据流,从摄取到数据湖到创建 OLAP,最后到业务分析师查询它

Apache Hudi 加速传统的批处理模式

由于两种类型的表的日期分区列不同,我们采用不同的策略来解决这两个用例。

2.1 面向分析师的表/OLAP(按 created_date 分区)

在 Hudi 中,我们需要指定分区列和主键列,以便 Hudi 可以为我们处理更新和删除。
以下是我们如何处理面向分析师的表中的更新和删除的逻辑:

  • 读取上游数据的 D-n 个 updated_date 分区。
  • 应用数据转换。 现在这个数据将只有新的插入和很少的更新记录。
  • 发出 hudi upsert 操作,将处理后的数据 upsert 到目标 Hudi 表。

由于主键和 created_date 对于退出和传入记录保持相同,Hudi 通过使用来自传入记录 created_date 和 primary_key 列的此信息获取现有记录的分区和分区文件路径。

2.2 面向ETL(按更新日期分区)

当我们开始使用 Hudi 时,在阅读了许多博客和文档之后,在 created_date 上对面向 ETL 的表进行分区似乎是合乎逻辑的。
此外 Hudi 提供增量消费功能,允许我们在 created_date 上对表进行分区,并仅获取在 D-1 或 D-n 上插入(插入或更新)的那些记录。

1. “created_date”分区的挑战

这种方法在理论上效果很好,但在改造传统的日常批处理过程中的增量消费时,它带来了其他一系列挑战:
Hudi 维护了在不同时刻在表上执行的所有操作的时间表,这些提交包含有关作为 upsert 的一部分插入或重写的部分文件的信息,我们将此 Hudi 表称为 Commit Timeline。
这里要注意的重要信息是增量查询基于提交时间线,而不依赖于数据记录中存在的实际更新/创建日期信息。

  • 冷启动:当我们将现有的上游表迁移到 Hudi 时,D-1 Hudi 增量查询将获取完整的表,而不仅仅是 D-1 更新。发生这种情况是因为在开始时,整个表是通过在 D-1 提交时间线内发生的单个初始提交或多个提交创建的,并且缺少真正的增量提交信息。
  • 历史数据重新摄取:在每个常规增量 D-1 拉取中,我们期望仅在 D-1 上更新的记录作为输出。但是在重新摄取历史数据的情况下,会再次出现类似于前面描述的冷启动问题的问题,并且下游作业也会出现 OOM。

历史数据重新摄取:在每个常规增量 D-1 拉取中,我们期望仅在 D-1 上更新的记录作为输出。但是在重新摄取历史数据的情况下,会再次出现类似于前面描述的冷启动问题的问题,并且下游作业也会出现 OOM。

作为面向 ETL 的作业的解决方法,我们尝试将数据分区保持在 updated_date 本身,然而这种方法也有其自身的挑战。

2. “updated_date”分区的挑战

我们知道 Hudi 表的本地索引,Hudi 依靠索引来获取存储在数据分区本地目录中的 Row-to-Part_file 映射。因此,如果我们的表在 updated_date 进行分区,Hudi 无法跨分区自动删除重复记录。
Hudi 的全局索引策略要求我们保留一个内部或外部索引来维护跨分区的数据去重。对于大数据量,每天大约 2 亿条记录,这种方法要么运行缓慢,要么因 OOM 而失败。
因此,为了解决更新日期分区的数据重复挑战,我们提出了一种全新的重复数据删除策略,该策略也具有很高的性能。

3. “新”重复数据删除策略

  • 查找更新 - 从每日增量负载中,仅过滤掉更新(1-10% 的 DI 数据)(其中 updated_date> created_date)(快速,仅映射操作)
  • 找到过时更新 - 将这些“更新”与下游 Hudi 基表广播连接。 由于我们只获取更新的记录(仅占每日增量的 1-10%),因此可以实现高性能的广播连接。 这为我们提供了与更新记录相对应的基础 Hudi 表中的所有现有记录
  • 删除过时更新——在基本 Hudi 表路径上的这些“过时更新”上发出 Hudi 删除命令
  • 插入 - 在基本 hudi 表路径上的完整每日增量负载上发出 hudi insert 命令

进一步优化用 true 填充陈旧更新中的 _hoodie_is_deleted 列,并将其与每日增量负载结合。 通过基本 hudi 表路径发出此数据的 upsert 命令。 它将在单个操作(和单个提交)中执行插入和删除。

4. Apache Hudi 的优势

  • 时间和成本——Hudi 在重复数据删除时不会覆盖整个表。 它只是重写接收更新的部分文件。 因此较小的 upsert 工作
  • 数据版本控制——Hudi 保留表版本(提交历史),因此提供实时查询(时间旅行)和表版本回滚功能。
  • 写入放大——由于只有部分文件被更改并保留用于数据清单版本控制,我们不需要保留完整数据的版本。 因此整体写入放大是最小的。

作为数据版本控制的另一个好处,它解决了并发读取和写入问题,因为数据版本控制使并发读取器可以读取数据文件的版本控制副本,并且当并发写入器用新数据覆盖同一分区时不会抛出 FileNotFoundException 文件。

到此这篇关于Apache Hudi 如何加速传统的批处理模式的文章就介绍到这了!


Tags in this post...

Servers 相关文章推荐
Nginx快速入门教程
Mar 31 Servers
Nginx优化服务之网页压缩的实现方法
Mar 31 Servers
Nginx服务器如何设置url链接
Mar 31 Servers
Nginx实现高可用集群构建(Keepalived+Haproxy+Nginx)
May 27 Servers
Linux中Nginx的防盗链和优化的实现代码
Jun 20 Servers
使用Nginx搭载rtmp直播服务器的方法
Oct 16 Servers
Apache Pulsar集群搭建部署详细过程
Feb 12 Servers
Shell脚本一键安装Nginx服务自定义Nginx版本
Mar 20 Servers
解决Git推送错误non-fast-forward的方法
Jun 25 Servers
kubernetes集群搭建Zabbix监控平台的详细过程
Jul 07 Servers
Linux安装Docker详细教程
Jul 07 Servers
Nginx代理Redis哨兵主从配置的实现
Jul 15 Servers
Windows和Linux上部署Golang并运行程序
Apr 22 #Servers
阿里云ECS云服务器快照的概念以及如何使用
openstack云计算keystone组件工作介绍
Tomcat项目启动失败的原因和解决办法
Apr 20 #Servers
Tomcat执行startup.bat出现闪退的原因及解决办法
Tomcat starup.bat 脚本实现开机自启动
Apr 20 #Servers
nginx容器方式反向代理实战
You might like
PHPLog php 程序调试追踪工具
2009/09/09 PHP
解析php开发中的中文编码问题
2013/08/08 PHP
PHP include任意文件或URL介绍
2014/04/29 PHP
php加速器eAccelerator的配置参数、API详解
2014/05/05 PHP
php页面,mysql数据库转utf-8乱码,utf-8编码问题总结
2015/08/27 PHP
php中__toString()方法用法示例
2016/12/07 PHP
php获取POST数据的三种方法实例详解
2016/12/20 PHP
php验证码生成器
2017/05/24 PHP
使用PHP开发留言板功能
2019/11/19 PHP
JavaScript 判断日期格式是否正确的实现代码
2011/07/04 Javascript
使用indexOf等在JavaScript的数组中进行元素查找和替换
2013/09/18 Javascript
jQuery 写的简单打字游戏可以提示正确和错误的次数
2014/07/01 Javascript
jQuery中parentsUntil()方法用法实例
2015/01/07 Javascript
JQuery动画与特效实例分析
2015/02/02 Javascript
JS中的Replace方法使用经验分享
2015/05/20 Javascript
javascript实现日期时间动态显示示例代码
2015/09/08 Javascript
详解Bootstrap按钮
2016/01/04 Javascript
js模仿java的Map集合详解
2016/01/06 Javascript
Bootstrap每天必学之弹出框(Popover)插件
2016/04/25 Javascript
js的form表单提交url传参数(包含+等特殊字符)的两种解决方法
2016/05/25 Javascript
jQuery实现自动输入email、时间和域名的方法
2016/08/24 Javascript
jQuery实现ToolTip元素定位显示功能示例
2016/11/23 Javascript
详解axios 全攻略之基本介绍与使用(GET 与 POST)
2017/09/15 Javascript
vue-router的HTML5 History 模式设置
2018/09/08 Javascript
vue踩坑记-在项目中安装依赖模块npm install报错
2019/04/02 Javascript
Python捕捉和模拟鼠标事件的方法
2015/06/03 Python
python批量替换多文件字符串问题详解
2018/04/22 Python
python3学生名片管理v2.0版
2018/11/29 Python
解决Python下json.loads()中文字符出错的问题
2018/12/19 Python
Python GUI学习之登录系统界面篇
2019/08/21 Python
纯CSS3实现表单验证效果(非常不错)
2017/01/18 HTML / CSS
Lampegiganten丹麦:欧洲领先的照明网上商店
2018/04/25 全球购物
大学生入党思想汇报
2014/01/14 职场文书
春节请假条
2014/04/11 职场文书
爱国主义演讲稿
2014/05/07 职场文书
社区禁毒工作方案
2014/06/02 职场文书