Apache Hudi 从零到一：全面解读写入索引（四）

索引 API

• tagLocation():当一组输入记录在写入过程中传递给索引组件时，会调用此 API来标记每条记录，确定它是否存在于表中，并将其与位置信息关联起来。标记后的记录称为“标记记录”。在 HoodieRecord 模型中，currentLocation 字段将通过这个标记过程来填充。

• updateLocation():在写入存储之后，某些索引需要更新位置信息以与数据表同步。这一过程仅在 IO 后阶段为适用的索引类型执行。

• isGlobal(): Hudi 将索引分类为全局和非全局类型。全局索引在所有表分区中标识唯一记录，因此相对于表是“全局”的。非全局索引则在分区级别验证唯一性。通常，非全局索引由于其扫描空间较小而表现更好，但它们不适用于记录可能在分区之间移动的表。

• canIndexLogFiles():由于实现细节的不同，某些索引能够对 Merge-on-Read 表的日志文件进行索引。此特性影响了写入器创建文件写入句柄的方式：当对于配置的索引为真时，插入将通过 AppendHandle 路由到日志文件。

• isImplicitWithStorage():这是一个特性，表示索引是否与存储上的数据文件一起隐式“持久化”。某些索引会将其索引数据单独存储。

02

索引类型

1. 简单索引 (Simple Index)

2. 布隆索引 (Bloom Index)

• 第一阶段涉及将输入键与使用基本文件（Base Files）页脚中存储的最小和最大记录键值构建的区间树进行比较。落在这些范围之外的键表示新的插入记录，而其余的键被视为下一阶段的候选对象。

• 第二阶段将候选键与反序列化的 Bloom 过滤器进行检查，帮助确定确实不存在的键和可能存在的键。然后使用过滤后的键和关联的基本文件进行实际文件查找，随后返回用于标记的键和位置元组。

3. 桶索引 (Bucket Index)

4. HBase 索引 (HBase Index)

5. 记录级索引 (Record-Level Index)

03

回顾