数据湖(二十):Flink兼容Iceberg目前不足和Iceberg与Hudi对比

Posted Lansonli

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了数据湖(二十):Flink兼容Iceberg目前不足和Iceberg与Hudi对比相关的知识,希望对你有一定的参考价值。

文章目录

Flink兼容Iceberg目前不足和Iceberg与Hudi对比

一、Flink兼容Iceberg目前不足

二、Iceberg与Hudi对比


Flink兼容Iceberg目前不足和Iceberg与Hudi对比

一、Flink兼容Iceberg目前不足

  • Iceberg目前不支持Flink SQL 查询表的元数据信息,需要使用Java API 实现。
  • Flink不支持创建带有隐藏分区的Iceberg表
  • Flink不支持带有WaterMark的Iceberg表
  • Flink不支持添加列、删除列、重命名列操作。
  • Flink对Iceberg Connector支持并不完善。

二、Iceberg与Hudi对比

Iceberg和Hudi都是数据湖技术,从社区活跃度上来看,Iceberg有超越Hudi的趋势。他们有以下共同点:

  • 都是构建于存储格式之上的数据组织方式
  • 提供ACID能力,提供一定的事务、并行执行能力
  • 提供行级别数据修改能力。
  • 提供一定的Schema扩展能力,例如:新增、修改、删除列操作。
  • 支持数据合并,处理小文件。
  • 支持Time travel 查询快照数据。
  • 支持批量和实时数据读写

Iceberg与Hudi之间不同点在于以下几点:

  • Iceberg支持Parquet、avro、orc数据格式,Hudi支持Parquet和Avro格式。
  • 两者数据存储和查询机制不同

Iceberg只支持一种表存储模式,就是有metadata file、manifest file和data file组成存储结构,查询时首先查找Metadata元数据进而过滤找到对应的 SnapShot对应的manifest files ,再找到对应的数据文件。Hudi支持两种表存储模式:Copy On Write(写时合并) 和Merge On Read(读时合并),查询时直接读取对应的快照数据。

  • 对于处理小文件合并时,Iceberg只支持API方式手动处理合并小文件,Hudi对于小文件合并处理可以根据配置自动的执行。
  • Spark与Iceberg和Hudi整合时,Iceberg对SparkSQL的支持目前来看更好。Spark与Hudi整合更多的是Spark DataFrame API 操作。
  • 关于Schema方面,Iceberg Schema与计算引擎是解耦的,不依赖任何的计算引擎,而Hudi的Schema依赖于计算引擎Schema。

  • 📢博客主页:https://lansonli.blog.csdn.net
  • 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!
  • 📢本文由 Lansonli 原创,首发于 CSDN博客🙉
  • 📢停下休息的时候不要忘了别人还在奔跑,希望大家抓紧时间学习,全力奔赴更美好的生活✨

以上是关于数据湖(二十):Flink兼容Iceberg目前不足和Iceberg与Hudi对比的主要内容,如果未能解决你的问题,请参考以下文章

数据湖(十七):Flink与Iceberg整合DataStream API操作

Flink + Iceberg + 对象存储,构建数据湖方案

Flink + Iceberg + 对象存储,构建数据湖方案

数据湖(十七):Flink与Iceberg整合DataStream API操作

数据湖(十八):Flink与Iceberg整合SQL API操作

Flink 如何实时分析 Iceberg 数据湖的 CDC 数据