大数据Kudu：Flink操作Kudu

Posted 2022-12-23 Lansonli

文章目录

Flink操作Kudu

---

Flink操作Kudu

Flink主要应用场景是流式数据处理上，有些公司针对流式数据使用Flink实时分析后将结果存入Kudu,例如快手公司。这里将实时计算的结果存入Kudu需要自定义Flink Kudu Sink。

场景：Flink实时读取Socket数据，将结果存入Kudu表t_flink_result,为了方便操作不再创建Kudu外表，这里在Impala中创建Kudu内表t_flink_result：

create table t_flink_result
(
	id  int,
	name string,
	age int,
	primary key (id)
)
partition by hash partitions 3
stored as kudu
tblproperties(
 \'kudu.master_address\' = \'cm1:7150,cm2:7150\'
)

在Maven中导入以下Flink 包依