flink通过sink的方式写入dorisdb数据源

Posted 2022-08-02 张小凡vip

我们在之前的文章中已经 通过 mongodbsource获取了 相关数据，详情参考

flink读取mongodb数据源批处理全量获取实践

本篇文章 记录把获取到的数据 sink导入到 dorisdb。

创建erp_order_test表

在dorisdb的shell命令行中使用命令创建表格

create table erp_order_test (order_id STRING,  order_time DATETIME) DISTRIBUTED by hash(order_id) BUCKETS 10 PROPERTIES("replication_num"="1");

更多dorisdb相关的sql命令参考官网文档

项目引入jar包

flink的用户想要将数据sink到DorisDB当中，但是flink官方只提供了flink-connector-jdbc, 不足以满足导入性能要求，为此dorisdb官方新增了一个flink-connector-dorisdb，内部实现是通过缓存并批量由stream load导入。

注意 新版本已经重命名为flink-connector-starrocks ，可以在中央仓库中找到。

引入jar包

        <depende