flink 读JDQ和写JDQ的流程

Posted 2021-03-26 allen-rg

ReadFromJDQ3

1）消费JDQ的必要信息，通过参数传入，有6个参数

2）获取flink JDQ3的鉴权客户端

3）根据鉴权客户端获取消费属性的配置

4）构建应用环境ENV和checkpoint机制

5）构建JDQ3（基于kafka）对应的消费客户端，flink用来消费实时订单消息

6) 根据自己的业务构建计算DAG

7）打印Stream流打印到标准输出，触发job执行

 

WriteToJDQ3

1) 生产JDQ的必要信息，通过参数传入，有5个参数

2）获取Flink JDQ3的鉴权客户端

3）根据鉴权客户端获取生产属性配置(已设置必要连接信息)

4）构建应用环境ENV和checkpoint机制

5）构建JDQ3（基于kafka）对应的生产客户端，flink用于生产数据

6）根据自己的业务构建计算DAG

7）写数据到JDQ3，触发job执行

 

消费JDQ2.0，然后将数据写入ES1.x
用flink计算实时特征，然后写入ES