实时即未来，大数据项目车联网之实时ETL任务消费数据

Posted 2022-12-15 Maynor996

文章目录

• • • 1 实时ETL任务消费数据
    • • 1 消费数据解析逻辑
      • 2 测试实时ETL消费数据
    • 1 封装flink流处理环境初始化工具类
    • • 1 创建基础任务处理基类
      • 2 测试实时ETL消费数据

1 实时ETL任务消费数据

1 消费数据解析逻辑

创建流式环境，设置检查点、kafka分区发现、任务重启策略，数据积压

根据kafka属性配置创建FlinkKafkaConsumer，消费kafka数据

根据kafka数据获得DataStream，进行json解析

消费数据中的数据解析逻辑:

n 得到解析成功的数据，称为正确数据

u 原始文本为一行可成功解析的json格式数据，且数据中存在不可或缺字段vin、terminalTime

n 得到解析失败的数据，称为异常数据

u json格式不正确；缺少必要字段