实时即未来，大数据项目车联网之实时ETL开发的核心逻辑

Posted 2022-12-15 Maynor996

文章目录

• • • 1 实时ETL开发的核心逻辑
    • • 1 自定义方法解析json数据
      • 2 实时ETL数据存储
      • • 2.1 数据落地HDFS：*StreamingFileSink*
        • • 2.1 文件格式
          • 2.2 桶分配逻辑
          • 2.3 滚动策略
        • 2.2 异常数据落地*hdfs*
        • 3 正常数据落地*hdfs*

1 实时ETL开发的核心逻辑

1 自定义方法解析json数据

读取kafka数据后，对原始数据解析，筛选出解析成功的数据，并把数据转换对象，便于后续逻辑操作。

自定义解析json数据为对象：

//TODO 7）将json字符串解析成