实时即未来，大数据项目车联网之常用部分字段明细数据ETL

Posted 2023-01-13 Maynor996

文章目录

• • 1. 车辆常用部分字段明细数据ETL
  • • 1.1 自定义sink实现数据写入hbase
    • 1.2 phoenix明细数据视图
  • 2. 车辆明细数据统计
  • • 2.1 车辆总数统计
    • 2.2 车辆电量统计
    • 2.3 车辆油耗统计
    • 2.4 车辆速度统计

1. 车辆常用部分字段明细数据ETL

从原始数据中加载出车辆指标：电量百分比(currentElectricity)、当前电量(remainPower)、百公里油耗(fuelConsumption100km)、发动机速度(engineSpeed)、车辆速度(vehicleSpeed)

除此之外，最终数据落地hbase，与phoenix建立关联视图，通过phoenix查询明细，因此行主键(rowKey)、车架号(vin)、终端时间(terminalTime)、存储时间(processTime)

创建hbase车辆指标即席查询明细表：

create “itcastsrc_vehicle_de