2017.4.17 HDP和HDF

Posted 2020-09-11 层林尽染

作为相对于cloudera的CDH的另一个选择是hortonworks的HDP和HDF，HDF是针对物联网的套件，HDP是与CDH对应的大数据平台产品。

hortonworks的HDP和HDF将storm和kafka集成进大数据平台，可以进行统一监控管理。

网络上有两套参考实现，都提供了模拟的数据流。

并且官网上针对货车跟踪有一套方案https://hortonworks.com/hadoop-tutorial/realtime-event-processing-nifi-kafka-storm/，基于HDP

有源码https://github.com/hortonworks-gallery/iot-truck-streaming，该方案除了使用kafka到storm到hbase这一数据流外，

还在kafka之前增加了一个nifi模块，在hbase之上加了一个基于spark的Zeppelin模块，可以进行快速的分析并图表化显示结果。就是项目比较老，不适合产品使用。

在github上有个基于HDF的货车跟踪参考实现https://github.com/orendain/trucking-iot，使用最新版本的HDF。使用的模块是nifi，kafka，storm，且提供了web展示。

有docker镜像可供演示，文档清晰，代码使用的是scala。

尝试搭建HDP，没有什么问题。