以下使用 Hadoop 生态系统的用例的最佳方法是啥？

Posted 2023-04-18

【中文标题】以下使用 Hadoop 生态系统的用例的最佳方法是啥？

【英文标题】：Which is the best approach for the below use case using Hadoop ecosystem?以下使用 Hadoop 生态系统的用例的最佳方法是什么？

【发布时间】：2016-03-24 09:51:06

【问题描述】：

我通过 restservice 从 1000 多个传感器单元获取数据到我的 Web 服务器，我将这些传感器数据写入单个文件。 我通过 Flume 将这些传感器数据存储到 HDFS。 通过 PIG、Hive 和 MR，我正在分析数据并将其存储回 HDFS 4。分析后，我将通过 Sqoop 写回 RDBMS。 请指导我我是否遵循正确的方法？

【问题讨论】：

听起来不错，您是在存储结果之前在 PIG 中进行地图缩减，对吧？

是的，先生，感谢我们的宝贵意见。

【参考方案1】：

我认为该管道没有任何问题，如果它满足您的需求......您就是黄金。

你可能想读一些关于 Kafka 的文章；也许谷歌“Kafka vs. Flume”。根据您的限制，您可能会发现 Kafka 很有吸引力。

【讨论】：

是的，先生，感谢我们的宝贵意见。