阿帕奇水槽和阿帕奇风暴有啥区别？

Posted 2023-02-16

【中文标题】阿帕奇水槽和阿帕奇风暴有啥区别？

【英文标题】：What is difference between Apache flume and Apache storm?阿帕奇水槽和阿帕奇风暴有什么区别？

【发布时间】：2017-11-03 17:34:07

【问题描述】：

Apache Flume 和 Apache Storm 有什么区别？

是否可以使用 Storm 将日志数据摄取到 Hadoop 集群中？ 两者都用于流式传输数据，因此可以使用 Storm 作为 Flume 的替代品吗？

【参考方案1】：

Apache Flume 是一种用于收集大量流数据（尤其是日志）的服务。 Flume 使用称为数据接收器的机制将数据推送给消费者。 Flume 可以直接将数据推送到许多流行的接收器，包括 HDFS、HBase、Cassandra 和一些关系数据库。 Apache Storm 涉及流数据。它是批处理和流处理之间的桥梁，Hadoop 本身并不能处理这些处理。 Storm 连续运行，处理传入数据流并将其分割成批次，因此 Hadoop 可以更轻松地摄取它。数据源称为 spout，每个处理节点都是一个 bolt。 Bolts 对数据执行计算和处理，包括将输出推送到数据存储和其他服务。

如果您需要开箱即用的东西，请选择 Flume，一旦您决定是推还是拉更有意义。如果目前流数据只是您已经开发的 Hadoop 环境的一个小插件，Storm 是一个不错的选择。

可以使用 Storm 将日志数据摄取到 Hadoop 集群中

我们可以用风暴代替水槽

【讨论】：

@hassam 如果您满意，请接受答案并帮助社区