设置hadoop集群

Posted 2023-04-18

【中文标题】设置hadoop集群

【英文标题】：Setting up hadoop cluster

【发布时间】：2014-05-14 15:46:13

【问题描述】：

hadoop 集群中的工作节点是否需要在每个节点上安装 hadoop？

如果我只需要一些PC的计算能力，我可以只使用map-reduce而不在每个节点上安装HDFS吗？

【参考方案1】：

当您说工作节点时，它包括 DataNodes 和 TaskTracker。因此，从这个意义上说，如果您希望运行 MR 作业，您需要在每台机器上使用它们。

但这里的重点是你会单独使用 MR 做什么。我的意思是对存储在本地 FS 中的数据运行 MR 作业不会有太大用处，因为在这种情况下您无法利用 Hadoop 提供的分布式数据存储和并行性的强大功能。

【参考方案2】：

要使用节点的计算能力，您需要在该节点上运行 TaskTracker。因此，必须安装 Hadoop。

如果不需要HDFS，可以只运行TaskTracker，不启动DataNode。