设置多节点 Hadoop Hortonworks 集群

Posted 2023-02-16

【中文标题】设置多节点 Hadoop Hortonworks 集群

【英文标题】：Setting up Multi Node Hadoop Hortonworks Cluster

【发布时间】：2019-03-08 19:15:17

【问题描述】：

我正在研究 hadoop 中的概念验证，我可能会使用 HDP 和 HDF hortonwork 组件设置一个集群。

数据量确实很小，所以如果我没记错的话，每个节点的磁盘量可能不需要超过10 GB。

主从节点的 CPU 数量和 RAM 的考虑标准是什么？

【参考方案1】：

在您的情况下，您可能正在跨多个节点执行 MapReduce 作业。 以我目前的知识，从节点在任何 CPU 配置和 2/4 GB RAM 下都可以正常运行。对于主节点，您可能需要一台至少具有 4 核、单/双插槽 CPU、8 GB RAM 的机器。