在 hadoop 集群上部署 Mahout

Posted 2023-03-12

【中文标题】在 hadoop 集群上部署 Mahout

【英文标题】：Deploying Mahout on hadoop cluster

【发布时间】：2011-08-06 06:58:15

【问题描述】：

我想在 5 台机器的 hadoop 集群中运行 Mahout 的 K-Means 示例。我应该在所有节点中保留哪些 Mahout jar 文件，以便 K-Means 以分布式方式执行。 谢谢。

-文基拉姆

【参考方案1】：

如果您真的只想运行内置 K-Means 或其他带有静态驱动程序的作业，答案是“无”。 mahout 的“工作”罐子是独立的 hadoop 工作罐子。如果您使用“hadoop 作业”向集群提交作业，则它可以在没有任何其他 jar 的情况下工作。

【讨论】：

谢谢。我已经在主节点中安装了 Mahout jar，我是否也应该在所有从节点中复制它？

现在你已经超出了我对 hadoop 的了解。

作业驱动程序不应该通过在它使用的所有节点上本地化 .jar 来解决这个问题吗？