在 hadoop 多节点集群上运行 mahout kmeans

Posted 2023-04-17

【中文标题】在 hadoop 多节点集群上运行 mahout kmeans

【英文标题】：Running mahout kmeans on hadoop multi node cluster

【发布时间】：2012-09-12 14:16:19

【问题描述】：

我在多节点集群上运行 kmeans。输入大小约为 100mb，我已经修改了这样的 bin/mahout 文件

.

.

.

MAHOUT_OPTS="$MAHOUT_OPTS -Dmapred.min.split.size=10MB"

.

.

MAHOUT_OPTS="$MAHOUT_OPTS -Dmapred.map.tasks=10"

在每次迭代中我得到

12/09/12 17:05:02 INFO mapred.JobClient: Launched map tasks=1

12/09/12 17:05:02 INFO mapred.JobClient: 启动reduce tasks=6

12/09/12 17:05:02 INFO mapred.JobClient: Data-local map tasks=1

这是否意味着它在单节点而不是多节点上运行？如果是这样，我在配置中错过了什么？

【参考方案1】：

如果你想要更多的分割，当然你想设置最大分割大小而不是最小。它仍然只是对集群的一个建议。