使用 Karmasphere Analyst 和 Amazon Elastic MapReduce 设置 jobconf 参数

Posted 2023-04-17

【中文标题】使用 Karmasphere Analyst 和 Amazon Elastic MapReduce 设置 jobconf 参数

【英文标题】：Setting jobconf parameters with Karmasphere Analyst & Amazon Elastic MapReduce

【发布时间】：2012-01-11 04:02:21

【问题描述】：

Karmasphere Analyst profiler 建议我设置一些 jobconf 参数，例如 mapred.map.output.compression.codec=org.apache.hadoop.io.compress.LzoCodec。但我不知道在哪里设置这些，也无法在 Karmasphere Analyst 文档中找到它。

我尝试在 Access->Configuration->Extra Settings 中进行设置，但似乎没有任何效果。我还尝试在“新云连接”窗口中将其放在“附加参数”字段中（作为 JSON 字符串，mapred.map.output.compression.codec=org.apache.hadoop.io.compress.LzoCodec )，但这会导致静默失败，并且作业流程没有启动。

感谢您的帮助！

【参考方案1】：

您必须在“Extra Settings”中设置选项，并将所需的 jar 文件添加到集群连接配置的 Classes/Resource 选项卡中。