使用亚马逊弹性mapreduce服务时如何在hadoop中包含第三方库

Posted 2023-04-18

【中文标题】使用亚马逊弹性mapreduce服务时如何在hadoop中包含第三方库

【英文标题】：How to include third party library in hadoop when Using amazon elastic mapreduce service

【发布时间】：2012-10-24 23:02:40

【问题描述】：

我必须使用名为 weka 的第三方库执行一些数据挖掘任务。但我不确定如何在亚马逊弹性 mapreduce 服务中包含所需的 jar 文件。

有没有人处理这个案子的经验？

【参考方案1】：

一个简单的解决方案是将您的依赖项与映射器和缩减器一起放入您的 jar 文件中。 如果您使用 Maven 构建，我建议使用 Maven Assembly Plugin 插件来打包一个包含所有依赖项的 jar。