hadoop eclipse 插件构建/配置

Posted 2023-04-18

【中文标题】hadoop eclipse 插件构建/配置

【英文标题】：hadoop eclipse plugin build/configure

【发布时间】：2012-11-20 06:06:46

【问题描述】：

我已经能够在 linux 环境中配置和启动 hdfs(apache hadoop)。我尝试了各种方法来使用 HADOOP ECLIPSE PLUGIN 为 hadoop 设置 eclipse 环境。只有被 eclipse 识别的插件 jar 存在 1280 jira 问题，其他方法甚至无法识别，比如从 hadoop src 构建 eclipse 插件等。来自 1280 链接的修补 jar 显示“无法连接到 127.0.0.1:3515 EOFException”。许多博客/论坛都说不同的方法来修补hadoop，使用各种工具等构建等等。 不是有一个稳定的hadoop项目可以用eclipse配置，这样开发人员就可以快速获得环境并处理各种示例吗？我不想使用 Cloudera VM，因为它让我无法以正常方式理解 hadoop，并且安装是一个包含大文件的过程。请有人帮助我以稳定的方式获得 hadoop 环境。

谢谢 查克里

【参考方案1】：

您是否成功安装了 Hadoop？在我的 0.20.2 Hadoop 设置中，以下步骤可用于获得一个正常运行的 Eclipse 插件（在我通过命令行安装 Hadoop 本身之后）：

设置Eclipse，复制插件并重启； use the patched plugin（将 hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar 添加到本地 Eclipse/plugins 文件夹中）。 切换到 Map/Reduce 透视图。如果没有出现 Map/Reduce Locations 选项卡，请转到 Window->Show View->Other 以激活它。确保知道 hdfs 的正确端口（可以在 Hadoop 设置的 core-site.xml 中找到）和 mapreduce 作业（可以在 mapred-site.xml 中找到）正在运行。 Eclipse 插件中的“DfS 位置”需要手动刷新才能看到刚刚添加的新数据，因此如果您右键单击并将文件上传到 HDFS，请务必刷新 要在 Eclipse 中创建新的 Hadoop 项目，请转到新建项目 -> Map/Reduce 项目

【参考方案2】：

@Claudia 除了在创建新的 hadoop 位置时进行这么多设置之外，还有其他与更改高级参数相关的内容吗？在常规选项卡中，端口是正确的，但我仍然遇到异常 - 错误：调用 localhost/127.0.0.1:9000 连接异常失败：java.net.ConnectException：连接被拒绝 master节点就是安装eclipse的那个节点。

【参考方案3】：

关于 ConnectException，如果其他一切都按照 Claudia 的指示完成，如果您仍然在 DFS 位置收到此异常，则表示您使用的插件与 hadoop 版本或 eclipse 版本不兼容您正在使用（通常是后者）。 在这种情况下，请参考here 以便为您正在使用的 eclipse 版本编译一个新插件。