Hadoop pig 连接错误 - historyserver 不会启动

Posted 2023-04-18

【中文标题】Hadoop pig 连接错误 - historyserver 不会启动

【英文标题】：Hadoop pig connection error - historyserver won't start

【发布时间】：2016-05-26 14:23:29

【问题描述】：

基本上有一个以前出现过的问题：例如here描述的同样的问题。

如果我尝试使用 pig 脚本，我会收到连接错误。

查看它，确实历史服务器没有运行。似乎很容易修复。但后来……不是。

遗憾的是，我尝试以我知道的两种方式启动历史服务器：

1) 进入 hadoop sbin 并使用：

   mr-jobhistory-daemon.sh start historyserver

结果：

  bash: mr-jobhistory-daemon.sh: command not found

即使当我对目录 mr-jobhistory-daemon.sh 执行 ls 时，确实列出了。

2) 只需这样做：

  sudo service hadoop-mapreduce-historyserver start

这至少不会引发“未找到”错误。但相反：

  Failed to start Hadoop historyserver. Return value: 1      [FAILED]

不幸的是，链接的日志文件完全是空的。

因此：同样的问题，但我知道的解决方案似乎不起作用。

我很确定我忽略了一些东西 - 因为我很确定一年前我在使用不同的设置时遇到了同样的问题。但我不记得我当时是如何解决的。

我正在使用 CentOS 6.5 在 VMWare 播放器上的 centos VM 上运行最新版本的 hadoop (2.7.2)。

【问题讨论】：

尝试 sh mr-jobhistory-daemon.sh start historyserver 或 bash mr-jobhistory-daemon.sh start historyserver 或 ./mr-jobhistory-daemon.sh start historyserver，你得到的东西不是 ' bash: mr-jobhistory-daemon.sh: command not found' 这样做？

@Koffee 实际上这确实有一些效果。我想我知道问题所在，只是不知道如何解决它。它说“无法创建目录”、“'tom' 之后缺少操作符”，然后 /bin/mapred 没有这样的文件或目录。我猜这是后来最大的问题。但我很困惑为什么它不存在。

【参考方案1】：

改用它（./mr-jobhistory-daemon.sh start historyserver）并通过从终端运行 jps 命令来验证它！

【参考方案2】：

我使用的是 CentOS 6.2，这样做对我有用

使用以下命令编辑 .bashrc： sudo gedit ~/.bashrc

并将路径添加到您的 hadoop sbin： export PATH=$PATH:$/<user>/.../hadoop/hadoop-2.6.0/sbin

现在关闭终端并重新打开它。

运行命令： source ~/.bashrc

现在尝试运行历史服务器： mr-jobhistory-daemon.sh start historyserver