在单个节点上安装 PIG

Posted

技术标签:

【中文标题】在单个节点上安装 PIG【英文标题】:Installing PIG on single node 【发布时间】:2012-07-13 11:46:58 【问题描述】:

我使用 Cygwin 在 Windows 7 上为单个节点安装了 Hadoop (1.0.2),它正在工作。但是,我无法让 PIG (0.10.0) 看到 Hadoop。

1) "Error: JAVA_HOME is not set."

我将这一行添加到 pig(在 bin 下):export JAVA_HOME=/cygdrive/c/PROGRA~1/Java/jdk1.7.0_05

2) which: no hadoop in (/usr/local/b.....)
cygpath: cannot create short name of C:\pig-0.10.0\logs
Cannot locate pig.jar. do 'ant jar', and try again

我尝试在 pig 中添加以下行,但它仍然没有找到 hadoop。我该怎么办?

export PIG_HOME="/cygdrive/c/pig-0.10.0"
export PATH=$PATH:$PIG_HOME/bin
export PIG_CLASSPATH=/cygdrive/hadoop/hadoop-1.0.2/conf

【问题讨论】:

【参考方案1】:

您可能还需要将 Hadoop 安装添加到您的路径中。例如

export HADOOP_INSTALL=/Users/yourname/dev/hadoop-0.20.203.0 
export PATH=$PATH:$HADOOP_INSTALL/bin

【讨论】:

【参考方案2】:

我对 pig-0.11 有同样的问题。似乎这是 cygwin 特定的问题。

将 pig-0.11.1-withouthadoop 复制到 PIG_HOME 下的 pig-withouthadoop.jar 为我解决了这个问题

【讨论】:

Sudhir,我已将 pig-0.10.1-withouthadoop.jar 添加到 PIG_HOME 下,但它并没有解决问题。我不断收到同样的错误:“找不到 pig-withouthadoop.jar。做 'ant jar-withouthadoop',然后再试一次”我的 .bashprofile 看起来像这样:export HADOOP_HOME=/c/Hadoop export PIG_HOME=/c/PIG导出 PATH=$PATH:$HADOOP_HOME/bin 导出 PATH=$PATH:$PIG_HOME/bin 我尝试将“pig-0.10.1-withouthadoop.jar”重命名为“pig-withouthadoop”,然后我也面临同样的问题。对此的任何帮助将不胜感激。【参考方案3】:

我试图在安装了 Windows 7 的网关机器上设置 PIG。

这个问题是 Cygwin 特有的。

头疼了几个小时后,我找到了解决方案:

解决方法很简单。

只需将“pig-0.10.1-withouthadoop.jar”下的jar文件重命名为“pig-withouthadoop.jar”即可。

其记录在案的here

【讨论】:

【参考方案4】:

另外,您可以在 Windows 7 中手动将路径:(hadoop 目录)\hadoop-v.v.v\bin 添加到环境变量中。这将解决此问题

which: no hadoop in (/usr/local/b.....)

【讨论】:

【参考方案5】:

您必须访问此页面才能在 hadoop 2.2.0 上安装 pig 12 且不会出现任何错误,因为它会为指定的 hadoop 版本重新编译 pig 库。

http://javatute.com/javatute/faces/post/hadoop/2014/installing-pig-11-for-hadoop-2-on-ubuntu-12-lts.xhtml

按照步骤操作后,你会在 grunt 上得到运行中的猪,没有任何错误。

尽情享受吧。

% pig [return] 

【讨论】:

【参考方案6】:

我在 Fedora 19 上安装的 Pig 0.12.0(和 Hadoop 1.0.3)也有类似的问题。 尝试任何 Pig 命令时,例如

pig -help

我收到了错误:

Cannot locate pig-withouthadoop.jar. do 'ant jar-withouthadoop.jar', and try again

Hadoop 和 Pig 安装 /bin 文件夹已正确包含在我的 PATH 中。

只需将 pig-0.12.0-withouthadoop.jar 复制到 PIG_HOME 文件夹即可解决此问题。

【讨论】:

以上是关于在单个节点上安装 PIG的主要内容,如果未能解决你的问题,请参考以下文章

如何查看Hadoop上安装的pig版本

标志 -useHCatalog 不起作用

猪按命令分组不起作用

使用 Hadoop 配置猪关系

从 ozzie hadoop 运行 install pig

二进制安装k8s-单个master节点