在单个节点上安装 PIG
Posted
技术标签:
【中文标题】在单个节点上安装 PIG【英文标题】:Installing PIG on single node 【发布时间】:2012-07-13 11:46:58 【问题描述】:我使用 Cygwin 在 Windows 7 上为单个节点安装了 Hadoop (1.0.2),它正在工作。但是,我无法让 PIG (0.10.0) 看到 Hadoop。
1) "Error: JAVA_HOME is not set."
我将这一行添加到 pig(在 bin 下):export JAVA_HOME=/cygdrive/c/PROGRA~1/Java/jdk1.7.0_05
2) which: no hadoop in (/usr/local/b.....)
cygpath: cannot create short name of C:\pig-0.10.0\logs
Cannot locate pig.jar. do 'ant jar', and try again
我尝试在 pig 中添加以下行,但它仍然没有找到 hadoop。我该怎么办?
export PIG_HOME="/cygdrive/c/pig-0.10.0"
export PATH=$PATH:$PIG_HOME/bin
export PIG_CLASSPATH=/cygdrive/hadoop/hadoop-1.0.2/conf
【问题讨论】:
【参考方案1】:您可能还需要将 Hadoop 安装添加到您的路径中。例如
export HADOOP_INSTALL=/Users/yourname/dev/hadoop-0.20.203.0
export PATH=$PATH:$HADOOP_INSTALL/bin
【讨论】:
【参考方案2】:我对 pig-0.11 有同样的问题。似乎这是 cygwin 特定的问题。
将 pig-0.11.1-withouthadoop 复制到 PIG_HOME 下的 pig-withouthadoop.jar 为我解决了这个问题
【讨论】:
Sudhir,我已将 pig-0.10.1-withouthadoop.jar 添加到 PIG_HOME 下,但它并没有解决问题。我不断收到同样的错误:“找不到 pig-withouthadoop.jar。做 'ant jar-withouthadoop',然后再试一次”我的 .bashprofile 看起来像这样:export HADOOP_HOME=/c/Hadoop export PIG_HOME=/c/PIG导出 PATH=$PATH:$HADOOP_HOME/bin 导出 PATH=$PATH:$PIG_HOME/bin 我尝试将“pig-0.10.1-withouthadoop.jar”重命名为“pig-withouthadoop”,然后我也面临同样的问题。对此的任何帮助将不胜感激。【参考方案3】:我试图在安装了 Windows 7 的网关机器上设置 PIG。
这个问题是 Cygwin 特有的。
头疼了几个小时后,我找到了解决方案:
解决方法很简单。
只需将“pig-0.10.1-withouthadoop.jar”下的jar文件重命名为“pig-withouthadoop.jar”即可。
其记录在案的here
【讨论】:
【参考方案4】:另外,您可以在 Windows 7 中手动将路径:(hadoop 目录)\hadoop-v.v.v\bin 添加到环境变量中。这将解决此问题
which: no hadoop in (/usr/local/b.....)
【讨论】:
【参考方案5】:您必须访问此页面才能在 hadoop 2.2.0 上安装 pig 12 且不会出现任何错误,因为它会为指定的 hadoop 版本重新编译 pig 库。
http://javatute.com/javatute/faces/post/hadoop/2014/installing-pig-11-for-hadoop-2-on-ubuntu-12-lts.xhtml
按照步骤操作后,你会在 grunt 上得到运行中的猪,没有任何错误。
尽情享受吧。
% pig [return]
【讨论】:
【参考方案6】:我在 Fedora 19 上安装的 Pig 0.12.0(和 Hadoop 1.0.3)也有类似的问题。 尝试任何 Pig 命令时,例如
pig -help
我收到了错误:
Cannot locate pig-withouthadoop.jar. do 'ant jar-withouthadoop.jar', and try again
Hadoop 和 Pig 安装 /bin 文件夹已正确包含在我的 PATH 中。
只需将 pig-0.12.0-withouthadoop.jar 复制到 PIG_HOME 文件夹即可解决此问题。
【讨论】:
以上是关于在单个节点上安装 PIG的主要内容,如果未能解决你的问题,请参考以下文章