hortonworks 沙盒猪脚本

Posted 2023-04-18

【中文标题】hortonworks 沙盒猪脚本

【英文标题】：hortonworks sandbox pig script

【发布时间】：2015-01-23 23:10:51

【问题描述】：

您好，我刚刚在 Windows 7 上的 VirtualBox 上设置了 Hortonworks Sandbox。我已启动并运行所有内容，并开始了猪教程。我想运行这个简单的表加载猪脚本：

-- Get all IBM stocks
a = LOAD 'default.nyse_stocks' USING org.apache.hive.hcatalog.pig.HCatLoader();
b = filter a by stock_symbol == 'IBM';
dump b;

我收到此错误：

Failed to parse: Pig script failed to parse: 
<file script.pig, line 2, column 37> pig script failed to validate: org.apache.pig.backend.executionengine.ExecException: ERROR 1070: Could not resolve org.apache.hive.hcatalog.pig.HCatLoader using imports: [, java.lang., org.apache.pig.builtin., org.apache.pig.impl.builtin.]

不确定想做什么。对 Hadoop 来说相当新。 谢谢

【问题讨论】：

你可以试试“pig -useHCatalog”选项吗？

尝试注册hcatalog-core jar文件

我尝试了“pig -useHCatalog”选项，但仍然收到相同的错误消息。

所以我用了这个。 link 。当我尝试使用 ssh 会话运行 -useHCatalog 选项时，它不起作用，但它完全适用于色调。感谢您的回复。

【参考方案1】：

如果有人像我一样遇到这个问题，在完成 Hortonworks HDP 2.4 教程之后，答案是：

   1. Open the script in the Pig view in Ambari
   2. Below the query editor, there are 'Arguments'
   3. Choose +Add, then type in -useHCatalog

【参考方案2】：

将jar文件名hcatalog*.jar复制到路径“\bin\share\hcatalog”

【参考方案3】：

使用“参数”（由 beeks 回答）有效，但需要注意以下情况：-useHCatalog，而不是 -useHcatalog。