从远程服务器连接到 pig
Posted
技术标签:
【中文标题】从远程服务器连接到 pig【英文标题】:Connecting to pig from remote server 【发布时间】:2013-08-26 15:30:59 【问题描述】:我是 Hortonworks Sandbox 的新手,我想知道它是否允许使用 curl 从远程机器建立外部连接以检索已完成的作业或启动新作业。如果可以,请提供一个使用它的示例。
我已经尝试了一段时间,并且我继续在页面中登录作为 curl 请求的响应(即使我使用来自 curl 的 user|password 命令使用适当的凭据)。
我正在使用 Hortonworks 提供的免费下载的 Hortonworks Sandbox v1.3 虚拟盒映像来运行环境。
【问题讨论】:
您是在谈论 oozie 工作流程还是通用 M/R 作业? 只是通用的 M/R 工作 【参考方案1】:Pig 不是服务,因此您无法连接到它。 取而代之的是,您可以考虑连接到 WebHCat(以前称为 Templeton),它具有 REST-API 来连接 hive、pig 和其他几个组件。文档在这里:http://docs.hortonworks.com/HDPDocuments/HDP1/HDP-1.2.4/bk_dataintegration/content/ch_using_hcatalog_1.html
如果你使用VBox版本,使用127.0.0.1:9090连接webhcat,如果是其他版本,使用:9090
特别是看 Templeton/v1/queue/:jobid 来检索作业状态,
templeton/v1/pig 启动猪工作
【讨论】:
以上是关于从远程服务器连接到 pig的主要内容,如果未能解决你的问题,请参考以下文章