amazon emr pig：使用参数文件

Posted 2023-04-13

【中文标题】amazon emr pig：使用参数文件

【英文标题】：amazon emr pig: use parameter file

【发布时间】：2014-10-13 13:47:31

【问题描述】：

是否可以将参数文件传递给您在亚马逊上的猪作业？ Pig 命令行支持这一点，但我不知道亚马逊是否也支持这一点。 主要思想是我不需要通过命令行向亚马逊发送大量参数，只需上传文件并使用参数文件中的所有值。

所以参数文件看起来像这样： 参数名称=参数值。

pig -f script.pig -param_file parameters.log 有效，但现在我只需要找到亚马逊替代品 :)

提前致谢。

【参考方案1】：

解决了。

要使用参数文件，请像这样在亚马逊上运行它：

--args "-param_file,s3://<LOCATION_PARAM_FILE>"