错误解析参数,amazon aws emr
Posted
技术标签:
【中文标题】错误解析参数,amazon aws emr【英文标题】:Error parsing parameter, amazon aws emr 【发布时间】:2016-07-12 10:06:43 【问题描述】:我正在尝试通过 Linux 控制台创建一个步骤:
aws emr add-steps --cluster-id j-XXXXXXXXXX --steps Type=CUSTOM_JAR,Name="S3DistCp step",Jar=/home/hadoop/lib/emr-s3distcp-1.0.jar,\
Args=["--s3Endpoint,s3-eu-west-1.amazonaws.com","--src,s3://folder-name/logs/j-XXXXXXXXXX/node/","--dest,hdfs:///output","--srcPattern,.*[a-zA-Z,]+"]
我跳转如下错误
解析参数“--steps”时出错:预期:“,”,接收到:“+”作为输入
我该如何解决?
我正在寻找一种将多个文件上传到 S3 和 S3DistCp 的解决方案,该解决方案是 Hive 为 Amazon EMR 收集的。有没有其他办法?
我还有一个问题: 现在我正在创建一个 SSH 隧道来连接 Hive,我如何连接 php?
目前我已经通过删除“src Pattern”解决了这个错误,但是给了我另一个错误,我在下面添加了图片
Image error
这是出现的错误
INFO Synchronously wait child process to complete : hadoop jar /var/lib/aws/emr/step-runner/hadoop-
INFO waitProcessCompletion ended with exit code 1 : hadoop jar
/var/lib/aws/emr/step-runner/hadoop-
INFO total process run time: 2 seconds
2016-07-12T14:26:48.744Z INFO Step created jobs:
2016-07-12T14:26:48.744Z WARN Step failed with exitCode 1 and took 2 seconds
谢谢!!!
【问题讨论】:
错误解析很奇怪,您是否尝试将您的选项放在 json 文件中并使用 Json 文件调用命令只是为了看看它是否有帮助 你好 Frederic,我必须努力删除“src Pattern”,现在我收到另一个错误,这与亚马逊中指定的不太一样(我在图片上方) 【参考方案1】:尝试 JSON 配置
[
"Name":"S3DistCp step",
"Args":["s3-dist-cp","--s3Endpoint=s3.amazonaws.com","--src=s3://mybucket/logs/j-3GYXXXXXX9IOJ/node/","--dest=hdfs:///output","--srcPattern=.*[a-zA-Z,]+"],
"ActionOnFailure":"CONTINUE",
"Type":"CUSTOM_JAR",
"Jar":"command-runner.jar"
]
aws emr add-steps --cluster-id j-3GYXXXXXX9IOK --steps file://./myStep.json
http://docs.aws.amazon.com/emr/latest/ReleaseGuide/UsingEMR_s3distcp.html#UsingEMR_s3distcp.step
【讨论】:
以上是关于错误解析参数,amazon aws emr的主要内容,如果未能解决你的问题,请参考以下文章
json Amazon AWS EMR配置 - http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hdfs-config.html
在 AWS EMR 上的 PySpark 脚本上找不到 com.amazon.ws.emr.hadoop.fs.EmrFileSystem