AWS Data Pipeline 在 emr 活动步骤部分中转义逗号

Posted

技术标签:

【中文标题】AWS Data Pipeline 在 emr 活动步骤部分中转义逗号【英文标题】:AWS Data Pipeline Escaping Comma in emr activity step section 【发布时间】:2017-12-05 08:20:03 【问题描述】:

我正在使用 aws Web 控制台中提供的架构师创建一个 aws 数据管道。

一切都设置好了,我的 emrcluster 已配置并成功启动。

但是当我尝试提交 emr 活动时,我遇到了以下问题:

在 emr 活动的步骤部分,我的要求是为 --packages 参数提供 3 个包

但据我所知,emractivity 中的步骤是一个逗号分隔值,commas (,) 在生成的步骤参数中被替换为空格。

另一方面,--packages 参数也是一个逗号分隔的值,以防多个包。

现在,当我尝试将其作为参数传递时,逗号被替换为使步骤无效的空格。

这是我需要的语句,因为它在生成的 emr 步骤中:

--packages com.amazonaws:aws-java-sdk-s3:1.11.228,org.apache.hadoop:hadoop-aws:2.6.0,org.postgresql:postgresql:42.1.4

转义逗号有什么办法吗?

到目前为止,我尝试http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-emractivity.html中提到的\\\\方式

没用。

【问题讨论】:

【参考方案1】:

当你使用\\\\, 时,它会转义斜杠并且逗号会被替换。 您可以尝试使用三个斜线,同样对我有用。喜欢\\\,。 我希望这有效

【讨论】:

为 Harpaul 节省了大量时间。非常感谢! 逗号怎么转义?

以上是关于AWS Data Pipeline 在 emr 活动步骤部分中转义逗号的主要内容,如果未能解决你的问题,请参考以下文章

AWS Data Pipeline 的默认日期时间

在 AWS Data Pipeline 中创建聚合表

AWS Data Pipeline 无法验证 S3 访问 [权限警告]

AWS Data Pipeline - 创建定义时出错

什么是 AWS Data Pipeline

AWS:通过使用 amazon-data-pipeline 将数据从 S3 传输到 Redshift 来实现除 COPY 之外的其他功能