如何参数化 AWS EMR 中的步骤名称？

Posted 2023-04-17

【中文标题】如何参数化 AWS EMR 中的步骤名称？

【英文标题】：How to parameterize the Step Name in AWS EMR?

【发布时间】：2021-09-23 16:56:05

【问题描述】：

我试图用 Name 值连接一些东西-

step = "Name": "what_you_do-" + time.strftime("%Y%m%d-%H:%M"),
        'ActionOnFailure': 'CONTINUE',
        'HadoopJarStep': 
            'Jar': 's3n://elasticmapreduce/libs/script-runner/script-runner.jar',
            'Args': 'sd'
        

但它给出了参数验证错误-

    "errorMessage": "Parameter validation failed:\nInvalid type for parameter Steps[0].HadoopJarStep.Args, value: sd, type: <class 'str'>, valid types: <class 'list'>, <class 'tuple'>",
  "errorType": "ParamValidationError",

当我尝试下面的方法时，它也会抛出参数验证错误-

"Name.$": "$.variable",
        'ActionOnFailure': 'CONTINUE',
        'HadoopJarStep': 
            'Jar': 's3n://elasticmapreduce/libs/script-runner/script-runner.jar',
            'Args': 'sd'
        
    

【参考方案1】：

Args 必须是下面的数组样本

'HadoopJarStep': 
            'Jar': 's3n://elasticmapreduce/libs/script-runner/script-runner.jar',
            'Args': ['sd']
        

【讨论】：

其实参数部分对我来说还可以。想知道是否有办法参数化“名称”。