AWS Data Pipeline - 创建定义时出错

Posted 2023-03-30

技术标签:

【中文标题】AWS Data Pipeline - 创建定义时出错【英文标题】：AWS Datapipline - error in creating defination 【发布时间】：2015-10-23 07:14:02 【问题描述】：

我正在尝试使用 AWS Datapipeline 创建用于红移的数据管道。我试图导入一个定义。


  "objects":[
  "id" : "first",
  "type" : "SqlActivity",
  "database" : "ref":"RedshiftDatabase",
  "clusterId" : "",
  "username" : "",
  "password" : "",
  "databaseName" : "",
  "script" : "unload ('select _id from device_id_match LIMIT 100') to 's3://my_bucket' credentials 
                'aws_access_key_id=;aws_secret_access_key=' delimiter as ',' ",
  "schedule" :  "ref": "Hour" ,
  "startAt": "FIRST_ACTIVATION_DATE_TIME",
  "period": "1 hours",
  "occurrences": "3",
  "queue" : "priority"]

但出现以下错误-

我无法解决错误。

【问题讨论】：

【参考方案1】：

是的，正如@Junren 所说，缺少“名称”字段。这似乎是一个非常旧的管道定义导出版本。通常数据库被定义为独立资源，而不是在 SqlActivity 块内。

您为什么不直接使用 Architect（数据管道 Web UI）从头开始构建管道？

【讨论】：

【参考方案2】：

尝试将“名称”字段添加到 SqlActivity 对象。它应该可以解除您对这个错误的阻碍。

【讨论】：

以上是关于AWS Data Pipeline - 创建定义时出错的主要内容，如果未能解决你的问题，请参考以下文章

使用 Data Pipeline 在 AWS 中进行批处理文件