AWS Step Function Redshift 身份验证

Posted

技术标签:

【中文标题】AWS Step Function Redshift 身份验证【英文标题】:AWS Step Function Redshift Authentication 【发布时间】:2021-12-29 15:27:48 【问题描述】:

我正在构建一个 AWS Step Function 来触发 SQS 事件消息。这些消息将携带一个带有 startTime 和 endTime 的简单有效负载,以运行一些 Redshift 查询。

我显然没有为 Redshift 提供所需的身份验证:


  "error": "RedshiftData.ValidationException",
  "cause": "To use IAM Authorization, both Cluster ID and DB User are required unless you're using Redshift Serverless. (Service: RedshiftData, Status Code: 400, Request ID: 3c7ef18f-ad28-46a2-8668-25cb6f5563bd, Extended Request ID: null)"

问题是如何正确配置身份验证。 我要像这里一样创建数据库用户吗? https://awsbytes.com/how-to-create-user-in-redshift-database/ 我将如何在 step 函数中传递它? 我应该使用 Secrets Manager 吗?有这方面的好指南吗?

有我的步骤功能码:


  "Comment": "Run Redshift Queries",
  "StartAt": "ReceiveMessage from SQS",
  "States": 
    "ReceiveMessage from SQS": 
      "Type": "Task",
      "Parameters": 
        "QueueUrl": "https://sqs.us-east-2.amazonaws.com/******/dev-queryProcessingQueue"
      ,
      "Resource": "arn:aws:states:::aws-sdk:sqs:receiveMessage",
      "Next": "Run Analysis Queries",
      "ResultSelector": 
        "body.$": "States.StringToJson($.Messages[0].Body)"
      
    ,
    "Run Analysis Queries": 
      "Type": "Task",
      "Parameters": 
        "ClusterIdentifier": "test-*****-redshift-cluster",
        "Database": "prod",
        "Sql": "select * from my_test_table"
      ,
      "Resource": "arn:aws:states:::aws-sdk:redshiftdata:executeStatement",
      "End": true
    
  ,
  "TimeoutSeconds": 3600

【问题讨论】:

【参考方案1】:

解决办法是给step function IAM Role添加Redshift访问权限。

【讨论】:

以上是关于AWS Step Function Redshift 身份验证的主要内容,如果未能解决你的问题,请参考以下文章

如何将无服务器 Step Function/状态机/Lambda 构建嵌套到现有 AWS CloudFormation ElasticBeanstalk 应用程序中?

如何使用 Step Function 在 Amazon EMR 中添加步骤

无法使用 aws nodejs sdk 创建 Redshift 表

从java lambda调用aws Step函数

AWS Step and Batch 动态命令

从上传到 S3 的文件触发的无服务器框架和 AWS Step Functions(AWS 状态机)