调试 Firehose 未交付给 Redshift 的原因 [重复]

Posted 2023-03-30

【中文标题】调试 Firehose 未交付给 Redshift 的原因 [重复]

【英文标题】：Debug why Firehose is not delivering to Redshift [duplicate]

【发布时间】：2016-03-01 00:53:36

【问题描述】：

我设置了一个 Firehose 流，将数据传送到我的 Redshift 集群。它工作了很短的时间，但突然似乎停止提供红移。来自我的

select * from stl_query order by endtime desc limit 10;
select * from stl_load_errors order by starttime desc;
select * from stl_connection_log where remotehost like '52%' order by recordtime desc; 
select * from stl_error where userid!=0 order by recordtime desc;

运行这些命令不会列出最近的连接或副本。例如我看到：

disconnecting session  ... 52.70.63.204  ...         
initiating session   ...    52.70.63.204      ... 

...在我的连接日志中，但它会在一段时间后停止。我已经尝试重新创建表格和流，但它仍然没有列出任何内容。但是，我的所有数据都在 S3 中接收。 另一个问题是 s3 目录中没有错误清单，这表明没有任何失败。 我该如何调试？

【参考方案1】：

为我的案例找到了答案。我已经使用 VPC 组配置了 redshift 集群。如果没有列入白名单的访问，连接尝试将不会显示在 stl_connection_log 中。我在我的 redshift 集群的 vpc 组中添加了一个 Firehose 条目：

Custom TCP Rule, TCP, 5493, 52.70.63.192/27

白名单ip可以在底部找到：http://docs.aws.amazon.com/firehose/latest/dev/controlling-access.html