Redshift Spectrum 为查询扫描的数据大小

Posted

技术标签:

【中文标题】Redshift Spectrum 为查询扫描的数据大小【英文标题】:Size of Data Scanned by Redshift Spectrum for a query 【发布时间】:2018-05-11 11:17:39 【问题描述】:

我正在通过 Redshift Spectrum 查询 S3。我想知道为给定查询扫描的数据大小。

Athena 在其 UI 中提供了它,而我没有找到在 Spectrum 中找到相同的直接方法

有没有办法找到相同的?

【问题讨论】:

【参考方案1】:

是的,select * from SVL_S3QUERY_SUMMARY

这里有更多描述:https://docs.aws.amazon.com/redshift/latest/dg/r_SVL_S3QUERY_SUMMARY.html

您可能希望按queryxid 对结果进行分组以获取汇总扫描量。

【讨论】:

我没有看到我在 Redshift 控制台中看到的相应查询 ID 的任何记录。 您仍然可以根据时间戳和扫描的信息确定它是哪个查询,对吧?或者您是否希望实现自动化?在那种情况下我不知道。

以上是关于Redshift Spectrum 为查询扫描的数据大小的主要内容,如果未能解决你的问题,请参考以下文章

扫描外部表(S3 数据)时 Redshift Spectrum 中的成本控制

AWS Spectrum 扫描错误压缩文件意外结束

如何使用 AWS RedShift Spectrum 为 S3 存储建模以进行查询

洞察 Redshift Spectrum 查询错误

将 Spark 架构转换为 Redshift Spectrum 嵌套架构

Redshift Spectrum中表名有连字符时如何查询表?