从 s3 的 Athena 中的 2 个外部表更新 Athena 表

Posted

技术标签:

【中文标题】从 s3 的 Athena 中的 2 个外部表更新 Athena 表【英文标题】:Update Athena Table from 2 external tables in Athena from s3 【发布时间】:2021-03-17 10:41:44 【问题描述】:

我对 athena & s3 比较陌生。 我有一个 s3 存储桶,其中包含 2 个包含 csv 文件的文件夹。我为 athena 中的每个文件夹创建了 2 个外部表。

我想在 athena 中创建另一个最终表,它连接两个文件并随着更多文件添加到 s3 存储桶中自动更新更多行。请您建议获得所需输出的最佳方法吗?

我在 athena 中尝试过“从查询创建表”。但是当我将更多文件上传到 s3 时,该表仍然是静态的,并且不会更新。

【问题讨论】:

【参考方案1】:

对于这个用例,我建议在 Athena 中创建一个视图。你可以在here阅读更多内容。

【讨论】:

以上是关于从 s3 的 Athena 中的 2 个外部表更新 Athena 表的主要内容,如果未能解决你的问题,请参考以下文章

扫描外部表(S3 数据)时 Redshift Spectrum 中的成本控制

AWS Athena 可以更新或插入存储在 S3 中的数据吗?

从 Amazon S3 创建表时,Athena 如何将数据与正确的字段匹配?

当我们从 s3 中的 csv 文件读取数据并在 aws athena 中创建表时如何跳过标题。

我可以从存储在 S3 中的 sql 文件运行 Athena 查询吗

如何从 Amazon Athena 查询镶木地板数据?