既然 QuickSight 可以直接查询 S3，那么我们啥时候需要使用 Athena 作为 QuickSight 的数据源呢？ [关闭]

Posted 2023-04-14

【中文标题】既然 QuickSight 可以直接查询 S3，那么我们啥时候需要使用 Athena 作为 QuickSight 的数据源呢？ [关闭]

【英文标题】：Since QuickSight can directly query S3, when would we need to use Athena as data source for QuickSight? [closed]既然 QuickSight 可以直接查询 S3，那么我们什么时候需要使用 Athena 作为 QuickSight 的数据源呢？ [关闭]

【发布时间】：2018-05-01 10:36:36

【问题描述】：

可能是我遗漏了一些东西，但我无法理解如果我将 Athena 与 QuickSight 连接而不是直接将 QuickSight 与 S3 连接会得到什么好处。请帮助我理解这一点。

【参考方案1】：

Amazon S3 是一种对象存储，用于存储和检索任意数量的数据。基本上，它有一些原始数据或非结构化数据（在某些文件格式.csv 或.tsv）。

Amazon Athena 使用托管数据目录来存储信息和 关于您为数据创建的数据库和表的架构 存储在 Amazon S3 中。所以，雅典娜知道数据及其结构 （即某些模式）在 S3 中。

此外，QuickSight 可以直接连接到 Athena 数据库并查询数据进行分析。当您连接到 Athena 数据库时，您最有可能处理结构化或半结构化数据。

Amazon S3 Manifest Files 如果数据源是 Amazon Athena，则不需要。

直接连接到 S3 时的一些限制：-

清单中指定的文件大小不得超过 1 GB，总大小 指定的所有文件的大小不能超过 10 GB，并且总 指定的文件数不能超过 1000。

当您使用使用 Amazon Athena 数据创建数据集时，上述限制不可用。

使用 Amazon Athena 数据创建数据集时的另一个功能：-

您可以直接分析数据而无需加载或加载到 SPICE 并分析数据。

结论：-

如果您尚未对 S3 文件执行任何操作，则可以直接使用 QuickSight，将 S3 用作数据集。

如果您已将 S3 数据加载到 Athena 中，则可以将 Athena 用作 QuickSight 的数据集。

通过使用 Athena 或任何其他数据源，您将获得一些好处，并且可以克服上述一些限制（即文件大小）。

【讨论】：

超级。非常感谢:)

请您解释一下“如果您已将 S3 数据加载到 Athena，那么您可以使用 Athena 作为 QuickSight 的数据集”。我的理解是，使用 Athena 触发的查询结果存储在 S3 存储桶中（示例结果 S3 存储桶名称：results）。这意味着您无法将任何内容加载到 Athena 中。当 Athena 设置为 QuickSight 的数据集时，QuickSight 会调用 athena，从而将查询发送到 source S3 bucket，并将结果存储在 results S3 bucket 中。然后 QuickSight 根据results S3 bucket 中的值显示图表/结果。

这些 S3 限制（每个文件 1GB，总共 10GB）是否仍然有效？不要在这里看到它们：docs.aws.amazon.com/quicksight/latest/user/…