s3 select和athena有什么区别

Posted 2021-04-05

我试图了解aws athena服务和新发布的s3 select之间的区别（仍在预览中）。那两个用户的用途有何不同？这似乎都有助于从s3中选择部分数据。

答案

您可以将AWS S3 Select视为具有成本效益的存储优化，允许检索与S3中的谓词匹配的数据和冰川也称为下推过滤。

AWS Athena是完全托管的分析服务，允许运行任意ANSI SQL兼容的查询 - 分组，拥有，窗口和地理功能，SQL DDL和DML。

另一答案

Athena（从我使用它的小部分）更倾向于作为S3支持的业务报告或分析工具。

S3 select似乎使用相同类型的技术，但我猜它更多的是针对应用程序直接使用来过滤或分片他们的数据集。

另一答案

根据我的理解概述：

Amazon Athena是一种交互式查询服务，可以使用标准SQL轻松分析Amazon S3中的数据。 Athena是无服务器的，因此没有可管理的基础架构，您只需为您运行的查询付费。

截至目前的主要优势是：

Athena与AWS Glue Data Catalog集成开箱即用，您还可以使用Glue的完全管理的ETL功能来转换数据或将其转换为柱状格式，以优化成本并提高性能。

现在到目前为止S3 Select Goes：

• 目前，在预览时使用S3 Select是免费的，并且没有定价的定义。但是，您需要在the reference申请
• 在预览中，S3 Select支持包含或不包含GZIP压缩的CSV，JSON和Parquet文件。在预览期间，不支持静态加密的对象。
• 由于S3 Select仍处于预览状态，因此AWS没有内部案例来验证服务的使用方式。但是，我可以找到你可能感兴趣的a blog的参考文献。

在我看来，你可以查看可以帮助你很多的this Twitch Video。

另一答案

S3 Select可以使用简单的SQL表达式轻松地从对象的内容中检索特定数据。无需检索整个对象。这可以与Lambda一起用于构建无服务器应用程序，并且可以与Apache Spark和Presto等大数据框架捆绑在一起。可以将性能提升高达400％。

Amazon Athena是一种交互式查询服务。它没有服务器。无需将数据加载到Athena。基于Presto构建并运行标准SQL。主要用于分析大数据。