AWS 中用于分析的类似 Google Bigquery 的等价物是啥?

Posted

技术标签:

【中文标题】AWS 中用于分析的类似 Google Bigquery 的等价物是啥?【英文标题】:What is the Google Bigquery-like equivalent in AWS for analytics?AWS 中用于分析的类似 Google Bigquery 的等价物是什么? 【发布时间】:2019-12-02 16:41:53 【问题描述】:

我以前的工作流程有这样的分析设置:基本上所有数据都存储在一个 mysql 实例中,然后通过管道传输到我们的 Google Bigquery 实例,以供我们更苛刻的分析使用。我最近将地点更改为 Amazon 商店,我们在 Athena 和 Aurora 收集大部分数据,但我们并没有真正的分析转储来对数据进行更密集和要求更高的查询。

我真的很喜欢 GBQ 的 Web UI 和跨数据库连接的能力(可以很容易地利用沙盒查询进行临时工作),但我不知道 AWS 的等效主力是什么。 是否有一些 AWS 解决方案具有标准化的 Web UI,支持灵活的沙盒协作,并且在处理过程中还具有类似 GBQ 的火力,价格大致相同?我听说 Redshift 不是t 几乎与 GBQ 一样的处理能力规模(除非您将其设置为收费,如果这是真的的话),但最近更新时它确实具有基于浏览器的查询编辑器。

我正在评估可能比我们当前利用来自 GCP 生态系统的 Redash 更好的选项,相比之下,我对它的可悲限制感到难过。

我应该尝试任何想法、建议、演示吗?

【问题讨论】:

没有。很抱歉这么说。 BigQuery 是云中隐藏的瑰宝,仅在 GCP 上可用。 您可以尝试检查Using the Query Editor,根据 AWS 文档,这仍处于测试阶段。 【参考方案1】:

没有。很抱歉这么说。 BigQuery 是云中隐藏的瑰宝,仅在 GCP 上可用。

如果您考虑搬到 BQ。

您可以在 AWS 和 GCP 之间设置一个 ***,然后为关系数据库设置一个副本以在 GCP 上的 Cloud SQL 中,然后您可以使用 BigQuery 运行外部查询并可以存储在 BQ 中。就像在这个slide 中一样。

【讨论】:

错误 - AWS Athena 和 AWS Redshift 都类似于 BQ。

以上是关于AWS 中用于分析的类似 Google Bigquery 的等价物是啥?的主要内容,如果未能解决你的问题,请参考以下文章

我们在 Google Cloud 中是不是有类似 AWS 命名配置文件的功能?

Google 应用程序脚本的数据分析库

使用 AWS Kinesis 收集流数据

AWS 数据分析服务

用于塑造响应数据的 AWS AppSync 查询(类似于 SQL 中的 Group By)

如何在aws上安装unixbench测试工具