报告 AWS 工具 RDS 或 Redshift?

Posted

技术标签:

【中文标题】报告 AWS 工具 RDS 或 Redshift?【英文标题】:Reporting AWS Tools RDS or Redshift? 【发布时间】:2020-03-03 12:56:10 【问题描述】:

让我开始吧 - 我的应用正在执行更多报告内容,例如仪表板、过滤器,基于过滤器预测/销售等数据必须显示。我们决定使用 Angular 或类似的 UI 构建 UI。这将在 AWS 云中。所以,当涉及到后端时,我们很困惑应该使用哪些工具? RDS 是否适合这里的账单?我们的应用程序读取更多(几乎没有任何更新/删除),并且每次读取都必须对数据进行分析。此外,我想说的表集不超过 10-15 个,而且行数也不大。就像每个表最多可能有 30 万行一样。

在这样的背景下 - 什么最适合后端视角?我们正在考虑使用 RDS(任何 Oracle/SQL)和 RedShift。随着我们拥有的数据规模(未来可能会增长,但并非例外),Redshift 是否会过大? RDS 可能是一个合适的选择,但由于我们需要大量分析(计算/聚合等)?

在第一个实例中,我们可能必须从 S3 数据文件中加载数据 - 我们仍在思考如何加载可能是 Redshift Spectrum 的数据。

顺便说一句,我们计划使用 AWS Lambda 作为中间件来获取 UI 数据。

【问题讨论】:

【参考方案1】:

一般来说,如果 Amazon RDS 数据库足以满足您的需求,那么它比使用 Amazon Redshift 更可取。因此,从 RDS 入手,看看效果如何!

更具体地说:

Amazon RDS 更适合事务(更新数据库中的少量项目) Amazon Redshift 更适合具有数百万和数十亿行的表(用于报告查询,而不是用于小更新) 如果您打算使用 Amazon RDS,请考虑使用 Amazon Aurora,因为它具有出色的性能、可靠性、可扩展性等 尽可能使用开源引擎mysql、PostgreSQL、MariaDB)而不是专有引擎来降低成本并减少锁定

【讨论】:

感谢您的回复。我们开始使用 Redshift,因为没有太多更新/插入来分贝更多的读取和分析。 从成本的角度来看,Amazon RDS 可能成本更低,但实际上取决于它是否具备所需的性能。如果可能的话,尝试它们并进行一些比较。对于 Amazon RDS,索引表很重要。对于 Amazon Redshift,为每个表选择最佳分布键和排序键是最重要的。

以上是关于报告 AWS 工具 RDS 或 Redshift?的主要内容,如果未能解决你的问题,请参考以下文章

Google Data Studio 目前可以连接到 AWS RDS 或 Redshift 吗?

如何使用自动化或命令行工具管理 AWS Redshift 中的存储过程?

AWS DMS Redshift 作为目标

AWS Redshift 与 Snowflake 用例

如何在数据加载之前截断 AWS Glue 作业中的 RDS 表?

在 AWS 上生成有关数据量的高效快速报告