我们可以使用 AWS 胶水分析 RDS 数据库并使用 ETL 将分析的数据存储到 rds mysql 表中吗
Posted
技术标签:
【中文标题】我们可以使用 AWS 胶水分析 RDS 数据库并使用 ETL 将分析的数据存储到 rds mysql 表中吗【英文标题】：Can we use AWS glue for analysing the RDS database and store the analysed data into rds mysql table using ETL 【发布时间】：2019-12-24 10:40:19 【问题描述】：我是 AWS 的新手。我想在 ETL 过程中使用 AWS 胶水。
我们可以使用 AWS 胶水来分析 RDS 数据库，并使用 ETL 作业将分析的数据存储到 rds mysql 表中
谢谢
【问题讨论】：
【参考方案1】：是的，有可能。我们使用 S3 存储我们的原始数据，从中读取 AWS Glue 中的数据，并在 ETL 过程中对 RDS Aurora 执行 UPSERT。您可以使用 AWS Glue 触发器或 Lambda S3 事件触发器来调用粘合作业。
我们在 AWS Glue 中使用了 pymysql / mysql.connector，因为我们必须执行 UPSERT。 RDS Mysql (Aurora) 也支持直接从 S3 批量加载数据。如果您需要代码示例方面的帮助，请告诉我
【讨论】：
以上是关于我们可以使用 AWS 胶水分析 RDS 数据库并使用 ETL 将分析的数据存储到 rds mysql 表中吗的主要内容，如果未能解决你的问题，请参考以下文章
运行使用 RDS MySQL 连接的 ETL 作业后，S3 中的多个文件被创建
在另一个 AWS 账户中创建 RDS/Postgres 副本？