G.1X 和 G.2X 的 AWS Glue 工作线程定价详细信息
Posted
技术标签:
【中文标题】G.1X 和 G.2X 的 AWS Glue 工作线程定价详细信息【英文标题】:AWS Glue worker pricing details for G.1X and G.2X 【发布时间】:2021-09-01 21:41:28 【问题描述】:已搜索 AWS Glue 文档,但找不到 AWS Glue 工作线程类型 G.1X 和 G.2X 的定价详细信息。有人可以解释一下标准、G.1X 和 G.2X 之间是否没有成本差异?
我只能看到 Glue 定价部分是“您需要支付每 DPU 小时 0.44 美元的费用,以 1 秒为增量,四舍五入到最接近的秒数。使用 Glue 版本 2.0 的 Glue Spark 作业至少需要 1 分钟计费期限。"。这与工人类型无关吗?
标准类型 - 16 GB 内存、4 个 vCPU 的计算容量和 50 GB 附加的 EBS 存储(2 个执行器)
G.1X - 16 GB 内存,4 个 vCPU, 和 64 GB 的附加 EBS 存储(1 个执行程序)
G.2X - 是 G.1X (https://aws.amazon.com/blogs/big-data/best-practices-to-scale-apache-spark-jobs-and-partition-data-with-aws-glue/) 的两倍,这意味着,
G.2X - 32 GB 内存、8 个 vCPU、128 GB EBS !!
感谢您对此的任何意见。
尤瓦
【问题讨论】:
【参考方案1】:你可以阅读here:
当您使用 G1.X / G.2X 时,您正在分配一定数量的工人。这些映射到 DPU。
对于 G.1X worker 类型,每个 worker 映射到 1 个 DPU
和
对于 G.2X worker 类型,每个 worker 映射到 2 个 DPU
这意味着 G.2X 的成本是 G.1X 的两倍。如果您使用标准,则直接分配特定数量的 DPU。如果您使用的是 Glue 2.0,我建议您使用 G.1X 或 G.2X,具体取决于您的用例。
【讨论】:
以上是关于G.1X 和 G.2X 的 AWS Glue 工作线程定价详细信息的主要内容,如果未能解决你的问题,请参考以下文章