G.1X 和 G.2X 的 AWS Glue 工作线程定价详细信息

Posted

技术标签:

【中文标题】G.1X 和 G.2X 的 AWS Glue 工作线程定价详细信息【英文标题】:AWS Glue worker pricing details for G.1X and G.2X 【发布时间】:2021-09-01 21:41:28 【问题描述】:

已搜索 AWS Glue 文档,但找不到 AWS Glue 工作线程类型 G.1X 和 G.2X 的定价详细信息。有人可以解释一下标准、G.1X 和 G.2X 之间是否没有成本差异?

我只能看到 Glue 定价部分是“您需要支付每 DPU 小时 0.44 美元的费用,以 1 秒为增量,四舍五入到最接近的秒数。使用 Glue 版本 2.0 的 Glue Spark 作业至少需要 1 分钟计费期限。"。这与工人类型无关吗?

标准类型 - 16 GB 内存、4 个 vCPU 的计算容量和 50 GB 附加的 EBS 存储(2 个执行器)

G.1X - 16 GB 内存,4 个 vCPU, 和 64 GB 的附加 EBS 存储(1 个执行程序)

G.2X - 是 G.1X (https://aws.amazon.com/blogs/big-data/best-practices-to-scale-apache-spark-jobs-and-partition-data-with-aws-glue/) 的两倍,这意味着,

G.2X - 32 GB 内存、8 个 vCPU、128 GB EBS !!

感谢您对此的任何意见。

尤瓦

【问题讨论】:

【参考方案1】:

你可以阅读here:

当您使用 G1.X / G.2X 时,您正在分配一定数量的工人。这些映射到 DPU。

对于 G.1X worker 类型,每个 worker 映射到 1 个 DPU

对于 G.2X worker 类型,每个 worker 映射到 2 个 DPU

这意味着 G.2X 的成本是 G.1X 的两倍。如果您使用标准,则直接分配特定数量的 DPU。如果您使用的是 Glue 2.0,我建议您使用 G.1X 或 G.2X,具体取决于您的用例。

【讨论】:

以上是关于G.1X 和 G.2X 的 AWS Glue 工作线程定价详细信息的主要内容,如果未能解决你的问题,请参考以下文章

AWS Glue 开发终端节点无法正常工作

AWS Glue 的工作原理是啥?

AWS Glue 作业输入参数

AWS Glue 作业的预期运行时间

Python 函数在 AWS Glue 中返回非类型,即使是在本地机器上工作的相同函数

AWS Glue输出文件名