Amazon DynamoDB:警告“配置的 dynamodb 表 JobDetails 的写入吞吐量小于集群映射容量”

Posted

技术标签:

【中文标题】Amazon DynamoDB:警告“配置的 dynamodb 表 JobDetails 的写入吞吐量小于集群映射容量”【英文标题】:Amazon DynamoDB: warning "Configured write throughput of the dynamodb table JobDetails is less than the cluster map capacity" 【发布时间】:2018-03-29 03:29:47 【问题描述】:

我在 Amazon EMR 上使用 Apache Hive 将一些数据从 Amazon DynamoDB 批量下载到 Amazon S3。我收到了以下警告:

警告:配置了 dynamodb 表 JobDetails 的写入吞吐量 小于集群映射容量。集群映射容量:20 写入吞吐量:5

警告:写入此表可能会导致 把停电写在桌子上。

我认为WriteThroughput与我的DynamoDB表的配置有关。

这个警告是什么意思? ClusterMapCapacity 是否与我的 EMR 集群相关?

这个警告是我应该解决的问题,还是我可以忽略它?

【问题讨论】:

【参考方案1】:

是的,你应该解决这个问题。

您最多可以同时向表写入 20 个映射作业,而表每秒仅接受 5 个写入请求。

因此,您需要在 table 上至少有 20 个写入容量(如果 map 可以每秒写入多次,则需要更多)以避免节流(节流意味着数据可能会丢失)。

【讨论】:

以上是关于Amazon DynamoDB:警告“配置的 dynamodb 表 JobDetails 的写入吞吐量小于集群映射容量”的主要内容,如果未能解决你的问题,请参考以下文章

将数据从 Amazon Redshift 迁移到 DynamoDB

如何在 Node 中使用 Amazon 的 Dynamodb Local?

在 Amazon Dynamodb 中按动态值排序?

Amazon dynamoDB 计数器更新和获取项目

使用 Amazon Dynamodb 进行不区分大小写的查询

使用“where”条件从 Amazon DynamoDB 获取项目