什么是工作负载限制?

Posted

技术标签:

【中文标题】什么是工作负载限制?【英文标题】:What is workload throttling? 【发布时间】:2018-02-13 16:58:17 【问题描述】:

谁能给新手一个很好的解释,以下短语是什么意思:

1) 单个集群内的工作负载节流和 2) 工作负载 跨多个集群平衡。

这是对一个 ETL 作业工具的优点的概述,它有助于在 Redshift 数据库上执行 ETL(提取、转换、加载)作业。

【问题讨论】:

请缩小您的问题范围。你不明白什么?有太多的方法可以回答这个问题,其中一些可能只是对你已经不理解的东西的反刍。 @zero298 就 Redshift 集群而言,我不理解“工作负载限制”这个短语 【参考方案1】:

许多网络服务分配了您可以与服务进行的最大“交互”。一旦超过该数量,服务将改变其完成交互的方式。

亚马逊对您可以在节点内消耗多少计算能力施加了限制。短语“工作负载限制”意味着如果您超出 Amazon 文档 Amazon Redshift Limts 中详述的限制,您的查询、作业、任务或工作项将被赋予较低的优先级或完全失败。

其想法是,亚马逊不希望您消耗太多计算能力,以至于阻止其他人使用该服务,而且老实说,他们不希望您消耗的功率超过他们提供的成本。

工作负载节流并不是这项 Amazon 服务或一般云服务独有的想法。这个概念可以在任何需要考虑接收比它可以处理的任务更多的系统中找到。一些系统以不同的方式处理过载。

例如,在负载平衡器的情况下,某些系统会将您推迟到备用服务。 3rd 方数据 API 将每小时/分钟向您委派最大数据量,然后延迟您返回的响应、向您收取更多费用或完全停止响应。


您可以查看的另一项处理限制的服务是 Google 地图地理编码服务。如果您查看他们的文档Google Maps Geocoding API Usage Limits,您会看到:

标准 API 的用户:

每天 2,500 个免费请求,按客户端和服务器端查询的总和计算。 每秒 50 个请求,计算为客户端和服务器端查询的总和。

如果您超出此范围并启用了结算功能,Google 将转为:

0.50 美元/1000 个额外请求,每天最多 100,000 个。

我不记得你达到每日限制后的响应是什么样的,但是一旦你达到它,你基本上不会在当天重置之前收到响应。

【讨论】:

以上是关于什么是工作负载限制?的主要内容,如果未能解决你的问题,请参考以下文章

haproxy反代负载均衡

#云原生征文#Kubernetes工作负载

跟k8s工作负载Deployments的缘起缘灭

Nginx面试三连问:Nginx如何工作?负载均衡策略有哪些?如何限流?

k8s学习之路 | k8s 工作负载 DaemonSet

云原生 | Kubernetes篇Kubernetes(k8s)工作负载