带你认识数仓的“规格变更”

Posted 华为云开发者联盟

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了带你认识数仓的“规格变更”相关的知识,希望对你有一定的参考价值。

摘要:本文对DWS变更规格功能的实现原理和如何使用进行介绍。

本文分享自华为云社区《一文读懂DWS“规格变更”【这次高斯不是数学家】》,作者: codefulture 。

一、为什么要变更规格?

在使用集群的过程,我们一定能遇到这样一种情况:当用户的业务量大的时候,集群需要更多的资源(CPU、内存、磁盘等)来支撑庞大的业务量,如果用户当前使用的集群资源不足,则需要新建集群,或将当前集群删除创建一个资源更多的集群,这样不仅花费更多的资金,整个流程也会十分麻烦耗时;如果用户创建的集群自身资源较多,但是业务量并没有那么多,这样就存在资源冗余,并且会扣除原本不需要花费的资金。

所以“规格变更“的功能应运而生,能够方便用户根据当前业务量灵活调整集群的资源数量。

二、“规格变更”变更的是什么规格?

主要针对CPU、内存两种资源的变更,不同数量的CPU和内存将组合成一种规格,例如:dwsx.16xlarge(CPU:64 Memory:512G ),下面会介绍规格变更的具体使用。

注:如果用户想要变更磁盘容量,需要对集群进行“扩容”操作。

三、什么版本集群可以进行规格变更?

规格变更功能将会在8.1.3版本正式与大家见面,8.1.3及以上版本的云数仓、实时数仓、IoT数仓均支持此功能。

四、功能介绍

DWS规格变更的变更过程是依赖弹性云服务器的特性,或者说是对弹性云服务器变更功能的扩展和应用。

弹性云服务器

弹性云服务器(Elastic Cloud Server,ECS)是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。弹性云服务器创建成功后,您就可以像使用自己的本地PC或物理服务器一样,在云上使用弹性云服务器。

实现原理

规格变更流程图

从流程图中可以看出,规格变更整个流程需要停止集群,所以需要用户合理安排变更时间窗口,防止集群停止影响业务;也可以看出在实际变更过程中,所有节点的变更都是并行执行的,所以不会由于节点过多而造成变更时间变长,整个变更时间在10分钟左右。

变更的节点包含CN、DN、未使用的空闲DN节点。

如何变更

a.点击集群列表右侧的详情,选择“规格变更”

b.查询并选择要变更的规格

c.点击下一步,进入确认页面

d.提交规格变更任务

问题与解决办法

a.查询不到规格

当前集群的规格不支持变更,或没有满足条件的规格可供变更。

b.变更失败

规格变更是支持重入的,若存在部分节点变更失败,可以再次提交变更任务,执行变更流程。若仍然失败,需要联系技术人员解决。

点击关注,第一时间了解华为云新鲜技术~

以上是关于带你认识数仓的“规格变更”的主要内容,如果未能解决你的问题,请参考以下文章

带你认识数仓的增量备份核心设计

带你认识一下数仓的分区自动管理

带你掌握数仓的作业级监控TopSQL

从读写角度,带你了解数仓的IO基本框架

从阿里核心场景看实时数仓的发展趋势

BIGO 使用 Flink 做 OLAP 分析及实时数仓的实践和优化