云驻共创分布式技术之华为云全域调度技术与实践

Posted 2022-08-18 宇宙之一粟

题记：分布式云原生都涉及哪些核心技术？会涉及到哪些场景的应用？怎么通过分布式云原生为企业加速？

分布式云原生，是一个新的概念。使用分布式技术，将云原生实践进行整合、提供应用算力、集中供给、流量治理、和数据协同的能力，从而打造无处不在的云原生使用体验。

1 华为云分布式云原生——全域调度技术与实践

分享人：华为云分布式云架构师王楠楠

分享目录：

• 华为云分布式云原生技术整体介绍
• 全域调度架构与技术分享
• 实践案例

1.1 什么是云？

计算能力作为一种商品，可以在互联网上流通，就像水、电、煤气一样，可以方便地取用。

1.2 传统云原生与现代云原生的区别

传统云原生的现状是割裂式的，缺乏全局管理视图：

而分布式云原生是以应用为中心的业务模型，做到了全新体验：全局统一，无处不在，随时可用。

• 应用 + 算力：随时随地提供应用所需算力资源
• 应用 + 流量：实时、跨域、按需调配应用访问流量
• 应用 + 数据：全业务一体化迁移、容灾、弹性

1.3 华为云是如何做到的？

通过 1 个中心、3 个核心能力，4 类区域覆盖，为应用从核心区到业务现场形成广泛覆盖：

• 1 个中心：提供对云原生基础设施、应用、用户权限、安全策略的一站式管理。华为云 UCS 通过一个中心控制台、一张分布式网络、一致云原生生态，四类区域覆盖、N 个基础设施
• 3 个核心能力：应用算力供给、应用流量管理、应用与数据协同
• 4 类区域覆盖：核心区域、热点区域、客户机房、业务现场

1.4 构建 4 个核心技术

• 云原生服务全域分发，统一应用生态
• 分布式安全管控策略、建立全组织统一的安全和权限标准
• 开源开发的多集群管理制度，简化海亮集群应用管理
• 流量、数据与应用统一编排，端到端保证分布式业务

2 全域调度框架与技术分享

当前的公有云，首先得选地域、选可用区，比如在广州、上海、深圳等，就建议就近选择。所以公有云当前的调度仍然是按照 region（区域）规划人工选择，与用户的实际资源使用之间存在差异。

实际业务需求：

• 计算多地域：希望计算离我的数据，用户就调度
• 规格多线：业务一般会测试多规格，C3、C6、C63、C7都可以，除了 S 系列不行之外
• 计算规模高弹性：按需弹性，白天晚上，季度、节日波动大，希望能解决大规模突发的问题

3. 如何解决上述问题？

全域调度：云边全局资源整合，面向垂直场景以满足用户业务需求为目标

全域调度愿景：

1. 供给侧改革：将云边全局资源整合，整合为全局统一视图，按照租户要求，协同全局资源完成供给
2. 需求侧升级：面向各种垂直场景，和真正的业务需求，抽象业务调度目标，以满足业务需求为最终调度目标。

供给侧的全域视图：

核心技术难题：多个租户资源如何合理分配，先给谁，不给谁，给多少？

简历容量限制、满足用户需求；

1. 如何体现不满足量？
2. 如何呈现不停租户的偏好？

客户通过需求满足度评估：

资源搞定了，流量如何处理？

全局调度技术总图：资源、应用、商业策略联动

4 实际案例

4.1 互联网客户使用全域调度

某头部互联网客户使用全域调度，应对大规模流量突发。提供了资源推荐能力：

业务特性：

• 大突量：突发事件弹性资源量是平时的 5- 9 倍
• 短时长：突发资源使用时长 < 16 H 问题：
• 如何按照峰值准备资源会导致大量资源浪费，资源利用率不足 20 %
• 如果按照日常均值购买资源，突发的时候又无法获取足够资源支撑业务。

4.2 华为云实时转码服务

实时转码服务业是互联网业务。

1. 业务多地域分布，但是无法合理利用跨地域资源，业务上量前，需要大量预备资源
2. 用户全局接入，很难平衡成本和体验
3. 可以使用多种计算规格，但是不知道如何能够优化成本

1. 全局流量趋势判断，辅助本地集群弹性决策

• 预测业务量，决策全局业务集群分流策略
• 结合每个资源池容量给出组合弹性建议

2. 业务协同有状态单行，快速减容控制

• 基于多资源池 Node 调整，输出业务向多规格资源的分配策略，引导成本的降低