还在谈论云计算吗?算力网络来啦!!!
Posted 从善若水
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了还在谈论云计算吗?算力网络来啦!!!相关的知识,希望对你有一定的参考价值。
本人就职于国际知名终端厂商,负责modem芯片研发。
在5G早期负责终端数据业务层、核心网相关的开发工作,目前牵头6G算力网络技术标准研究。
博客内容主要围绕:
5G协议讲解
算力网络讲解(云计算,边缘计算,端计算)
高级C语言讲解
Rust语言讲解
文章目录
算力网络
一、什么是算力网络?
算力网络定义
算力网络是一种通过网络分发服务节点的算力信息、存储信息、算法信息等,结合网络信息(如路径、时延等),针对用户需求,提供最佳的资源分配和网络连接方案,并实现整网资源最优化使用的解决方案。
希望的算力网络宏观架构如下图:
算力网络将属于不同所有方的计算、存储等资源通过网络整合起来👇
算力网络基本特征
👉①资源抽象:算力网络需要将计算资源、存储资源、网络资源(尤其是广域范围内的连接资源)及算法资源等都抽象出来,作为产品的组成部分提供给用户。
👆 资源抽象后用户可以将算力作为商品买卖
👉②业务保证:以业务需求划分服务等级,而不是简单的以地域划分,向用户承诺如网络性能、算力大小等服务等级的协议(SLA),屏蔽底层的差异性(如异构计算,不同类型的网络连接等)。
👆如高带宽、低时延、大连接等
👉③统一管控:统一管控云计算节点、边缘节点、网络资源(含计算节点内部的网络和广域网络)等,根据业务需求对算力资源及相关的网络资源、存储资源等进行统一调度。
👆通过算力网络编排管理平台实现统一管控
👉②弹性调度:实时监测业务流量,动态调度算力资源,完成各类任务,高效处理和整合输出,并在满足业务需求的前提下实现资源的弹性伸缩,优化算力分配。
👆有利于实现整网资源最优化使用
二、算力网络产生的背景
1️⃣分布式算力成为业务发展新需求
云计算时代人们倾向于建立一个集中化的超级计算池来解决问题,但随着时间推移,在一些新的业务场景中集中化并不是万能解药。
有些新业务好需要根据业务特性、价格、网络条件等多方面因素来选择最佳算力节点,也就是人们需要无处不在的算力资源。
例如:
智能门禁系统
将AI训练放在云计算中心
将AI推理放在MEC(边缘计算)设备上
如果将员工视频信息传递到千里之外的云计算中心进行识别,在将识别后的决策信息通过网络回传,不但需要更长的时延,还可能因为网络问题导致未知错误发生。
2️⃣MEC驱动算力提供的多样化
目前各类企业自建的计算节点位置分散、普遍利用率低,根据IDC的一项统计显示,各类计算资源(包括数据中心、物理服务器、PC及消费终端)的利用率都低于15%。
另外一个典型的例子是超算中心,超算中心具有大量的算力资源,但是普通用户都找不到合适的渠道去申请和利用这些资源,而超算中心也很难像云服务商那样在市面上进行商业推广。
随着MEC的发展,我们需要一种新的商业模式和技术体系,让更多方参与到算力资源的提供与交易过程中来。
3️⃣网络发展为多方算力资源灵活提供奠定基础
孤立的算力池很难成为一个可度量、可销售的商品,也很难推动产业链各方的持续发展,所以边缘计算需要多方共同提供算力资源。
那么首先就要考虑资源的可达性。
随着5G等新型网络技术的发展,各种各样的算力池已经能够高效、低成本的方式连接起来。以SD-WAN为代表的新型网络服务,能够高效快速的在用户与算力池之间建立灵活弹性的连接,也能在服务完毕后快速拆除相应的连接,以减少网络负载。
🟩如何整合各方资源,使用户可以灵活地按照业务需求选择合适的算力资源,成为一个新问题?
云服务商来整合这些资源?(可能性不大)
- 云服务商通过规模效应降低各类支出
- 希望实现机房建设、运营、维护无人化
- 整合MEC所涉及的大量机房资源,需要雇佣人力与各类房东洽谈,并执行各类服务合同
- MEC机房难扩展,难实现无人化运营维护
中小型算力资源拥有者来整合这些资源?(不可能)
- 技术有限,能够运营的产品和提供的服务相当有限
- 用户提出新需求后,很难及时提供有效的技术支持
- 企业推广力度小,能难将自身的资源信息告诉潜在用户群
算力网络来整合这些资源
- 新技术支持下,将算力资源信息通过网络进行分发
- 在算力资源提供者与消费者之间搭建一个交易平台,双方互不感知又能以统一的规则进行付费,形成一种新的资源交易模式
三、算网一体与云网一体化的区别
从资源分配的角度看,算力网络与云网协同都可以做到将算力资源信息与网络资源信息匹配,实现多类资源的联合优化。
例如:
- 在现有的云网协同方案下,用户可以先选择一个云服务节点,再根据云服务节点与用接入节点之间的网络情况选择最佳路径;
- 也可以根据网络情况选择合适的云服务节点,再选择连接路径。
云网一体(云网协同、云网融合)本质
- 核心在于以云为中心,网络连接应该根据云服务的特点进行调整,也成为“网随云动”;
- 网络能力开放给云管系统,有云管系统统一调度算力资源、存储资源和网络资源;
- 有云管系统将网络诉求发送给网络控制单元,如网络编排器等,有网络控制单元根据云业务诉求来调整网络
- 其关键是先选择云服务,再确定网络连接;
- 一个云服务可以连接多个网络,甚至可以利用SD-WAN等技术实现跨不同网络运营商的跨域连接
一个词概括“一云多网”
算网一体(算力网络)本质
- 算力池将自身的空闲算力资源信息发送给网络控制面,然后通过控制面(集中式、分布式、混合式)分发这些算力信息;
- 当收到用户的业务需求后,即可通过分析路由表中记录的网络信息和算力信息来选择最合适的算力池和网络路径;
- 算力网络需要先选择网络,再选择算力池(云计算服务节点或者边缘计算服务节点).
一个词概括“一网多云(算)”
四、算力网络资源信息分发与收集方案
🔵集中式方案
集中式方案将通过算力网络编排管理平台收集所有节点的算力资源信息、网络节点之间的网络拓扑信息和网络时延信息等。
如下图:
算力网络编排管理平台收集到的信息:
网络时延包括:节点处理时延、排队时延、发送时延、传播时延等。
网络运营商也可以根据其网络控制策略,设定不同的网络时延以控制用户路由。
🔵分布式方案
通过在BGP等IP路由协议中增加相应的字段,让算力资源信息可以在BGP邻居之间传递,并在传递算力信息的同时,可以利用Telemetry等协议,测量本节点到算力节点之间的时延信息。
各路由收集的信息表:
🔵混合式方案
混合式方案的资源分发与收集过程与分布式方案大致相同,唯一区别在于分布式方案中路由器在获取本区域内算力资源信息以及对于的路由表项后仍然将其存储在本地,而混合式方案则需要将信息发送给算力网络编排管理平台进行统一管理。
五、算力网络交易方案
🔵集中式及混合式方案
首先,用户在算力网络交易平台发起申请;
👇👇👇
然后,算力网络交易平台向算力网络编排管理平台查询算力资源信息和网络资源信息;
👇👇👇
最后,算力网络交易平台整合收到的算力资源信息和网络资源信息,计算得到针对某用户的算力网络资源信息表
例如:
以表格的形式通知用户查询结果
或者 以图形化的方式通知用户查询结果
如果用户X希望计算时延越低越好,且对价格不敏感,则选择计算节点C3;
如果用户Y对时延要求一般,但是希望数据不出城,即无需负担长途专线费用,则选择计算节点C2;
如果用户Z对业务扩展性要求很高,希望算力网络能够灵活提供算力,同时希望能够有较高的数据安全性和独立的网络地址空间,但是对时延没有特别的要求,则可以选择计算节点C1。
🔵分布式方案
以用户X为例进行介绍:
(1)用户X向其接入的网络设备AR1发送信息,获得AR1中的资源信息表;
(2)用户X根据自己的需求及资源信息表,确定符合自己需求的算力资源节点,如C3;
(3)用户X向计算节点C3发送“Hello”消息,查询计算节点资源的价格;
(4)计算节点C3收到信息后返回价格信息给用户X;
(5)用户X满意C3的报价后,将发送确认交易信息给计算节点C3,交易成功;如果不满意价格,则交易失败。
六、算力网络资源调度方案
🔵集中式及混合式方案
算力网络消费方在算力网络交易平台完成交易后,算力网络交易平台将交易结果发送给算力网络编排管理平台,算力网络编排管理平台根据交易结果分别对每个用户建立网络连接,为用户分配算力资源,同时算力网络编排管理平台更新算力资源和网络资源信息。
🔵分布式方案
没有算力网络编排管理平台
分布式算力网络交易后,将根据资源信息为用户X和计算节点C3之间搭建一条网络通路 X–>AR1–>R3–>C3 。
七、集中式、分布式和混合式方案对比
八、边缘计算开源项目
StarlingX
- StarlingX是一个边缘云软件堆栈,可以认为其本身就是一个完整的边缘计算基础设施解决方案。
- 该虚拟化平台提供以下服务:
- 快速响应事件,对事件快速做出反应并及时给出反馈,降低时延;
- 对发生的错误能快速恢复,减少错误持续时间;
- 易于部署,减少部署复杂度,便于用户接入;
- 具有可管理性,对于接入的服务进行系统管理。
KubeEdge
- KubeEdge构建于k8s之上,是将k8s原生的容器编排能力扩展到了边缘节点上,并增加了对边缘设备的管理功能;
- 它由云端部分和边缘部分组成,核心基础机构提供了对网络、应用部署和云边之间元数据同步的支持。
以上是关于还在谈论云计算吗?算力网络来啦!!!的主要内容,如果未能解决你的问题,请参考以下文章