阿里云何万青：南坡VS北坡，阿里云高性能计算行业实践

Posted 2022-01-18 弹性计算百晓生

北坡模式：借助于云上大计算性能突破来提供HPC服务，切入的重点更加聚焦于云服务。

随着数字化转型的深入，行业应用对算力提出更高要求。为满足不同行业灵活的业务形态与计算需求，以云计算技术为服务模式创新的技术手段，以高性能计算服务为核心的高性能计算云（HPC Cloud）受到业界的广泛关注。

 

为了进一步凝聚产业共识，推进高性能计算云产业发展，2021年12月21日，计算网融合产业及标准推进委员会联合超级计算创新联盟，召开首届高性能计算云（HPC Cloud）产业发展论坛，邀请了学术界与产业界专家，以 “云化超算，智启未来”为主题，从技术研究、应用部署、实践发展等多个方面进行精彩演讲。

 

在本次论坛上，来自阿里云的高性能计算负责人何万青发表了《南坡VS北坡，阿里云高性能计算HPC-as-a-Service行业实践》的主题演讲。

 

 

01 阿里云高性能计算的发展

 

超算通过互联网的方式去部署和交付已经成为趋势。何万青表示阿里云的高性能计算已经发展了四到五年，目前部署在很多工业和行业计算的相关垂直业务，比如汽车仿真、影视后期渲染、AI生物制药、气象业务等领域。

 

基于过去十多年在线下HPC的技术观察，谈到传统超算系统转型高性能计算云的趋势，何万青将线下超算转型云服务和云服务提供高性能计算产品和服务两种模式，比喻为从南坡和北坡不同线路攀登HPC-as-a-Service顶峰。在北坡，云公司借助于云上大计算性能突破来提供HPC服务，切入的重点更加聚焦于云服务：单机SLA和大规模稳定性、快捷、弹性、多种云产品和服务的快速组合及SaaS服务，超越以提供“核时”和“算力”为核心的模式，强调整体科研业务上云。

 

2020年是高性能计算在稳定性、弹性以及计费敏感性方向发展最快的一年，很多重大任务在阿里云已经可以大规模的部署，阿里云在去IOE的过程中，可以使超70%硬件故障无感消除，在公共云大计算产品端，云超算SCC第七代实例规格全新上线。

 

在神龙计算平台上，它的优势包括虚拟化网络高效卸载，物理网络、存储和计算完全解耦，避免资源争抢。神龙eRDMA功能2021年也正式上线，实现CPU实例和GPU实例并池和混合部署，极大扩展CPU和GPU实例集群范围。从POD扩展到可用区、数据中心，平台支持更大规模的弹性伸缩，同时支持VPC网络、eRDMA网络、存储网络三网合一。在数值天气预报中，eRDMA会极大提升应用规模和并行效率。

 

02 阿里云高性能计算Cloud Stack

 

何万青表示，基于以上的底层架构，阿里云高性能计算统称为“神龙云超算”，在其上部署面向公共云和混合云的E-HPC云软件栈，它是基于神龙服务器+RDMA网络+并行文件系统开发的PssS层服务。其中，调度器和弹性伸缩、热迁移等功可以从底层对客户透明实现。在ISV层，服务是通过工作流的方式提供，数据搬移不仅是物理方式，而是通过高速网络，一次性的上载来完成任务交付。在跨数据中心的计算集群上，完成三网合一，现有调度器完全实现对跨可用区计算节点的调度，将不同的任务分配给不同的实例。在不同的队列调度上方面，全球只有阿里云能够在运行过程中实现队列绑定不同的实例。

 

 

03阿里云高性能计算应用方案

 

 

何万青介绍了将抢占式实例与断点续算结合，用户只需要花费比传统方式很少的成本，便可以按需得到所需资源。在混合云技术方面，通过混合云异步文件存储的方式，可以实现在线上、线下同时进行数据拉取与计算，在影视渲染场景中，已经得到广泛使用。

 

E-HPC商业License方案中，可通过阿里云高速通道打通云上云下网络。其中，E-HPC自动部署云上计算资源，并为其配置好License服务或License代理节点，云下License服务器通过VPN连接License代理节点，E-HPC服务负责License Manager部署、License发放和使用监控。

 

点击这里，查看更多弹性高性能计算E-HPC产品信息。