给AI时代装配“新大脑”：数据密集型超算带来了哪些变革？

Posted 2021-08-11 脑极体

这几天，世界人工智能大会成为了行业中当之无愧的流量焦点，而媒体与分析师对这届大会的关注点也各有不同。

我们发现，世界人工智能大会来到第四届，大家关心的不再仅仅是基础算法创新以及酷炫的黑科技应用。AI相关的产业基础设施、规模化落地方案的关注度逐步增强。大家更多把AI视作一个产业结构，而非单单一种技术来加以讨论。

说到AI的产业会基础设施，就不能不提到超算。无论对于科研、行业，甚至区域发展与国家战略来说，超算都是AI与相关新一代信息技术的核心。而随着AI等技术带来数据量大规模增长、数据结构多元化、数据分析任务复杂化，原本的HPC（高性能计算）体系也迎来了全新的变革与挑战。HPC正在走向HPDA（高性能数据分析）的新方向，AI时代的超算体系正在从计算密集型转向到数据密集型。

我们知道，人的聪明才智不仅来自反应能力，还来源于对知识、记忆、经验的准确调取和应用。当AI要变得更聪明时，一定需要更强大的数据处理能力。数据密集型超算，可以说是社会经济真正需要的AI大脑。

人脑中的记忆是存储在神经元当中的，那么AI时代的超算大脑中，数据将要存储在哪呢？

一场由数据密集型超算带来的存储变革正在发生。7月8日，在2021世界人工智能大会(WAIC2021)上，上海交通大学与华为公司联合发布了数据密集型超算示范中心。这是双方继4月份联合成立“高性能计算&存储技术联合创新中心”以来的又一重磅合作，开创了产学研一体化推动超算发展的全新模式。

让我们以此为基础来谈一谈：智能时代为什么必须发展数据密集型的“新超算”？与此同时，存储产业又如何帮助“新超算”跨越数据裂谷？

智能时代，

数据密集型超算的产业需求

自疫情发生以来，全球无数国家和地区，相继意识到了超算能力的重要性。在确诊病例、寻找治疗方法以及研发疫苗的过程中，病毒与蛋白质解析能力至关重要。而相关工作就非常明显地展现出了计算由计算密集型，向数据密集型转化；由HPC向HPDA演进的必要性。

病毒解析任务中，需要快速产生海量数据，并且其结构复杂、数据形态多元。类似计算任务不仅考验计算能力，更考验全流程化的数据存放、调用、解析与再利用能力。如果仅仅是算得快，那么任务可能在数据的全流程循环中浪费大量时间。而疫情面前，时间就是生命。

在AI进入产业化周期的阶段，类似问题出现在各行业的超算需求中。自动驾驶、油气勘探、天文分析、工业数字化孪生，都清晰地指向数据密集型计算。

华为IT产品线解决方案设计部部长陈默博士认为，超算发展目前主要有6大趋势：架构集群化、计算异构化、数据密集化、网络IP化、运营自动化和应用容器化。这些趋势的出现，不仅考验了超算本身的算力发展，还给超算的存储体系带来了一系列挑战。比如说：

1、超算对应的数据存储量与存储类型快速增加：自动驾驶、卫星探测等任务带来了数据量的几何级飙升。而智慧城市、地质勘探等行业带来了大量非结构化数据、混合类型数据的存在任务，这都对存储体系产生了更高要求。

2、数据调用性能极大增加，要求存储能力增强：HPDA形态下的超算体系，需要完成海量数据的短时间内大量吞吐，这对存储性能提出了挑战。

3、产业智能化趋势，要求存储可靠性趋向极致：在生产场景中落地的超算，需要结果高度可靠，且不能出现重复，更不能持续故障。这要求存储的可靠性极高，并具有强大的自我修复与诊断能力。

4、超算中心和数据中心融合：超算体系未来将承担更多的数据服务与数据利用职能，这就要求数据在存算场景中反复流动，快速循环，形成有效的数据湖场景。这将对现有存储体系造成巨大的升级。

这些趋势的存在和发展，意味着数据密集型超算必将建立在存储能力的升级与进化之上。海量存储能力升级支撑数据密集型超算与HPDA趋势；超算升级又支撑了AI产业化发展。

这样来看，今年我们希望在世界人工智能大会中找到的产业底座，一定蕴藏在海量存储体系当中。

应对HPDA挑战，

需要存储能力升级

为了应对数据密集型超算中出现的一系列数据存算挑战，华为推出了OceanStor Pacific存储，在高密设计、应对混合负载能力，以及多协议互通三大领域完成了创新，从而更准确满足海量、多种类数据的快速存算需求，助力超算体系升级。

我们可以具体来看一下这三大能力是如何解决数据密集型超算所遇到挑战的。

首先，HPDA的核心挑战就是海量数据的涌入，以及业务量的几何级增长，很快会造成机房空间不足、存储成本高昂的问题，相关用户不能无限制投入成本和空间用以存放数据。为了解决这个问题，华为推出了OeanStor Pacific高密专用硬件，基于全新的高密架构设计提供更高的容量利用率，在有限的机房空间里存下更多数据。

其次，随着AI产业化的推进，超算体系中的一套存储必须支持不同业务流程、产业环节的混合负载。以油气勘探为例，过往数据采集、解释、处理每个环节的业务能力对存储的需求都不同，如果搭建多套存储会造成大量迁移成本和安全风险。华为OceanStor Pacific推出了新一代分布式并行文件系统，从而应对混合负载挑战。

再有，数据密集型超算需要让数据在其他环节、不同系统之间进行复杂的循环流动，这就需要存储具备多协议互通能力。华为OeanStor Pacific具备业界领先的多协议互通能力，能够实现多个存储服务同时访问一份数据，提高跨环节、跨系统的数据分析效率。

面向数据密集型超算的产业趋势，华为也并不仅仅是提供市场需要的产品和技术，而是与科研界、产业界走到一起，联手探索未来超算的更多可能性。比如上海交通大学与华为联合打造的数据密集型超算示范中心。

产学研一体，探索超算下一幕

数据密集型超算的进化，以及HPC向HPDA的演进，都不是一家企业、一个产业链环节能够完成的任务，而是需要这个领域中产学研各界高效协同，更准确完成从基础设施革新、技术创新到产业落地的一系列工程。

华为与上海交通大学联手打造的数据密集型超算示范中心，就是一种有效的产学研一体化协作模式。华为OceanStor Pacific存储对于HPDA的赋能与帮助，不应该等待产业界慢慢探索发掘，而是应该在有效的示范与引导下，确保行业用户和超算建设方能够准确找到切入点，实现投入产出比最大化。

数据密集型超算示范中心就是这样一个产学研一体化打造的示范项目，其具有两大创新点，一是国内高校建设的第一个ARM超算体系，二是在国内高校首次践行“数据密集型超算”的建设理念。围绕数据密集型超算的建设理念，华为与上海交大紧密协作，持续投入了相关技术与应用创新，并且在科研合作、人才培育等领域进行生态化合作，以此来探索超算在智能时代的有效升级路径。

回到存储领域，华为OceanStor Pacific存储为数据密集型超算示范中心提供了统一的数据底座，对异构化算力实现了坚实支撑，既确保了创新型的超算部署成功落地，同时还增强了结果验证能力，提升了用户操作体验与运行效率。

未来，数据密集型超算将在AI走入千行百业、探索技术边界的进程里起到中坚作用。而相关的存储能力则是众多想象力的基础。

我们在今年的世界人工智能大会中，不仅能够看到对AI基础设施的关注，甚至能看到“基础设施的基础设施”迎来了升级进化。

基建是无数产业发展的灵魂，我们在高速公路、高铁上见到的故事，正在AI、存储中又一次上演着。