浪潮分布式存储：以一个存储平台承接数据中心所有应用

Posted 2021-04-19 DOIT传媒

“话说天下大势，分久必合，合久必分。”当存储从集中式存储转变为分布式存储，这是“分”，当分布式存储不只是分布式的块存储，文件存储和对象存储等等，而是一套分布式存储承载多种存储方式，那么，一个新的时代又来了，这就是浪潮所说的，用一套存储来承载数据中心的存储任务，这就是“合”。

在2019年软件定义存储峰会上，浪潮存储产品部资深产品经理赵帅对此进行了一番详尽的介绍，从业内发展趋势，产品创新，方案的应用场景以及实际落地的案例等几个方面都进行了详尽的阐释。

如何应对数据中心的数据存储挑战

在传统应用传统存储架构稳态能力的基础上，数字化转型在如火如荼的进行当中，过程当中会涌现出越来越多新的智能应用，那么，不同种类的应用带来了哪些数据挑战呢？为此，赵帅总结了四个方面：

第一个挑战是精细化，未来会有越来越多的应用追求精细化，比如对照片的像素要求越来越高，数据量、数据类型会越来越多。

第二个挑战是即时性，一些关键应用，比如一些实时在线交易系统，对即时性有很高要求。

第三个挑战是整合化，如今的业务系统和应用越来越多，应用对应的数据之间能否打造一个数据集，完成应用与应用、业务与业务的对接整合尤为重要。

第四个挑战是不确定性，人的行为难以预测，一个突发新闻比如明星爆炸性绯闻事件可能会给某网站带来大批量的访问，网站能否承载还是个问题，这种不确定性带来的压力要如何应对？如何避免系统宕机，如何面对这些不确定性呢？

四个挑战凸显了业务变革下涌现的新兴应用对于数据存储的新需求，我们正在步入一个新数据时代，存储要怎么变？浪潮存储总结了过去，着眼未来，于是提出要重新定义存储，其思路就是化繁为简，让分布式存储走向融合。

从介绍中我们了解到，浪潮打造了超大规模数据中心级分布式存储平台，希望以一个存储平台承接数据中心几乎所有应用，从边缘计算、边缘应用，到核心智能应用和传统应用，再到多云环境的存储都能承接，这个存储平台可以覆盖到用户大数据离线分析业务，或者实时在线分析业务、人工智能、HPC、机器学习、备份归档等等业务场景。

赵帅认为，这个存储要有非常好的弹性扩展能力，用单一设备就能构建最小化的分布式存储集群，起始容量在30几个TB，随后可扩展到多个节点，达到8到10PB甚至更高，扩展到1个数据中心几百台机柜，提供EB级的访问空间，更重要的是，随着它的弹性容量的扩展，它的性能也会呈线性提升。

这一要求对于技术本身提出了很高要求。今年3月，浪潮发布了两款面向数据中心打造的新产品，一款是面向核心业务的高端存储平台，适用于数据库之类关键应用。另外一个就是超大规模数据中心级分布式存储平台AS13000G5，它是在分布式存储AS13000的基础上进行升级的，浪潮是希望用一个平台或者一个架构承载用户的所有的应用。

AS13000G5亮点

作为一款新的分布式存储产品，在设计上有哪些特别呢？

赵帅总结说，该分布式存储平台的设计要点可总结为两个“5+X”。

首先是硬件层面的5+X，5指的是5种硬件形态，包括机架式服务器、机柜式服务器、多节点服务器、高密度服务器以及边缘服务器，X指的是根据用户不同的需求，包括容量需求、性能需求、智慧计算的需求，对应提供不同的CPU、显卡、SSD、HDD等等不同硬件配比。

软件层面5+X，5指的是5种数据服务或者5种访问协议，常见的分布式存储支持4种访问协议，而浪潮的这次额外增加了数据库协议，值得一提的是，它能将亿级文件查询时间从原来的小时级缩短到秒级。X指的是与X种应用融合，浪潮分布式存储与一些原生的云端分布式应用进行融合，在这方面，浪潮与许多ISV合作伙伴合作，进行深度集成。

细细看来，AS13000G5在很多层面上做了优化和改进。

比如在小文件读写性能方面。小文件读写是整个分布式存储业界都比较头疼的问题，AS13000G5通过小文件聚合和对象聚合两种技术，把最小的访问单元从KB级提高到MB级，以此提升小文件随机读写以及小文件删除的性能。

在空间利用率方面。分布式存储的空间利用率除了必要的消耗外，使用率有一个安全水位（存储空间使用率），负责人的厂商会告知用户这个安全水位，超过水位会严重影响性能，不负责的厂商的做法可能会造成系统意外宕机了。浪潮通过多机一致计算技术将安全水位提高了6%，空间利用率达到了90%，也就相应提升了资源利用率。

在支持的文件数方面。常见的分布式存储系统都能支持存储百亿级别的小图片，但是如何实现千亿级别的存储呢？浪潮AS13000G5在新技术的支持下，管理文件数提升了10倍，这一特性在未来的卫星行业、交管行业的系统当中，会起到非常至关重要的作用。

浪潮既有存储又有服务器业务，在这次更新中，浪潮的存储产品线结合了服务器产品线的优点，硬件设计上可以兼容市面上99%的机柜，原来的存储机型在4U高度空间下提供36盘仓，现在4U可提供72个盘仓，单一设备可提供1PB存储容量。多节点服务器设计中提供的物理隔离和逻辑隔离能力可以让浪潮实现单一设备部署最小的分布式系统集群。

集中式存储有统一存储的概念，一套存储上有多种存储服务，实现方式多种多样，分布式存储的统一存储要怎么做呢？赵帅介绍说，分布式的跨协议通常靠数据副本来做，复制数据后两份数据经由不同的协议对外提供访问，浪潮存储靠的是资源池，不同的数据服务采用转换协议，相对于前者，优势在于没有数据复制造成的中间开销，效率大为提升。

人工智能最理想的场景之一就是在运维方面，AS13000G5在智能预测方面也有突破，在这里，智能预测可分为故障预测和性能预测。浪潮发现分布式存储上硬盘故障是可以预测的，14天范围内的硬盘故障预测准确率高达85%，留给用户充足的时间提前准备和更换。性能预测方面，可以预测未来九十天的硬盘性能波动情况，硬盘级的性能预测给AS13000G5整体的预测提供了非常好的数据支撑。

浪潮AS13000G5的创新非常细致且全面，体现了浪潮从硬件设计到软件堆栈优化的方方面面的创新实践能力。在2019年的软件定义存储峰会上，有嘉宾表示，软件定义存储其实离不开硬件，纯软件的软件定义存储只是一种商业模式，在实际应用中还是软硬一体优化为主，因为涉及到方方面面的优化，这其实是用户所需要的。这一观点得到了许多专业人士的认可，也就决定了，像浪潮这样有软硬件综合能力的创新企业才能更好地开发软件定义存储市场。

应用场景与应用案例

浪潮分布式存储总结出了七大应用场景，分别是视频监控、广电媒资、人工智能、云计算、大数据、HPC和传统应用，Gartner评估了存储厂商在五大场景下的八项关键能力，并给出最终排名，在浪潮在五大场景下的表现都进入到了TOP7当中，在HPC方面，浪潮排名第三。大数据分析领域，浪潮排名第四；在云计算方面，浪潮排名第五；在归档和备份分别排名第五和第六。

如果没有实际落地，再好的分布式存储也只能停留在理论上，在实际应用当中，浪潮分布式存储有多个行业有多个案例。

在北京、广西、内蒙、湖南等等的政务云当中都有浪潮AS13000相关的规划和建设；在卫星数据的存储中浪潮AS13000提供了70PB的存储空间，带宽和延迟方面都表现出了优势；在智慧交通的案例中，大量监控摄像头汇集的数据对存储提出了很高要求，AS13000的性能表现也可圈可点。

清华大学对小白鼠大脑的研究对后端存储有很大需求，实验中用了28台相机，每秒拍30张高清图片，每张图片1200万像素，每张图片大小24MB，经过简单计算后看到后端存储是20GB每秒，浪潮的分布式存储方案很好地承接了这个项目。

在广电领域，浪潮分布式存储承接了40多个县的融媒体业务，县级的融媒体业务对于后端存储集群的要求也很高，比如在延迟方面的要求就很高，浪潮的分布式存储很好地承接了县级融媒体的建设。

广电国网的案例中，浪潮AS13000的分布式存储平台承接几乎所有业务系统，搭建了141台分布式存储节点，有3000台虚拟机部署在其中，而且基于AS13000打造了两地三中心，这是AS13000存储落地实践中的经典案例。

结语

落地的案例是产品走向成熟的标志，也是一个成熟的存储系统进一步发展和演进的必由之路，在不断发展演进的路上，浪潮的市场开拓能力与自身研发能力就显得尤为重要了。从集中存储到分布式存储，这是企业存储领域几十年来的大事件，对原有存储既是补充又是挑战，而这个过程中势必会产生出一批新的存储力量，浪潮在分布式存储领域产品和市场表现值得期待。

关于DOIT

DOIT是中国领先的科技新媒体，始于2003年，关注科技与数字经济，洞察IT走向DT。