全闪SDS 2.0存储发展新趋势

Posted 2023-01-06 刘爱贵

本期我们来侃一侃全闪SDS 2.0存储发展新趋势。

开源SDS存储系统

说到SDS软件定义存储，就不得不提开源存储系统，尤其是中国SDS存储。

开源存储为中国SDS存储打开了一扇门，缩短了我们与世界的距离，可以说国内存储企业或多或少都与开源有些关系。

Ceph, Gluster, Lustre, Minio, BeeGFS 等，都有很大的贡献，可以想象一下没有开源存储的景象。

然而，开源SDS也给中国存储带来一些负面的元素，同质化日益严重、健康发展不可控、沉溺拿来主义缺乏自主创新。

SDS大格局

我们从全球视野再来看一下SDS大格局，当然主要厂商都在美国硅谷。

这张图还是2017年，当前仍然有效，里面的很多存储企业发展很好，可谓是百花齐放百家争鸣。

从这些厂商中能够发现几个显著的特性，一是几乎全是自研产品而鲜有开源，开源主要玩家是Redhat和SUSE；二是产品差异化和创新性显著，尤其是初创企业；三是全闪SDS厂商大放异彩，典型代表有PureStorage, E8, Excelero, VAST Data, Qumulo, Weka.io, Cohesity, DAOS。

AFA全闪阵列浪潮

全闪存储浪潮从AFA全闪阵开始，从SAN阵列发展到全闪阵列，这是延续性技术变革非常自然的发展。

AFA浪潮大致2010前兴起，诞生了不少优秀的企业，有独立发展的、有被巨头并购的，也有失败的，比如Kaminario, Pure Storage, Skyera, XtremIO。

当时SSD成本还是特别高的，为了降低成本，出现了HFA混闪厂商，比如Nimble，后被HPE收购，它还有一个很出名的AIOPs智能运维系统InfoSight。

随着SSD成本不断下降和云计算的发展推动，NVMe全闪分布式SDS开始登上全闪舞台，比如E8, Excelereo。

AFA全闪阵列主要是替换FC SAN传统存储，而全闪SDS是全面替换传统存储和SDS 1.0存储。

相对AFA全闪阵列，全闪SDS具有更好的扩展性、高可用性、TCO成本、开放灵活性，更加适合云计算和新兴应用工作负载，将成为存储主流占据更多的市场份额。

NVMeoF全闪存是新技术浪潮

最新Gartner报告显示，NVMeoF全闪存储处于技术发展趋势浪潮之巅，NVMe将取代SCSI成为存储协议的主流，这已经是业界公认的事实。

基于高性能服务器、高速网络和高性能SSD，构建全闪SDS，提供NVMeoF/RDMA和NVMeoF/TCP两种端到端NVMe协议，普遍满足高性能和增值型业务场景需求，帮助企业实现数字化转型。

SDS生态格局

开源存储直接决定了国内SDS生态格局，基于开源SDS和HDD机械硬盘或混闪架构的SDS存储占据了绝对的比率，我们划到容量型SDS 1.0的象限，这里面基于开源Ceph特别多。

全闪型SDS 2.0厂商非常少，TaoCloud大道云行是典型代表，开源里面没有全闪SDS，再加上自研门槛高和投入周期长等因素，造成了这种不太正常健康的局面。

从长期来看，全闪SDS是即将未来的市场主流，再有信创市场的加持，我们相信会有更多企业加入这个阵营，据闻已经有若干厂商战略规划自研全闪SDS，全面超越开源SDS。

SDS已经成为存储大市场主流，全闪存储快速增长

IDC报告显示，2021年中国外部存储市场整体规模约430亿，SDS+HCI占比高达47.9%，其中SDS存储约140亿，SDS已经成为存储市场主流。

预测到2026年，SDS存储和AFA存储将分别达到300亿和200亿市场规模，全闪SDS将占据40%以上的市场份额，全闪存储增长快速。

新兴市场驱动、SSD成本不断降低、再有信创存储加持，全闪存储是市场发展必由之路，未来前景非常可期。

SSD成本拐点已现，全闪SDS全面普及应用

SDS已经成为存储市场主流，正在全面替换传统存储，全闪SDS 2.0加速这一进程，逐渐渗透核心应用。

2021年SSD闪存全面替换HDD硬盘的拐点已经出现，全闪SDS即将全面普及应用，覆盖性能型和增值型应用场景。

新兴市场新需求

新兴市场关键需求是弹性高扩展和高性能/低延迟，传统存储和SDS 1.0均不能满足好，这是全闪SDS 2.0的大好机遇。

典型应用集中在新兴技术领域，诸如云计算、大数据、人工智能、自动驾驶、HPC/HDPA、金融科技、生命信息、高速数据采集、4K/8K视频编辑等。

产业升级驱动

产业升级关注存储的扩展性和降低成本，如广电媒资、视频监控、HPC，容量型SDS 1.0更好满足这一需求，已经成为市场主流。

SSD成本不断下降，未来将发展到性能型SDS 2.0。

宏观市场多方利好，存储硬科技发展大机遇

信创国产化要求自主可控，更加青睐从0到1构建先进的存储系统。

SDS 1.0以开源为主，全闪SDS 2.0是信创存储必由之路。信创工程加速，向全IT产业链和全行业的信创产业升级。

基于以太网的NVMeoF全闪是信创必由之路，特别是金融信创为代表的2+8行业信创。

信创工程、东数西算、企业数字化转型，宏观市场多方利好，存储硬科技迎来发展大机遇。

SSD成本拐点已现，不出5年将低于HDD

从SSD价格趋势来看，2021年闪存价格达到HDD机械硬盘的4.2倍，SSD全面替换HDD的市场拐点已经到来，预计2026年两者价格将会持平。

闪存性能优势之外，还有稳定性、存储效能、空间能耗、静音抗震、智能运维等方面的显著优势。

当成本不是问题，全闪存不再只针对特定的应用和工作负载，而会被普遍的采用，承载核心业务和增值业务等多种业务场景。

全闪SDS 2.0发展热点

聚集全闪SDS 2.0的高扩展、高性能、低成本/高效率，EB级超大规模、NVMeoF全闪存、DPU/智能网卡、AIOps等，将是分布式存储技术发展热点。

NVMeoF全闪块存储、新一代全闪文件存储、高性能全闪对象存储，全闪SDS 2.0正在迎来新一波发展热潮。

NVMeoF全闪块存储

SDS块存储，几乎全是 Ceph，同质化竞争和性能瓶颈，NVMeoF全闪块存储是好方向。

NVMeoF全闪块存储的显著特性是NVMe全闪分布式、端到端NVMeoF、裸金属高效率。

可基于IB/TCP高速网络构建大规模NVMe全闪存储集群、支持NVMeoF/RDMA和NVMeoF/TCP、千万IOPS/百微秒级高性能、发挥裸金属90%以上的高效率。

新一代全闪文件存储

国内SDS文件存储，以开源存储为主，Lustre/Gluster/CephFS/BeeGFS尤为流行，偏重容量带宽型。

文件存储原本就占据了60%以上的市场份额，AI/HPC/HDPA、大数据、自动驾驶等新兴应用对文件存储提出了更高的要求，EB级高扩展、千亿级小文件、亚毫秒级延迟、超高并发等。

对标Qumulo/Wekaio/VAST Data，新一代全闪文件存储是好产品，文件存储将迎来崭新发展。

面向高性能的对象存储系统

事实标准的对象存储源自AWS S3，基于HTTP/RESTful设计，原本就不是面向高性能应用场景。开源SDS对象存储，Ceph之外还有minio。

时至今日，新应用新业务日新月异，SSD呈现全面普及应用的态势，高性能对象存储的需求日益凸显，特别是AI/HPC/HDPA场景。

全闪存的对象存储需要变革，intel DAOS将对象存储推向高性能市场，是一个很好的参考。

全闪SDS 2.0三连问

第一问：什么是真全闪 SDS 2.0？

大家以为，把硬件升级一下就是全闪SDS 2.0，其实软件不换新就不是伪全闪。真全闪具有NVMe全闪分布式、端到端NVMeoF、裸金属高效率的硬特性。

第二问：全闪SDS 2.0自研门槛有多大？

大家以为，拉几杆枪就能把全闪SDS 2.0搞出来，其实国内几乎没有这么随便成功的。没有开源系统可借鉴，从0到1构建先进系统软件，工程技术实现和可靠测试系统，全闪SDS自研门槛很高。

第三问：基于开源SDS能做全闪SDS 2.0吗？

大家以为，开源基础上改全闪SDS 2.0难道不香吗，其实业界共识是真不香。主流开源都是10+年前的，并非为全闪设计，硬件、架构、工程技术相差很大，系统瓶颈相去甚远，业界共识几乎没有可能性。不破不立，需要全新研发。

附：《刘博来了》-全闪SDS2.0发展新趋势