趋势观点：未来十年数据存储技术将出现的六个变化

Posted 2022-01-13 盘古开源

回顾过去，数据存储技术从90年代的DAS存储发展到今天的分布式软件定义存储，伴随着成本、可靠性、扩展性这几个核心因素的平衡，可谓是风风雨雨经历了几十年。在这段漫长的岁月当中，存储架构的发展经历了从短暂的DAS架构迅速过度到以SAN架构和NAS架构混合存在的时代，SAN存储可谓主宰乾坤几十载；物理存储介质从软盘、光盘、机械盘发展到今天的固态盘，其中SAS接口的机械硬盘伴随着SAN存储架构的存在也可谓主宰乾坤几十载；存储软件功能上，从最开始的单纯读写服务发展到分级、分层、压缩、虚拟化等等，再到今天的各种软件定义。应该讲，数据存储的发展可谓是迅速走过工业时代，长久信息化时代，惆怅于互联网时代。未来十年的发展道路上，个人认为数据存储技术的会呈现出以下几个明显特征。

1.存储架构会由集中式为主的时代发展为混合模式时代。

从市场数据上看，根据Gartner对于2020年全球外置存储市场统计来看，分布式存储发货容量13ZB、销售额33亿$。2018年到2023年期间，中国分布式存储市场年均复合增长率将达到22.4%。不难看出，在数据量不断暴涨和国产化趋势的双重驱动下，未来十年分布式存储逐渐会成为企业追求的重要目标。从应用发展模式上看，伴随着Web1.0、2.0、3.0的飞速发展，越来越多的业务模式转变为BS模式，业务访问的并发量上发生了有史以来最大量级的升级。业务特性上，分析类业务剧增，依靠数据分析挖掘商机的时代到来。大数据、BI等新型业务系统纷纷在企业信息系统群中上线，数据本身的再生产价值能力受到空前的重视。集中式架构已经无法满足这些新需求带来的挑战。从数据发展的特点上来看，越来越多的非结构化、半结构化数据形态涌入企业应用系统；数据量级呈爆发式的增长；数据生命周期管理由原来的在线离线为主的模式转变为多生命周期的模式；数据分析成为企业必备的核心后台。这些从数据结构到数据量以及数据访问特点上的变化都会驱动着分布式存储架构体系的建设。

2.数据存储平台会从独立分散的状态发展为统一融合化平台。

目前来看，大多数的企业是没有完善统一的数据平台架构的。传统应用有传统应用的关系型数据存储平台，数仓及分析类业务有自己独立的数据存储平台，系统之间通过特定的应用接口来进行数据的下沉和上浮。但是互联网平台的基础之上，企业的业务会出现极高的融合度，企业对数据的利用会提高到战略高度。因此越来越多的数据分析和人工智能元素会融入到数据的整合利用当中。企业急需要将分散的数据通过采集、传输、过滤、加工、分析、汇总等系列过程进行不同维度的再利用，那么统一的数据中台、后台就会成为数据存储技术发展过程当中必不可少的关键因素。而这个数据的整合汇总平台一定是一个将硬件介质、存储架构、软件功能、应用处理融合为一体的体系化建设工程。在金融行业当中，已经有很多企业在建设自己的数据中台、后台等，只是大家在建设的策略方面还未到足够成熟阶段。相信未来十年，越来越多行业会步金融行业的后尘建设自己行业的数据平台。

3.在软件定义的基础之上，智能化的元素会不断融入新的存储产品当中。

谷歌在2003、2004、2006年仅以学术共享形式发表的 Google FS、MapReduce、BigTable三篇论文，十年之后却成为互联网企业实际应用的先驱模板。而且随着企业业务模式的不断发展，这些源代码经历了多次有针对性的优化和改造，解决了很多新的场景问题。从市场数据上看，2014到2019的五年时间内，软件定义存储的市场将从14亿美元增长到62亿美元以上，年复合增长率高达35%。伴随着软件化的不断发展，企业对数据存储的智能化程度要求越来越高。数据存储规划方面，越来越多的企业无法对未来发展的数据特点、量级、性能等要求作出准确设计，因此他们希望数据存储的软件功能具备根据动态运维数据提出优化建议并可自动执行的能力。数据存储使用方面，工程师更希望存储可以通过数据访问的基础运维数据来动态调整端口、带宽、缓存以及其他一些列存储资源的利用策略，以达到优化存储资源利用均衡化的目的。数据存储配置方面，架构师希望在纷繁复杂的基础运维数据当中，存储设备可以帮他找到数据之间的联系，分析出最优的性能配置策略、空间使用策略、安全配置策略以及最优的技术参数体系。事实上，很多的数据存储产品也在有意无意将人工智能的元素融入到数据存储的新产品当中。

4.云存储技术会成为数据存储领域又一颗璀璨的明星。

随着云计算的不断发展，云存储已经从最开始的网盘模式发展为社会生活当中必不可少的关键对象，未来也一定会充斥着社会经济生活当中的各个角落。从云计算带动的信息革命角度来看，正是有了云计算的存在，才会有今天以及未来各行各业的革命性创新。从智能交通到智慧城市，这里面会有无法计量的并且数据结构、状态、特点呈现五花八门形态的海量数据，这些数据来自于城市当中的每一个职能部门和企业，同时又为所有的社会群体服务，那么数据的存储和利用必然走向云化特征。从企业的数据战略高度来看，企业未来生死输赢的先决条件就是它对数据的利用能力如何，无论是金融行业还是零售行业，大数据分析战略已经是企业必不可少的建设目标了。在利用好企业自身积淀的数据基础之上，它们开始研究利用云平台上的社会共有数据，大家都在处心积虑围绕着客户这条线索建立一套属于自己的完整商业数据画像。因此云存储是这一战略唯一可选的数据存储方案。据IDC数据显示，到2025年，全球创建、获取和复制的数据量将增至175ZB，其中，企业存储的数据量将会占据全球总数据量80%以上。这一数据表明企业正迅速成为生产数据和管理数据的主要载体，加上目前我国正处于云计算的高速发展时期，企业上云成为必然趋势。越来越多的企业选择将自己的日常办公数据、备份数据、归档数据、静态历史数据等活动性不强的海量数据移入云存储资源池甚至直接推向云端。

5.存储硬件技术会向绿色节能方向不断演进。

2016年4月8日，由工业和信息化部、国家机关事务管理局、国家能源局联合召开“国家绿色数据中心试点工作推进会暨京津冀绿色数据中心协同发展论坛”。在这次会议上，强调了开展绿色数据中心试点地区的重要性，并对下一步的工作思路和任务做出了明确清晰的回应，工业和信息化部相关负责人也指出了试点单位应对创新工作的创建做好准备。未来降低能耗将成为数据中心建设的首要目标，通过使用可代替可再生能源将成为数据中心主要的电力能源。新一代绿色数据中心需要新型绿色节能技术的支持。同样存储设备作为数据中心所有IT设备当中最耗能源的设备，也必须与这个整体目标相符发展。从存储产品的硬件层面来实现节能无非需要从架构设计、芯片使用以及硬盘介质等几个方面来推进。从目前的技术参数对比来看，从时延、功耗、返还率等重要技术参数对比来看，固态硬盘都要远远优于传统机械硬盘，未来随着TCO不断降低固态硬盘会取代机械硬盘的霸主地位；更节能高效的非易失性内存技术填补了从硬盘到DRAM之间的性能、成本、能耗等方面的不平衡性。也定会成为未来新型存储产品必不可少的关键技术。

6.存储协议会从AHCI为主的模式演变为NVMe的天下。

在存储系统当中，HDD和SSD早期的传输协议都是AHCI（Advanced Host Controller Interface），AHCI为单队列模式，也就是说服务器和硬盘之间的数据传输为单队列模式。早期数据存储的性能主要受限于HDD硬盘本身，因此AHCI的性能瓶颈也就不是主要矛盾了。但是随着SSD介质技术的不断应用，AHCI的单队列模式已经严重制约SSD介质的并发访问性能的发挥了。因此NVMe（NVM Experess）协议应用而生，它旨在降低时延的同时提高IOPS，可以达到16Gbps的吞吐量，部分基于NVMe的驱动器可以达到200万甚至1000万的IOPS。从数据上来看，凭借其卓越性能优势，NVMe SSD产品在2018-2023年间以38%的复合年增长率持续增长，2021年占据企业级SSD出货量的55%以上。未来十年的存储技术发展，伴随着NVMe本身的分支技术发展，它一定会主宰未来存储协议。

总之，随着数字经济时代的不断深入发展，企业数据的价值被进一步重视和挖掘，数据存储技术的应用和发展会向多元化、智能化、体系化、绿色化等方向逐步发展，在这个过程当中也会有更多的新型软件及硬件技术诞生并应用到未来的存储产品当中。相信存储产业经济的发展模式也会从客户适应产品的通用产品模式逐步发展为围绕客户需求定制化的个性化产品经济模式。