杉岩数据：海量智能存储，打造新基建数字底座

Posted 2020-11-30

过去二十年，数字经济蓬勃发展，深刻改变了人们的生产和生活方式。数据已经成为数字经济时代最核心的生产要素。移动互联网成为社会的数字基础设施，社交网络、电子商务、移动支付已经重构每一个中国人的生活方式，人工智能在各行业的应用持续拓展和深化，有望成为新一代的技术基础设施。工业互联网已在千行百业生根发芽，赋能工业企业实现数字化转型，通过对数据的采集和分析形成智能反馈，推动形成全新的生产制造和服务体系，提高企业生产效率，创造差异化的产品和增值服务，随着5G网络部署逐渐铺开，企业的智能化升级正得到进一步加速。

一、数字化基础设施产生海量数据，存储产业面临巨大机会

新基建涵盖了众多的数字化基础设施：云计算、人工智能、工业互联网、5G、物联网、数据中心、智能计算中心等信息基础设施，以智能交通、智慧能源为代表的融合基础设施。新基建以数字化为核心，推动产业向高端化发展，这个过程必然产生大量的数据以及相应的采集、存储、分析和归档需求。根据机构预测，到2025年智能终端数量将达到400亿个，全球数据总量也将从2020年的44ZB跃升到180ZB，其中30%属于实时数据，75%来自边缘和终端。

数据不仅总量巨大，增长速度也十分惊人，一家智能化的医院每天可以生成3TB数据，一座智能工厂每天生成1PB数据，一座智慧城市每天产生的数据量是250PB。新基建将加速企业的数字化转型，大量新的硬件与应用带来数据量快速增长的同时，也让数据类型越来越多样化。生产、采集和保存尽可能多的数据，用于全量分析以洞察先机已成为企业的共识。海量数据蕴含巨大的价值，给存储系统带来了前所未有的机会和挑战。

二、量变引发质变，海量数据的管理日益复杂

随着网络边缘设备增多、数据规模增长，数据的分布、流动和处理的模式在发生变化，企业计算架构随着技术和业务需求的更新也在不断演进，新的问题逐渐浮现。

数据的时间价值凸显

数据随时间不断产生，同时在智能应用中持续迭代计算，从物联网获取的数据更附带了鲜明的时序属性。在任何时刻，近期产生的数据和频繁参与计算的基础数据相对更有价值，数据在不同历史阶段的使用频次不同，而总量巨大的数据必然需要占用宝贵的存储空间，因此高性能存储保存高价值数据、常规存储保存中等价值数据、高性价比存储空间保存低价值数据并综合考虑数据的传输成本是合理的介质资源分配逻辑，数据在不同介质之间的存储、流转和生命周期管理是未来管理者的基础需求。

混合云存储的数据自由流动

为适应竞争激烈的市场环境，企业在努力缩短与客户的距离，大量业务向互联网化和敏捷化的方向演进，逐渐形成了在公有云部署敏捷业务、在私有云存储核心数据的局面，这种公共云和私有云共存的形态在未来很长时间都会是常态。因此，如何实现公共云和私有云之间数据的自由流动，如何做到业务无感知，用户不需要关注数据的位置，实现数据的融合、自由迁移和安全合规非常重要。

云边协同的数据管理

万物互联的5G时代，物与物之间的连接将急剧增多，终端数量增长，数据采集渠道更加丰富，物联网设备将在网络边缘对数据进行计算、存储、处理和分析，边缘存储适用于与物联网设备紧密相关、数据传输延迟敏感、数据交互次数多、数据传输量大的物联网应用，如工业物联网、车联网、智慧城市、无人机、视频监控等。数据在云存储和边缘存储之间的流动更趋复杂，云边协同的数据管理能力变得尤为重要。

简化管理应对数据中心架构变革

企业计算架构处于全方位的变革中，传统计算能力让位于虚拟化、云化、容器化和智能化，单一的文件存储和块存储正在被经济高效的软件定义存储替代。数据中心架构变革处在新旧转换期，软件定义存储呼啸而来，传统存储仍有存在价值，二者的统一管理将有效降低数据中心的建设和运维成本。

三、为海量数据而生的智能存储

不同类型的基础技术和业务需求导致了存储对数据感知能力的差异。块存储广泛应用于业务专有系统中，这类系统要求很高的随机读写性能，因此块存储有较强的I/O感知能力，对不同大小数据块（如4KB/8KB/16KB）读写能够感知和加速读写。文件存储通常要兼顾多个应用和更多用户访问，以文件为单位的读写使得文件存储在一定程度上可以感知内容，对不同类型的文件（如文档、图片、音频、视频）读写有对应的优化手段。

基础技术的不同也导致存储特性的较大差异，块存储如同跑车，容量有限但追求极致的速度、稳定性和可靠性；文件存储如同大货车，容量较大，兼容性好，如果不需要极限性能，可以适用于各种常规存储需求；新兴的对象存储如同超大型集装箱船舶，容量极大，支持海量并发访问，内置的元数据结构可用于识别数据的多维度属性，使得对象存储可以实现应用感知（如某数据库应用、某机器视觉的工业应用、某人工智能应用的模型训练），并因此针对智能应用提供加速能力，甚至将一些在应用层处理代价很高的问题卸载到存储服务器中解决。

以对象存储为核心技术的海量智能存储，凭借灵活的去中心化架构带来的弹性扩展能力、高并发访问等天然优势，消除了容量和性能的约束，轻松支撑EB级规模，以千万级IOPS和TB级聚合带宽满足高并发访问需求，提供多层次多策略的企业级数据保护，加之部署简单、灵活扩容的特点，逐渐取代传统存储，为海量数据提供极致容量、极致性能、极致可靠的底层支撑，为工业应用提供智能的数据服务，是数字化基础设施坚实的数字底座。

四、全新的数据模式需要多元化的数据管理

因为数据规模的增长、数据来源的泛化、应用的容器化，应用和数据的分布呈多元化发展，需要有丰富的策略管理日益复杂的数据分布和流动模式。

全生命周期自动化管理

数据的迁移管理目前主要依靠人力完成，运维人员的经验决定了管理的质量，数据的容量决定了迁移的效率。智能存储根据数据访问频率以及对数据内容和上层应用的感知，通过策略自动化管理热温冷数据的流动，解放人力简化运维。比如在医院的PACS影像系统中，近期影像存放在高性能介质，三个月以上的中期影像数据存放在低成本介质，一年以上的影像自动归档到蓝光存储或公有云平台长期保存，兼顾性能和成本需求，数据分层效率提升十倍，而且显著降低管理难度。

混合云存储的统一管理

出于安全和成本的考量，企业往往将敏捷业务部署在公有云，同时将重要数据存放在私有云，以兼顾业务灵活和数据安全。企业存储需要和公有云存储结合起来，提供业务无感知的数据融合和流动。杉岩数据和阿里云在这个领域开展了非常有益的合作，作为国内第一家支持阿里云OSS云存储服务的企业存储厂商，企业客户将可以实现应用和数据的灵活部署，应用部署地点和数据存储空间不再相互制约，满足“敏捷-安全-成本”的混合云存储需求。

总部与分支机构间的数据汇聚和分发

云边协同的数据管理能力对存储系统支撑总部与分支机构间的数据汇聚和分发至关重要。跨地域的机构内数据访问，需要在较低的网络带宽条件下实现较高的读写性能、跨区域的统一文件视图和异地容灾能力。为了在相互矛盾的条件下满足上述需求，企业智能存储需要提供一个数据同步和分发架构，在存储层面实现跨区域集群数据的统一命名空间和数据流动，通过双活架构提供数据灾难恢复能力，通过CDN实现总部中心节点的数据分发，通过分支机构的数据就近写入实现总部的数据自动汇聚，并通过跨区域的数据调度简化应用层数据共享的复杂性。

传统存储和软件定义存储的统一管理

随着企业数据中心架构整体转向软件定义，必须考虑新旧设备综合利用的需求，软件定义存储的部署越来越多，与此同时传统存储也将长期存在并在其生命周期中继续发挥作用，通过对异构存储的统一管理整合现有设备资源可有效保护既有投资。杉岩数据已经支持对文件存储设备的纳管，对块存储设备的纳管也将根据客户和合作伙伴的需求陆续提供。

五、双擎驱动：存储核心引擎 + 智能数据处理引擎

高效支撑海量数据的智能存储，既要立足当下，更要面向未来。杉岩数据敏锐地洞察到高效存储海量小文件（小于500KB）是很多对象存储客户的核心需求，长时间写入以数十亿计的小文件很容易引发性能降级，在存储容量利用率较高的时候下降幅度尤为明显，杉岩数据存储核心引擎通过在分布式负载管理、元数据加速、文件合并读写等关键技术的长期投入实现了百亿级小文件的性能高度稳定，已经达到超越行业30%的水准。

在企业经营活动中，数据智能驱动生产决策，深度挖掘数据价值成为刚需。智能存储不仅仅存放数据，更与前端应用深度融合，满足数据处理、机器学习场景的应用需求。杉岩智能存储内置了一套智能数据处理引擎，对企业应用需要的数据处理、快速文件检索、机器学习模型训练提供支撑能力，实现智能应用的流程精简，大幅降低了用于智能计算的硬件投入需求，快速提升数据处理效率。比如智能数据处理引擎提供的图像处理功能，可以在存储系统中实现图片转码、文件格式转换、视频抽帧，以节省容量需求、加速数据处理；通过图像识别和OCR功能，帮助证券公司优化AI质检算法，提高质检效率；通过对海量原始数据的归档、元数据加速的快速文件检索帮助优化AI算法，加快机器学习模型训练的迭代速度。

六、海量智能存储打造新基建数字底座

新基建为中国的产业升级清晰地指明了方向，数字化基础设施的广泛建设以及随之产生的新型应用需求将带来了数据爆发式的增长，海量数据蕴含巨大的价值，在带来更多机遇的同时，也给传统的IT基础设施带来了前所未有的挑战，更多样化的数据模式、日益复杂的数据管理以及高效的数据利用对存储提出了更高的要求，建设新一代海量智能存储成为解决这些数据应用问题的关键，智能存储必将成为新基建的坚实数字底座。