海量非结构化数据存储难题 ，杉岩数据对象存储完美解决

Posted 2021-03-15

“过去几年，大数据产业更多关注的是如何处理海量、多源和异构的数据，但我们必须承认这些只是冰山一角。目前，结构化数据仅占到全部数据量的20%，其余80%都是以文件形式存在的非结构化和半结构化数据。伴随非结构化数据呈现爆发之势，对象存储市场近两年保持强劲增长，IDC预计，软件定义存储（SDS）市场未来五年复合增长率将达到28.8%。”

传统IT架构渐成“过去式” 非结构化数据倒逼存储变革

今天，许多企业已经意识到，结构化数据仅仅是企业所拥有数据的一小部分。与业务信息系统中大量用于交易记录、流程控制和统计分析的结构化数据相比，非结构化数据具有某种特定和持续的价值，这种价值在共享、检索、分析等使用过程中得以产生和放大，并最终对企业业务和战略产生影响。
多年来，杉岩数据通过对金融、教育、医疗、制造等行业的百余家知名客户的IT信息化研究发现，非结构化数据的容量、文件的数量已经大大超越了传统NAS存储的处理能力，企业级存储从需求到产品形态的“自我变革”也变得更加急迫。
同时，IDC数据显示，到2020年，企业数据总体将达到44ZB，其中80%的数据将会是非结构化数据(图片、视频、归档以及企业级备份等数据)，对象存储市场规模将达198亿美元，这也从侧面印证了杉岩对于对象存储未来发展的趋势判断。
在杉岩看来，软件定义存储将给金融、教育、医疗等传统行业的IT架构带来革命性改进，特别是对文件数量过多、非结构化数据归集检索调取效率低、传统架构无法按需弹性配置存储空间等问题将发生彻底改变。

在服务深圳某三甲医院的过程中，杉岩发现电子病历、临床影像文件（如CT 、X光、彩超、高精动态影像等）、非核心系统的数据归集、查询和调阅等问题成为传统架构面临的最大挑战。
比如，在进行影像数据调阅时，数据归档离线后，没有任何元数据的管理描述，凭文件系统的目录结构进行数据查找，非常费时费力。

当病历文件数量到达百万级近千万以后，存储性能会出现大幅下降；而医院服务器上的数据仍然是孤岛状态，服务器之间的存储资源和数据并没有实现共享。

当然，这些问题不止出现在医疗行业，在教育行业传统存储架构遭遇的问题也十分突出。杉岩在为某高校搭建对象存储架构时发现，大学各职能机构以及二级学院之间信息系统相对割裂，因此在系统安全性和可维护性方面十分困难。

而建筑学院、传媒学院、电影学院、服装学院等专业性学院会产生大量的非结构化数据作业，如CAD制图、影视作品、图片设计、服装样片等等，这些数据对存储空间的扩展性和存储安全性提出了更高的要求，既要能够满足在教学、科研等场景下数据存放的要求，同时还要满足作业提交、班级数据共享、科研数据分析调取等多元化需求。
此外，在银行、证券行业的日常业务中，客户证件、远程开户录像、合同扫描件、客服中心语音、企业相关电子文档资料等是最常见的非结构化数据。

这些文件平均大小从KB到MB甚至GB级别不等，近两年文件量呈现高速增长状态。从存储容量上看，这些小文件甚至占据了金融机构数据总容量的80%以上。

根据监管部门要求，银行、证券、保险等金融机构需实施专区“双录”，即对自有理财产品及代销产品的销售过程同步录音录像，“双录”规定的实施会带来海量非结构化数据。以上这些问题都让僵化的传统IT架构有一种深深的无力感。

对象存储走向舞台中央 杉岩重新定义企业存储新标准

随着传统IT架构的弊端日渐凸显，以杉岩为代表的一批创新型存储厂商开始重新定义企业级存储的标准。从2014年创立伊始，杉岩便早早瞄准对象存储市场并持续深耕。

经过四年的快速发展，杉岩目前在全国范围内拥有近百家合作伙伴，业务范围覆盖政府、金融、运营商、教育、医疗、电力和制造等十余个行业，用户数据量部署总和超过100PB。

其研发的杉岩海量对象存储（SandStone MOS）已成为海量非结构化数据存储的主流解决方案，其在广发证券档案中心、武汉大学智慧校园云存储平台的成功应用得到了行业用户的广泛好评。

对于海量数据的存储问题，杉岩海量对象存储（SandStone MOS）解决方案采用去中心化分布式架构，同时利用软件定义的方式实现了单一名字空间条件下数百PB级规模的容量扩展，业务可以随时随地访问而不受数据存储位置的限制。

在提升海量小文件访问性能方面，SandStone MOS利用哈希计算实现了数亿级文件的高效访问。针对文件检索困难，SandStone MOS支持标签功能，文件存储时会自动设置标签，从而更好地与业务结合，满足高效检索。
比如，在银行业务场景下，当业务人员想要提取相关视频音频文件时，可以根据文件标签进行检索调阅。

此外，SandStone MOS在易用性与可维护性方面也超越了同级别产品，其采用“x86通用服务器+存储软件”的分布式解耦架构，将底层存储空间与上层业务逻辑空间进行分离，软硬件的升级不会影响到整个系统的正常运行

即使系统有再多应用更新，也不会影响存储空间的使用。值得一提的是，SandStone MOS首创的分布式存储数据盘漫游功能，可以帮助企业用户渐进式的进行老旧硬件设备更换，不影响业务的正常运行

在对象存储领域的专注与持续创新，换来的是行业的高度认可。去年8月，杉岩数据成为首家通过Intel中国云计算创新中心测试并发布报告的软件定义存储厂商。

与此同时，杉岩数据作为国家信息化标准委员会云计算标准工作组成员单位及中国开源云联盟理事单位，先后参与了分布式存储国家标准的制定工作及Ceph行业白皮书的编写工作。

如今，对象存储正焕发出更大的生命力，一场存储革命也已开启。以杉岩数据为代表的创新型存储厂商，正通过不断深耕对象存储领域，帮助企业构建更加智慧的IT基础设施，推动传统存储朝着更高效、更集约、更易用的方向全面演进。