海量图片存储，杉岩分布式对象存储轻松应对

Posted 2020-11-23

当今世界，互联网、大数据应用迅猛发展，物联网、人工智能、云计算 技术日新月异，随之而来的是各种企业和个人应用持续不断地产生亿级甚至是百亿级的海量小文件。这些小文件的元数据管理、存储性能以及访问效率等问题因而成为学术界和工业界公认的难题。

例如，国内目前最大的电商网站淘宝存储的商品图片超过 200 亿张，这些文件的平均大小仅为 15KB 左右，国外著名的社交网站Facebook 存储的图片总量更是超过了600亿张；在线视频播放服务中，每个视频会被切片服务器分割成 1MB 左右的分片文件，一部动画电影所包含的图片文件可能会超过 500 万张，平均大小为15KB；一些在线阅读图书每页内容均会被扫描成大约几十KB的图片文件……

在非结构化数据和新应用快速增加的情况下，对象存储更能满足企业的业务需求。为此，杉岩数据推出了强大的对象存储产品，解决企业对海量图片、视频等非结构数据存储需求，以便更好的挖掘非结构化数据的价值。

端到端的Scale-Out扩展，实现大数据积累

分布式对象存储总容量可达到数百PB级规模，单个名字空间也可以扩展到整个硬件存储总空间容量，不需要割裂成多个隔离空间，并且在文件数量上会有更大的扩展，文件数量可达百亿级，是真正的端到端Scale-Out快速扩展。它可以满足业务系统整个生命周期的存储容量需求，无需挂载目录和调整业务系统，让IT人员更加关注业务价值本身。

去中心化存储架构，利于数据的长期维护

对象存储采用基于通用x86服务器+分布式对象存储软件的去中心化技术架构，对象存储软件将多台服务器通过以太网连接，构建成一个统一的存储资源池，可动态增加或删除服务器实现容量的调整，数据能够自动均衡，实现整个存储的滚动升级。

三级数据可靠性体系，保障业务高可用

杉岩对象存储提供了先进的三级数据可靠性体系，通过单集群故障自愈、跨集群容灾、建立备份机制三大措施来确保企业数据安全可靠，从而保障业务的高可靠和高可用性。

· 第一级：

在单集群内通过副本机制进行数据放置，当出现故障时可以从副本中自动进行快速恢复。此外，还通过纠删码机制创建校验块，出现错误后可以自动进行计算恢复，从而保证集群内数据的可靠性。

· 第二级：

在集群多个区域故障的时候，提供跨集群容灾方案。支持二到六个数据中心的数据容灾，包括双中心或者是更复杂的方式建立存储集群，不同数据中心之间进行数据异步传输。

· 第三级：

建立主存储和备份存储机制。通过按照指定的规则创建备份点，比如按时间纬度或业务变更时进行自动创建。当需要数据恢复时，可以快速通过备份点回退到原来的版本。另外，备份工作无需使用额外的备份软件，同时备份存储也可以作为容灾使用。

提供高效的数据流转与访问架构

通过进行分支机构到主数据中心的数据汇聚，新增数据自动汇聚到主数据中心，实现数据统一管理和运维。当分支机构需要访问数据时，可实现CDN内容分发网络效果，提升数据传输速率。针对互联网应用还使用高安全性的S3协议技术，提供给外部的互联网应用直接来访问存储。

内置文件名和标签索引机制，实现毫秒级检索

通过采用标签系统，把文件和相关的属性标签统一存储到系统中，然后在本地建立这种文件名和属性的索引库，从而实现数据毫秒级高速检索，满足更多业务需求。

对象存储+AI，创造无限可能

在完成大量非结构化数据积累后，企业可以通过结合AI先进的数据分析与挖掘技术，发挥海量数据背后的价值，为更多智能化的新业务系统提供强劲助力，支撑企业业务发展。

科技世界日新月异，云、大数据、人工智能等新兴技术的发展和普及快到让人惊叹。杉岩数据将一直专注软件定义存储领域的技术与创新，为企业用户提供数据存储强劲支撑，帮助企业更好、更快、更省心的迎接美好的未来。