乱花渐欲迷人眼：浅谈关于分布式存储的五大“谎言”
Posted IT创事记
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了乱花渐欲迷人眼：浅谈关于分布式存储的五大“谎言”相关的知识，希望对你有一定的参考价值。
要说近几年存储这条街最靓的仔，莫过于分布式存储了。
自诞生以来，分布式存储就被视为存储的未来，被万众期待。然而分布式存储起步于寒门，最早应用于互联网日志、企业备份归档、开发测试等场景，追求极致成本，性能和可靠性却不敢恭维。但它还算争气，凭借多年的打怪练级，越来越多地开始承载自动驾驶研发、超高清编辑、运营商5G网络云等企业的关键业务，走上变成高富帅、赢取白富美的道路。
正所谓人红是非多，存储领域也是一样，坊间一直流传着关于分布式存储的各种流言蜚语。好事的笔者今天就来探寻一番，揭开谎言背后的真相。
目测分布式存储领域有两个派系，一派是SDS（软件定义存储），一派是软硬一体。前者以vSAN、Ceph为代表，以软件厂商为主在推广。分布式存储软件+通用服务器组合，打着重定义存储市场的旗帜，颇有“有王侯将相宁有种乎”的气势；另一派是存储老牌存储玩家的产品，他们以软硬一体为主，如Isilon、HCP等。
谁主沉浮很难判断，不过我们不妨从产业动态窥见一斑。虽然用过的客户都诟病分布式存储软件+服务器的方式存在各种兼容性、可靠性、可维护性的问题，但笔者认为SDS这种模式会长期存在，尤其是在传统的低端领域，如备份归档、开发测试环境。而越往高端走，软硬一体越是占据主流。业界主流厂商也在持续推出软硬一体的产品：
#
国外，DELL&EMC的PowerScale（Isilon）、DDN的EXAScaler等产品；
#
国内XSKY、浪潮等Ceph系开源厂商也推出了软硬件一体产品如XScaler Express。尤其有趣的是XSKY，这可是国内Ceph系软件定义存储的旗帜啊，你品，你细品。
另一方面，笔者也注意到近些年运营商开展了大规模的分布式存储集采，有文件的有块的。以中国移动2019~2020年分布式块存储集采为例，3个标段中2个为软硬一体采购，占比超过了90%；电信集团2020年集采也放弃了分布式存储纯软件采购，首次全面转向软硬一体。从这个角度看，用户在尝试了多种采购模式之后，也开始逐步转变到软硬一体的道路上来，尤其是大型用户。
#真相#：
分布式存储诞生初期主要是纯软形态，近十年来，随着分布式存储逐步进入企业市场，软硬一体的形成已经成为主流。
如文章开头讲到的，分布式存储早期主要用于互联网日志、企业备份归档、开发测试等场景，这些场景无疑是低价值场景，成本是第一诉求甚至唯一诉求。
首先是分布式存储产品能力已今非昔比，逐渐具备了承载企业高价值业务的关键能力，例如毫秒级时延、TB/s级带宽、双活/3DC业务级容灾、端到端DIF等，无论是结构化数据还是非结构化数据的承载，功能完备性的最大短板早已补齐。
其次，分布式存储已走入众多高价值关键业务，如运营商BOM业务、金融渠道类业务以及超算、油藏探测HPC等高价值业务，通过大规模应用实践来检验成色。（小道消息，某些高价值场景全闪出货价达到1000美金/TB以上啦）
看完当下还要看看未来，笔者认为未来高价值的非结构化数据场景，分布式存储的版图还会持续扩展。如自动驾驶训练、4K/8K超高清、5G日志留存等场景，对多协议访问、极致带宽、扩展性诉求强烈，分布式存储已然成为这些未来业务的首选架构。
#真相#：
分布式存储早期主要用在备份归档等低价值、强成本诉求的场景，如今随着企业级能力的提升，分布式存储也逐步成为企业生产系统的承载平台，尤其是面向海量非结构数据场景，全面支撑文件资源池和HPC等高价值场景。
笔者对开源从来是持开放、支持的态度，正是因为开源的存在，IT产业才能有今天的缤纷色彩；也正是因为开源，存储这个高大上的产品，才走进了更多的寻常百姓家。
开源分布式存储软件的出现，一定程度上降低了存储的门槛，小公司可快速包装出存储产品，带动服务器销售。但产品同质化问题是所有开源不得不面临的问题，由于架构限制，很难在不动架构的情况下，真正做出差异化竞争力。互联网类公司、部分科研机构，以及有技术情结和充足资金投入的客户可能选择开源，而对于金融、电信运营商、大企业商用HPC、政府等对可靠性、性能、安全合规有要求的企业，开源从来不是第一选择，因为数据太重要了。（听说，国内某知名银行曾经投入500人基于开源软件搭建分布式存储，投入巨大且无法达银行业务对性能、可靠性、易运维诉求，最终于2年后放弃。）
也有认为开源更自主可控的。笔者认为开源给了用户一定的自主权，但和自主可控是两个概念。据SNYK 2019 年开源安全状况报告说明，开源软件漏洞在两年时间内增加了88%，开源风险的解决强依赖于社区版本发布，不能及时规避。同时，近两年国际形势的大变化，给开放著称的开源蒙上了一层阴影。
此外，业界TOP主流分布式存储产品均是闭源架构，如PowerScale(Isilon)、Spectrum Scale、Nutanix、OceanStor Pacific、VSAN、HCP，翻看了一下三个月前发布的IDC市场份额报告，TOP5分布式存储厂商中，基于开源二次开发的厂商份额仅占18%。
#真相#：
开源只是部分厂商的商业选择，分布式存储产业的主流还是非开源，并且开源并不代表更加自主可控。
正所谓长江后浪推前浪，分布式存储快速增长是不可否认的，这从各大厂商的业绩报告和分析师报告就能看出来，但想要把集中式存储这个前浪拍死在沙滩上还是步子迈太大，不现实。
集中式存储在相当长的一段时间内，仍然是主流。它主要面向企业传统应用如ERP/CRM/HIS等，数据量不大但对可靠性、性能有极致要求，如银行Core-Banking，从可靠性、生态层面，分布式存储都不是最佳选择。分布式存储主要面向海量数据、新兴业务场景，如HPC/EDA、大数据，这类场景以二进制文件、视频、图片等非结构化数据为主，数据量极大。所以从场景来看，二者场景是有明确区隔的，按场景并存是最好的选择。
从技术的角度，分布式存储的发力点在大规模的扩展性，基于此逐步优化性能、可靠性，让海量数据存得下、用得起；集中式存储的技术方向在于保持稳定性的基础上，利用更快的介质、更低时延的网络为核心业务提供加速，让业务更稳、效率更高。因此，从技术方向上来看，二者也是各有侧重的。
#真相#：
分布式存储和集中式存储并非取代关系，二者相辅相成、互为补充。集中式存储主要面向结构化数据市场，分布式存储主要面对海量非结构化数据市场（高价值分布式文件、分布式对象）。
云和分布式存储一样，这些年正在大行其道、炙手可热。Cloud First、All in Cloud、Cloud Native等概念风靡业界，CIO见面不提云貌似都不好意思打招呼。早期人们也习惯把分布式存储叫做“云存储”，那么分布式存储和云是什么关系？
笔者认为，分布式存储是一种技术架构，而云是一种商业模式。分布式存储可以被用作各种云的数据底座，也可以单独成为数据底座，是配合的关系，而非替换和包含关系。
其实，从与业界公有云厂商的沟通了解到，公有云虽然近年来加强对传统IT市场的转换，但公有云数据增长更多还是来自新兴场景。以美国市场为例，近年来AWS持续快速增长，但PowerScale(Isilon)作为Dell&EMC面向非结构化数据场景的主力产品，并且近60%的销售收入来自于北美市场，依然保持以每年近20%的速度稳步增长。
从场景看，多数海量存储场景，因客户数据安全、生态、招标模式等原因，以线下采购为主，公有云为辅助。以HPC为例，云上HPC给业界提供了一种新的方式，让更多用户能享受到公有云带来的便利性。但实际上HPC主要用于创新研究，对数据安全要求高，上云是有顾虑。参考Hyperion Research报告显示，到2024年云上HPC的收入占比仅17.7%，收入占比很低。
