大数据分布式存储的部署模式：分离式or超融合

Posted 2021-01-18 本宫没空

大数据分布式存储的部署模式：分离式or超融合

数据中心内部系统的核心要求是“稳定可靠”，一是指系统在运行过程中有能力提供连续可靠的服务，长时间无故障运行；二是指当故障发生之后，有能力快速定位，及时排查，故障范围不蔓延。

分离式部署的方式，使得系统与云平台系统相独立，避免了计算和存储争抢CPU/内存/网络等物理资源，一旦某一方资源需求骤升导致的另一方资源枯竭，从而影响性能并在整个基础架构中产生的涟漪效应；和在超融合部署方式在集群规模较大后，网络、硬盘、服务器发生故障的概率都会增大；以及数据重删、压缩、加密纠删码等功能、故障的自修复和数据功能实现都会消耗一定的系统资源，导致性能下降和抖动等问题。

分离式部署相比超融合方式的优点：

 如此观点如果不是出自某厂家或者供应商，也太偏颇了。我觉得简单看两种技术适合不同规模，中小规模（包括平台规模，也包括人力资源规模）下超融合优势明显，大规模分布式存储优势更大。良好的设计，恰当的平衡才是关键，没有一边倒的绝对优势。 

建议采用超融合式部署模式。

1、从成本上讲，超融合式每个服务器既可以做计算资源，又可以做存储资源，性价比最高。

2、从性能上讲，分布式存系统，一般只占用服务器资源的10%左右，还有90%的性能可以使用。而且目前X86服务器的CPU性能越来越高，如果闲置不用，比较可惜，利用率太低。

3、从管理上讲，每台X86物理设备都一样，方便横向扩展和管理，每增加一个节点，就同时增加了计算资源和存储资源，有利于管理。目前，百度和阿里的云数据中心基本都是这么做的。

一、 超融合的概念 

超融合(Hyper- Converged)目前还没有一个严格的标准定义， 各个厂商和机构都有各自的定义，这也说明超融合仍然处于快速发展演变当中，并未形成统一的标准规范。 超融合中“超”对应英文“Hyper”，特指虚拟化，对应虚拟化计算架构，如 KVM、XEN、Hyper-V 等。这一概念最早源自 Nutanix 等存储 厂商将 Google/Facebook 等互联网厂商采用的计算存储融合架构用于 虚拟化环境，为企业客户提供一种基于 X86 硬件平台的计算存储融 合产品或解决方案。按照这个概念，数据库一体机和大数据一体机都 不能为超融合的范畴，因为RAC/Hadoop等应用并非运行在虚拟机 之上。此外，超融合架构中最根本的变化是存储，由原先的集中共享 式存储(SAN/NAS)转向软件定义存储，特别是分布式存储。

超融合中的“融合”是指计算和存储部署在同一个节点上，同时提供计算和存储能力。融合一般可以分为物理融合和超融合两种，超融 合是融合的一个子集。物理融合系统中，计算和存储仍然可以是两个 独立的组件，没有直接的相互依赖关系，共享主机的物理资源。超融 合与物理融合不同在于，重点以虚拟化计算为中心，计算和存储紧密 相关，存储由控制器虚拟机(Controller VM，CVM)而非物理机来控 制并将分散的存储资源形成统一的存储池，用于创建用户的应用虚拟机。物理融合与超融合对比如所示。出于性能考虑，超融合架构通常 都需要将主机物理设备透传(Pass Through)给控制器虚机 CVM。

超融合架构是基于标准通用的硬件

平台，通过软件定义实现计算、存储、网络融合，实现以虚拟化为中 心的软件定义数据中心的技术架构。要判断一套系统是否采用超融合 架构，主要基于以下几点:

(1) 完全软件定义。独立于硬件，采用商业通用标准硬件平台(如 X86)，完全采用软件实现计算、存储、网络等功能。

(2) 完全虚拟化。以虚拟化计算为中心，计算、存储、网络均由 虚拟化引擎统一管理和调度，软件定义存储由虚拟机控制器 CVM 进 行管理。

(3) 完全分布式。横向扩展的分布式系统，计算、存储、网络按 需进行动态扩展，系统不存在单点故障，采用分布式存储。

二、 超融合架构发展情况和案例

未来 5 至 10 年新一代数据中心基础架构朝着软件定义和超融合 方向发展，SAN/NAS 存储逐渐被软件定义的存储所替代。在软件定 义存储(SDS)的推动下，超融合将成为数据中心基础架构的核心， 并且是软件定义数据中心(SDDC)的未来技术发展趋势。基于多种 复杂设备的数据中心最终会归一化成以通用服务器加互连网络的体 系架构。在这些通用服务器上部署关键的软件，通过虚拟化的方式实 现计算、存储资源。然后再在这些虚拟化资源的基础上部署应用，完 成具体功能。

存储、计算和网络的深度融合是未来IT基础设施发展的大趋势， 超融合架构因此成为企业级客户的首选，加速业务系统从传统架构向 云计算架构的转型。IDC 的统计报告显示，2016 年全球超融合市场规 模预计将增长 94%。另一家市场分析公司 Gartner 预计，2019 年全球 超融合市场的规模将超过 1000 亿美元，有大约 30%安装在企业数据 中心内的存储阵列都将是部署在软件定义存储或者基于 x86 硬件系 统的超融合集成系统架构。

2016 年以来，中国超融合市场持续升温，越来越多的超融合团队 逐渐发展起来。根据市场研究和咨询公司 Gartner 在 2016 年 11 月针 对中国超融合市场趋势发布的报告，思科、HP、Dell、EMC、NetApp 等老牌服务器和存储大厂纷纷将技术与产品战略转向超融合的路线 上来。报告指出，中国一跃成为全球超融合基础架构增速最快的市场，

国内的 H3C、华为、Nutanix、联想、SmartX、深信服等厂商迅速跟 进了国际主流超融合解决方案。

目前超融合架构在国内的主要应用案例如下：

政府相关机构：中国检查出版社，中国证监会，中国互联网信息 中心，中国大连市政府，青海水利，广州地税局数据库虚拟化，国家卫计委云数据中心，湖北省公安厅审计平台，厦门公安局警务云平台， 最高法司法统计管理平台，深圳海关业务系统，广东海事局智慧海事 平台，中国(西安)丝绸之路研究院，温州医科大学第一附属医院等。

 金融行业：招商银行，中银证券，南京证券，中信银行等。 制造行业：东风本田，宝山钢铁，中铁资源集团有限公司等。 IT 企业：科陆电子，联想集团，中国联通沃云，中国电信等。 教育行业：中国地质大学，中国科技大学，南开大学，北京邮电大学，北京外交学院，陕西省行政学院等。

三、 超融合架构的优势

超融合架构迅速发展的原因是其具有显着的优势，能够带来极高 的客户价值。超融合架构实现了计算、存储、网络等资源的统一管理 和调度，具有更弹性的横向扩展能力，可以为数据中心带来最优的效 率、灵活性、规模、成本和数据保护。使用计算存储超融合的一体化 平台，替代了传统的服务器加集中式存储的架构，使得整个架构更清 晰简单，极大简化了复杂 IT 系统的设计。

超融合架构关键特征之一就是易于扩展，最小部署，按需扩容。 超融合厂商宣称最大集群规模也差别很大，从数十到数千节点不等， 通常从 3 节点起配。超融合中计算能力、存储性能和容量是同步扩容 的，无法满足现实中单项能力的扩展，有些厂商还对扩容最小单元有 要求，扩展灵活性会受到限制。

集群达到一定规模后，系统架构复杂性就会非线性增加，集群管 理变的更加困难，硬件故障和自修复发生的概率也会大大增加。因此， 超融合架构一般不建议构建大集群，如果业务允许尽量构建多个适当 规模的较小集群，或者采用大集群中构建故障域或子资源池的方式。

物理设备透传给控制虚机，增加了部署配置管理的复杂性。计算和存 储对硬件平台的要求都不同，融合后也会一定程度上增加兼容性验证的复杂性。超融合架构下，管理、计算、存储、高可用通常都需要配置独立的虚拟网络，网络配置也会更加复杂。同时，共享物理资源的 分配、隔离、调度，这也是额外增加的复杂性。如果出现故障，问题的跟踪调试和分析诊断也变得更加困难。

超融合架构下的存储逻辑单元已经拥有了很多过去高级存储才具备的功能，但是在数据保护，复制，容灾，高可用，这些关系到数据存储层面的需求是超融合厂商不会花精力去关注也无法关注的，同时架构本身的局限性带来的用户选择面也比较窄，你无法把超大规模的计算中心全部塞满超融合架构，用户对于结构化和非结构化数据的海量增长这种数据存储的异构需求不适合全部交给超融合来解决，很多用户原本希望计算跟存储分布扩容，或者计算跟存储占比比较失衡的情况，比如计算资源需求很大，存储资源需求很小，或者相反的情况全部交给超融合，这样一股脑全部交给超融合的架构设计是相当糟糕的。