8华为HCIE-Storage--硬件架构

Posted 2020-10-29

------------------------------------重要说明------------------------------------

以下部分内容来网络，部分自华为存储官方教材

具体教材内容请移步华为存储官网进行教材下载

    网络引用内容无法找到原创，如有侵权请通知

------------------------------------重要说明------------------------------------

①　软件框架

 

②　IP Scale-out（IP横向扩展，中低端存储）

Scale-up：传统纵向扩展架构，即利用现有存储系统，通过不断增加存储器件来满足用户日益增长的需求；

Scale-out：横向扩展架构，升级通常是以节点为单位，通过扩展更多的控制器来满足用户数据增长的需求；

使用IP Scale-out，需要增加硬件，需要Smart-IO模块

 

③　Smart Matrix（18000系列功能，高端存储）

 

OceanStor 18000 V3高端存储采用SmartMatrix 2.0增强智能交换矩阵， 4个控制器可同时集成到1个控制框内，单框内控制器冗余度由以往的1+1冗余提升至1+3冗余。事实上，单引擎不仅仅可容忍双控制器失效，甚至能容忍4个控制器中的3个失效。原因如下：

1、单个引擎内的4个控制器采用PCIE 3.0无源背板全互连架构设计，每个控制

器都内嵌PCIE交换芯片，实现4控制器之间的高速互联。

2、 SmartMatrix 2.0融合了Cache持续镜像技术，打破了传统存储系统只能容忍

单个控制器故障的限制。当某个控制器故障时， Cache持续镜像技术会将故障控

制器的写cache数据重新镜像到其它控制器，始终保持系统内写cache数据的冗余

， 4个控制器的Cache数据在任一时间均有备份。

3、 SAS 3.0后端全互连技术支持同一控制框内4个控制器可以直接访问同一硬盘

，而且每个控制器到同一硬盘都有两条互为冗余的连接，当其中一条连接故障时

，数据可以自动切换到另一条连接上，相比传统的单路径方案，节省了大量的控

制器资源及控制器间数据传输带宽。

如上这些技术，构成了SmartMatrix 2.0架构的核心部分，也正是这些技术，帮助华为新高端存储构筑了超凡的可靠性，能够让单控制框在仅剩一个控制器的恶劣情况下依然保证用户业务连续性。

无源器件用来进行信号传输需能（电）源的器件叫有源器件，无需能（电）源的器件就是无源器件。

如果电子元器件工作时，其内部没有任何形式的电源，则这种器件叫做无源器件。

无源器件有两个基本特点：

（ 1）自身或消耗电能，或把电能转变为不同形式的其他能量。

（ 2）只需输入信号，不需要外加电源就能正常工作。

有源器件有两个基本特点：

（ 1）自身也消耗电能。

（ 2）除了输入信号外，还必须要有外加电源才可以正常工作。

引擎中4个控制器直接通过机框背板的PCIe 3.0高速通道全互联，引擎内互联带宽高达128GB/s(见下面示意图，每条PCIe3.0链路有效带宽可达2GB/s，2GB/s*16*2+2GB/s*8*4=128GB/s)。

④　Oceanstor 5300/5500 V3

 

2U 25盘位控制框的硬盘槽位从左到右，按0～24进行编号，保险箱盘位于0～3号槽位

2U 12盘位控制框的硬盘槽位从左到右，从上到下，按0～11进行编号，保险箱盘位于0～3号槽位。

保险箱中的内容：需要掉电保护的Cache数据， OceanStor OS 系统数据，以及系统配信息。注意，保险箱只有部分内容用于保存保险箱内容，且这部分空间对用户不可，除了客户不可见的这部分空间，其余部分仍然可以向用户提供业务空间。

为了提高写数据的性能，我们可以为LUN设置回写策略。也就是当数据写入到系统的缓存（即Cache）中，就向主机返回写成功，而不是等到数据真正写入到硬盘中。这样能大大提高对主机的响应速度，提高性能。

但是这种处理方式，在系统异常掉电时，Cache作为一种易失性存储，缓存的数据也会丢失。而这对于存储系统来说，是不能接受的。因此， OceanStor V3控制框中集成了备用电源，称为BBU (Backup Battery Unit)，可以在系统异常掉电时，确保Cache中的数据可以写入到硬盘中。但是考虑到BBU的价格较高，电量有限，只能对控制框进行供电，因此这种情况下， Cache中的 数据不会写入到LUN所在的硬盘上，而是统一写入到控制框上专门保留的硬盘空间中。这部分硬盘空间即在保险箱盘中。

⑤　Oceanstor 5600/5800 V3

 

5600 V3的BBU模块位于0号和3号槽位， 5800 V3的BBU模块位于0、 1、 3号槽位，其余槽位为空（安装假面板）。 BBU模块从左到右编号为0,1,2,3。

l 打开控制器面板卡扣，每个控制器包含三个风扇模块。

按照从左到右的顺序， 3U控制框接口模块槽位号依次是B0、 B1、 B2、 B3、 B4、 B5、 B6、 B7、 A7、 A6、 A5、 A4、 A3、 A2、 A1、 A0。 其中A0、 A1、 A2、 A3、 A4、 A5、 A6、 A7是属于控制器A的接口模块槽位号， B0、 B1、 B2、 B3、 B4、 B5、 B6、 B7是属于控制器B的接口模块槽位号。

用于管理维护：管理模块（必选）。

用于级联硬盘框： 12Gb SAS级联模块（必选）。

用于连接应用服务器： 16Gb FC接口模块、 8Gb FC接口模块、 10Gb FCoE接口模块（ 2端口）、 10Gb TOE接口模块、 10Gb FCoE接口模块（ 4端口）和GE电接口模块（可选，至少有一种）。

⑥　Oceanstor 6800/6900 V3

控制框采用部件模块化设计，主要由系统插框、控制器、 BBU模块、电源模块、管理模块和接口模块组成。

打开控制器面板卡扣，每个控制器包含三个风扇模块。

BBU模块从左到右编号为0,1,2,3。

控制器编号顺序如图。

按照从左到右的顺序， 6U控制框接口模块槽位号依次是L0到L5、 R5到R0，按照从上到下的顺序上方的槽位号为IOM0，下方的槽位号为IOM1。

其中R5IOM0到R0IOM0是属于控制器A的接口模块槽位号， L0IOM0到L5IOM0是属于控制器B的接口模块槽位号， R5IOM1到R0IOM1是属于控制器C的接口模块槽位号，L0IOM0到L5IOM1是属于控制器D的接口模块槽位号。

A、 B控制器的各个对应接口模块槽位需保持接口模块类型一致， C、 D控制器的各个对应接口模块槽位也需保持接口模块类型一致。 例如在A控制器R2IOM0号槽位上，分配一个10Gb TOE接口模块，对于B控制器L2IOM0号槽位上也需要分配10Gb TOE接口模块。

相同类型的接口模块需依次放置。

放置完接口模块后，需要在剩余的接口模块槽位上放置接口模块假面板。

用于管理维护：管理模块（必选）。

用于级联硬盘框： 12Gb SAS级联模块（必选）。

用于连接应用服务器： 16Gb FC接口模块、 8Gb FC接口模块、 10Gb FCoE接口模块（ 2端口）、 10Gb TOE接口模块、 10Gb FCoE接口模块（ 4端口）和GE电接口模块（可选，至少有一种）。

管理模块的管理网口1和管理网口2暂时未启用，在日后多控互连场景时使用。

⑦　普通硬盘框

⑧　高密硬盘框

存储密度：随着存储的广泛应用，存储设备的空间占用越来越受到客户的重视，尤其是磁盘框，存储设备占用的空间主要是磁盘框占用的。高密框的存储密度是传统磁盘框的2～3倍。

运营成本：耗电量、单位空间利用率、单盘成本都是用户关心的运营成本。这部分节省的产品无疑将受到用户的青睐。

高密度硬盘框仅适用于3.5英寸硬盘。且通常是容量从1 TB起的NL-SAS硬盘。这使得高密硬盘框至少可以容纳75 TB的硬盘裸容量。随着硬盘容量不断增大，由高密硬盘框提供的硬盘容量将是巨大的。

⑨　IO模块

用于级联硬盘框： 12Gb SAS级联模块（必选）。

用于连接应用服务器： 16Gb FC接口模块、 8Gb FC接口模块、 10Gb FCoE接口模块（ 4端口）、 10Gb TOE接口模块、 GE电接口模块、 56GB IB接口模块， Smart IO模块（可选，至少有一种）。是应用服务器与存储系统的业务接口，用于接收应用服务器发出的数据交换命令。当连接的设备传输速率低于端口速率且设置为自适应时，端口将自动适应传输速率，以保证数据传输通道的连通性和数据传输速率的一致性；当手动设置速率时，如果速率不一致，则会导致连接中断。

SmartIO接口模块主要用于存储设备与应用服务器之间的连接，支持16Gb FC， 8Gb FC， 10Gb FCoE三种光模块。也可以用于扩展控制框，此时要按照10GE 光模块(此时有槽位限制)。

⑩　Smart IO融合接口卡

提供4端口16Gb/8Gb FC、 10Gb iSCSI、 10Gb FCoE，可用作存储Target端口连接主机，也可用作ScaleOut端口扩展。

整卡可工作在FC、 FCoE两种模式下，可以从管理界面(ISM/CLI)上进行模式切换(4个口同时生效)。切换完成之后需要更换对应模式光模块才能使用。端口指示灯颜色可指示当前工作模式(见左图示)。默认工作模式为FC， FCoE模式需要单独配置才可以使用。

Smart IO卡支持16G/8G/10G三种光模块，默认不带光模块，需选配。

当接口模块插在特定槽位上时(5300/5500 V3上IOM1槽位， 5600/5800/6800/6900为3号槽位)，默认自动配置为ScaleOut端口，提供4个传输速率为10Gbit/s的以太网端口，工作协议为iWarp RDMA，用于与其他V3控制器ScaleOut连接，完成2~8控直连或交换横向扩展组网功能。

当插在ScaleOut槽位时可通过ISM/CLI管理界面配置三种工作模式(FC、 FCoE、ScaleOut)，允许在ScaleOut扩展口与前端业务口之间切换。

可配套所有V3控制框。

11　板载Smart IO接口卡

板载4端口16Gb/8Gb FC、 10Gb FCoE(暂不支持10Gb 以太网模式)，可用作存储Target端口连接主机，此模块不支持用来Scale-out组网。

可工作在FC、 FCoE两种模式下，可以从管理界面(ISM/CLI)上进行模式切换(4口同时生效)。切换完成之后需要更换对应模式光模块才能使用。端口指示灯颜色可指示当前工作模式(见上图示)。默认工作模式为FC， FCoE模式需要单独配置才可以使用。

Smart IO卡支持16G/8G/10G三种光模块，默认不带光模块，需选配。

此模块现场可不插拔，只配套5500 V3。

 

12　18500/18800/18800F

 

l 系统柜0

的硬件包括硬盘框、 SVP、 KVM、引擎，其中4U硬盘框最多可配置8个， 2U硬盘框最多可配置16个。

l 系统柜1

硬件包括硬盘框、数据交换机和引擎，其中数据交换机必须配置2个， 4U硬盘框最多可配置8个， 2U硬盘框最多可配置16个。

l 系统柜2至系统柜7

包括硬盘框和引擎， 4U硬盘框最多可配置8个， 2U硬盘框最多可配置17个。

任何系统柜都可以混合使用2U硬盘框和4U硬盘框，但必须遵循2U硬盘框在上半机柜、4U硬盘框在下半机柜的摆放原则，其中4U硬盘框最多配置4个， 2U硬盘框最多配置8个。

如果系统柜所有硬盘框均为4U硬盘框，则可以配置硬盘柜。

OceanStor 18800F只支持2.5寸SSD盘和2U硬盘框，不支持4U SAS硬盘框、不支持硬盘柜。

13　SVP & KVM

l SVP

是Oceanstor高端存储系统管理、配置、维护等的核心部件。其上安装了Oceanstor高端存储所需的维护、管理等工具，可以在本地或远程轻松完成全套的管理、配置、鉴权等一系列工作。

l KVM

具有键盘、LCD显示屏和鼠标接口。用户通过KVM面板上的相关按钮或按键可完成显示切换、通道标识设置、保护密码设置等操作。