17华为HCIE-Storage--Smart Tier

Posted 2020-10-29

------------------------------------重要说明------------------------------------

以下部分内容来网络，部分自华为存储官方教材

具体教材内容请移步华为存储官网进行教材下载

    网络引用内容无法找到原创，如有侵权请通知

------------------------------------重要说明------------------------------------

Smart Tier动态分级存储特性（简称Smart Tier），自动将不同活跃度的数据和不同特点的存储介质动态匹配，提高存储系统性能并降低用户成本；

由于硬盘技术的进步，存储系统支持的存储介质类型和数量已显著增加。不同存储介质在存储成本和存储性能方面的差异很大，这导致用户难以在存储成本和存储性能之间权衡：

l SSD硬盘的响应时间很短，每单位存储请求处理成本很低，但每单位存储容量成本很高。

l NL-SAS硬盘每单位存储容量成本较低，但响应时间很长且每单位存储请求处理成本很高。

l SAS硬盘介于以上两者之间。

智能数据分级特性能自动将不同活跃度的数据和不同特点的存储介质动态匹配，提高存储系统性能并降低用户成本。

------------------------------------重要说明------------------------------------

以下部分内容来网络，部分自华为存储官方教材

具体教材内容请移步华为存储官网进行教材下载

    网络引用内容无法找到原创，如有侵权请通知

------------------------------------重要说明------------------------------------

①　 相关概念

l 存储层

在同一存储池中，存储层是相同性能的存储介质集合。 

SmartTier将不同存储介质按性能高低划分为三个存储层，由高至低分别是高性能层、性能层和容量层。

每个存储层分别使用相同的硬盘类型和RAID策略。

l 存储池

存储池是一个或多个存储层的逻辑组合，最多可支持三个级别的存储层。

存储池包含的硬盘类型决定其可以创建的存储层。

由单一硬盘类型组成的存储池无法创建不同存储层，因此不能应用SmartTier进行智能化数据存储管理。

l 数据迁移粒度

SmartTier将LUN数据按照一定粒度划分，该粒度被称为“数据迁移粒度”或“数据块”。数据迁移粒度在创建存储池时设置，且设置后不可更改。

l 初始容量分配

创建LUN时，可以指定存储空间被分配到的存储层。

②　 原理概述

当存储池中存在两种或以上的硬盘类型时，用户可以应用SmartTier特性充分利用存储池中的每个存储层。数据迁移过程中，存储池以数据块为单位识别数据活跃度并将整个数据块迁移至其他存储层。

存储系统经历I/O监控、数据排布分析、数据迁移三个阶段实现SmartTier

1、Smart Tier统计和分析数据的活跃度，将不同活跃度的数据和不同特点的存储介质动态匹配；

l I/O监控阶段由存储系统的I/O监控模块完成。

存储系统根据两个数据块的活跃度来判断一个数据块比另一个更热或更冷。每个数据块的活跃度通过统计数据块的读写访问频率和I/O比例得出。存储系统提供数据块活跃度的加权累计值。作为实时监控任务，所有数据块都会被持续统计。

2、Smart Tier通过数据迁移将活跃度高的繁忙数据迁移至具有更高性能的存储介质（如SSD硬盘），将活跃度低的空闲数据迁移至具有更大容量且更低容量成本的存储介质（如NL-SAS硬盘）；

l 数据排布分析阶段由存储系统的数据排布分析模块完成。

数据排布分析阶段以I/O监控模块生成的每个数据块的统计信息作为输入，根据存储池中各个存储层的容量，系统按照数据块的热度确定出每个存储层放置数据块的I/O计数阈值（确定阈值时，按照热度最高的数据块放在最高性能层级的原则进行）。对大于阈值的数据块进行排序，选出最热数据块优先进行迁移。数据排布分析会对存储池中的每个数据块排名，排名由高至低，从同一个存储池中的最热数据块开始，直到最冷数据块（排名仅在同一个存储池中进行）。 SmartTier在数据迁移之前根据最近一次数据排布分析结果决定数据块的迁移方向。

3、Smart Tier的统计、分析和迁移活动基于Smart Tier的实现策略和数据的性能要求。在统计、分析、迁移活动期间，不会对现有业务连续性和数据可用性造成影响。

l 数据迁移阶段由存储系统的数据迁移模块完成。

SmartTier根据数据排布分析阶段对数据块的排名结果和数据迁移策略实施数据迁移，将排名高的数据块迁移至较高存储层（通常是高性能层或性能层），将排名低的数据块迁移至较低存储层（通常是性能层或容量层）

Smart Tier的原理就是在存储池中创建LUN后，随着业务的读写， LUN上的数据可以根据数据的活跃度，自动调整，迁移到存储池中的不同存储层。此外，管理员也可以根据自己对数据活跃程度的预估，手动指定将数据优先存放于那一层。

首先，通过I/O监控，来统计每个数据块的活跃度计数。这里的数据块，是划分LUN数据大小的粒度，即extent，它是在存储池中申请空间、释放空间、迁移数据的最小单位，所以又称为 “数据迁移粒度”。

然后，通过数据排布分析，来对每个数据块的活跃度计数进行排序。

最后，就可以根据数据排布分析的排名结果和管理员指定的数据迁移策略实施数据迁移。

注意：当存储池中的剩余容量小于min（存储池总容量*10%， 105GB）时，存储池中的数据迁移活动将会停止。其中， min（存储池总容量*10%， 105GB）表示取存储池总容量*10%和105GB二者的较小值。

③　 存储位置变化过程

 

l 初始容量分配

存储系统根据初始容量分配策略，将新写入的数据分配在相应存储层。例如，初始容量分配策略为优先从性能层分配，则存储系统将新写入的数据都分配在性能层，例如上图中的A1～A6。初始容量分配策略包括四类：自动分配、优先从高性能层分配、优先从性能层分配、优先从容量层分配。如果策略为自动分配，则存储系统依次按照性能层、容量层、高性能层将新写入数据分配在存储池中。

l 数据迁移

随着数据生命周期的推移， A1～A6的活跃度会发生变化。存储系统提供数据块活跃度的加权累积值，对每个数据块的活跃度进行排名，根据排名结果和数据迁移策略实施迁移。例如，上图中活跃度高的A1、 A2被向上迁移至高性能层，活跃度低的A5、 A6被向下迁移至容量层，此时A1、 A2、 A5已完成迁移， A6还在迁移过程中。

l 新数据写入

正在进行的数据迁移不会影响新数据的写入。例如，上图中新写入的数据A7～A10，仍按照优先从性能层分配的初始容量分配策略被分配至性能层，此时， A6也已完成迁移至容量层。

l 连续运行

随着数据生命周期的推移， A1～A10的活跃度持续发生变化，同时新写入的数据A11～A14被分配至性能层。存储系统持续对A1～A14进行智能化数据存放管理。

④　 配置流程

存储系统内SmartTier的配置流程包括检查License文件、基于存储系统级别配置SmartTier、基于存储池级别配置SmartTier和基于LUN级别配置SmartTier。

a.  检查 License 文件

步骤1 登录DeviceManager。

步骤2 选择“ 设置 > License管理”。

步骤3 浏览已激活License信息。

1. 在左侧导航中，选择“已激活License”节点。

2. 在中间信息展示区，浏览存储设备已激活的License文件信息。

b.  基于存储系统级别的配置

基于存储系统级别的配置主要为配置数据迁移速率，其作用于存储系统中所有存储池。

数据迁移速率用于控制存储层之间数据迁移的处理进度。不论迁移速率设置为哪一种， SmartTier都会根据当前业务负载，在上限范围内动态调整迁移速率，确保数据迁移不会对当前业务造成明显影响。

数据迁移速率的作用范围为所有存储池，包括“高”、“中”、“低”，默认值是“低”。数据迁移速率设置后可以更改。

当数据迁移速率为“高”时， SmartTier将以尽可能快的速度迁移尽可能多的数据。由于数据迁移会产生一定的后端开销，这可能使I/O响应时间变长，具体取决于需要迁移的数据量。但是，各个存储层之间的数据迁移将会在较短时间内完成。

当数据迁移速率为“低”时，不会影响I/O响应时间，但完成数据迁移可能需要较长时间。

c.  基于存储池级别的配置

基于存储池级别的配置主要包括配置数据迁移粒度、配置RAID策略、开启I/O监控、启用预测分析和配置数据迁移计划等，以上配置作用于单个存储池。

1)  配置 RAID 策略和数据迁移粒度

在创建存储池时，您可以配置数据迁移粒度和RAID策略，且配置后不可更改。

l 数据迁移粒度

SmartTier将存储池数据按照一定粒度划分，该粒度被称为“数据迁移粒度”或“数据块”。数据迁移过程中，存储池以数据块为单位识别数据活跃度并将整个数据块迁移至其他存储层。

数据迁移粒度在创建存储池时设置，且设置后不可更改，默认为4MB，建议与默认设置相同。对于需要更大数据迁移粒度的业务请联系技术支持工程师配置。

数据迁移粒度越小，存储资源的使用效率越高，冷数据跟随热数据或最活跃数据进行迁移并毫无益处地耗费存储资源的可能性也越小。但是，这并非意味着较小的数据迁移粒度总是适合业务环境，例如流媒体业务、视频监控业务适合更大的数据迁移粒度。

l RAID策略

基于SmartTier的应用，需要为每个存储层设置RAID策略。 SmartTier的应用使存储池中LUN的数据分布在使用不同硬盘类型和不同RAID级别的多个存储层。 LUN数据的性能将不是仅仅基于其所在存储池性能，而是首先基于最低级别的存储层性能。

RAID策略在创建存储池或新增存储层时设置，且设置后不可更改。

作为最佳做法，推荐在高性能层设置RAID 10。 RAID 10具有较快的读写性能，与高性能层SSD硬盘的特点相适应。此外，推荐在性能层设置RAID 5，在容量层设置RAID6。通常RAID 5顺序写性能比RAID 10更好，而读性能低于RAID 10。 RAID 6具有双重数据校验功能，适合重构时间较长的NL-SAS硬盘。

l 步骤1 进入存储池管理界面。

1. 在右侧导航栏上，单击 。系统进入“资源分配”界面。

2. 在资源分配管理界面中，单击“存储池”。系统进入“存储池”管理界面。

l 步骤2 设置RAID策略和数据迁移粒度。

1. 在存储池管理界面中，单击“创建”。进入“创建存储池”向导。

2. 在“创建存储池”对话框中，选择组成存储池共享的硬盘类型和RAID策略。

3. 在“创建存储池”对话框中，单击“高级”。进入“高级属性设置”对话框。

4. 在“高级属性设置”对话框中设置“数据迁移粒度”。

5. 单击“确定”。完成数据迁移粒度设置。

2)  开启 I/O 监控

开启I/O监控是各个存储层之间数据迁移和查看存储层容量策略模型的前提条件，并能指定监控日期和时间范围，以便进行数据排布分析。

l 步骤1 进入存储池管理界面。

1. 在右侧导航栏上，单击 。系统进入“资源分配”界面。

2. 在资源分配管理界面中，单击“存储池”。系统进入“存储池”管理界面。

l 步骤2 开启I/O监控。

1. 在存储池管理界面上，选择需要监控的存储池，单击“属性”，弹出“存储池属性”对话框。

2. 在存储池属性对话框中，选择“ SmartTier策略”页签。

3. 在“业务监控时段”区域框中，选择“开启I/O监控”，并根据需要设置I/O监控时段。

4. 单击“确定”，成功开启I/O监控。

3)  启用预测分析

存储系统提供的预测分析功能，能够检查存储池的性能数据，分析LUN级别的业务负载对称性，以兼顾性能和成本的方式，提供最佳的存储层容量策略模型。用户可以根据存储层容量策略模型调整各个存储层的硬盘配置。

最理想的存储层容量策略是各个存储层的存储容量比例为1： 1： 1，因为该策略允许将各个存储层100%的数据升级或降级至其他任一存储层。但在实际应用中该策略通常并不合适，由于某些原因可能需要限制访问某个特定存储层。

例如，为防止单一应用程序消耗所有SSD硬盘资源，在存储池中限制高性能层存储容量可能是合适的。这种情况下，推荐使用包含较小比例的高性能层存储容量策略。同样，某些应用程序短时间内会进入非活动状态，存储系统将其数据识别为冷数据而迁移至容量层。当这些应用程序再次处于活动状态时，可能只能使用最低级别的存储层容量。对于此类应用程序，推荐使用包含较小比例的容量层存储容量策略。确定最佳的存储层容量策略的方法是检查存储池的业务负载对称性。业务负载不对称定义了随着时间推移数据使用的不对称，表示存储池上占较小百分比的数据可能正在为大多数业务负载提供服务。

l 步骤1 进入存储池管理界面。

1. 在右侧导航栏上，单击 。系统进入“资源分配”界面。

2. 在资源分配管理界面中，单击“存储池”。系统进入“存储池”管理界面。

l 步骤2 启用预测分析。

1. 在存储池管理界面上，选择需要监控的存储池，单击“属性”，弹出“存储池属性”对话框。

2. 在存储池属性对话框中，选择“预测分析”页签。

3. 在“预测分析”页面，选择“启用”。

4. 单击“确定”，成功启用预测分析功能。

4)  配置数据迁移计划

数据迁移计划用于指定启动数据迁移的方式。用户可以根据业务需要调整数据迁移方式。

l 手动方式

当重新配置存储池时，例如新增加一个存储层，或当活跃数据随时间不断变化且在较长时间内在各个存储层均衡分布时，用户可能需要手动启动数据迁移。手动启动数据迁移时， SmartTier首先对当前I/O监控数据进行数据排布分析，并根据该分析结果决定数据块的迁移方向。

l 定时方式

当需要在预先设置的时间段进行数据迁移时，使用此方式。

手动方式或定时方式下， SmartTier数据迁移均作为低优先级任务在存储系统后台运行。

不论使用手动方式或定时方式，数据迁移时间段内（例如数据迁移时间为凌晨01:00～05:00，持续4个小时） SmartTier可能发生下一次的每一小时一次的数据排布分析（例如凌晨02:00），且此时SmartTier根据上一次数据排布分析结果（凌晨01:00）正在进行的数据迁移未全部完成，该下一次数据排布分析会将未完成迁移的数据块与其他数据块一起重新排名， SmartTier将根据该最新排名继续进行数据迁移。

步骤1 进入存储池管理界面。

1. 在右侧导航栏上，单击 。系统进入“资源分配”界面。

2. 在资源分配管理界面中，单击“存储池”。系统进入“存储池”管理界面。

步骤2 设置数据迁移计划。

1. 在存储池管理界面上，选择需要设置数据迁移计划的存储池，单击“属性”，弹出“存储池属性”对话框。

2. 在存储池属性对话框中，选择“ SmartTier策略”页签。

3. 在“数据迁移计划”区域框中，选择数据迁移的触发模式为“手动”或“定时”。其中“定时”模式下，还需要设置启用数据迁移的时间段。

4. 单击“确定”，成功设置数据迁移计划。

d.  基于 LUN 级别的配置

1)  配置初始容量分配策略

l 自动分配

表示存储系统依次按照性能层、容量层、高性能层为LUN分配存储空间。

l 优先从高性能层分配

表示创建LUN时，存储空间会直接分配至高性能层，只有当高性能层无可用容量时，才会分配至其他存储层。适用于大规模数据写入存储池或LUN对性能要求较高的情况，同时其数据迁移策略适合自动迁移或不迁移。当高性能层存储容量被占满同时性能层和容量层的存储容量开始使用时，可以停止写入并以手动方式启动SmartTier数据迁移。数据块将在各个存储层之间进行合理迁移，高性能层存储容量也会得到一定释放。持续这样的迭代过程，当所有数据都写入存储池后，可以根据LUN的性能要求和业务环境修改LUN的SmartTier策略。

l 优先从性能层分配

表示创建LUN时，存储空间会直接分配至性能层，只有当性能层无可用容量时，才会分配至其他存储层。适用于对性能要求较高的LUN，同时其SmartTier策略适合向高性能层迁移。

l 优先从容量层分配

表示创建LUN时，存储空间会直接分配至容量层，只有当容量层无可用容量时，才会分配至其他存储层。适用于对性能要求不敏感的LUN，同时其SmartTier策略适合优先向低性能层迁移。

步骤1 进入存储池管理界面。

1. 在右侧导航栏上，单击 。系统进入“资源分配”界面。

2. 在资源分配管理界面中，单击“存储池”。系统进入“存储池”管理界面。

步骤2 设置初始容量分配策略。

1. 在存储池管理界面，选择某个存储池，单击“更多 > 创建LUN”。弹出“创建LUN”对话框。

2. 在“创建LUN”对话框中，单击“高级”。进入LUN高级属性设置界面。

3. 在“属性”页签中，设置该LUN的容量初始分配策略。

4. 单击“确定”。完成初始容量策略配置。

2)  配置 SmartTier 策略

l 步骤1 进入存储池管理界面。

1. 在右侧导航栏上，单击 。系统进入“资源分配”界面。

2. 在资源分配管理界面中，单击“存储池”。系统进入“存储池”管理界面。

l 步骤2 设置SmartTier策略。

1. 在存储池管理界面，选择某个存储池，“ LUN”区域框将显示已创建在该存储池中的所有LUN。

2. 选中某个LUN，单击“属性”。进入LUN属性界面。

3. 在“ SmartTier”页签中，设置该LUN的数据迁移策略。

4. 单击“确定”。完成数据迁移策略配置。