IBM DS3500系列存储SAS升级FC记

Posted 2020-06-14

DS3500系列存储属于入门级产品，设备默认是SAS连接，我们采用了三台物理服务器，每台两块SAS卡的形式与存储的双控制器进行连接，实现最基本的存储架构，用于建设虚拟化服务器平台。由于存储采购时预算有限及尝试性目的，当时购置了10t空间，并划分为数据区和备份区，这使得可利用空间就更小了。近两年的使用，也使我们体会到了虚拟化的优势，需求也随之而来，存储的剩余空间也就无法满足实际需要了，对于存储的升级也就提上了日程。

单台存储的扩容存在如下问题：

该存储目前属于物理设备中容量最大的设备，对齐扩容必然是更换硬盘，那就要备份数据，备份就要求最起码要不低于现有存储的数据空间大小的另外一台物理存储设备，目前是没有的；

从存储自身去扩容空间是有一定局限性的，单硬盘的最大空间是有限的，以后仍旧要面临空间的问题；

现有DS3500存储本身就是个入门级产品，性能一般，对空间扩容势必要在未来承受更多的数据交换工作，以后存储本身的处理能力便会成为瓶颈；

综上，用一台技术指标更高的存储来代替现有存储，并对整体架构进行升级，使原存储能够得到充分利用，并能为今后的再次升级提供技术支撑才是最佳的解决方案。

SAS连接的问题：

服务器、存储都靠SAS接口进行连接，设备提供的接口数量是有限的，可连接的设备也就有限。（目前DS3500通过双控制器，每控制器四个SAS口与物理服务器连接，因此最多连接四台物理服务器）

DS3500采用SAS2.0,最高提供6Gb/s的读写速度（尽管比FC的速度要低，但是低的也不算多，但是比其官方宣称的iScsi 10Gb要低不少）

SAS的连线在管理上也是个问题，其线径硬度使线缆的整理也成问题，占用空间也比较大（这个也许也不算什么问题）

尽管现在也有SAS交换机的存在，但是这种设备比较小众，属于“非主流”设备。

经过对DS3500的技术参数的了解，该存储支持FC模块升级，对于这点的查询可真是煞费脑筋，百度的资料寥寥无几，本地的代理商更是“白痴”，竟然直接告诉我不支持，同时说DS3500已经停产。在对多个代理商的沟通中终于在沈阳找到了一个给力的，明确告诉我是有FC模块卖的，其对IBM产品线的了解层度大大增加了我的信心，该工程师介绍，DS3500产品并非停产产品，而是被目前主流产品所代替，但是该产品由于其某些技术指标还高于新产品，所以仍旧在生产和销售；同时，DS3500的FC模块升级是比较容易的，只要拆开控制器，替换掉SAS模块就可以了，升级后也不会对数据产生影响（这不是绝对的），因此升级难度很小。并明确可以供应全部原厂全新配件。

经过以上的前期工作，本次升级也就明确为首先进行的存储架构升级为FC SAN架构，采用冗余形式，每服务器双FC-HBA卡（原方案采用双口单FC-HBA卡，这显然是不符合冗余目的的），存储双控制器升级为FC模块及接口，服务器与存储之间采用两台FC交换机（光纤交换机，注意，非以太网的光纤交换机），构建冗余架构。

设备明细如下：

IBM FCHBA卡 6块（3服务器，每服务器2块）

IBM DS3500 控制器FC模块 2个（每个四端口，自带两个光模块）

FC交换机2台，每台8端口授权（FC交换机要按端口购买授权，购买授权含光模块，未授权接口均不供应模块）

LC-LC多模光纤 10对

下图为DS3500控制器升级FC模块的过程图

IBM DS3500 原厂FC模块,这个东西在网上鲜有实物图片

每个接口上面均有指示灯（绿色，安装完成后，连接好光纤应该是长亮的，如果不亮，交换一下每接口的一对光纤的顺序）

博科300光纤交换机，这个应该是垄断的产品了，国内的基本全是博科贴牌的

拆下的原控制器

存储背板，双控制器已经全部拆除

按住两个蓝色的点即可推开控制器背板

拧下四个蓝色螺丝即可拆下原模块（经常维护IBM服务器应该很熟悉这种形式）

大功告成，不过还是建议先插上控制器以后再插光纤，注意光纤是有顺序的，如果发现接口上面的指示灯不亮可以交换两根光纤的顺序试试

DS3500相关文档：

http://www.andovercg.com/datasheets/ibm-ds3512-ds3524.pdf

http://www.redbooks.ibm.com/redbooks/pdfs/sg247914.pdf