TaoCloud SSAN+VMWare vSphere超融合解决方案

Posted 刘爱贵

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了TaoCloud SSAN+VMWare vSphere超融合解决方案相关的知识,希望对你有一定的参考价值。

VSAN那么好,用户还会考虑其他存储方案吗?

VMWare vSphere是业界领先的虚拟化平台,VSAN是一种新型的分布式软件定义存储,vSphere+VSAN可谓是完美的虚拟化整体解决方案。但是,永远不要低估用户的诉求,只要存在较大的实际动力,在一些特定的场景下,用户就会主动寻求替换VSAN的存储解决方案。


TaoCloud SSAN就是其中一种绝好的替换VSAN方案。SSAN是典型的分布式块存储,SSAN+vSphere这两者计算存储超融合可提供一体化的虚拟化/私有云解决方案,同样可以帮助客户获得更好的高性能、高可用、扩展性、业务连续性、简化管理、更低的整体成本。


本文介绍TaoCloud SSAN + VMWare vSphere的超融合解决方案,重点阐述方案架构、系统部署、系统测试等内容,旨在为技术人员进行POC测试或系统实施提供参考。

 

一、VSAN简介

VMware VSAN,全称VMware Virtual SAN,简称VSAN。我们可以把VSAN看成是一种vSphere Storage,是vSphere虚拟机后端的企业级高性能存储。VSAN其实就是基于服务器端存储的共享分布式对象存储系统,可以用来取代vSphere后端的外置磁盘阵列。 


以往vSphere后端的共享存储需要外置磁盘阵列,才能支持vSphere各种高级功能,如vMotion、HA、FT、DRS等。现在,在许多场景下,VSAN能够支持得更好,因为VSAN是内嵌到vSphere内核的高级功能,它使用和管理极其简单,可以完美地配合VMware SPBM实现基于存储策略驱动的自动化,以虚拟机甚至VMDK的颗粒度分配存储资源,还能与vSphere各种其他功能无缝地紧密地集成在一起。

VSAN把vSphere集群服务器各个节点内的SSD(固态硬盘)和HDD(硬盘),聚合在一起,构成一个共享的存储池。然后,再由存储池按照预先创建好的存储策略(用户不创建,则自动使用系统默认策略),分配存储空间给集群内的虚拟机使用。如果借助NAS插件,也可提供共享的文件空间给其他集群,或者物理机使用。


VSAN是一种基于软件的分布式存储解决方案,可在任何标准X86服务器上运行,只要I/O Controller (控制器)、SSD和HDD在VSAN HCL (Hardware Compatibility List,兼容列表)内,就可运行。VSAN的HCL非常丰富,因此VSAN为用户的选型提供了非常高的灵活性。


(注:以上VSAN简介引自微信公众号”乐生活与爱IT”,感谢Peter Ye)


二、SSAN简介

TaoCloud SSAN是典型的ServerSAN产品,遵循软件定义存储理念,可从X86服务器硬件平台的本地存储资源中创建基于服务器的SAN,以便按需提供具有弹性的、可扩展的存储容量和性能。SSAN采用去中心化的全对等Share-nothing架构,融入Scale-out分布式块存储技术,闪存优化技术,超融合技术,安全加固技术,构建高效、可靠、智能、弹性的存储计算平台。

SSAN采用Scale-out横向扩展存储架构,聚合X86服务器内的存储和计算资源,可最小从3个X86服务器节点动态扩展到上千个X86服务器节点,实现EB级的海量存储容量和大规模I/O并行的存储性能。SSAN支持动态的性能扩展,随着新存储节点的加入,整体性能持续线性增加。


SSAN遵循SDS软件定义存储的设计理念,充分整合各类 IT硬件能力(CPU、内存、总线、磁盘、网络等),以存储软件的高度优化和硬件资源最大化利用为目标,构建高效,智能、可持续升级的开放型软件定义存储系统。SSAN集合多种企业级数据服务功能(例如 QoS、自动精简配置和快照),可实现大规模、高可靠、高性能、超融合的存储应用,非常适合对可扩展性和存储性能要求不断提升的应用场景,如数据库、虚拟化、云计算等。


针对虚拟化应用场景,SSAN支持融合/超融合部署模式,每个SSAN存储节点同时也是计算节点,通过标准iSCSI接口实现高效的I/O数据访问。在SSAN中可配置高性能SSD介质,实现存储加速或自动分层部署。SSAN支持高效的快照机制,可支持无限数量的并发快照,非常适合虚拟化应用中的虚拟机批量创建/克隆等需求。


TaoCloud SSAN分布式融合存储差异性特点如下:

1)KISS简单系统,无中心对称式系统架构;

2)单卷最大256TB,卷级冗余策略,支持副本和纠删码;

3)iSCSI标准接口,支持多路径,易于对接各种应用系统;

4)支持FC和NAS(NFS/CIFS/FTP)协议导出;

5)单一集群支持多个存储池,支持物理和融合部署;

6)WebGUI管理系统,支持三员分立权限管理;

 

更多SSAN产品资料请从http://www.taocloudx.com 获取。


三、超融合方案

3.1、vSphere+SSAN超融合方案

VMWare vSphere是业界领先的虚拟化平台,可用于桌面云和服务器虚拟化。以前,vSphere采用传统的SAN/NAS外置存储,无论在性能、可用性、扩展性、管理性、成本等方面都是极大的挑战,实际应用中难以满足需求,还要承担极高的成本。当前,vSphere主推VSAN替换传统的SAN/NAS存储,VSAN内嵌于vSphere内核中,它是一种软件定义的分布式存储,可以更好地实现vMotion、HA、FT等高级功能和更高的性能,技术上堪称是vSphere完美的存储解决方案。


那么问题来了,VSAN那么好,用户还会考虑其他存储方案吗?答案是肯定的。永远不要低估用户的诉求,只要存在较大的实际动力,在一些特定的场景下,出于成本、管理、立旧、跨平台、本地化支持等诸多因素考虑,用户就会主动寻求替换VSAN的存储解决方案。以下是一部分源自实际的客户诉求,例如:

1)项目预算不足,VSAN成本太高,按VDI/CPU/Core许可;

2)VSAN对硬件配置和兼容性要求过高,SSD基本是必需的;

3)用户使用免费版的VMWare vSphere,不可能再购买VSAN许可;

4)作为独立存储替换传统SAN/NAS存储,VSAN无法作为独立存储;

5)同时支持多种虚拟化平台,比如KVM、XEN、OVM;

6)服务器以及存储资源立旧,VSAN对硬件要求高;

针对如上特定场景需求,TaoCloud SSAN就是其中一种绝好的替换VSAN方案。vSphere支持NFS/iSCSI/FC等外部存储系统,SSAN采用标准的iSCSI接口与其进行对接和融合。


TaoCloud SSAN是典型的Server SAN,借助于软件定义存储、开放式X86标准架构和高性能SSD存储介质,SSAN可以替换传统SAN/NAS存储,更好地满足虚拟化对存储的新需求。采用TaoCloud SSAN构建分布式块存储平台,提供可靠、高效的数据存储服务,可以实现模板数据、镜像数据、配置数据、业务数据的统一存储。SSAN可与VDI主机实现融合部署,进一步提升I/O效率比降低成本。根据性能、成本综合考虑,可配置全SSD模式或SSD+HDD混合模式。VDI主机与SSAN之间可通过iSCSI对接,SSAN的SSD Cache功能可实现在配置少量SSD的情况下实现很高的性能,高效的ROW快照及克隆功能可支持快速、批量的创建虚拟机。实践表明,TaoCloud SSAN可以很好地支持VMWare vSphere虚拟化平台,作为替换VSAN的一种绝好的选择。


SSAN支持物理分离和融合/超融合部署方式。简单地讲,物理分离即计算(这里指虚拟化)和存储各自独立部署,存储通过iSCSI/FC物理连接到计算节点。超融合是融合的一个子集,融合是指计算和存储部署在同一个节点上,相当于多个组件部署在一个系统中,同时提供计算和存储能力。融合系统中,计算和存储仍然可以是两个独立的组件,没有相互依赖关系。比如,TaoCloud SSAN+oVirt方案,一个节点的Redhat/CentOS系统上SSAN和oVirt物理融合,共享主机的物理资源。超融合架构最早由Nutanix提出,它与物理融合不同在于,重点以虚拟化计算为中心,计算和存储紧密相关,存储由虚拟机而非物理机CVM(Controller VM)来控制并将分散的存储资源形成统一的存储池,而后再提供给Hypervisor用于创建应用虚拟机。


这里采用SSAN+vSphere超融合架构方案,每台物理服务器既是vSphere计算节点,同时也是SSAN存储节点。每一个vSphere主机需要先配置一个虚拟机作为控制器(CVM),并将物理主机上的磁盘和网卡透传给CVM,所有CVM上部署SSAN并形成统一的存储池,用户虚拟机均创建在这个存储池上。超融合架构实现了计算、存储、网络等资源的统一管理和调度,具有更弹性的横向扩展能力,极大简化了复杂IT系统的设计,这种方案可以更好地提高资源利用效率,进一步降低了成本。方案优势如下:

1)弹性存储,支持在线快速扩容;   

2)高可用存储,数据多副本,存储不中断;   

3)高性能存储,闪存优先,本地I/O优先,高效的快照和克隆;   

4)iSCSI标准接口,支持各类VDI平台;   

5)超融合架构,进一步提升效率,降低成本;

6)支持定制化开发,满足个性化的资源管控需求;


3.2、方案拓扑

为了便于方案POC测试,这里采用3节点超融合架构方案,实际应用根据需求确定集群规模。SSAN采用副本方式保证数据安全性和可用性,副本策略可以根据实际需求灵活设置,POC测试采用三副本策略。存储介质推荐全SSD或SSD+HDD,网络互连建议10GbE,POC环境采用全SSD/万兆。测试拓扑如下:


3.3、硬件环境

硬件项目

配置

数量

提供者

X86服务器

E5   2620v2双路CPU; 64GB内存;

3

 

SSD

Intel   DC3700 400GB

6

 

万兆网卡

Intel   X520-SR2万兆网卡

3

 

万兆交换机

48口博科10GbE交换机

1

 

万兆模块和网线

SFP+光纤

3

 

 

3.4、软件环境

软件项目

配置

提供者

VMWare   vSphere

6.0试用版

VMWare

CVM   OS

CentOS   6.7 x86_64 (2.6.32-573)

用户/TaoCloud

SSAN

1.3.2

TaoCloud

IP地址

3个管理IP   +3个数据IP,分为两个网段

用户

 

四、系统部署

4.1、vSphere部署

VMware vSphere是一套服务器虚拟化解决方案,核心组件包括ESXi Hypervisor和vCenter Server。ESXi是一个hypervisor,类似于Xen的虚拟层,用于把X86服务器的硬件进行虚拟化。一旦一台X86服务器硬件上安装了ESXi,底层的硬件就被虚拟化了,可以用这台服务器创建、配置、多个虚拟机。vCenter服务器是用于管理一个或者多个ESXi服务器的工具。


vSphere详细部署请参考官方文档,这里仅作简要介绍。


4.1.1 准备工作

ESXi Hypervisor需要CPU虚拟化(VT)功能支持,CVM透传磁盘需要AHCI功能支持。开机启动进入Bios设置,开启虚拟化VT功能和AHCI功能。


4.1.2 ESXi部署

ESXi对硬件兼容性要求比较高,需要硬件型号在HCL兼容性列表当中,包括服务器、CPU、磁盘、网卡、RAID卡、SSD等,否则系统将无法成功安装。安装过程中,首先检查硬件兼容性,确认磁盘和网卡信息,如果需要支持HA和FT,则至少需要两块以上网卡,官方建议6块网卡。为了安全性,建议修改默认ROOT帐户密码。安装完成重启后,建议修改ESXi主机的IP、Hostname、DNS等网络信息。


ESXi是基于linux的系统,可以通过vSphere Client来连接,也可以使用vCenter Server连接ESXi,都是基于图形化界面来管理系统。vSphere Client管理非常有限,诸如vMotion等功能都不能操作,因此建议使用vSphere Client连接vCenter Server服务器来实现对多台ESXi服务器的管理。

 

4.1.3 硬件透传

超融合架构中,出于性能考虑,需要将主机PCIe物理设备透传(Pass Through)给SSAN控制虚机CVM。选择ESXi物理主机,在配置-->高级设置中标记需要直通的设备,配置完需要重启ESXi物理机生效。


4.1.4 CVM创建

SSAN+vSphere超融合架构,每台物理服务器既是vSphere计算节点也是SSAN存储节点。每一个ESXi主机需要先配置一个虚拟机作为控制器(CVM),并将物理主机上的磁盘和网卡透传给CVM。这里有三个ESXi节点,分别在其上创建了ssan-test01、ssan-test02、ssan-test03作为SSAN CVM,并将透传的磁盘和网卡分配给CVM。


4.2、SSAN CVM部署

4.2.1 CVM OS安装

每个vSphere节点上分别创建好一个CVM控制虚拟机,之后进行操作系统和相关软件的安装。每个CVM安装相同版本的操作系统,Linux OS采用CentOS 6.7 x86_64 (2.6.32-573)最小模式。如果是Intel的万兆网卡和SSD,Centos 6.7可以直接支持,不需要额外安装驱动。其他厂商的万兆网卡和SSD,请按照厂商文档安装对应驱动。


4.2.2 SSAN软件安装

SSAN集群节点自动化进行安装配置,直接执行ssan_install.sh即可。

(1)集群节点自动安装

./ssan_install.sh

 

输入节点序号(如0, 1, 2),将自动安装SSAN软件包,并自动进行相关系统配置。SSAN每个节点上执行此步骤,多个节点可以并行安装。第一个节点安装时,如果SSAN集群配置文件ssan_install.conf不存在,则会进行交互式输入,也可以手动编辑,其他节点可以直接使用此配置文件。

交互输入信息包括:

ssan_node_nr:    ssan节点数量,缺省是3;

zk_node_nr:        zookeeper节点数量,缺省是3;

zk_client_port:    zookeeper客户端端口,缺省是2181;

zk_server_port:    zookeeper服务器端口,缺省是2888:3888;

ntp_server:           NTP服务IP地址,可选配置项,保证节点时间同步即可;

webgui_server:     ssan webgui管理节点IP,可选配置项,推荐配置;

node1_mip:           第1个节点管理IP,必填配置项;

node2_mip:           第2个节点管理IP,必填配置项;

node3_mip:           第3个节点管理IP,必填配置项;

 

(2)启动集群服务

SSAN集群管理依赖zookeeper、sagentd和suiagentd服务。集群所有节点安装配置完成后,需要在每个节点手工启动服务,或者直接reboot也可以。请确认每个节点以上服务都处于Running状态。


4.2.3 WebGUI安装

SSAN支持命令行和WebGUI两种管理模式,推荐使用WebGUI进行集群管理。管理节点可以单独部署,也可以部署在其中一个SSAN节点上。这里我们选择第一个节点作为管理节点。

./ssanweb_install.sh

 

第一个节点上直接运行上述ssanweb安装脚本,自动安装ssanweb-1.3.2-1.el6.x86_64.rpm和webgui运行环境所需求的依赖包,包括httpd、mysqlphp等,并自动完成webgui运行环境的配置。安装完成后,请确认mysqld、httpd服务处于Running状态。


4.2.4 SSAN集群配置

SSAN遵循大道至简的设计原则,系统管理和应用非常简易方便,系统采用基于WebGUI的多语言图形化管理界面,管理员可以轻松进行配置、监控和管理。对于一个全新部署的SSAN系统,建议采用如下顺序进行配置管理。

(1)增加节点:集群由多个物理节点组成资源池,必须先有集群节点;

(2)初始化磁盘:集群节点的磁盘资源,需要初始化才能够被SSAN管理和使用;

(3)创建OSD:OSD管理一个节点上一块或多块物理磁盘,它提供对象存储功能;

(4)启动SSAN:一个SSAN节点有一个或多个OSD进程组成,启动以激活存储资源;

(5)初始化集群:第一次启动需要初始化集群,之后集群资源才能正常使用;

(6)创建虚盘VD:集群正常后可以随意创建虚拟磁盘,相关配置在创建时指定;

(7)创建iSCSI Target:SSAN采用iSCSI协议访问,需要虚盘创建iSCSI目标端;

(8)iSCSI发现与登录:客户端采用iSCSI协议访问虚盘存储资源;

 

4.2.5 创建虚拟磁盘

这里我们把vSphere中所需要的全部存储都放置于SSAN存储池中,包括vCenter虚拟镜像、VM模板和VM数据存储。在SSAN WebGUI管理平台中创建三个虚拟磁盘VD,均采用三副本冗余策略,容量均为200G。


4.3、vSphere配置

前面我们已经部署好vSphere和基于CVM的SSAN系统,接下来我们将把SSAN存储资源分配给vSphere,并部署vCenter来管理vSphere集群。iSCSI多路径、虚拟HA和FT,这是需要特别注意的配置。


4.3.1、配置SSAN存储

SSAN CVM部署中已经创建好三个200GB的虚拟磁盘ssan-test1、ssan-test2、ssan-test3,通过vSphere Client连接ESXi进行存储配置。SSAN采用标准iSCSI协议与ESXi连接,可以使用一个或多个虚拟磁盘,出于性能考虑,这里为每一个ESXi配置一个虚拟磁盘,并设置三条iSCSI多路径,故障切换策略为Failover。测试性能时,建议将客户虚拟机均衡创建在三个SSAN存储域。


4.3.2、vCenter部署

VMware vCenter是VMware vSphere套件中一个强大的主机和虚拟机集中管理组件,vSphere许多高级功能,只有在vCenter下才可以配置实现,并且vSphere许多管理模块只能集成安装在vCenter环境中,无法独立安装运行,通过对vCenter的管理可以对一台或者多台VMware vSphere进行管理配置,因此VMware vCenter是VMware vSphere的主要管理平台。


vCenter Server可以采用物理服务器或者ESXi虚拟机安装,这里采用虚拟机,内存8GB,64位Windows Server 2008。安装过程这里不再赘述,具体请参考官方部署文档。成功安装后,使用vSphere Client连接vCenter Server,就可通过管理界面管理数据中心、集群、vSphere主机、HA、FT、vMotion等功能。这里我们创建了一个ssan-test数据中心和test123集群,集群中包括了三个vSphere主机节点,集群中已经创建好三个SSAN CVM,以及之前部署的vCenter Server。


4.3.3、配置集群HA

vShpere HA功能用于检测故障,对集群中运行的虚拟机提供快速恢复功能。核心功能包括主机监控和虚拟机监控功能,用于在检测不到信号时最大程度地缩短停机时间。必须打开vShpere HA功能,才能使用FT(Fault Tolerance)功能。HA、FT都必须在集群模式下才能应用,创建集群时打开vsphere HA和DRS,启用主机监控。


4.3.4、配置虚机FT

  vSphere Fault Tolerance (FT) 通过创建始终与主虚拟机保持同步的虚拟机实时卷影实例,使应用在服务器发生故障的情况下也能够持续可用。一旦出现硬件故障,vSphere FT 就会自动触发故障切换,确保零停机并防止数据丢失。故障切换完毕后,vSphere FT 会自动创建一个新的辅助虚拟机来为应用提供持续保护。


FT功能是针对每个虚拟机单独配置的,主要是面向关键应用的虚拟机,一般的应用虚拟机配置集群HA功能即可。虚拟机启用FT功能后,同一个虚拟机就会出现两个虚拟机:主虚拟机和辅助镜像虚拟机,其中辅助虚拟机是只读的,可以通过FT测试功能测试虚拟机的切换。


五、系统测试

5.1、功能测试

1、测试方法

按上述方法和步骤成功部署和配置SSAN+vSphere计算存储超融合系统,我们就可以将vSphere中所有的虚机存储放置于SSAN存储池,包括vCenter Server、CVM和Guest VM所涉及的Image镜像和云盘存储。功能测试重点验证数据存储域、虚拟机磁盘、快照克隆回滚等常规存储功能点,均在vCenter管理系统中进行操作。功能测试场景非常多,这里列举了一部分存储相关核心测试用例。


2、测试场景


5.2、高可用测试

1、测试方法

SSAN提供了多种数据可靠性和可用性机制,包括副本/纠删码机制、iSCSI多路径,为vSphere的高可用性提供基础支撑,包括vCenter和Guest VM的高可用。这里重点模拟iSCSI路径故障和主机故障来验证SSAN和vSphere的安全性和高可用性,包括HA和FT功能。


2、测试场景


5.3、性能测试

1、测试方法

性能是评估一个存储产品最为关键的指标,包括IOPS、带宽和延迟,这里采用FIO进行测试分析。

FIO是一个I/O标准测试和硬件压力验证工具,它支持13种不同类型的I/O引擎,支持块设备和文件系统测试,广泛用于标准测试、QA、验证测试等,支持Linux, Windows等操作系统。


2、测试场景


六、总结

VMWare vSphere是业界领先的虚拟化平台,广泛用于桌面云和服务器虚拟化。VSAN是一种新型的分布式软件定义存储,内嵌于vSphere内核中,可以更好地实现vMotion、HA、FT等高级功能和更高的性能,vSphere+VSAN可谓是完美的虚拟化整体解决方案。然而在一些特定的场景下,出于成本、管理、立旧、跨平台、本地化支持等诸多因素考虑,用户就会主动寻求替换VSAN的存储解决方案。


SSAN是典型的Server SAN,借助于软件定义存储、开放式X86标准架构和高性能SSD存储介质,SSAN可以替换传统SAN/NAS存储,更好地满足虚拟化对存储的新需求。SSAN支持物理分离和融合/超融合部署方式,可以更好发挥本地存储优先访问策略优势,可以提高资源利用效率,进一步降低了成本。


实践表明,SSAN+vSphere超融合架构可提供一体化的虚拟化/私有云解决方案,SSAN是一种绝好的替换VSAN方案。

 

(全文完)


以上是关于TaoCloud SSAN+VMWare vSphere超融合解决方案的主要内容,如果未能解决你的问题,请参考以下文章

SSAN之VAAI特性功能实现剖析

TaoCloud SSAN+oVirt系虚拟化解决方案

TaoCloud SSAN+oVirt系虚拟化解决方案

vSphere置于AWS之上:VMware希望借此重新获得公有云能力

oVirt+SSAN超融合架构

文档级关系抽取:基于结构先验产生注意力偏差SSAN模型