金融行业基于服务器通过Ceph实现分布式存储，如何选型设计及运维？| 最佳实践

Posted 2021-04-19 twt企业IT社区

物联网 (IoT) 的蓬勃发展推动了结构化/非结构化数据的空前增长，不仅给企业带来了发掘新客户、创造新收入来源的巨大机会。也给企业传统存储架构带来了很大的挑战。

对于IT部门来说，需要在满足海量数据增长的同时，还必须提供存储方式以及其访问方式的多样性。需要IT部门同时能够对于传统环境以及云环境提供技术支持。因此，数据密集型企业的 IT 组织必须重新评估如何管理日益分散的异构数据和应用程序环境。

软件定义存储SDS（SoftwareDefine Storage）可以保障系统的存储访问能在一个精准的水平上更灵活地管理。分布式存储是从硬件存储中抽象出来的，这也意味着它可以变成一个不受物理系统限制的共享池，以便于最有效地利用资源。它还可以通过软件和管理进行部署和供应，也可以通过基于策略的自动化管理进一步简化。作为IT基础架构云化不可或缺的一环，软件定义存储（SDS）之分布式存储解决方案因其灵活性、敏捷性、自动化、高成本效率、高度可拓展性等关键优势，近年来也愈发受到业界关注。

为了帮助在分布式存储方面还处在方案规划与设计阶段的金融企业单位技术人员解决遇到的难点问题，社区日前组织了“金融行业基于服务器通过Ceph实现分布式存储解决方案在线探讨”交流活动，特邀来自金融行业的实践专家和厂商解决方案专家共同探讨。

以下是此次探讨中大家关注的几个典型问题及专家解读。

金融行业基于服务器通过Ceph实现分布式存储，关于 技术路线选型 的典型问题：

当前，分布式存储有多种实现技术，如HDFS、Ceph、GFS、GPFS、Swift 等。城商行应该如何选择这些分布式存储技术，他们各自的特点和场景如何？

@刘东 东软集团 IT技术咨询顾问：

一、HDFS

主要用于大数据的存储场景，是Hadoop大数据架构中的存储组件。HDFS在开始设计的时候，就已经明确的它的应用场景，就是为大数据服务。主要的应用场景有：

1、对大文件存储的性能比较高，例如几百兆，几个G的大文件。因为HDFS采用的是以元数据的方式进行文件管理，而元数据的相关目录和块等信息保存在NameNode的内存中，文件数量的增加会占用大量的NameNode内存。如果存在大量的小文件，会占用大量内存空间，引起整个分布式存储性能下降，所以尽量使用HDFS存储大文件比较合适。

2、适合低写入，多次读取的业务。就大数据分析业务而言，其处理模式就是一次写入、多次读取，然后进行数据分析工作，HDFS的数据传输吞吐量比较高，但是数据读取延时比较差，不适合频繁的数据写入。

3、HDFS采用多副本数据保护机制，使用普通的X86服务器就可以保障数据的可靠性，不推荐在虚拟化环境中使用。

二、Ceph

是一个开源的存储项目，是目前应用最广泛的开源分布式存储系统，已得到众多厂商的支持，许多超融合系统的分布式存储都是基于Ceph深度定制。而且Ceph已经成为LINUX系统和OpenStack的“标配”，用于支持各自的存储系统。Ceph可以提供对象存储、块设备存储和文件系统存储服务。同时支持三种不同类型的存储服务的特性，在分布式存储系统中，是很少见的。

Ceph没有采用HDFS的元数据寻址的方案，而且采用CRUSH算法，数据分布均衡，并行度高。而且在支持块存储特性上，数据可以具有强一致性，可以获得传统集中式存储的使用体验。对象存储服务，Ceph支持Swift和S3的API接口。在块存储方面，支持精简配置、快照、克隆。在文件系统存储服务方面，支持Posix接口，支持快照。但是目前Ceph支持文件的性能相当其他分布式存储系统，部署稍显复杂，性能也稍弱，一般都将Ceph应用于块和对象存储。

Ceph是去中心化的分布式解决方案，需要提前做好规划设计，对技术团队的要求能力比较高。特别是在Ceph扩容时，由于其数据分布均衡的特性，会导致整个存储系统性能的下降。

三、GFS

GFS是google分布式文件存储，是为了存储海量搜索数据而设计的专用文件系统。和HDFS 比较类似，而且HDFS系统最早就是根据 GFS的概念进行设计实现的。GFS同样适合大文件读写，不合适小文件存储。适合处理大量的文件读取，需要高带宽，而且数据访问延时不敏感的搜索类业务。同样不适合多用户同时写入。GFS 是最早的推出分布式存储概念的的存储系统之一，后来的大部分的分布式式文件系统或多或少都参考了 GFS 的设计。HDFS和 GFS 的主要区别是，对GFS中关于数据的写入进行了一些改进，同一时间只允许一个客户端写入或追加数据。而GFS 是支持并发写入的。这样会减少同时写入带来的数据一致性问题，在写入流程上，架构相对比较简单，容易实现。

四、GPFS

GPFS是IBM 的共享文件系统，它是一个并行的磁盘文件系统，可以保证在资源组内的所有节点可以并行访问整个文件系统。GPFS 允许客户共享文件，而这些文件可能分布在不同节点的不同硬盘上。GPFS提供了许多标准的UNIX 文件系统接口，允许应用不需修改或者重新编辑就可以在其上运行。

GPFS和其他分布式存储不同的是，GPFS是由网络共享磁盘（NSD）和物理磁盘组成。网络共享磁盘（NSD）是由物理磁盘映射出来的虚拟设备，与磁盘之间是一一对应的关系。所以，使用两台传统的集中式存储设备，通过划分不同的网络共享磁盘，也可以部署GPFS，不一定部署在X86设备上。GPFS文件系统允许在同一个节点内的多个进程使用标准的UNIX文件系统接口并行的访问相同文件进行读写，性能比较高。GPFS支持传统集中式存储的仲裁机制和文件锁，保证数据安全和数据的正确性，这是其他分布式存储系统无法比拟的。GPFS主要用于IBM小型机和UNIX系统的文件共享和数据容灾等场景。

五、Swift

Swift也是一个开源的存储项目，但是主要面向的是对象存储。和Ceph提供的对象存储服务类似。主要用于解决非结构化数据存储问题。它和Ceph的对象存储服务的主要区别是。

1、客户端在访问对象存储系统服务时，Swift要求客户端必须访问Swift网关才能获得数据。而Ceph使用一个运行在每个存储节点上的OSD（对象存储设备）获取数据信息，没有一个单独的入口点，比Swift更灵活一些。

2、在数据一致性方面，Swift的数据是最终一致，在海量数据的处理效率上要高一些，但是主要面向对数据一致性要求不高，但是对数据处理效率要求比较高的对象存储业务。而Ceph是始终跨集群强一致性。主要的应用场景，在在OpenStack中，对象存储服务使用的就是Swift，而不是Ceph。

金融行业基于服务器通过Ceph实现分布式存储，关于 应用场景 的典型问题：

金融行业中，分布式存储应用于哪些业务场景？如果用于存放非结构化数据，如kb级的影像文件，是使用多副本还是纠删码？如何进行数据保护？

@Garyy 某保险 系统工程师：

数据对于金融行业的重要性不言而喻，数据可以说是一个企业的生命线，数据的稳定安全保证了企业的更加稳定的运行。传统的金融企业存储大都是块存储和文件存储，通过集中式IPSAN/FCSAN的方式提供，服务的业务类型涵盖了几乎所有的业务场景，例如数据库，或者普通业务。随着企业的高速发展，业务的规模不断扩大，数据呈指数增长，PB级的数据需求屡见不鲜。这主要是由于当前的数据，已经从传统的结构化数据，变成了大量的非结构化数据—视频/音频/图片等。传统的存储，由于其架构“竖井式”的限制，无法做到横向扩容，往往在几百TB的时候买就遇到了扩容的瓶颈。这时候，各个厂商以及一些开源社区便开始研究一种新模式的存储来满足急剧增长的非结构化数据的需求—对象存储应运而生。对象存储基于分布式模式，提供横向扩容能力，同时对于非结构化数据的支持也比较到位。

目前分布式存储的使用场景包括了：视频音频的存储，日志存储，归档文件，例如保险行业的双录系统，金融行业的日志存储，电子保单等等。

@李贵民 浪潮商用机器有限公司 资深专家：

针对海量的KB级影像小文件存储，与文件存储相比，对象存储采用扁平化的命名空间，没有目录树的瓶颈，再加上小文件聚合归并技术，可以大大提升小文件的处理效率。数据保护层面，可以同时使用副本和纠删码，即存放非结构化数据的索引和属性信息的索引存储池采用副本策略，而存放数据的数据池采用纠删保护策略，这样通过采用不同数据保护策略数据的分级存储，既提高了小文件的存取效率，又能节省空间，提高存储系统的整理利用率。

金融行业基于服务器通过Ceph实现分布式存储，关于 计算平台选择 的典型问题

浪商OpenPOWER可以提供哪些分布式存储解决方案？

看了活动资料中的IPS&XSKY分布式存储解决方案，有两个问题想请教下：

1、浪商OpenPOWER可以提供哪些分布式存储解决方案？

2、和其他x86服务器架构方案相比，有什么优势？

@李贵民 浪潮商用机器有限公司 资深专家：

1.浪潮商用机器有限公司的OpenPOWER目前可以提供4大类分布式存储解决方案：

1）OpenPOWER + XSKY的联合分布式存储解决方案

2）OpenPOWER + 浪潮AS13000-P分布式存储解决方案

3）OpenPOWER + IBM GPFS分布式存储解决方案

4）OpenPOWER + 开源Ceph的分布式存储解决方案

2.与X86平台相比：

1）POWER9处理器主频2.75GHz，每socket可以达到22核，单核SMT4，具有更强的并发能力。凭借强大的多线程处理能力，根据实测，POWER9 平台对象上传和下载性能是 x86 平台的1.7倍，随着并发访问的增加，POWER9 的性能优势更明显。

2）OpenPOWER服务器支持PCIe4.0，单通道带宽是PCIe3.0的两倍，凭借高I/O带宽优势，能驱动更多的高性能磁盘，从而获得更高的IOPS。

3）与X86平台相比，POWER9处理器具有高达110M的L3缓存及2倍以上内存带宽，一方面减少了CPU和内存间的读写次数，另一方面，更多的热数据可以存放在访问速度远大于内存的Cache中，从而能获得更低的延迟。

@李远军 XSKY 技术总监：

IPS&XSKY分布式存储解决方案属于强强联合，openpower有强大的CPU处理器，XSKY提供稳定的商用分布式存储软件。

目前联合所提供的分布式存储包含分布式块存储和分布式对象存储和X86服务器相比性能更好，能够在一些高性能计算的应用场景上发挥更大的优势。

本次活动探讨了分布式存储技术选型和产品选型、分布式存储使用场景分析、分布式存储技术设计实现、分布式存储运维场景几个方面。社区进行了梳理汇总，希望能够给同业带来一些实践参考经验以及方法。

一、分布式存储技术选型和产品选型

1、Ceph集群在存储节点选型方面应该注意哪些方面？

@kw002007 某保险 存储工程师：

1.要注意业务的需要

2.要注意应用对IO的具体需求

3.要搭建不同性能的存储池如偏成本的偏性能ssd和sata共存的存储池

4.要注意公司对成本的要求

@login 网站架构师：

选型方面因为存储节点会有大量的数据写入磁盘，所以IO往往会成为瓶颈，所以尽量多配置硬盘，有条件的可以配置SSD。

2、除通过Ceph实现分布式存储，不知是否还有基于其他技术或产品的方案推荐？

@李贵民 浪潮商用机器有限公司 资深专家：

分布式存储技术路线主要分为开源和闭源商用两大阵营。开源阵营主要包括Ceph、Swift、Glusterfs，HDFS；闭源商用主要包括IBM（GPFS）、DellEMC、HDS、浪潮，华为等传统存储厂商的分布式存储产品，还包括SDS供应商，如XSKY，UMCloud等。

3、针对开源的Ceph，中小型金融企业怎么选择？

一般中小型企业技术还是相对欠缺，没有专门维护ceph团队，这种情况，如何选择？

@Garyy 某保险 系统工程师：

Ceph是近5年来发展起来的分布式统一存储，Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储系统，根据场景划分可以将Ceph分为三大块，分别是对象存储、块设备存储和文件系统服务。在虚拟化领域里，比较常用到的是Ceph的块设备存储，比如在OpenStack项目里，Ceph的块设备存储可以对接OpenStack的cinder后端存储、Glance的镜像存储和虚拟机的数据存储，比较直观的是Ceph集群可以提供一个raw格式的块存储来作为虚拟机实例的硬盘。Ceph相比其它存储的优势点在于它不单单是存储，同时还充分利用了存储节点上的计算能力，在存储每一个数据时，都会通过计算得出该数据存储的位置，尽量将数据分布均衡，同时由于Ceph的良好设计，采用了CRUSH算法、HASH环等方法，使得它不存在传统的单点故障的问题，且随着规模的扩大性能并不会受到影响。

中小企业在针对开源存储的使用上，应该做到按需选择。首先，要明确使用场景是什么？其次，要明确想达到什么目的，解决什么问题？最后，考虑成本因素/风险。

针对使用场景：

ceph的块和对象存储，相对来讲技术比较成熟，尤其是对象存储。所以，在使用上，建议可以针对使用对象存储和块存储的场景入手，从测试环境入手，从边缘应用入手。不建议直接上生产，尤其是作为数据库这类关键业务的后端存储。

对于可以解决的问题：

Ceph可以解决传统存储横向扩展难的问题，可以解决同一UI提供不同类型存储的问题，提高了系统的运维效率

成本/风险因素：

Ceph相对于传统存储来讲，充分利用了企业里x86服务器的资源，可以新建也可以利旧，同时没有license的使用费用。但是，带来的风险也是很大的，没有专业的企业来“兜底”解决问题，团队里必须要有存储的专家来fix集群的问题，人员的费用也是很大的一笔开销。

@李贵民 浪潮商用机器有限公司 资深专家：

对于Ceph开发维护能力欠缺的中小企业，基于Ceph的商业分布式存储系统不失为一种更好的选择。一方面，商业分布式存储系统针对开源Ceph会进行一定的优化和重构，进而提升系统的性能和稳定性；另一方面，在管理运维方面，商业分布式存储软件通过友好的管理界面可以提供更专业，更便捷高效的运维管理。最后，使用开源Ceph，在遇到问题时，在社区里不一定能得到及时的技术支持和响应，而采用商业的分布式产品可以在第一时间得到支持，减少因故障或问题带来的损失。

当然，具体该如何选择还要根据企业的技术实力，预算和业务场景来综合考量。

4、目前主流超融合架构中各家的分布式存储都有什么优缺点？

超融合主流厂商的存储系统如Nutanix 、VSAN、CiscoHyperFlex、Microsoft S2d，都使用了各自的分布式存储，请教他们都有什么优缺点，主要是缺点。谢谢。另外也请教一下国产的深信服超融合产品，在虚拟化和分布式存储各使用的什么技术？

@Garyy 某保险 系统工程师：

我们之前的技术选型中，做了一些研究，主要是Nutanix和vSan

Nutanix主要问题是：价格贵，一体化部署，可以由原厂提供，硬件是超微的；也可以由dell或者联想提供硬件，Nutanix提供软件服务。

vSAN的问题也是一样，价格昂贵，品牌绑定，性能一般。

5、分布式存储如何做技术选型？

@kw002007 某保险 存储工程师：

1.确认公司的战略和管理层意图

2.确认成本技术合作等目标的优先级

3.根据评估因素做出评估表

4.按照考量因素打分

5.选中目标型号

@Garyy 某保险 系统工程师：

对于分布式存储的技术选择，需要对国际/国内的厂家进行一个全面的分析：

1）云服务、虚拟化厂商：积极应对，做时代变革者

1.AWS提供了多样化的云存储，ESB/S3/EFS/S3Glacier/Snowball等，为客户提供了多种选择

2.阿里云同样提供了块，对象，文件存储，同时提供了很多存储服务

3.VMware 通过发布分布式ServerSAN存储产品vSAN,在vSphere场景下全面挑战传统存储厂商。

4.Intel 积极寻求多方面SDS控制面合作及标准制定，2015年主动联手EMC推SDSCoprHD开源标准。同时，推出多款SSD存储盘，为SDS提供技术支持。

2）传统存储厂商：严防死守，延续现有优势

1.EMC是传统存储厂商的代表，要保护已有存储市场，在EMC World2013上发布ViPR，基于控制面进行SDS构建。同时通过发布软件化战略，支持传统阵列变为软件定义存储，除闪存和高端外的所有产品全部软件化，对存储系统软件化、硬件标准化的发展方向进行试探性应对。

2.IBM发布Spetrum战略，投资10亿美元用于投入SDS领域，分三个阶段实施：存储虚拟化阶段、smart(API)阶段和应用平台阶段。目前，Cleversafe作为对象存储的领军产品，正在对象存储的市场上劈波斩浪。

3.NetApp提供StorageGRID（有两种形式：物理设备和虚拟设备），为该公司的存储产品组合提供了支持。StorageGRID支持CIFS和NFS协议，还支持云数据管理接口（CDMI）、Swift和S3 API。安全功能包括原生静态数据加密、强大的审计和报告以及WORM，借助使用该公司的DataONTAP SnapLock功能。该产品在备份和归档两大使用场合得到了ISV的有力支持，另外还拥有有效的分层存储，支持磁盘、固态硬盘、磁带和云等选项。NetApp拥有相当数量的PB级对象存储客户。除了虚拟设备外，NetApp还为基于软件的部署提供了有限的选择。

4.Huawei自收购华为-赛门铁克合资公司以来，就一直在积极投资于存储行业。华为拥有多元化的产品组合，横跨SAN、NAS和对象存储三大产品线。华为的对象存储产品OceanStor/FusionStor产品基于分散的对等节点网络，元数据与对象一同存储起来，消除了任何单一故障点，能够实现无缝可扩展性。支持原生API和S3API，以便访问数据。该产品只能作为华为销售的套装设备来部署。

3）新兴分布式存储技术:时代的挑战者

1.Redhat 2014年5月以1.75亿美元收购Ceph解决方案公司inktank。并于2014年7月发布Ceph企业版，正式进入存储市场。

2.XSKY 于2015年5月成立，创业技术团队来自于国际一线互联网公司和IT领导厂商的核心研发团队。目前，XSKY在开源存储系统Ceph社区的代码贡献排名中,位居中国第一,全球前三，并且与Redhat、戴尔、英特尔等公司达成合作。XSKY产品推出以来，获得了大规模地商业化部署，客户涵盖了政府、金融、电信、广电、教育、交通、医疗、能源、制造等不同领域，支撑了行业云、私有云、桌面云、数据库资源池、海量媒体数据、影像数据、智能制造数据等不同类型的应用场景。

3.国内也有大批的初创型公司以及一些传统企业涉足Ceph领域，例如ZTE，H3C，浪潮，Easystack，中移软件，sanstone等。

4.除此之外，还有一部分基于自研技术的分布式存储厂商，例如曙光，ZettaCloud等。

6、容器云在使用分布式存储时，HDFS、CEPH、GFS、GPFS、Swift等分布式存储哪种更好？

目前，公司在进行容器云技术选型，计划采用商业产品，已接触华为、RANCHER、阿里等产品提供商，现想了解相应的分布式存储如何匹配，HDFS、CEPH、GFS、GPFS、Swift等分布式存储，采用哪种更好，主要场景是容器存储应用日志、配置文件、非结构化数据文件等，请各位大神持续指导。

@Steven99 软件架构设计师：

日志文件随着时间会是个很大的量，所以建议考虑统一的日志中心存储处理，可以用es等，备份到hdfs。

配置文件在量上通常不是个问题，可以考虑配置中心统一管理，无需额外存储。

非结构化数据通常是大量的文件，可以采用传统nas或分布式对象存储，当然资金充裕可以采购好的存储，存储性能很重要，根据业务重要程度选择不同的存储。

@Garyy 某保险 系统工程师：

容器存储的持久化，对于有状态数据的容器使用场景来说至关重要。因此，在技术选型的时候，需要明确存储的具体需求。存储按照数据类型来分，可以分为块存储，对象存储，文件存储。我们传统的环境中，使用最多的还是块存储和文件存储。随着IT的更新换代，现在对于对象存储（非结构化数据）的需求日益旺盛，对象存储在对一些Key-Value型数据的存储有着天然的优势，再加上其分布式，副本/纠删码等可以匹配传统存储的特性，日益成为温数据/冷数据存储的不二之选。

HDFS/CEPH/GFS/GPFS/Swift这类分布式存储，按照存储的类型来区分，HDFS/GPFS/GFS属于文件存储，CEPH属于统一存储—即块/对象/文件统一体，Swift属于对象存储-目前属于OpenStack下面的一个子项目。

1）HDFS

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。

HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以实现流的形式访问（streaming access）文件系统中的数据。

2）GFS

GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，并提供容错功能。它可以给大量的用户提供总体性能较高的服务。

3）GPFS

GPFS(General Parallel File System ,GPFS) 是 IBM 公司第一个共享文件系统，起源于 IBM SP 系统上使用的虚拟共享磁盘技术( VSD )。作为这项技术的核心，GPFS 是一个并行的磁盘文件系统，它保证在资源组内的所有节点可以并行访问整个文件系统；而且针对此文件系统的服务操作，可以同时安全地在使用此文件系统的多个节点上实现。 GPFS 允许客户共享文件，而这些文件可能分布在不同节点的不同硬盘上；它提供了许多标准的 UNIX 文件系统接口，允许应用不需修改或者重新编辑就可以在其上运行。

4）CEPH

Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储系统，根据场景划分可以将Ceph分为三大块，分别是对象存储、块设备存储和文件系统服务。在虚拟化领域里，比较常用到的是Ceph的块设备存储，比如在OpenStack项目里，Ceph的块设备存储可以对接OpenStack的cinder后端存储、Glance的镜像存储和虚拟机的数据存储，比较直观的是Ceph集群可以提供一个raw格式的块存储来作为虚拟机实例的硬盘。

Ceph相比其它存储的优势点在于它不单单是存储，同时还充分利用了存储节点上的计算能力，在存储每一个数据时，都会通过计算得出该数据存储的位置，尽量将数据分布均衡，同时由于Ceph的良好设计，采用了CRUSH算法、HASH环等方法，使得它不存在传统的单点故障的问题，且随着规模的扩大性能并不会受到影响。

5）Swift

Swift 最初是由Rackspace 公司开发的高可用分布式对象存储服务，并于 2010 年贡献给 OpenStack 开源社区作为其最初的核心子项目之一，为其 Nova 子项目提供虚机镜像存储服务。Swift 构筑在比较便宜的标准硬件存储基础设施之上，无需采用 RAID（磁盘冗余阵列），通过在软件层面引入一致性散列技术和数据冗余性，牺牲一定程度的数据一致性来达到高可用性和可伸缩性，支持多租户模式、容器和对象读写操作，适合解决互联网的应用场景下非结构化数据存储问题。

@yin986 软件架构设计师 阳光保险：

NAS后面可能逐步边缘化，对象存储是一种方案，但涉及到应用程序开发，如果想无缝上容器，该如何选择分布式存储呢？

@李远军 XSKY 技术总监：

对于容器云XSKY已经针对K8S 开发出ISCSICSI和NFSCSI接口，可以无缝的对接。

http://www.talkwithtrend.com/Article/244219

http://www.talkwithtrend.com/Topic/23951/feed

长按二维码关注公众号