全闪SDS之数据库加速解决方案

Posted 2022-05-19 刘爱贵

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了全闪SDS之数据库加速解决方案相关的知识，希望对你有一定的参考价值。

方案背景

背景概述

随着互联网和电子商务的迅猛发展，传统的大型结构化数据库系统在企业应用中承载着越来越多的应用，重载情况越来越突出，担当着企业业务和信息系统核心的重任。

但是，本来是为了传统业务的开展而设计出来的数据库系统，已经越来越多的受到超大规模数据量和高强度瞬时并发访问的折磨和考验。无论是企业的传统应用，还是新兴业务，随着数据量和业务量的不断高速增长，数据库系统的执行效率越来越低，数据库检索、读写时延等性能越来越低已经越来越成为制约整个系统性能和效率提升的瓶颈。

提升核心数据库存储平台，加速核心数据库的运行效率，已经对各大传统数据库用户造成极大的困扰。

需求分析

大量随机读写，极高的IO和延时要求——数据库日志文件自身的IO特点决定了其高IO和低延时的要求；

数据高可靠要求——数据丢失造成重大责任事故；

高速的访问量增长——企业数据库访问量随着数据量本身快速增长；

高速的性能负载增长——数据统一集中管理后系统负载大规模增加

高速的容量增长——企业业务信息和数据随业务的发展而持续膨胀；

业务负载不均衡——信息系统的负载严重不均衡，急需有高强度瞬时大规模并发操作的能力

海量数据整合——要对海量数据信息的整合处理

数据价值再挖掘——数据的深层次挖掘和分析的需求

数据应用智能化——企业数据的智能化处理的迫切要求

个性化和专业化需求——提供更个性化与专业化相结合的新服务

方案设计

1.方案概述

以TaoCloud FASS分布式全闪存储系统作为数据底座，为核心数据库提供高IO、低时延、高可靠的块存储服务，实现在线数据库高并发加速效果。

FASS以独创的XPE加速引擎，针对NVMe SSD / SATA SSD硬盘全面优化的处理方式，充分发挥SSD硬盘的读写特性，配合25GE-100GE高速RoCE网络或IB网络作为数据传输链路，实现了千万级IOPS，us级低时延表现，为核心数据库的加速提供了超强的存储支持保障，可作为替换传统高端磁盘阵列，甚至全闪磁盘阵列的不二选择。

支持RDMA的RoCE网络或IB网络不仅可以提供更高的带宽，其远程直接访问技术可以提供更低的链路时延，以保障更高的IO响应能力。因此要充分发挥FASS的系统性能，建议选用以上网络。

根据用户核心数据库的性能要求，FASS提供两款不同级别产品：

入门级FASS+SATA SSD+25GE RoCE / IB网络，提供百万级IOPS性能；

进阶级FASS+NVMe SSD+100GE RoCE / IB网络，提供千万级IOPS性能。

配合XDFS作为数据库的备份存储池，可作为数据库系统日志的多版本快速恢复目录，再配合备份软件还可以作为数据库的备份存储池，从而实现多途径、多选择、更快速的数据库恢复能力。XDFS具有广泛的兼容性，支持国内外常见备份软件，丰富用户的方案选型。

2.方案拓扑

方案拓扑图

3.组网说明

FASS设计独立的三个网络，分别为：数据公网、数据私网和管理网。

数据公网

用于承载数据库服务器与FASS集群之间的数据读写、检索查询等操作，对IO响应和链路延时等都有较大性能压力，使用一台独立的100GE RoCE交换机保证链路性能。

数据私网

FASS集群内部数据的均衡、分发、交互、验证都需要数据私网的支持，同样对带宽、延时、IO响应等有着较大性能压力，同样使用一台独立的100GE RoCE交换机保证链路性能。

管理网

管理网用来登录XDFS集群的WEB管理界面，完成配置、管理、状态查询等操作，该网络性能压力不大，连入千兆交换机即可，也可以与用户现有网络复用。

备份网络

XDFS作为备份存储池，通过10GE交换机连接备份管理服务器，通过备份管理服务器与核心数据库的通信，将数据备份到XDFS存储池中。

核心数据库服务器也可以通过10GE交换机直接访问XDFS存储池，直接将系统日志导出到该存储池，形成可直接使用的数据库恢复日志，从而更为快速的版本恢复。

4.冗余机制

FASS在线存储池

3节点FASS集群，三副本冗余，允许2/3的节点故障数据不丢失，业务不中断。配合多副本冗余、快照、故障域等设置，进一步提升数据可靠性。

XDFS备份存储池

XDFS作为数据库的备份存储池可根据实际需要配置，可提供TB-EB级的容量支持。根据数据库类型、数量、备份方式选购备份软件。

数据库加速

传统数据库的最大特点是日志文件必须在事务提交时写入到磁盘，对响应时间的要求很高。虽然日志文件被设计成顺序读写的文件，但其IO size太小(通常小于4K),且每个IO之间是独立的，造成存储位的间隔小，由此每次IO操作从机械硬盘中读取数据都会造成大量无效的寻址时间，从而降低IO响应，增加访问延时。

同时随着现代业务模式的发展，数据库面对越来越多的并发访问，数据库检索、查询的操作指数级增加，从而进一步造成数据库对IO性能和延时响应的极端要求。

对数据库加速最重要的手段就是对存储介质响应能力的提升，从而满足不断升级的性能要求。也因此业界公认以计存分离和全闪存储实现数据库加速的方式最为有效。同时配合负载均衡实现对超大型数据库或分布式数据库响应加速。

1.存算分离架构

TaoCloud FASS分布式全闪存储系统独立于数据库服务器，提供专业、独立的存储层支持。单节点可提供250万IOPS输出，通过分布式集群多节点并发方式，4节点即可提供超过1000万IOPS和100us+低延时的性能支持，面对传统数据库应用可以轻松满足其性能要求，达到加速效果。

FASS分布式全闪架构，不仅可以满足传统数据库对存储层的性能要求，面对超大型和分布式数据库，通过逐步增加FASS存储节点实现性能和容量的同步线性增长，同样可以满足其更为苛刻的性能要求。

计存分离的IT架构不仅能帮助用户更好的实现数据库在存储性能上的加速，也有利于按需规划和建设数据库系统。尤其分布式架构灵活的扩展方式，可以有效避免数据库在前期建设时的过渡投入和后续扩建时的升级难度，有利于用户的长期规划。

TPC-C 测试环境	DB-Server： OS：CentOS Linux release 7.6 CPU：双路Intel(R) Xeon(R) Gold 6140 CPU @ 2.30GHz 内存：128GB 网卡：2 * Mellanox Technologies MT27710 Family [ConnectX-4 Lx] 25GE FASS-Server： CPU：双路Intel(R) Xeon(R) Gold 6140 CPU @ 2.30GHz 内存：128GB 网卡：2 * Mellanox Technologies MT27710 Family [ConnectX-4 Lx] 25GE 数据盘：2 * Intel P4510 4TB U2 NVMe SSD 网络： Mellanox Technologies SN2410 IB Switch 测试工具： Benchmarksql5.0测试工具对数据库进行TPC-C基准测试 FIO测试工具对disk性能评估
FASS 性能表现	IOPS	4K随机读	FASS	131,766.00
			本地	65237.57
		4K随机写	FASS	189,930.25
			本地	57761.22
TPC-C 测试表现	New_Oder	使用BenchmarkSQL5.0联合某国产数据库测试，设定200 warehouses数据量，并发600 users，运行10分钟，完成448,100.21个New_Order操作

NVMe SSD硬盘繁忙情况

“nvme0n1”是本次测试FASS提供的全闪存储池，以红色线条标示，即上部连续红色线条。

如图所示：TaoCloud FASS分布式全闪系统已经完全发挥出NVMe SSD的性能，本次测试硬盘数量是制约测试结果的重要原因。随着硬盘数量的增加可以显著提升数据库性能

2.全闪分布式存储系统

数据库最核心的性能要求就是IO和延时。区别于传统分布式存储更换存储介质的方式，TaoCloud FASS分布式全闪存储系统原生即为NVMe SSD存储介质而设计研发，自研的XPE模块从根本解决CPU事务处理与IO中断之间的矛盾，全面释放NVMe SSD硬盘的存储特性，保证了全闪存储系统的整体性能输出。配合NVMe技术，提供从计算节点的CPU到存储节点的SSD，端到端的高性能存储解决方案，帮助用户实现数据库加速。

方案优势

极高的性能表现

FASS元数据服务基于内存K/V数据库实现，文件数据与元数据分别存储和管理，具备优秀的性能扩展能力。通过NVMe盘提供极致I/O性能，结合软件层的XPE引擎设计、微控制器技术、轻量元数据索引等机制，块存储端可达到单卷百万级，单集群（4节点）千万级IOPS、微秒级延迟，单集群（4节点）带宽可达50GB。

通过FASS的加持，用户核心数据库轻松实现倍数级性能提升，彻底摆脱数据层性能瓶颈。