Ceph 性能调优

Posted 2021-04-05 OSC开源社区

一个让ceph强大的原因就是ceph提供了一系列的可调整的选项。你可以控制ceph管道中的多少数据以及多少操作被缓存。你可以定制不同的清除策略， 或者更改文件存储操作的线程数。不利的一面是，要深入研究可能有点吓人，甚至让人不知道如何下手。在Inktank我们得到了很多关于这些选项如何影响性 能的问题。答案往往是视情况而定。不同的硬件和软件配置将有利于不同Ceph选项。为了让人们知道什么东西可能值得看,我们决定过一遍一些最有可能会对性 能产生影响的选项。本文中,使用磁盘JBOD配置时，我们将看到不同的ceph参数。

因为Inktank是愿意支付我画网络漫画(嗨伙计们!)，我看到的一切就相当于下面这幅画。

在我们继续之前，如果你不是很很熟悉ceph的配置，这是关于ceph的配置文档。 一旦你对此有所了解，你要查看的可调参数在这里： here。

系统设置

我们将使用SAS2208 控制器进行这个测试。这支持JBOD，多重RAID0，单RAID0配置。不幸的是不同的控制器上的表现也不同,所以这些结果可能并不代表其他控制器。希望他们至少会提供一个初始的起点,或许想类似的配置如何执行。

硬件配置包括:

• Chassis: Supermicro 4U 36-drive SC847A

• Motherboard: Supermicro X9DRH-7F

• Disk Controller: On-board SAS2208

• CPUS: 2 X Intel XEON E5-2630L (2.0GHz, 6-core)

• RAM: 8 X 4GB Supermicro ECC Registered DDR1333 (32GB total)

• Disks: 8 X 7200RPM Seagate Constellation ES 1TB Enterprise SATA

• NIC: Intel X520-DA2 10GBE

软件配置：

• OS: Ubuntu 12.04

• Kernel: 3.6.3 from Ceph’s GitBuilder archive

• Tools: blktrace, collectl, perf

• Ceph: Ceph “next” branch from just before the 0.56 bobtail release.

测试设置

写了一个python工具来读取YAML配置文件，以及根据不同的参数设置自动生成ceph.conf配置文件。然后我们使用基准测试工具对每个配置文件进行测试。一些参数配置将被组合在一起以减少总的测试数量。以下YAML文件片段展示了不同的设置。

更多内容请点击阅读原文。

-----------------------------------------------------------

----------------------------—————————————————