ceph 部署后rbd块设备读写只有10M左右，慢的更龟速一样，怎样解决！，求各位博友指点……，感激不尽……

Posted 2020-08-02

1先描述下我的部署环境：

   2台OSD，1台monitor，1台管理服务器，1台client，都是24核，64G内存，1.6T的SSD闪存卡，千兆网卡；目前安装的ceph版本是 0.94.7。

2 目前的现状

 我用dd命令写5G数据，使用iostat 观察到%util 立马100%呀，同时await指标都是4000多，而且此时网络带宽也才使用10M左右。 

 

使用fio工具顺序写1G的数据，测试出的bw只有7M多，iops只有800多，

fio --name=seqWrite --filename=/mnt/test --numjobs=2 --bs=4k -size=1G --ioengine=libaio --iodepth=32 --direct=1 --rw=write --group_reporting  --randrepeat=0

目前的配置文件：

 [global]
fsid = 87c84fff-c652-4873-953b-85549fa400b9
mon_initial_members = cmon
mon_host = 172.16.1.144
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
filestore_xattr_use_omap = true
osd_pool_default_size = 2
osd_pool_default_min_size = 1
osd_pool_default_pg_num = 128
osd_pool_default_pgp_num = 128


filestore_fd_cache_size = 204800
filestore_omap_header_cache_size = 204800
filestore_fiemap = true
filestore_wbthrottle_xfs_bytes_start_flusher = 500000000
filestore_wbthrottle_xfs_indoes_start_flusher = 500
filestore_wbthrottle_xfs_indoes_hard_limit = 500000
filestore_wbthrottle_xfs_ios_start_flusher = 50000
filestore_wbthrottle_xfs_bytes_hard_limit = 500000000
filestore_wbthrottle_xfs_ios_hard_limit = 500000
filestore_queue_max_ops = 5000
filestore_queue_max_bytes = 1024000000
filestore_queue_committing_max_ops = 50000
journal_queue_max_ops = 500000
journal_queue_max_bytes = 10240000000
osd_journal_size = 10000
ms_dispatch_throttle_bytes = 104857600000
osd op threads = 4
osd disk threads = 2
filestore op threads = 6
osd_mount_options_xfs = "rw,noexec,nodev,noatime,nodiratime,nobarrier"

本文出自 “小兄” 博客，请务必保留此出处http://waq1688.blog.51cto.com/2621504/1795425