ceph 之 crush存储规则理解
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了ceph 之 crush存储规则理解相关的知识，希望对你有一定的参考价值。
ceph是分布式存储，其中对于数据的存储规则是一个重点和难点。比如每个数据块的数据备份是3份，3份数据是怎么分布的？ceph的crush 就是解决数据分布规则的问题。
应用端直接使用的是pool，pool是由存储的基本单位pg组成，pg分布在磁盘逻辑单元osd上，osd一般是对应一块物理硬盘，osd分布在物理主机host，host分布在机框chassis中，机框chassis分布在机架rack中，几家rack分布在机柜阵列raw中，后面可以继续归属，->pdupod->room->datacenter 。其中host/chasis/rack 等等在ceph属于中叫做bucket（桶），各个级别的bucket是默认的，当有特殊需求的时候，可以自定义新的级别bucket，比如新定义一个bucket级别host-SSD ，专门将SSD盘的OSD归入这个bucket中。
OSD归类完成之后，数据的分布需要使用规则，比如回到上面的问题，每个数据块的数据备份是3份，3份数据是怎么分布的？首先，应用端使用pool，假定3个基本数据单元需要存放到3个pg中，这个时候就需要确定使用哪3个pg，需要遵从rule，这个rule 也是crush定义的。
下面以新建一个容纳ssd磁盘的bucket，以及相对应的rule为例，简单罗列一下crush的相关命令：
创建ssd root
ceph osd crush add-bucket ssd root
//创建一个新的桶叫ssd ，级别是root最高级
创建hostgroup
ceph osd crush add-bucket ssd-hosts chasis
//创建一个新的桶叫ssd-hosts ，级别是机框chasis
ceph osd crush move ssd-hosts root=ssd
//将ssd-hosts归入ssd
创建host
ceph osd crush add-bucket ssd-m1 host
//创建一个新的桶叫ssd-m1 ，级别是主机host
ceph osd crush add-bucket ssd-compute host
//创建一个新的桶叫ssd-compute ，级别是host
ceph osd crush move ssd-m1 chasis=ssd-hosts
//将ssd-m1归入ssd-hosts
ceph osd crush move ssd-compute chasis=ssd-hosts
//将ssd-compute归入ssd-hosts
移动osd
ceph osd crush set osd.0 1.0 host=ssd-m1
//将osd.0 移动到主机host=ssd-m1 中
ceph osd crush set osd.1 1.0 host=ssd-compute
//将osd.1 移动到主机host=ssd-compute 中
创建crush rule
ceph osd crush rule create-simple ssd ssd host firstn
//创建crush rule，rule名称是ssd，root=ssd，tpye=host，mode=firstn
显示rule规则
ceph osd crush rule dump
[
{
"rule_id": 0,
"rule_name": "replicated_ruleset",
"ruleset": 0,
"type": 1,
"min_size": 1,
"max_size": 10,
"steps": [
{
"op": "take",
"item": -1,
"item_name": "default"
},
{
"op": "chooseleaf_firstn",
"num": 0,
"type": "host"
},
{
"op": "emit"
}
]
},
{
"rule_id": 1,
"rule_name": "ssd",
"ruleset": 1,
"type": 1,
"min_size": 1,
"max_size": 10,
"steps": [
{
"op": "take",
"item": -9,
"item_name": "ssd"
},
{
"op": "chooseleaf_firstn",
"num": 0,
"type": "host"
},
{
"op": "emit"
}
]
}
]
可以看到有2个规则，1个是默认规则，1个是规则ssd 。
创建pool以及使用rule
规则有了之后，接下来就是使用了。在创建pool的时候，可以指定rule。
ceph osd pool create ssd 128 128
ceph osd pool set ssd crush_ruleset 1 //这个ruleid 1 就是上面新创建的规则
以上是关于ceph 之 crush存储规则理解的主要内容，如果未能解决你的问题，请参考以下文章