ceph安装部署

Posted 2021-01-11 zhangzihong

ceph简介

不管你是想为云平台提供Ceph 对象存储和/或 Ceph 块设备，还是想部署一个 Ceph 文件系统或者把 Ceph 作为他用，所有 Ceph 存储集群的部署都始于部署一个个 Ceph 节点、网络和 Ceph 存储集群。 Ceph 存储集群至少需要一个 Ceph Monitor 和两个 OSD 守护进程。而运行 Ceph 文件系统客户端时，则必须要有元数据服务器（ Metadata Server ）。

• Ceph OSDs: Ceph OSD 守护进程（ Ceph OSD ）的功能是存储数据，处理数据的复制、恢复、回填、再均衡，并通过检查其他OSD 守护进程的心跳来向 Ceph Monitors 提供一些监控信息。当 Ceph 存储集群设定为有2个副本时，至少需要2个 OSD 守护进程，集群才能达到 active+clean 状态（ Ceph 默认有3个副本，但你可以调整副本数）。
• Monitors: Ceph Monitor维护着展示集群状态的各种图表，包括监视器图、 OSD 图、归置组（ PG ）图、和 CRUSH 图。 Ceph 保存着发生在Monitors 、 OSD 和 PG上的每一次状态变更的历史信息（称为 epoch ）。
• MDSs: Ceph 元数据服务器（ MDS ）为 Ceph 文件系统存储元数据（也就是说，Ceph 块设备和 Ceph 对象存储不使用MDS ）。元数据服务器使得 POSIX 文件系统的用户们，可以在不对 Ceph 存储集群造成负担的前提下，执行诸如 ls、find 等基本命令

Ceph组件:osd

• OSD 守护进程,至少两个
• 用于存储数据、处理数据拷贝、恢复、回滚、均衡
• 通过心跳程序向monitor提供部分监控信息
• 一个ceph集群中至少需要两个OSD守护进程

Ceph组件：mon

• 维护集群的状态映射信息
• 包括monitor、OSD、placement Group(PG)
• 还维护了monitor、OSD和PG的状态改变历史信息

Ceph组件：mgr（新功能）

• 负责ceph集群管理，如pg map
• 对外提供集群性能指标（如cpeh -s 下IO信息）
• 具有web界面的监控系统（dashboard）

ceph逻辑结构

数据通过ceph的object存储到PG,PG在存储到osd daemon，osd对应disk

object只能对应一个pg

一个raid可以对应一个osd

一整块硬盘可以对应一个osd

一个分区可以对应一个osd

monitor：奇数个 osd : 几十到上万，osd越多性能越好

pg概念

• 副本数
• crush规则(pg怎么找到osd acting set)
• 用户及权限
• epoach：单调递增的版本号
• acting set: osd列表，第一个为primary osd，replicated osd
• up set :acting set过去的版本
• pg tmp:临时pg组

osd状态：默认每2秒汇报自己给mon(同时监控组内osd，如300秒没有给mon汇报状态，则会把这个osd踢出pg组)

• up 可以提供io
• down 挂掉了
• in 有数据
• out 没数据了

ceph应用场景：通过tgt支持iscsi挂载

• 公司内部文件共享
• 海量文件，大流量，高并发
• 需要高可用、高性能文件系统
• 传统单服务器及NAS共享难以满足需求，如存储容量，高可用

ceph生产环境推荐

• 存储集群采用全万兆网络
• 集群网络(不对外)与公共网络分离(使用不同网卡)
• mon、mds与osd分离部署在不同机器上
• journal推荐使用PCI SSD,一般企业级IOPS可达40万以上
• OSD使用SATA亦可
• 根据容量规划集群
• 至强E5 2620 V3或以上cpu,64GB或更高内存
• 最后，集群主机分散部署，避免机柜故障(电源、网络)

ceph安装环境

由于机器较少，使用3台机器，充当mon与osd，生产环境不建议，生产环境至少3个mon独立

 

一、系统设置