[ ceph ] 基本概念原理架构介绍

Posted 2020-11-22 hukey

1. Ceph 架构

 

 

 

1.1 Ceph 接口

Ceph 支持三种接口：

• Object：有原生的API，而且也兼容 Swift 和 S3 的 API
• Block：支持精简配置、快照、克隆
• File：Posix 接口，支持快照

 

1.2 Ceph 核心组件及概念介绍

• Monitor：一个 Ceph 集群需要多个 Monitor 组成的小集群，它们通过 Paxos 同步数据，用来保存 OSD 的元数据。
• OSD：OSD 全称 Object Storage Device，也就是负责响应客户端请求返回具体数据的进程，一个Ceph集群一般有很多个OSD。
• CRUSH：CRUSH 是 Ceph 使用的数据分布算法，类似一致性哈希，让数据分配到预期的位置。
• PG：PG全称 Placement Groups，是一个逻辑的概念,一个PG 包含多个 OSD 。引入 PG 这一层其实是为了更好的分配数据和定位数据。
• Object：Ceph 最底层的存储单元是 Object对象，每个 Object 包含元数据和原始数据。
• RADOS：实现数据分配、Failover 等集群操作。
• Libradio：Libradio 是RADOS提供库，因为 RADOS 是协议，很难直接访问，因此上层的 RBD、RGW和CephFS都是通过libradios访问的，目前提供 php、Ruby、Java、Python、C 和 C++的支持。
• MDS：MDS全称Ceph Metadata Server，是CephFS服务依赖的元数据服务。
• RBD：RBD全称 RADOS Block Device，是 Ceph 对外提供的块设备服务。
• RGW：RGW全称RADOS gateway，是Ceph对外提供的对象存储服务，接口与S3和Swift兼容。
• CephFS：CephFS全称Ceph File System，是Ceph对外提供的文件系统服务。

 

2. 三种存储类型

 

块设备：主要是将裸磁盘空间映射给主机使用，类似于SAN存储，使用场景主要是文件存储，日志存储，虚拟化镜像文件等。

文件存储：典型代表：FTP 、NFS 为了克服块存储无法共享的问题，所以有了文件存储。

对象存储：具备块存储的读写高速和文件存储的共享等特性并且通过 Restful API 访问，通常适合图片、流媒体存储。

 

2.1 Ceph IO流程及数据分布

 

步骤：

1. client 创建cluster handler。
2. client 读取配置文件。
3. client 连接上monitor，获取集群map信息。
4. client 读写io 根据crushmap 算法请求对应的主osd数据节点。
5. 主osd数据节点同时写入另外两个副本节点数据。
6. 等待主节点以及另外两个副本节点写完数据状态。
7. 主节点及副本节点写入状态都成功后，返回给client，io写入完成。

 

新主IO流程图

说明：

如果新加入的OSD1取代了原有的 OSD4成为 Primary OSD, 由于 OSD1 上未创建 PG , 不存在数据，那么 PG 上的 I/O 无法进行，怎样工作的呢？

 

 

 

 

步骤：

（1）client连接monitor获取集群map信息。

（2）同时新主osd1由于没有pg数据会主动上报monitor告知让osd2临时接替为主。

（3）临时主osd2会把数据全量同步给新主osd1。

（4）client IO读写直接连接临时主osd2进行读写。

（5）osd2收到读写io，同时写入另外两副本节点。

（6）等待osd2以及另外两副本写入成功。

（7）osd2三份数据都写入成功返回给client, 此时client io读写完毕。

（8）如果osd1数据同步完毕，临时主osd2会交出主角色。

（9）osd1成为主节点，osd2变成副本。

 

3. Ceph 如何存取数据

这里有一篇文章写的通俗易懂：http://www.xuxiaopang.com/2016/11/08/easy-ceph-CRUSH/