Curve：网易开源的高性能高可用高可靠分布式存储系统

Posted 2021-04-02 FOSS Lab

点击“蓝字”关注我们吧

CURVE 是网易开源的高性能、高可用、高可靠分布式存储系统，具有非常良好的扩展性。基于该存储底座可以打造适用于不同应用场景的存储系统，如块存储、对象存储、云原生数据库等。CURVE 的设计开发始终围绕三个理念：一是顺应当前存储硬件设施发展趋势，做到软硬件结合打造顶级的存储产品；二是秉持 “Simple Can be harder than complex”，了解问题本质情况下选择最简单的方案解决问题；三是拥抱开源，在充分调研的前提下使用优秀的开源项目组件，避免造轮子。

当前网易基于 CURVE 已经实现了高性能块存储系统，支持快照克隆和恢复 ,支持 QEMU 虚拟机和物理机 NBD 设备两种挂载方式, 在网易内部作为高性能云盘使用。

特 性

1. 高性能

2. 高可用

高可用是 CURVE 的另一大特点。MDS、ChunkServer 以及 SnapShotCloneServer 都支持多实例部署，部分实例异常不影响整个集群的可用性。

• MDS

  MDS 是无状态的，推荐至少部署两个实例。通过 Etcd 进行选主。多个 MDS 实例通过 Etcd 进行选主，当单个实例失效时，可以秒级切换到另外一个实例。失效实例上正在处理的请求，Client 和 SnapShotCloneServer 都会对其进行重试，以达到不影响集群可用性的效果。

• SnapShotCloneServer

  SnapShotCloneServer 与 MDS 类似, 也是通过 Etcd 进行选主，不同的是，它通过负载均衡对外提供服务。失效期间的请求失败重试都是幂等的，不影响任务的正确性以及集群的可用性。

• ChunkServer

  ChunkServer 是一个集群，通过 Raft 协议保持数据一致性，并通过 MDS 做负载均衡。单个节点失效时，会影响到这个节点上存储的所有 Copyset。对于 Copyset 上的 Leader 节点，会中断服务，等待重新选举；对于Copyset 上的 follower 节点，服务不会受影响。当某个 Chunkserver 节点失效且在一段时间内无法恢复，MDS 会将其上的数据迁移到其他节点上。

往期推荐

扫码关注最新动态

我就知道你“在看”