存储相关基础知识

Posted 2020-12-29 weichao01

块存储
典型设备；磁盘阵列，硬盘
作用：主要是将裸磁盘空间映射给主机使用，磁盘阵列（内含多块硬盘）做RAID操作或者LVM操作，逻辑划分出N块Logic盘并映射给主机使用，操作系统会识别到N块硬盘，但是无法感知到底是逻辑盘还是物理盘，所以还是会对其进行分区和格式化（无法共享数据）。每块逻辑盘实际上是由多块硬盘共同组成，在读写数据的时候，几块物理硬盘可以并行寻址和操作，大大提高了IO效率。
优点：对块磁盘组成逻辑盘，读写效率增加
缺点：相当于自己主机的硬盘，无法进行数据共享
场景：虚拟机磁盘分配、数据库、在OpenStack项目里，Ceph的块设备存储可以对接OpenStack的cinder后端存储、Glance的镜像存储和虚拟机的数据存储，比较直观的是Ceph集群可以提供一个raw格式的块存储来作为虚拟机实例的硬盘。
备注：常见的存储中 DAS、SAN 提供的也是块存储

文件存储
典型设备：FTP、NFS服务器
优点：客服了块存储文件无法共享的问题
缺点：读写、传输速率低
场景：日志、邮箱、目录结构文件存储
备注：常见的存储中 NFS、NAS也是属于文件系统存储

对象存储
优点：综合了块读写高速、文件共享特性
场景：k-v键值对，图片、视频

分布式存储相较于传统存储
1、高可用性
副本数灵活控制
支持故障域分割，数据强一致性
没有单点故障

2、高可扩展性

3、特性丰富

 

Journal盘
一般写数据到Ceph集群时，都是先将数据写入到Journal盘，然后每隔一段时间再将Journal盘中的数据刷新到文件系统中。一般为了使读写时延更小，Journal盘都是采用SSD，这给了文件系统足够的时间来合并写入磁盘，一般情况下使用SSD作为OSD的journal可以有效缓冲突发负载。

云存储容错机制
1、基于副本冗余的容错机制
原有数据复制成多份，副本存放在集群中不同节点上，官方推荐3副本，保证数据可靠性，弊处极大降低存储空间利用率

2、基于纠删码的容错机制
原有数据文件分成k个大小相等的数据块，按照纠删码编码，得到n个带有一定冗余编码数据，存储在不同的节点上，读取数据时，只要去任意k个数据块就能恢复原始数据。
例：(4+2)，将文件分为4个大小相等的数据块，编码后生成另外2个校验块，从所有的6个码块中取任意4个就可恢复原始数据。可容错数为2；最多允许2个码块丢失。