磁盘与存储

Posted 2022-09-16 ctng

一：磁盘管理
1>.linux磁盘管理的基本流程：
1.查看设备：fdisk -l
2.分区：fdisk -cu 设备名（n-p-1-回车-回车-w）
3.重读分区表：partx -a 设备名称
4.格式化：mkfs.ext4 分区名称
5.挂载：mount 分区名 挂载点
6.永久挂载：echo "分区名 挂载点 ext4 defaults 0 0" >>/etc/fstab
7.查看磁盘使用情况：df -hT
2>交换文件系统管理:
1.作用：Linux内核为了提高读写效率与速度，会将文件在内存中进行缓存，这部分内存就是Cache Memory(缓存内存)。即使你的程序运行结束后，Cache Memory也不会自动释放。这就会导致你在Linux系统中程序频繁读写文件后，你会发现可用物理内存变少。当系统的物理内存不够用的时候，就需要将物理内存中的一部分空间释放出来，以供当前运行的程序使用。那些被释放的空间可能来自一些很长时间没有什么操作的程序，这些被释放的空间被临时保存到Swap空间中，等到那些程序要运行时，再从Swap分区中恢复保存的数据到内存中。这样，系统总是在物理内存不够时，才进行Swap交换。
2.swap生成的方式：
a.安装系统时划分的。
b.使用硬盘格式化后生成。
fdisk -l /dev/sdb
free -m ##查看swap的大小，同时也会显示内存大小
fdisk -cu /dev/sdb ##n-p-1-回车-+2G-t-82-w
partx -a /dev/sdb ##重读分区表
cat /proc/partitions
mkswap /dev/sdb1 ##格式化swap，新建swap
swapon /dev/sdb1 ##临时启用swap
free -m ##查看验证
swapon -s ##查看swap详细信息
vi /etc/fstab ##永久挂载
/dev/sdb1 swap swap defaults 0 0
3>.2）swap的管理：查看、启用、禁用
查看：swapon -s
启用：swapon 分区
禁用：swapoff 分区
4>.LVM逻辑卷管理
1.LVM的基本流程：
创建分区（fdisk）-->创建PV（pvcreate）-->（vgcreate）创建VG-->创建LV（lvcreate）-->格式化（mkfs）-->挂载（mount或/etc/fstab）
2.LVM动态扩容:
逻辑卷LV的扩容：vgextend（扩容VG）、lvextend（扩容LV）、resize2fs（重读大小）、df（验证)
二:MFS分布式文件系统
MFS是：具有容错功能的、高可用、可扩展的海量级分布式文件系统，把数据分布存储在多台服务器，对外提供统一访问入口；包含层级结构、文件属性，也可以创建特殊文件。
分布式文件系统（DFS）：文件系统管理的物理存储资源不一定直接链接在本地节点，而是通过网络相连接的节点。
MFS的优点：集中访问、简化操作、数据容灾、提高文件存取性能。
MFS组成（角色）：元数据服务器（Master，存在单点故障）、元数据日志服务器（metalogger，备份master的日志）、数据存储服务器（chunk-server，多个）、客户端（fuse模块，挂载文件系统）。
MFS的读写过程：
1>.MFS读取数据的处理过程：
1.client向master请求读数据
2.master把所需数据存放的位置（chunk-server的ip及chunks编号）告知client
3.client向chunk-server请求发送数据
4.chunk-server给client发送数据
2>.MFS写入数据的处理过程：
1.client向master发送写请求
2.master与chunk-server交互，确认能提供写入数据的chunk-server及其chunks编号
3.master将确认好的chunk-server的ip及chunks编号发给client
4.client将数据写入到chunk-server的chunks编号的磁盘上
5.chunk-server与其他chunk-server进行数据同步，成功后告知client写入成功
6.client告知master写入结束
三：Hadoop分布式存储
1>.Hadoop的基本功能：
1）Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。
2）Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。
3）Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。
4）Hadoop 还是可伸缩的，能够处理 PB 级数据。
2>.Hadoop 技术核心构成：
1）其最底部是 Hadoop Distributed File System（HDFS），包括namenode（名称空间节点）和datanode（数据节点）
2）MapReduce 引擎：是用于并行处理大数据集的软件框架，是HDFS（对于本文）的上一层，该引擎由 JobTrackers 和 TaskTrackers 组成。
最简单的 MapReduce应用程序至少包含 3 个部分：一个 Map 函数、一个 Reduce 函数和一个 main 函数。
3）数据仓库工具Hive和分布式数据库Hbase：NoSQL数据库
3>Hadoop数据读写过程：
读取过程
1）初始化FileSystem，然后客户端(client)用FileSystem的open()函数打开文件
2）FileSystem用RPC调用元数据节点，得到文件的数据块信息，对于每一个数据块，元数据节点返回保存数据块的数据节点的地址。
3）FileSystem返回FSDataInputStream给客户端，用来读取数据，客户端调用stream的read()函数开始读取数据。
4）DFSInputStream连接保存此文件第一个数据块的最近的数据节点，data从数据节点读到客户端(client)。
5）当此数据块读取完毕时，DFSInputStream关闭和此数据节点的连接，然后连接此文件下一个数据块的最近的数据节点。
6）当客户端读取完毕数据的时候，调用FSDataInputStream的close函数。
7）在读取数据的过程中，如果客户端在与数据节点通信出现错误，则尝试连接包含此数据块的下一个数据节点。
8）失败的数据节点将被记录，以后不再连接。
写入过程
1）初始化FileSystem，然后客户端(client)用FileSystem的open()函数打开文件
2）FileSystem用RPC调用元数据节点，得到文件的数据块信息，对于每一个数据块，元数据节点返回保存数据块的数据节点的地址。
3）FileSystem返回FSDataInputStream给客户端，用来读取数据，客户端调用stream的read()函数开始读取数据。
4）DFSInputStream连接保存此文件第一个数据块的最近的数据节点，data从数据节点读到客户端(client)。
5）当此数据块读取完毕时，DFSInputStream关闭和此数据节点的连接，然后连接此文件下一个数据块的最近的数据节点。
6）当客户端读取完毕数据的时候，调用FSDataInputStream的close函数。
7）在读取数据的过程中，如果客户端在与数据节点通信出现错误，则尝试连接包含此数据块的下一个数据节点。
8）失败的数据节点将被记录，以后不再连接。
四：ISCSI企业存储方案
1企业存储分类：DAS（直接存储）、NAS（网络附加存储）、SAN（网络区域存储）。
2.DAS直接附加存储：
1）DAS存储设备直接挂接在服务器内部总线，是服务器结构的一部分。
2）DAS存储方式使用的环境：小型网络、地理位置分散的网络、特殊应用服务器。
3.NAS网络附加存储：一种文件服务连接存储设备
1）网络附加存储是采用网络(TCP／IP、ATM、FDDI)技术，通过网络交换机连接存储系统和服务器主机，建立专用于数据存储的存储私网。
2）一个NAS包括网络管理模块(如LAN)、文件服务管理模块和由多个硬盘驱动器构成的存储模块。
3）主服务器和客户端可以非常方便地在NAS上存储任意格式的文件，包括SMB格式(Windows)、NFS格式(UNIX、Linux)和CIFS格式等。NAS系统可以根据服务器或者客户端计算机发出的指令完成对内在文件的管理。
4.SAN:网络区域存储
1）采用网状通道（Fibre Channel ，简称FC，区别与Fiber Channel光纤通道）技术，通过FC交换机连接存储阵列和服务器主机，建立专用于数据存储的区域网络。
2）SAN实际是一种专门为存储建立的独立于TCP/IP网络之外的专用网络。目前一般的SAN提供2Gb/S到4Gb/S的传输数率，同时SAN网络独立于数据网络存在，因此存取速度很快，另外SAN一般采用高端的RAID阵列，使SAN的性能在几种专业存储方案中傲视群雄。
3）SAN由于其基础是一个专用网络，因此扩展性很强，不管是在一个SAN系统中增加一定的存储空间还是增加几台使用存储空间的服务器都非常方便。SAN系统可以方便高效的实现数据的集中备份。
4）SAN存储分类：FC-SAN和IP-SAN，其中FC-SAN为通过光纤通道协议转发SCSI协议，IP-SAN通过TCP协议转发SCSI协议。
5:iSCSI 的主要功能是在 TCP/IP 网络上的主机系统（启动器 initiator）和存储设备（目标器 target）之间进行大量数据的封装和可靠传输过程。此外，iSCSI 提供了在 IP 网络封装 SCSI 命令，且让数据存储以数据块的形式运行在TCP上。
6:ISCSI的核心概念：
1）iscsi target（目标）：是提供数据存储的ISCSI磁盘阵列或具有iscsi功能的设备，许多的iscsi的target软件是收费且闭源的。
2）LUN：连接target及设置客户端访问控制的一个逻辑单元。
3）iscsi Initiator：iscsi的客户端软件，支持Windows与linux连接iscsi target（目标）。
4）IQN：iSCSI协议中，initiator和target是通过名字进行通信的，因此，每一个iSCSI节点（即initiator）必须拥有一个iSCSI名字。iqn（iSCSI Qualified Name） 格式是：“iqn”+“年月”+“.”+“域名颠倒”+“:”+“设备的具体名称”，之所以颠倒域名是为了避免可能的冲突。

NFS:NFS（Network File System）即网络文件系统，是FreeBSD支持的文件系统中的一种，它允许网络中的计算机之间通过TCP/IP网络共享资源。在NFS的应用中，本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件，就像访问本地文件一样。
NFS的好处：
1. 节省本地存储空间，将常用的数据存放在一台NFS服务器上且可以通过网络访问，那么本地终端将可以减少自身存储空间的使用。
2. 用户不需要在网络中的每个机器上都建有Home目录，Home目录可以放在NFS服务器上且可以在网络上被访问使用。
3. 一些存储设备如软驱、CDROM和Zip（一种高储存密度的磁盘驱动器与磁盘）等都可以在网络上被别的机器使用。这可以减少整个网络上可移动介质设备的数量。