搭建及了解存储服务器

Posted 2020-12-30

搭建存储服务器：
什么是存储
存储介质：内存  磁盘
数据存储位置：云存储  本地   共享存储  分布式存储
存储是什么：数据
存储技术：DAS（直连）      NAS                       SAN  （FC_SAN/IP_SAN)
           SCSI     NFS/CIFS(也叫sabam)         ISCSI     

SCSI小型计算机系统接口
作为输入、输出接口
主要用与硬盘、光盘等设备

DAS直连式存储
将存储设备通过SCSI接口或光纤通道直接连接计算机上
不能实现数据与其他主机的共享
占用服务器操作系统资源，如CPU、IO等
数据量越大，性能越差

NAS网络技术存储
一种专用数据存储服务器，以数据为中心，将存储设备与服务器彻底分离，集中管理数据，从而释放带管、提高性能、降低总拥有成本
用户通过TCP/IP协议访问数据
采用标准的NFS/HTTP/CIFS等

SAN存储区域网络
通过光纤交换机、光纤路由器、光纤集线器等设备将磁盘阵列、磁带等存储设备与相关服务器连接起来，形成高速专网网络
组成部分：
如路由器、光纤交换机
接口：如SCSI、FC
通信协议：如IP、SCSI
适合与千兆数据传输的、成熟而安全的解决方案
与传统的SCSI相比，FC提供更高的数据传输速率、更远的传输距离、更多的设备连接支持一及更稳定的性能、更简易的安装
FC主要组件
光纤
HBA（主机总线适配置器）
FC交换机

FC光纤通道

ISCSI技术：
IETF制定的标准，将SCSI数据块映射为以太网数据包
是一种基于IP Storage理论的新型存储技术
将存储行业广泛应用的SCSI接口技术与IP网络相结合
可以在IP网络上构建SAN

优势：
基于IP协议技术的标准 
允许网络在TCP/IP协议上传出SCSI命令
解决了传输效率、存储容量、兼容性、开放性、安全性等方面的问题
没有距离限制

使用SAN共享存储空间
一 配置后端存储
1.1 装包
1.2 修改配置文件
1.3 启动服务
1.4 查看

1.1 装包
yum list |grep -i scsi
yum -y install scsi-target-utils
rpm -qc scsi-target-utils

1.2 修改配置文件
vim /etc/tgt/targets.conf 
 <target iqn.2018-01.cn.tedu.56.diskb>
 63     backing-store /dev/vdb      定义存储设备
 66    write-cache off
       # initiator-address 192.168.4.53  定义前端ip
 67    vendor_id tarena  定义出厂商
      product_id disktwo  定义磁盘标识
 68 </target>

   <target iqn.2018-01.cn.tedu.56.diskc>
 73     backing-store /dev/vdc      
 76     write-cache off
 77    # initiator-address 192.168.4.53
 78    vendor_id tarena 定义出厂商
 79    product_id diskthr  定义磁盘标识
 80 </target>

1.3 启动服务
service tgtd start
service tgtd status
chkconfig  tgtd  on

1.4 查看
netstat  -lantpu |grep tgtd
tcp        0      0 0.0.0.0:3260                0.0.0.0:*                   LISTEN      1913/tgtd           
tcp        0      0 :::3260                     :::*                        LISTEN      1913/tgtd           

tgt-admin --show    查看
Target 1: iqn.2018-01.cn.tedu:56.diskb
    System information:
        Driver: iscsi
        State: ready
    I_T nexus information:
    LUN information:
        LUN: 0
            Type: controller
            SCSI ID: IET     00010000
            SCSI SN: beaf10
            Size: 0 MB, Block size: 1
            Online: Yes
            Removable media: No
            Prevent removal: No
            Readonly: No
            Backing store type: null
            Backing store path: None
            Backing store flags: 
        LUN: 1
            Type: disk
            SCSI ID: IET     00010001
            SCSI SN: beaf11
            Size: 5369 MB, Block size: 512
            Online: Yes
            Removable media: No
            Prevent removal: No
            Readonly: No
            Backing store type: rdwr
            Backing store path: /dev/vdb
            Backing store flags: 
    Account information:
    ACL information:
        ALL
Target 2: iqn.2018-01.cn.tedu:56.diskc
    System information:
        Driver: iscsi
        State: ready
    I_T nexus information:
    LUN information:
        LUN: 0
            Type: controller
            SCSI ID: IET     00020000
            SCSI SN: beaf20
            Size: 0 MB, Block size: 1
            Online: Yes
            Removable media: No
            Prevent removal: No
            Readonly: No
            Backing store type: null
            Backing store path: None
            Backing store flags: 
        LUN: 1
            Type: disk
            SCSI ID: IET     00020001
            SCSI SN: beaf21
            Size: 5369 MB, Block size: 512
            Online: Yes
            Removable media: No
            Prevent removal: No
            Readonly: No
            Backing store type: rdwr
            Backing store path: /dev/vdc
            Backing store flags: 
    Account information:
    ACL information:
        ALL

二 配置前端应用
2.1 装包
2.2 发现设备
2.3 登陆设备
2.4 退出登陆
2.4 查看

2.1 装包
yum list |grep -i iscsi
yum -y install  iscsi-initiator-utils
rpm -qc iscsi-initiator-utils

2.2 发现设备
man iscsiadm 
iscsiadm --mode discoverydb --type sendtargets --portal 192.168.4.56 --discover

2.3 登陆设备
iscsiadm --mode node  --targetname  iqn.2018-01.cn.tedu:56.diskb --portal 192.168.4.56:3260 --login

fdisk -l
ls /dev/vd*
ls /dev/sd* 

2.4 退出登陆
iscsiadm --mode node --targetname iqn.2018-01.cn.tedu:56.diskb --portal 192.168.4.56:3260 --logout

三 起服务iscsid
/etc/init.d/iscsid status或service iscsid status
chkconfig iscsid on

缺点：登陆共享磁盘的顺序，会影响设备在本机的命名名称，所以用UDV技术解决

   配置UDV
1 获取硬件设备的参数信息 
2 编写存放硬件设备的参数的UDV程序文件
3 启动UDV
4 查看命名信息

1 获取硬件设备的参数信息 
ls /dev/sd*
which  udevadm
udevadm --help
udevadm info --query=path   --name=/dev/sda（磁盘路径）
udevadm info --help
udevadm info --path=/devices/platform/host4/session3/target4:0:0/4:0:0:1/block/sda  --attribute-walk

2 编写存放硬件设备的参数的UDV程序文件
vim  /etc/udev/rules.d/70-iscsidisk.rules 
SUBSYSTEM=="block", ATTR{size}=="10485760", ATTRS{vendor}=="tarena  "  ,ATTRS{model}=="disktwo         ", SYMLINK+="iscsi/vdb"（自定义名称）

SUBSYSTEM=="block", ATTR{size}=="10485760",ATTRS{vendor}=="tarena  ",ATTRS{model}=="diskthr         ",SYMLINK+="iscsi/vdc"

3 启动UDV
start_udev

4 查看命名信息
ls /dev/sd*
ls -l /dev/iscsi/ 

使用共享存储磁盘存储数据
分区--》格式化--》挂载--》存储  
fdisk /dev/iscsi/vdb
mkfs.tex4 /dev/sda1
blkid /dev/sdb1
vim /etc/fstab 
mount -a
mount |grep var
df -h
echo "aaaaa"  > /var/www/html/test.html

缺点：多台服务器不能同时挂载

  多路径
功能：
冗余，主备模式，高可用
改进的性能，主主模式，负载均衡
使用2个网段

  配置后端存储
1.1 装包
1.2 修改配置文件
1.3 启动服务
1.4 查看

1.1 装包
yum list |grep -i scsi
yum -y install scsi-target-utils
rpm -qc scsi-target-utils

1.2 修改配置文件
vim /etc/tgt/targets.conf 
<target iqn.2018-01.cn.tedu:56.diskd>
    backing-store /dev/vdd
   # backing-store /dev/LVM/somedevice2 # Becomes LUN 2
   #backing-store /dev/LVM/somedevice3  # Becomes LUN 3
    write-cache off
   # initiator-address 192.168.4.53
   #vendor_id tarena 
   #product_id disktwo
</target>

前段装包
yum -y install device-mapper-mutipath
mpathconf  --user_friendly_names n 使用mpathconf命令创建配置文件并启用多路径

iscsiadm --mode discoverydb --type sendtargets --portal 192.168.2.56 --discover
iscsiadm --mode discoverydb --type sendtargets --portal 192.168.4.56 --discover
iscsiadm --mode node  --targetname  iqn.2018-01.cn.tedu:56.diskb --portal 192.168.4.56:3260 --login
iscsiadm --mode node  --targetname  iqn.2018-01.cn.tedu:56.diskb --portal 192.168.2.56:3260 --login

ls /etc/multipath.conf 
scsi_id  --whitelisted --device=/dev/sda  WWWID(全球识别符，唯一性)
1IET     00020001

vim /etc/multipath.conf
defaults {
 26         user_friendly_names no
 27         getuid_callout          "/lib/udev/scsi_id --whitelisted --device=/dev/%n"
 28    }

       blacklist {
100   }
101    multipaths {
102           multipath {
103              wwid "1IET     00020001"
104              alias  mpatha
105   }
106    }

启动服务：
/etc/init.d/multipathd start
chkconfig multipathd  on

分区格式化

ls /dev/mapper/mpatha   mpatha及为多路径设备
multipath -ll        查看多路径信息
multipath  -rr       重新加载多路劲信息