商业存储服务器 Dell MD3800i 使用小结
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了商业存储服务器 Dell MD3800i 使用小结相关的知识，希望对你有一定的参考价值。
商业存储服务器 Dell MD3800i 使用小结
2016/11/10
一、准备工作 1、目的 体验客户端是如何使用存储服务器的磁盘的？ 2、操作【服务器】 1）通过随机器附带的 dell MDSM 存储管理软件来配置好管理网络： （略） 2）在【MDSM】中配置好2个 iscsi 网络（本型号的设备是双raid卡，每个raid卡上有2个 iscsi 网络和1个管理网络，本例仅使用了其中2个 iscsi 网络） 10.50.200.41 10.50.200.51 在【MDSM】-【存储和备份服务】划分出虚拟磁盘：1(100G) 二、客户端通过 iscsi 连接到后端存储 1、操作【客户端】 操作系统：centos6.5 2、配置 iscsi-initiator 服务来发现后端存储 [[email protected] ~]# yum install iscsi-initiator-utils -y 其常用的参数有： iscsiadm -m, 同 --mode, 其选项有 discovery, node, fw（启动值）, host, iface（iSCSI 接口）和 session。 -I，同 --interface, 表示接口。 -o, 同 --op, 可实现对数据库的操作，其选项有 new, delete, update 和 show。 -n, 同 --name, 指定其数据记录里的名字。 -t, 同 --type, 其选项有 sendtargets（st), fw 和 isns, 仅在 -m 模式为 discovery 时有效。 -p, 同 --portal, 指定其目标主机的 IP 地址和端口，默认端口为 3260。 -L, 同 --loginall，其选项有 all，manual 和 automatic，指定其登录会话时的类型。 -T, 同 --targetname，表示其目标名字。 -v, 同 --value，通常在 --op=update 时指定其值。 1）发现 [[email protected] ~]# iscsiadm -m discovery -t st -p 10.50.200.41 Starting iscsid: [ OK ] 10.50.200.41:3260,1 iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea 192.168.131.101:3260,1 iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea 10.50.200.51:3260,2 iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea 192.168.131.102:3260,2 iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea [[email protected] ~]# ls /var/lib/iscsi/nodes/iqn.1984-05.com.dell\:powervault.md3800i.600a098000a64d8b0000000057a152ea/ 192.168.131.101,3260,1 192.168.131.102,3260,2 10.50.200.41,3260,1 10.50.200.51,3260,2 2）删除指定的 portal （尚未使用的2个接口） [[email protected] ~]# iscsiadm -m node -o delete -T iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea -p 192.168.131.101 [[email protected] ~]# iscsiadm -m node -o delete -T iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea -p 192.168.131.102 [[email protected] ~]# iscsiadm -m node 10.50.200.41:3260,1 iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea 10.50.200.51:3260,2 iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea 3）调整主机端口映射符 [[email protected] ~]# vim /etc/iscsi/initiatorname.iscsi InitiatorName=iqn.1994-05.com.redhat:444ef5b8f276 例如： InitiatorName=iqn.2016-09.com.test:vm200 也可以重新生成一个随机的名称： [[email protected] ~]# iscsi-iname iqn.1994-05.com.redhat:c886f5c823b 实际上，咱不一定要用这个自定义的名称，理由是： 使用客户端访问过一次存储服务器后，存储服务器将记录这个主机端口映射符，后续在存储服务器的管理软件上配置一下到主机的映射即可。 4）重启服务： [[email protected] ~]# service iscsid restart [[email protected] ~]# service iscsi restart 2、配置【服务器】 在【MDSM】-【主机映射】中定义主机组（g_test），主机（名称：vm200，主机端口映射符：iqn.2016-09.com.test:vm200，别名：test-vm200），并添加LUN映射。 3、配置【客户端】使用存储 1）登录 [[email protected] ~]# iscsiadm -m node -T iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea --login Logging in to [iface: default, target: iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea, portal: 10.50.200.41,3260] (multiple) Logging in to [iface: default, target: iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea, portal: 10.50.200.51,3260] (multiple) Login to [iface: default, target: iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea, portal: 10.50.200.41,3260] successful. Login to [iface: default, target: iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea, portal: 10.50.200.51,3260] successful. 当然，也可以通过指定 portal 的方式只登录其中一个： [[email protected] ~]# iscsiadm --m node -T iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea -p 10.50.200.41 --login Logging in to [iface: default, target: iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea, portal: 10.50.200.41,3260] (multiple) Login to [iface: default, target: iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea, portal: 10.50.200.41,3260] successful. 2）查看从服务器获得的虚拟磁盘： [[email protected] ~]# cat /proc/partitions major minor #blocks name 253 0 314572800 vda 253 1 204800 vda1 253 2 310172672 vda2 253 3 4194304 vda3 8 0 104857600 sda 8 16 104857600 sdb [[email protected] ~]# lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT vda 253:0 0 300G 0 disk ├─vda1 253:1 0 200M 0 part /boot ├─vda2 253:2 0 295.8G 0 part / └─vda3 253:3 0 4G 0 part [SWAP] sr0 11:0 1 1024M 0 rom sda 8:0 0 100G 0 disk sdb 8:16 0 100G 0 disk 多出来2个 sda，其实指向的是 MD3800i 中划分的虚拟磁盘中的同一个LUN。 接下来要考虑如何配置多路径（multipath） 3）配置多路径 [[email protected] ~]# yum install device-mapper-multipath -y [[email protected] ~]# modprobe dm-multipath [[email protected] ~]# mpathconf multipath is enabled find_multipaths is disabled user_friendly_names is enabled dm_multipath module is loaded multipathd is chkconfiged off 上述指令将生成文件： /etc/multipath/.multipath.conf.tmp 里面的配置可以参考一下，例如： # 默认配置示例： # /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf.defaults # 配置注释： # /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf.annotated 获取设备对应的wwid： [[email protected] ~]# scsi_id --whitelisted --device=/dev/sda 3600a098000a64d8b000002a4582305f8 一个简单的配置： [[email protected] ~]# cat /etc/multipath.conf multipaths { multipath { wwid 3600a098000a64d8b000002a4582305f8 alias test_block_a } } [[email protected] ~]# service multipathd restart 查看 multipath 列出的设备： [[email protected] ~]# multipath -ll test_block_a (3600a098000a64d8b000002a4582305f8) dm-0 DELL,MD38xxi size=100G features=‘0‘ hwhandler=‘0‘ wp=rw |-+- policy=‘round-robin 0‘ prio=1 status=active | `- 9:0:0:0 sdb 8:16 active ready running `-+- policy=‘round-robin 0‘ prio=1 status=enabled `- 10:0:0:0 sda 8:0 active ready running 调整 multipath 的配置： [[email protected] ~]# cat /etc/multipath.conf defaults { path_grouping_policy multibus path_checker readsector0 rr_min_io_rq 10 max_fds 8192 rr_weight priorities failback immediate no_path_retry fail user_friendly_names yes } multipaths { multipath { wwid 3600a098000a64d8b000002a4582305f8 alias test_block_a } } [[email protected] ~]# service multipathd reload [[email protected] ~]# multipath -ll test_block_a (3600a098000a64d8b000002a4582305f8) dm-0 DELL,MD38xxi size=100G features=‘0‘ hwhandler=‘0‘ wp=rw `-+- policy=‘round-robin 0‘ prio=1 status=active |- 9:0:0:0 sdb 8:16 active ready running `- 10:0:0:0 sda 8:0 active ready running 4）分区，格式化并挂载使用 [[email protected] ~]# pvcreate /dev/mapper/test_block_a Physical volume "/dev/mapper/test_block_a" successfully created [[email protected] ~]# vgcreate vg1 /dev/mapper/test_block_a Volume group "vg1" successfully created [[email protected] ~]# lvcreate -L 8G -n lv01 vg1 Logical volume "lv01" created [[email protected] ~]# lvs LV VG Attr LSize Pool Origin Data% Move Log Cpy%Sync Convert lv01 vg1 -wi-a----- 8.00g [[email protected] ~]# mkfs.ext4 /dev/mapper/vg1-lv01 [[email protected] ~]# mkdir /mnt/mdtest [[email protected] ~]# mount /dev/mapper/vg1-lv01 /mnt/mdtest/ [[email protected] ~]# df -h /mnt/mdtest/ Filesystem Size Used Avail Use% Mounted on /dev/mapper/vg1-lv01 7.9G 146M 7.4G 2% /mnt/mdtest [[email protected] ~]# dd if=/dev/zero of=/mnt/mdtest/a1 bs=10M count=200 200+0 records in 200+0 records out 2097152000 bytes (2.1 GB) copied, 15.3048 s, 137 MB/s 4、管理和测试 1）查看session [[email protected] ~]# iscsiadm -m session tcp: [8] 10.50.200.41:3260,1 iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea tcp: [9] 10.50.200.51:3260,2 iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea 2）断开到存储服务器的1条路径 [[email protected] ~]# iscsiadm -m node -T iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea -p 10.50.200.41 --logout [[email protected] ~]# multipath -ll test_block_a (3600a098000a64d8b000002a4582305f8) dm-0 DELL,MD38xxi size=100G features=‘0‘ hwhandler=‘0‘ wp=rw `-+- policy=‘round-robin 0‘ prio=1 status=active `- 10:0:0:0 sda 8:0 active ready running [[email protected] ~]# iscsiadm -m session tcp: [9] 10.50.200.51:3260,2 iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea 测试：可以继续访问磁盘 3）恢复中断的路径 [[email protected] ~]# iscsiadm -m node -T iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea -p 10.50.200.41 --login [[email protected] ~]# multipath -ll test_block_a (3600a098000a64d8b000002a4582305f8) dm-0 DELL,MD38xxi size=100G features=‘0‘ hwhandler=‘0‘ wp=rw `-+- policy=‘round-robin 0‘ prio=1 status=active |- 10:0:0:0 sda 8:0 active ready running `- 11:0:0:0 sdb 8:16 active ready running [[email protected] ~]# iscsiadm -m session tcp: [10] 10.50.200.41:3260,1 iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea tcp: [9] 10.50.200.51:3260,2 iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea 4）开机启动 [[email protected] ~]# chkconfig multipathd on 三、问题 1、单路径不靠谱，要合理的规划存储网络。 2、双 RAID 控制器中，假设 iscsi 主机只连接到 RAID 控制器（A），而此时请求的虚拟磁盘在另一个 RAID 控制器（B），将引起异常： Virtual disk not on preferred path due to failover（虚拟磁盘不在首选路径上） 解决办法：在【MDSM】-【存储和备份服务】：选中虚拟磁盘，右键菜单选择：“更改”-“所有权/首选路径”，调整首选路径为默认值。 3、如果使用 multipath 出现错误 map in use，怎么清理旧的 device 的数据呢？ 首先，确认 device 都没有使用，尝试 [[email protected] ~]# multipath -F Nov 10 16:54:05 | 3600a098000a64d8b000002a4582305f8: map in use Nov 10 16:54:05 | 3600a098000a64b9c0000030558249c83: map in use 解决办法： [[email protected] ~]# dmsetup ls d951c4e7--c01a--48cc--9347--c01924a2047f-leases (253:3) d951c4e7--c01a--48cc--9347--c01924a2047f-ids (253:4) 90138356--1626--49e3--b237--452c6dc54cd0-leases (253:10) 90138356--1626--49e3--b237--452c6dc54cd0-inbox (253:12) d951c4e7--c01a--48cc--9347--c01924a2047f-metadata (253:1) d951c4e7--c01a--48cc--9347--c01924a2047f-master (253:6) 90138356--1626--49e3--b237--452c6dc54cd0-metadata (253:8) d951c4e7--c01a--48cc--9347--c01924a2047f-outbox (253:2) 3600a098000a64d8b000002a4582305f8 (253:0) 90138356--1626--49e3--b237--452c6dc54cd0-master (253:13) 90138356--1626--49e3--b237--452c6dc54cd0-outbox (253:11) 3600a098000a64b9c0000030558249c83 (253:7) 90138356--1626--49e3--b237--452c6dc54cd0-ids (253:9) d951c4e7--c01a--48cc--9347--c01924a2047f-inbox (253:5) 确认一下上述列表中的 device 都是可以清理的。 [[email protected] ~]# dmsetup remove_all [[email protected] ~]# dmsetup ls No devices found [[email protected] ~]# multipath -ll 干净了。 ZYXW、参考 1、iSCSI 多路径实现 KVM 高可用 http://www.ibm.com/developerworks/cn/linux/1303_zhuzq_iscsikvmha/ 2、md3600i存储服务器连接 iscsi+multipath配置 http://blog.csdn.net/miyatang/article/details/8657959
以上是关于商业存储服务器 Dell MD3800i 使用小结的主要内容，如果未能解决你的问题，请参考以下文章