CentOS7 DM-Multipath+HUAWEI OceanStor存储多路径配置

在参看了网上他人的配置，结合RedHat的技术白皮书实现后，本身亲身在CentOS7+HUAWEI OceanStore S2600T的基础上配置了一个DM-Multipath存储多路径的实现，其中碰到了一些小问题和不明白的地方，书上感受也没有说清除，在此总结，以供本身和你们参考。

一、安装iscsi客户端

CentOS7上安装iscsi-initiator-utils

# yum install iscsi-initiator-utils

二、在存储器（HUAWEI OceanStor S2600T/S2600 V3）中，建立存储池和LUN

具体能够参考：《OceanStor S2600T&S5500T&S5600T&S5800T&S6800T 存储系统 基础存储业务指南》，以上两个步骤能够按照文档说明进行配置便可。

三、 在CentOS7中，配置启动器

更改启动器的名字，位置/etc/iscsi/initiatorname.iscsi（可选）

• IQN命名规则：IQN.yyyy-mm.<反向域名\>:<标识字符串(随机或自定义)\>

如：

InitiatroName=iqn.2016-07.com.example.foo:77c1157e7af

或

InitiatroName=iqn.2016-07.com.example.foo:myhostname

启动iscsi和设置自启动

# systemctl start iscsi
# systemctl enable iscsi

四、在CentOS7中，配置存储器的IP（即存储系统iSCSI主机端口的IP）

• 命令：iscsiadm -m discovery -t st -p <存储系统iSCSI主机端口的IP>

这里是系统多路径+存储器双控配置，特此说明存储器A控的iSCSI主机端口假设为IP-A，存储器B控的iSCSI主机端口假设为IP-B，则须要分别执行如下两步：

# iscsiadm -m discovery -t st -p <存储系统A控iSCSI主机端口的IP-A>
# iscsiadm -m discovery -t st -p <存储系统B控iSCSI主机端口的IP-B>

五、在CentOS7中，登录存储器

• 命令为：iscsiadm -m node -p <存储系统iSCSI主机端口的IP> -l

这里是系统多路径+存储器双控配置，特此说明存储器A控的iSCSI主机端口假设为IP-A，存储器B控的iSCSI主机端口假设为IP-B，则须要分别执行如下两步：

# iscsiadm -m node -p <存储系统A控iSCSI主机端口的IP-A> -l
# iscsiadm -m node -p <存储系统B控iSCSI主机端口的IP-B> -l

在变动lun的大小后，可能须要从新登录。

六、在CentOS7中，设置自启动模式和开机自动登录

将/etc/iscsi/iscsid.conf中，node.startup=设置为automatic（默认，无需修改）

iscsiadm -m node –T LUN_NAME -p ISCSI_IP --op update -n node.startup -v automatic

系统多路径+存储器双控配置：

iscsiadm -m node –T LUN_NAME -p <存储系统A控iSCSI主机端口的IP-A> --op update -n node.startup -v automatic
iscsiadm -m node –T LUN_NAME -p <存储系统A控iSCSI主机端口的IP-B> --op update -n node.startup -v automatic

若是只有一个LUN，或者想挂载全部的LUN，则'-T LUN_NAME'能够省略，执行重启命令并查看是否开机自动登录（可选）。

七、在存储器控制台中，建立主机和主机组

在此不用关心CentOS7系统具体使用几块网卡与存储器的控制器相连，建立主机名称后，选择使用存储器的机器类型，这里是Linux，而后就能够选择以上建立的两个存储器启动器便可。

八、在存储器控制台中，建立映射视图

参看《OceanStor S2600T&S5500T&S5600T&S5800T&S6800T 存储系统 基础存储业务指南》中的指示来执行，本人在实际使用时没有使用端口组，而是直接将主机和LUN组映射起来。

九、在CentOS7中，查看完整的映射

# iscsiadm -m node

十、在CentOS7中，查看挂载的磁盘

# fdisk -l

或

# cat /proc/partitions

或者使用parted的命令进行查看（进入parted命令的交互模式后输入print）
以上命令执行后能够看到两个路径上挂载的一样大小的磁盘。

十一、安装DM-Multipath软件包

# yum install device-mapper-multipath

十二、建立及修改DM-Multipath的配置文件

1. 拷贝配置文件multipath.conf
   查看系统中/etc/multipath.conf文件是否存在，若是不存在：
   将/usr/share/doc/device-mapper-multipath-/multipath.conf (Red Hat 6/7)
   或/usr/share/doc/device-mapper-multipath-/multipath.conf.synthetic (Red Hat 5.x）
   或/usr/share/doc/packages/multipath-tools/multipath.conf.synthetic (SuSE11SP1)
   或/usr/share/doc/multipath-tools/examples/multipath.conf.synthetic (ubuntu 11.04)
   文件拷贝一份，文件命名为multipath.conf放置于/etc/目录下。

   # cp /usr/share/doc/device-mapper-multipath-*/multipath.conf  /etc/multipath.conf（CentOS 6/7）

   若是上述CentOS7中的路径不存在，请参看RedHat6的路径，或者find查找一下。

2. 修改配置文件确保以下配置：
   此处使用了CentOS7.6来链接SAN，而REHL 7.5开始已经将华为多路径配置（开启ALUA）合入内核中，阵列开启ALUA的场景能够不用修改/etc/multipath.conf配置文件，直接使用默认配置便可，阵列不启用ALUA的场景仍需按要求修改配置文件，注意须要将prio的值改回const，具体以下：

   devices {
   device {
       vendor    "HUAWEI"
       product   "XSG1"
       path_grouping_policy    multibus
       path_checker    tur
       prio    const
       path_selector    "service-time 0"
       failback    immediate
       }
   }

   注：multibus为负载均衡配置，failover为主备配置

   1三、在CentOS7中，启动multipathd服务及设置开机自启

# systemctl start multipathd
# systemctl enable multipathd

1四、查看多路经状况

multipath -ll

启动成功后，能够看见/dev/mapper/mpatha，这是虚拟出来的多路径设备，能够被用来挂载使用。

1五、对挂载磁盘进行分区

# parted /dev/mapper/mpatha

格式化为GPT分区格式：

(parted) mklabel gpt

将全部容量划为一个主分区

(parted) mkpart primary xfs 0% 100%

退出

(parted) q

进行上述分区操做后出现/dev/mapper/mpatha1文件。若是因操做顺序问题致使出现mpathb、mpathc这样的命名，若是看着不习惯或者有洁癖的同窗能够关掉multipathd服务器，而后删除/etc/multipath/bindings和/etc/multipath/wwids文件中的mpatha、mpathb等所在的行，而后重启。

1六、格式化分区

# mkfs.xfs /dev/mapper/mpatha1

1七、挂载分区

# mkdir /data （建立挂载目录）
# mount -t xfs /dev/mapper/mpatha1 /data
# df -h （查看分区结果）

1八、开机自动挂载

1） fstab文件中自动挂载
不少文章说开机挂载修改/etc/fstab文件，并在最后添加

/dev/mapper/mpatha1    /data    xfs    defaults    0 0

但我在操做过程当中发现，如上修改不能成功启动和挂载系统。由于iSCSI是网络设备所以正确的挂载应该以下：

/dev/mapper/mpatha1 /data    xfs    defaults,_netdev    0 0

2）自启动脚本实现：
在/etc/profile最后一行添加

mount -t xfs /dev/mapper/mpatha1 /data

或者按/etc/profile文件首部建议，将挂载操做写成脚本，放入/etc/profile.d目录中。
脚本名：mount_iscsi.sh
内容：

#！/bin/bash
mount -t xfs /dev/mapper/mpatha1 /data

附-iSCSI操做总结：

• 增长iscsi存储
  • 发现iscsi存储:

    # iscsiadm -m discovery -t st -p ISCSI_IP

  • 查看iscsi发现记录:

    # iscsiadm -m node

  • 登陆iscsi存储:

    # iscsiadm -m node -T LUN_NAME -p ISCSI_IP -l

  • 开机自动:

    # iscsiadm -m node –T LUN_NAME -p ISCSI_IP --op update -n node.startup -v automatic

• 删除iscsi存储
  登场iscsiadm的登录前，若是挂载的有LUN，须要先umount（挂载路经可使用‘*’号通配符）。
  • 登出iscsi存储

    # iscsiadm -m node -T LUN_NAME -p ISCSI_IP -u

  • 推出现有全部登录

    # iscsiadm -m node --logoutall=all
    or
    # iscsiadm -m node -u all

  • 删除iscsi发现记录:

    # iscsiadm -m node -o delete -T LUN_NAME -p ISCSI_IP

  • 删除全部发现记录

    # iscsiadm -m node -o delete all

• 登入需验证码的节点
  • 开启认证

    # iscsiadm -m node -T LUN_NAME -o update --name node.session.auth.authmethod --value=CHAP

    注：-o同--op

  • 添加用户

    # iscsiadm -m node -T LUN_NAME --op update --name node.session.auth.username --value=[用户名]

  • 添加密码

    # iscsiadm –m node –T LUN_NAME –op update –name node.session.auth.password –value=[密码]

参考：

1. 《centos上iscsi+multipath多路径存储配置手册》，http://bluefox.blog.51cto.com/380387/141907
2. Product Documentation for Red Hat Enterprise Linux相关章节，https://access.redhat.com/documentation/en/red-hat-enterprise-linux/?version=7/
3. 《OceanStor S2600T&S5500T&S5600T&S5800T&S6800T 存储系统 V200R001 基础存储业务指南 07 》