iscsi网络存储介绍及客户端配置操做

时间  2019-12-09
标签 iscsi 网络 存储 介绍 客户端 配置 栏目 系统网络 繁體版
原文   原文链接

本文不介绍iSCSI服务端的搭建过程，否则就会很累赘。主题就是怎么去完成iscsi网络存储的挂载过程，并顺带介绍一些必要的概念。php

1. iscsi介绍与initiator安装

1.1 iSCSI介绍

iSCSI简单来讲，就是把SCSI指令经过TCP/IP协议封装起来，在以太网中传输。iSCSI 能够实如今IP网络上传递和运行SCSI协议，使其可以在诸如高速千兆以太网上进行数据存取，实现了数据的网际传递和管理。基于iSCSI创建的存储区域网（SAN）与基于光纤的FC-SAN相比，具备很好的性价比。node

iSCSI属于端到端的会话层协议，它定义的是SCSI到TCP/IP的映射（以下图），即Initiator将SCSI指令和数据封装成iSCSI协议数据单元，向下提交给TCP层，最后封装成IP数据包在IP网络上传输，到达Target后经过解封装还原成SCSI指令和数据，再由存储控制器发送到指定的驱动器，从而实现SCSI命令和数据在IP网络上的透明传输。它整合了现有的存储协议SCSI和网络协议TCP/IP，实现了存储与TCP/IP网络的无缝融合。在本文中，将把发起器Initiator称为客户端，将目标器Target称为服务端以方便理解。linux

iscsi-protocal-arch.gif

iSCSI 服务端和客户端的通信就是一个在网络上封包和解包的过程，在网络的一端，数据包被封装成包括TCP/IP头、iSCSI 识别包和SCSI 数据三部份内容，传输到网络另外一端时，这三部份内容分别被顺序地解开。为了保证安全，iSCSI 有约定操做顺序。在首次运行时，客户端（initiator）设备须要登陆到服务端（target）中。任何一个接收到没有执行登陆过程的客户端的iSCSI PDU （iSCSI rotocol Data Units，iSCSI 协议数据单元）服务端都将生成一个协议错误，而且关闭链接。在关闭会话以前，服务端可能发送回一个被驳回的iSCSI PDU。数据库

在工做时，iSCSI使SCSI数据块由原来的SCSI总线链接扩展到internet上，这一过程有些产品经过硬件来实现，这种硬件产品被简称为TOE（TCP Offload Engine），随着近年来服务器芯片技术的不断发展，服务器处理能力日益强劲，目前更为广泛的是经过软件来实现SCSI数据块的封装过程。这种软件一般被称为iSCSI Initiator软件/驱动。Initiator软件能够将以太网卡虚拟为iSCSI卡，接受和发送iSCSI数据报文，经过普通以太网卡来进行网络链接，可是须要占用CPU资源。另外的TOE和HBA链接转换方式都须要专门的硬件设备来完成，虽然相对昂贵但执行效率高，也能够减轻主机CPU的负载。本文客户端采用Initiator驱动的链接方式。安全

1.2 Initiator安装

在Linux 2.6内核中提供了iscsi驱动，iSCSI 驱动（driver）使主机拥有了经过IP网络访问存储的能力，但还须要一个具体的客户端工具（Linux用户空间组件）初始化iSCSI驱动，即iscsi-initiator-utils，也是你们常说的open-iscsi。服务器

# rpm -qa|grep iscsi
iscsi-initiator-utils-6.2.0.873-10.el6.x86_64
iscsi-initiator-utils-devel-6.2.0.873-10.el6.x86_64
# rpm -qi iscsi-initiator-utils
（yum install iscsi-initiator-utils iscsi-initiator-utils-devel）

这个安装将iscsid、iscsiadm安装到 /sbin 目录下，它还将把默认的配置文件安装到/etc/iscsi/目录下：网络

  • /etc/iscsi/iscsid.conf：全部刚发起的iSCSI session默认都将使用这个文件中的参数设定。
  • /etc/iscsi/initiatorname.iscsi：软件iSCSI initiator的intiator名称配置文件。

确保iscsid和iscsi两个服务器开机自启动，chkconfig --list |grep iscsi，在iscsi启动的时候，iscsid和iscsiadm会读取这两个配置文件。session

service iscsid [status|start]
service iscsi status 查看iscisi的信息，只有在链接成功后才输出
这里可能遇到start始终没有启动成功的信息输出，请继续往下执行discovery，通常会启动iscsid。app

1.3 open-iscsi initiator说明

open-iscsi包括两个守护进程iscsid和iscsi，其中iscsid是主进程，iscsi进程则主要负责根据配置在系统启动时进行发起端（Initiator）到服务端（target）的登陆，创建发起端与服务端的会话，使主机在启动后便可使用经过iSCSI提供服务的存储设备。dom

iscsid进程实现iSCSI协议的控制路径以及相关管理功能。例如守护进程（指iscsid）可配置为在系统启动时基于持久化的iSCSI数据库内容，自动从新开始发现（discovery）目标设备。

Open-iSCSI是经过如下iSCSI数据库文件来实现永久配置的：

  • Discovery (/var/lib/iscsi/send_targets)
    在 /var/lib/iscsi/send_targets 目录下包含iSCSI portals的配置信息，每一个portal对应一个文件，文件名为“iSCSI portal IP，端口号”（例如172.29.88.61,3260）。
  • Node (/var/lib/iscsi/nodes)
    在 /var/lib/iscsi/nodes 目录下，生成一个或多个以iSCSI存储服务器上的Target名命名的文件夹如iqn.2000-01.com.synology:themain-3rd.ittest，在该文件夹下有一个文件名为“iSCSI portal IP，编号” （例如172.29.88.62,3260,0）的配置参数文件default，该文件中是initiator登陆target时要使用的参数，这些参数的设置是从/etc/iscsi/iscsi.conf中的参数设置继承而来的，能够经过iscsiadm对某一个参数文件进行更改（须要先注销到target的登陆）。

iscsiadm是用来管理（更新、删除、插入、查询）iSCSI配置数据库文件的命令行工具，用户可以用它对iSCSI nodes、sessions、connections和discovery records进行一系列的操做。

iSCSI node是一个在网络上可用的SCSI设备标识符，在open-iscsi中利用术语node表示目标（target）上的门户（portal）。一个target能够有多个portal，portal 由IP地址和端口构成。

2. 初次挂载网络存储

2.1 设置InitiatorName

initiator名称用来惟一标识一个iSCSI Initiator端。保存此名称的配置文件为/etc/iscsi/initiatorname.iscsi：

# vi /etc/iscsi/initiatorname.iscsi
InitiatorName=iqn.2000-01.com.synology:themain-3rd.ittest

注意大小写，同时，必须顶格写，xxxx表明要设置的initiator名称，请遵循iqn命名规范，格式为iqn.domaindate.reverse.domain.name:optional_name。

2.2 iSCSI Initiator配置

iSCSI Initiator的配置文件为/etc/iscsi/iscsid.conf,在iSCSI initiator的iscsid进程启动和执行iscsiadm命令时，将读取这个配置文件的内容，获取与SCSI目标进行交互的相关信息。

2.2.1 添加CHAP认证

本组下的各个设置项主要用来指定Initiator与target验证方式。

vi /etc/iscsi/iscsid.conf
# To enable CHAP authentication set node.session.auth.authmethod
node.session.auth.authmethod = CHAP        去掉注释
# To set a CHAP username and password for initiator
node.session.auth.username = ittest              修改成网管提供的认证username/password
node.session.auth.password = Storageittest

上面是在个人环境中最为简单的一种CHAP（Challenge Handshake Authentication Protocol）认证方式，并且只验证的节点会话initiator端。其实iSCSI验证能够是双向的，根据服务端的设置，能够验证节点会话的target端（username_in），验证发现会话的CHAP initiator，验证发现会话的CHAP target。（节点会话node.session即登陆认证，发现会话discovery.sendtargets即查看）

2.2.2 其余配置项

处理CHAP认证须要关注外，其它的都保持默认便可，可是你须要知道能够修改如:

  1. 设置initiator与target端交互的超时时间
  2. 设置iscsid重试登陆节点的次数
  3. 是否开机启动iscsid等待

2.3 扫描并登陆到iqn链接

open-iscsi initiator-utils提供的管理命令为iscsiadm，此命令包括discovery、node、session几种模式，分别处理不一样的状况。在客户端使用Target提供的存储空间前，必须在服务器上经过Initiator软件执行如下步骤：发现目标设备 --> 登陆目标设备 --> 与目标设备创建会话，下面分别说明经过各个命令进行说明。

2.3.1 discovery sendtargets

能够经过sendtargets方式（根据iscsi服务器端使用的方式不一样还有slp、isns）发现属于你的iqn（iSCSI Qualified Name）：

iscsiadm -m discovery -t sendtargets -p 172.29.88.62
iscsiadm -m discovery -t sendtargets -p 172.29.88.62:3260 |grep ittest

默认端口3260。discovery以前会自动启动iscsid服务，有时候service iscsid start启动没反应，能够经过这种方式启动服务。
此命令查询目标门户（Portal）为172.29.88.62:3260上的目标，查找成功后，返回相应的target ID，同时在/var/lib/iscsi/send_targets和 /var/lib/iscsi/nodes目录下记录相应的门户和节点信息。使用iscsiadm -m node命令，能够查看到发现的节点记录。

2.3.2 node session login

在完成目标发现后，便可以登陆到相应的节点，使用目标设备提供的存储空间：

# iscsiadm -m node -T iqn.2000-01.com.synology:themain-3rd.ittest -p 172.29.88.62 --login

-T后面跟target名称，--login等同于-l，

登陆目标节点成功后，即创建了initiator与target之间的会话（session），同时target提供的存储设备也挂载到主机中，在/dev目录下生成一个新的设备文件相似于sdb、sdc等。使用iscsiadm -m session -P 3（与service iscsi status相同）来查看链接会话信息。

2.4 使用磁盘 — lvm

LVM是很是流行的可修改磁盘分区大小的管理方式，能够根据你的须要使用使用lvm管理磁盘。
假设新存储的设备路径为/dev/sdb

pvcreate /dev/sdb                    ## 在新存储上创建物理卷
pvdisplay                                   ## 查看物理卷状态
vgcreate vg_ittest /dev/sdb      ## 在该物理卷上创建名为vg_test的卷组
vgdisplay                                   ## 查看已创建的卷组状态
lvcreate -l 100%FREE -n lv_static vg_ittest

在vg_ittest卷组上创建名为lv_static的逻辑卷，-L可指定分区大小，此处-l表示使用所有空间

vgscan或lvdisplay                     ## 查看逻辑卷的状态
vgchange -ay                            ## 使卷组处于激活状态
mkfs.ext4 /dev/mapper/vg_ittest-lv_static            ## 格式化已建立的逻辑卷，文件系统格式为ext4

格式化完毕后，使用mount命令挂载便可：

mount -o acl,rw /dev/mapper/vg_ittest-lv_static  /iscsi    ## /iscsi为事先创建的挂载点

也能够根据需求划分红多个分区挂载。

开机自动挂载

vi /etc/rc.d/rc.local
iscsiadm -m node -T iqn.2000-01.com.synology:themain-3rd.ittest -p 172.29.88.62 --login
vgchange -ay && mount -o acl,rw /dev/mapper/vg_ittest-lv_static /iscsi

3. 维护操做

3.1 正常断开重连网络存储

由于磁盘上就是数据（通常网络存储用于备份），所以尽可能减小异常断开存储的可能性，因此保险起见先卸载，再断开链接(-u)。

# umount /iscsi
# vgchange -an && vgscan
# iscsiadm -m session
# iscsiadm -m node -T iqn.2000-01.com.synology:themain-3rd.ittest -p 172.29.88.62 --logout

3.2 异常断开恢复

若是使用LVM管理磁盘，因为网络中断，或主机忽然关机，会致使网络存储异常断开，下次启动后从新链接可能会报以下错误：

# vgscan
 Reading all physical volumes.  This may take a while...
 /dev/backupdrive1/backup: read failed after 0 of 4096 at 319836585984: Input/output error
 /dev/backupdrive1/backup: read failed after 0 of 4096 at 319836643328: Input/output error
 /dev/backupdrive1/backup: read failed after 0 of 4096 at 0: Input/output error
 /dev/backupdrive1/backup: read failed after 0 of 4096 at 4096: Input/output error
 Found volume group "backupdrive1" using metadata type lvm2
 Found volume group "networkdrive" using metadata type lvm2

产生缘由就是，在卷组（VG）失活（deactivate）以前就移除了外部的LVM设备。在你断开链接以前，须要保证如下命令被执行：

# vgchange -an volume_group_name

解决方案就是，（假设你已经用vgchange -ay vg命令来激活卷组，但仍有 Input/output error 的错误信息。）执行命令vgchange -an volume group name，移除外部设备，稍候几分钟后再执行如下命令：

# vgscan
# vgchange -ay volume_group_name

3.3 进程数超标

iscsi存储使用正常，但ps -ef|grep iscsi则包含200+以上的相似于[iscsi_q_112]进程，而且没法kill，使用service iscsi status不断输出相似：

iscsiadm: could not read session targetname: 5
iscsiadm: could not find session info for session30
iscsiadm: could not read session targetname: 5
iscsiadm: could not find session info for session31
...

这个问题很纠结，但重启服务器是能够解决的。网上资料不多，我猜测是iscsid服务端设置认证方面的问题。

4. iscsi的其它经常使用操做

  • 列出全部target
    iscsiadm -m node

  • 链接全部target
    iscsiadm -m node -L all

  • 链接指定target
    iscsiadm -m node -T iqn.... -p 172.29.88.62 --login

  • 使用以下命令能够查看配置信息
    iscsiadm -m node -o show -T iqn.2000-01.com.synology:rackstation.exservice-bak

  • 查看目前 iSCSI target 链接状态
    iscsiadm -m session
    iscsiadm: No active sessions.
    (目前没有已链接的 iSCSI target)

  • 断开全部target
    iscsiadm -m node -U all

  • 断开指定target
    iscsiadm -m node -T iqn... -p 172.29.88.62 --logout

  • 删除全部node信息
    iscsiadm -m node --op delete

  • 删除指定节点（/var/lib/iscsi/nodes目录下，先断开session）
    iscsiadm -m node -o delete -name iqn.2012-01.cn.nayun:test-01

  • 删除一个目标（/var/lib/iscsi/send_targets目录下）
    iscsiadm --mode discovery -o delete -p 172.29.88.62:3260

参考

原文连接地址：http://seanlook.com/2015/04/28/iscsi-san-initiator/

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程