天天学五分钟 Liunx 111 | 存储篇：NFS

时间 2020-03-23

标签天天五分 5分 liunx 存储 nfs 栏目 Linux 繁體版

原文原文链接

NFS

NFS（Network File System，网络文件系统），它能够经过网络让不一样操做系统，不一样机器共享彼此的文件。

NFS 分为服务端和客户端。服务端提供共享的文件目录，客户端将该目录挂载到本地目录，从客户端上看，至关因而将磁盘分区挂载到目录，很是便利。

NFS 工做原理

NFS 工做原理如上图所示。其中，RPC 服务是 Remote Process Call 远程过程调用服务，它的出现主要是为了解决 NFS 端口没法固定的问题。因为文件系统很是复杂，NFS 中不一样程序对应不一样的功能，每一个程序开启相应的功能会随机启用额外的端口。可是对于客户端来讲，随机取用的端口，客户端没法获取到，因此就须要 RPC 服务做为“中介”，NFS 服务每次启用的端口信息，都会到 RPC 中注册（因此启动 NFS 服务以前要先确保 RPC 服务已经启动了）。同时，RPC 会提供一个固定的外部端口 111 供外部机器访问。这样客户端有 NFS 请求，服务端会经过 RPC 服务将 NFS 的端口信息告知客户端，从而实现客户端和服务端 NFS 的链接和数据传输。

NFS 的工做流程：

1. NFS 服务器端会启动 RPC 服务（portmap），并开启 111 端口。

2. NFS 服务器端再启动 NFS 服务，服务启动后向 RPC 服务注册端口信息。

3. 客户端启动 RPC 服务，向服务端的 RPC 服务请求服务端的 NFS 端口信息。

4. 服务端的 RPC 服务将端口信息发给客户端的 RPC 服务。

5. 客户端经过获取到的端口信息建议和服务端 NFS 的链接和数据的传输。

NFS 部署

NFS 程序

NFS 程序主要有 RPC 主程序 rpcbind 和 NFS 主程序 nfs-utils。

rpcbind: 如前所述，负责 port mapping 的工做。

nfs-utils: NFS 主程序，包含 rpc.nfsd / rpc.mount / rpc.locked / rpc.statd 等几个 damones 。

[root@test home]# ps -ef | egrep "rpc|nfs"
root         487       2  0 Mar21 ?        00:00:00 [rpciod]
rpc        65293       1  0 Mar21 ?        00:00:00 /sbin/rpcbind -w
rpcuser    76183       1  0 Mar21 ?        00:00:00 /usr/sbin/rpc.statd --no-notify
root      152992  567813  0 18:43 pts/0    00:00:00 grep -E --color=auto rpc|nfs
root      757265       1  0 17:08 ?        00:00:00 /usr/sbin/rpc.idmapd
root      757267       1  0 17:08 ?        00:00:00 /usr/sbin/rpc.mountd
root      757272       2  0 17:08 ?        00:00:00 [nfsd4_callbacks]
root      757278       2  0 17:08 ?        00:00:00 [nfsd]
root      757279       2  0 17:08 ?        00:00:00 [nfsd]
root      757280       2  0 17:08 ?        00:00:00 [nfsd]
root      757281       2  0 17:08 ?        00:00:00 [nfsd]
root      757282       2  0 17:08 ?        00:00:00 [nfsd]
root      757283       2  0 17:08 ?        00:00:00 [nfsd]
root      757284       2  0 17:08 ?        00:00:00 [nfsd]
root      757285       2  0 17:08 ?        00:00:00 [nfsd]

每一个 damones 负责的功能以下：

rpc.nfsd：管理客户端是否能使用服务端文件系统。包括判断用户登陆 ID 等。

rpc.mountd：管理 NFS 文件系统。当客户端经过 rpc.nfsd 登入主机以后，rpc.mountd 经过读取 NFS 配置文件 /etc/exports 对客户端进行权限认证。当权限认证经过后，客户端便可以访问服务端文件系统。

rpc.locked：管理文件锁定问题。当多个用户读写同一份文件时可能会对文件形成一些问题，rpc.locked 即对文件进行保护，从而避免出现这样的问题，它是可选的。

rpc.statd：管理文件一致性问题。当多个用户同时使用文件形成文件损坏时，rpc.statd 能够检测而且尝试恢复该文件。

NFS 配置文件

NFS 的主要配置文件是 /etc/exports 文件。它的格式是 #共享目录 [客户端地址1（权限）] [客户端地址2(权限)] ... 其中，共享目录是服务端要共享给客户端的目录。客户端地址是能够创建 NFS 链接的客户端地址，能够是 ip ，能够是 cidr ，也能够是主机名（前提是在 /etc/hosts 或者经过 DNS 能够查询到）。权限是客户端用户访问服务端文件系统所具备的权限，它包含如下几个参数：

参数命令	参数做用
rw	可读写
ro	只读权限
sync	请求或写入数据时，数据会同步写入到服务端硬盘，再返回
no_root_squas	对于客户端用户 root 不压缩。即客户端 root 能够以 root 身份来访问文件
root_squash	对客户端用户 root 压缩，将 root 身份压缩为 nobody
all_squash	对客户端所用用户压缩，默认将用户身份压缩为用户 nobody 和用户组 nobody。可指定压缩用户的身份，可是须要客户端和服务端都有该用户，不然没法访问
anonuid	匿名的 uid，说明客户端以什么用户来访问服务端文件系统
anongid	匿名的 gid，说明客户端以什么用户组来访问服务端文件系统

举例：

/home/test 10.57.0.0/24(rw,sync,all_squash,anonuid=4300,anongid=4300)，指在 cidr 10.57.0.0/24 内的客户端主机，可以以 uid/gid 4300 的用户身份经过读写方式访问服务端 /home/test 目录。

NFS 还有两个文件是 /var/lib/nfs/etab 和 /var/lib/nfs/rmtab 。 etab 文件记录了 NFS 共享的文件目录的完整权限设定值。 rmtab 文件记录了共享目录被挂载状况。

NFS 命令

rpcinfo：输出 RPC 记录的信息。

exportfs：维护 NFS 文件系统表。经过 exportfs 命令可从新分享 /etc/exports 文件的目录，该命令用在服务端。

showmount：查看 NFS server 共享的目录资源，该命令主要用在客户端。

NFS 配置实例

配置 NFS 使得 cidr 10.57.0.0/24 内的客户端主机，可以以 uid/gid 4300 的用户身份经过读写方式访问服务端 /home/test 目录。

配置步骤以下：

1. 服务端，客户端安装 rpcbind 和 nfs-utils。

2. 启动 rpcbind 服务，启动 nfs 服务。

3. 服务端配置 /etc/exports 文件：/home/test 10.57.0.0/24(rw,sync,all_squash,anonuid=4300,anongid=4300)

4. 服务端关闭 iptables。关闭 iptables 是由于 NFS 随机开启的端口信息并不会写入到 iptables 中，因此须要手动写入（关于 iptables 可看这里），这里暴力一点直接将 iptables 关掉。SELiunx 有开的，能够将 SELiunx 关闭。

5. 客户端挂载服务端共享目录。

6. 新建文件测试是否配置是否生效。

1. 服务端，客户端安装 rpcbind 和 nfs-utils：

[root@test home]# rpm -qa | egrep "rpc|nfs"
libnfsidmap-0.25-15.el7.x86_64
rpcbind-0.2.0-38.el7.x86_64
libtirpc-0.2.4-0.8.el7.x86_64
nfs-utils-1.3.0-0.33.el7.x86_64
xmlrpc-c-1.32.5-1905.svn2451.el7.x86_64
xmlrpc-c-client-1.32.5-1905.svn2451.el7.x86_64

已经安装好了，没安装的可经过 yum install rpcbind nfs-utils 命令安装。

2. 启动 rpcbind 服务，启动 nfs 服务：

[root@test home]# systemctl start rpcbind
[root@test home]# systemctl start nfs
 
[root@test test]# rpcinfo -p localhost
   program vers proto   port  service
    100000    4   tcp    111  portmapper
    100000    3   tcp    111  portmapper
    100000    2   tcp    111  portmapper
    100000    4   udp    111  portmapper
    100000    3   udp    111  portmapper
    100000    2   udp    111  portmapper
    100024    1   udp  55860  status
    100024    1   tcp  49019  status
    100005    1   udp  20048  mountd
    100005    1   tcp  20048  mountd
    100005    2   udp  20048  mountd
    100005    2   tcp  20048  mountd
    100005    3   udp  20048  mountd
    100005    3   tcp  20048  mountd
    100003    3   tcp   2049  nfs
    100003    4   tcp   2049  nfs
    100227    3   tcp   2049  nfs_acl
    100003    3   udp   2049  nfs
    100003    4   udp   2049  nfs
    100227    3   udp   2049  nfs_acl
    100021    1   udp  36125  nlockmgr
    100021    3   udp  36125  nlockmgr
    100021    4   udp  36125  nlockmgr
    100021    1   tcp  42363  nlockmgr
    100021    3   tcp  42363  nlockmgr
    100021    4   tcp  42363  nlockmgr

3. 服务端配置 /etc/exports 文件：

服务端：

[root@test test]# cat /etc/passwd | grep 4300
[root@test test]# cat /etc/group | grep 4300
[root@test test]# groupadd -g 4300 lianhuasheng
[root@test test]# useradd -u 4300 -g 4300 lianhuasheng
[root@test test]# cat /etc/passwd | grep lianhuasheng
lianhuasheng:x:4300:4300::/home/lianhuasheng:/bin/bash
 
[root@test home]# cat /etc/exports | grep 4300
/home/test 10.57.0.0/24(rw,sync,all_squash,anonuid=4300,anongid=4300)
 
[root@test home]# systemctl restart nfs

客户端：

[root@test test]# cat /etc/passwd | grep 4300
[root@test test]# cat /etc/group | grep 4300
[root@test test]# groupadd -g 4300 lianhuasheng
[root@test test]# useradd -u 4300 -g 4300 lianhuasheng
[root@test test]# cat /etc/passwd | grep lianhuasheng
lianhuasheng:x:4300:4300::/home/lianhuasheng:/bin/bash

如参数一节所述，服务端和客户端都须要配置相同的 uid 和 gid。同时，在从新写 exports 文件后，须要重启 nfs 服务使配置生效。

4. 关闭 iptables：

[root@test test]# systemctl stop iptables

5. 客户端挂载服务端共享目录：

[root@test lianhuasheng]# showmount -e 10.57.0.1
Export list for 10.57.0.1:
/home/test 10.57.0.0/24
[root@test test]# mount -t nfs 10.57.0.1:/home/test  /home/test/lianhuasheng/
[root@test home]# df -hT | grep lianhuasheng
10.57.0.1:/home/test nfs4      895G  849G   46G  95% /home/test/lianhuasheng

6. 新建文件测试是否配置是否生效：

客户端：

[root@test lianhuasheng]# touch nfs.log
[root@test lianhuasheng]# ll
total 0
-rw-r--r--. 1 lianhuasheng lianhuasheng 0 Mar 22 17:10 nfs.log

服务端：

[root@test test]# ll -h
total 0
-rw-r--r--. 1 lianhuasheng lianhuasheng 0 Mar 22 17:10 nfs.log

客户端以 root 身份建立文件 nfs.log，文件所属用户和用户组被修改成 4300 对应的用户 lianhuasheng。服务端查看该文件所属用户和用户组为 lianhuasheng。

NFS Troubleshooting

1. 挂载出现 error：clnt_create: RPC: Port mapper failure - Unable to receive: errno 113 (No route to host)

出现这种 error 是因为客户端没法访问到服务端。可经过两种方式解决：

暴力一点直接将 iptables 服务关闭。
固定 NFS 端口，将端口信息写入 iptables 中，重启 iptables 服务。

参考链接见这里：

2. umount 文件时出现 error：umount:/mnt:target is busy

出现这个 error 时当前磁盘正在使用。可经过 lsof 命令 show 出使用该挂载目录的 PID：

[root@test lianhuasheng]# lsof /home/test/lianhuasheng/
COMMAND    PID USER   FD   TYPE DEVICE SIZE/OFF       NODE NAME
lsof    407987 root  cwd    DIR  0,549       21 1325440613 /home/test/lianhuasheng (10.57.0.1:/home/test)
lsof    407988 root  cwd    DIR  0,549       21 1325440613 /home/test/lianhuasheng (10.57.0.1:/home/test)
bash    682732 root  cwd    DIR  0,549       21 1325440613 /home/test/lianhuasheng (10.57.0.1:/home/test)

而后将此 PID kill 掉，从新 umount。

(完)