[系统运维]nfs 网络文件系统

1. nfs简介

1.1 nfs特点

• NFS（Network File System）即网络文件系统，是FreeBSD支持的文件系统中的一种，它允许网络中的计算机之间通过TCP/IP网络共享资源
• 在NFS的应用中，本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件，就像访问本地文件一样
• nfs适用于Linux与Unix之间实现文件共享，不能实现Linux与Windows间的文件共享功能
• nfs是运行在应用层的协议，其监听于2049/tcp和2049/udp套接字上
• nfs服务只能基于IP进行认证

1.2 nfs的应用场景

nfs有很多实际应用场景，以下是一些常用的场景：

• 多个机器共享一台CDROM或其他设备。这对于在多台机器中安装软件来说更加便宜与方便
• 在大型网络中，配置一台中心NFS服务器用来放置所有用户的home目录可能会带来便利。这些目录能被输出到网络以便用户不管在哪台工作站上登录，总能得到相同的home目录
• 不同客户端可在NFS上观看影视文件，节省本地空间
• 在客户端完成的工作数据，可以备份保存到NFS服务器上用户自己的路径下

1.3 nfs的体系组成

nfs体系至少有两个主要部分：

• 一台nfs服务器
• 若干台客户机

nfs体系的架构图如下：

客户机通过TCP/IP网络远程访问存放在NFS服务器上的数据
在NFS服务器正式启用前，需要根据实际环境和需求，配置一些NFS参数

2. nfs工作机制

nfs是基于rpc来实现网络文件系统共享的。所以我们先来说说rpc。

2.1 RPC

RPC（Remote Procedure Call Protocol），远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。

RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。

RPC采用客户机/服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。

rpc工作机制如上图所示，下面来描述一下它：

• 客户端程序发起一个RPC系统调用基于TCP协议发送给另一台主机（服务端）
• 服务端监听在某个套接字上，当收到客户端的系统调用请求以后，将收到的请求和其所传递的参数通过本地的系统调用执行一遍，并将结果返回给本地的服务进程
• 服务端的服务进程收到返回的执行结果后将其封装成响应报文，再通过rpc协议返回给客户端
• 客户端调用进程接收答复信息，获得进程结果，然后调用执行继续进行

2.2 nfs工作机制

//NFS服务器端运行着四个进程：
    nfsd
    mountd
    idmapd
    portmapper

idmapd  //实现用户帐号的集中映射，把所有的帐号都映射为NFSNOBODY(这个用户在7版本叫这个，在8版本里叫nobody，合并了)，但是在访问时却能以本地用户的身份去访问

mountd  //用于验证客户端是否在允许访问此NFS文件系统的客户端列表中，在则允许访问（发放一个令牌，持令牌去找nfsd），否则拒绝访问
        //mountd的服务端口是随机的，由rpc服务（portmapper）提供随机端口号

nfsd    //nfs的守护进程，监听在2049/tcp和2049/udp端口上
        //不负责文件存储（由NFS服务器本地内核负责调度存储），用于理解客户端发起的rpc请求，并将其转交给本地内核，而后存储在指定的文件系统上

portmapper  //NFS服务器的rpc服务，其监听于111/TCP和111/UDP套接字上，用于管理远程过程调用（RPC）

下面通过一个例子来说明NFS的简单工作流程：

需求：查看file文件的信息，此file存储在远程NFS服务端主机上（挂载在本地目录/shared/nfs中）

• 客户端发起查看file信息的指令（ls file）给内核，内核通过NFS模块得知此文件并不是本地文件系统中的文件，而是在远程NFS主机上的一个文件
• 客户端主机的内核通过RPC协议把查看file信息的指令（系统调用）封装成rpc请求通过TCP的111端口发送给NFS服务端主机的portmapper
• NFS服务端主机的portmapper（RPC服务进程）告诉客户端说NFS服务端的mountd服务在某某端口上，你去找它验证

因为mountd在提供服务时必须要向portmapper注册一个端口号，所以portmapper是知道其工作于哪个端口的

• 客户端得知服务端的mountd进程端口号后，通过已知的服务端mountd端口号请求验证
• mountd收到验证请求后验证发起请求的客户端是否在允许访问此NFS文件系统的客户端列表中，在则允许访问（发放一个令牌，持令牌去找nfsd），否则拒绝访问
• 验证通过后客户端持mountd发放的令牌去找服务端的nfsd进程，请求查看某文件
• 服务端的nfsd进程发起本地系统调用，向内核请求查看客户端要查看的文件的信息
• 服务端的内核执行nfsd请求的系统调用，并将结果返回给nfsd服务
• nfsd进程收到内核返回的结果后将其封装成rpc请求报文并通过tcp/ip协议返回给客户端

3. exports文件的格式

nfs的主配置文件是/etc/exports，在此文件中，可以定义NFS系统的输出目录（即共享目录）、访问权限和允许访问的主机等参数。该文件默认为空，没有配置输出任何共享目录，这是基于安全性的考虑，如此即使系统启动了NFS服务也不会输出任何共享资源。

exports文件中每一行提供了一个共享目录的设置，其命令格式为：

<输出目录> [客户端1(选项1,选项2,...)] [客户端2(选项1,选项2,...)]

其中，除输出目录是必选参数外，其他参数均是可选项。另外，格式中的输出目录和客户端之间、客户端与客户端之间都使用空格分隔，但客户端与选项之间不能有空格。

客户端是指网络中可以访问这个NFS共享目录的计算机。客户端的指定非常灵活，可为单个主机的IP或域名，亦可为某个子网或域中的主机等。
客户端常用的指定方式：

选项用来设置共享目录的访问权限、用户映射等。exports文件中的选项比较多，一般可分为三类：

• 访问权限选项（用于控制共享目录的访问权限）
• 用户映射选项
  • 默认情况下，当客户端访问NFS服务器时，若远程访问的用户是root用户，则NFS服务器会将其映射成一个本地的匿名用户（该用户为nfsnobody），并将其所属的用户组也映射成匿名用户组（该用户组也为nfsnobody），如此有助于提高系统的安全性。
• 其他选项

访问权限选项：

用户映射选项：

常用的其他选项：

4. nfs管理

nfs安装：

//安装
    yum -y install nfs-utils  // 客户端和服务端都要装

//启动
    systemctl start rpcbind nfs-server
客户端不要启动服务，只要服务端需要启动服务
设置 这两个服务为开机自启  rpcbind  、 nfs-server

使用shoumount命令测试NFS服务器的输出目录状态：

//语法：showmount [选项] [NFS服务器名称或地址]
//常用的选项有：
    -a  //显示指定NFS服务器的所有客户端主机及其所连接的目录
    -d  //显示指定的NFS服务器中已被客户端连接的所有输出目录
    -e  //显示指定的NFS服务器上所有输出的共享目录

在客户端挂载NFS文件系统：

mount -t nfs SERVER:/path/to/sharedfs /path/to/mount_point

在客户端设置开机自动挂载nfs：编辑/etc/fstab文件，添加如下格式的内容

SERVER:/PATH/TO/EXPORTED_FS /mnt_point nfs defaults,_netdev 0 0

客户端挂载时可以使用的特殊选项：

• rsize：其值是从服务器读取的字节数（缓冲）。默认为1024。若使用比较高的值，如8192，可以提高传输速度
• wsize：其值是写入到服务器的字节数（缓冲）。默认为1024。若使用比较高的值，如8192，可以提高传输速度

exportfs        //维护exports文件导出的文件系统表的专用工具
    -a      //输出在/etc/exports文件中所设置的所有目录
    -r      //重新读取/etc/exports文件中的设置，并使其立即生效，无需重启服务
    -u      //停止输出某一目录
    -v      //在输出目录时将目录显示到屏幕上

检查输出目录所使用的选项：
在配置文件/etc/exports中，即使在命令行中只设置了一两个选项，但在真正输出目录时，实际上还带有很多默认的选项。通过查看/var/lib/nfs/etab文件，可以看到具体使用了何选项

[root@localhost ~]# cat /var/lib/nfs/etab
....此处省略

5. 案例演示

准备两台主机

两台主机都要关闭防火墙跟SElinux 、 配置 yum源

在 服务端跟客户端都安装 nfs-utils
[root@server ~]# yum -y install nfs-utils

[root@client ~]# yum -y install nfs-utils


在服务端，设置这两个服务为开机自启  rpcbind  、 nfs-server 。客户端不需要
查看状态
[root@server ~]# systemctl status rpcbind
● rpcbind.service - RPC Bind
   Loaded: loaded (/usr/lib/systemd/system/rpcbind.service; enabled; vendor preset>
   Active: inactive (dead)
     Docs: man:rpcbind(8)
[root@server ~]# systemctl status nfs-server
● nfs-server.service - NFS server and services
   Loaded: loaded (/usr/lib/systemd/system/nfs-server.service; disabled; vendor pr>
   Active: inactive (dead)
[root@server ~]#


只需要启动nfs-server，就行了，因为启动nfs-server，会带着启动rpcbind
[root@server ~]# systemctl enable --now nfs-server



-e  //显示指定的NFS服务器上所有输出的共享目录
在客户端上查询服务端所有输出的共享目录
[root@client ~]# showmount -e 192.168.229.150  // ip 是服务端的
Export list for 192.168.229.150:    // 显示什么都没有
  
  
在服务端的/etc/exports
[root@server ~]# vi /etc/exports
/media

目录是必须给的其他选线可以选默认的
# 共享根目录下的media目录  // 重启才生效
[root@server ~]# systemctl restart nfs-server

这时去客户端查看就有共享目录了
[root@client ~]# showmount -e 192.168.229.150
Export list for 192.168.229.150:
/media *
# 所有人都能用根目录下面的media目录


-a  //显示指定NFS服务器的所有客户端主机及其所连接的目录
[root@client ~]# showmount -a 192.168.229.150
All mount points on 192.168.229.150:
# 查看不到的，因为还没挂载


挂载
[root@client ~]# vi /etc/fstab
[root@client ~]# tail -1 /etc/fstab  // 注意 写到/etc/fstab 文件里会永久生效的
192.168.229.150:/media /mnt nfs defaults,_netdev 0 0

[root@client ~]# mount -a  // 挂载，也就是让其生效
# 来理解一下这句话： 把192.168.229.155 这台主机上的 /media 目录 ，挂载到本地的 /mnt 目录下 ，文件系统是 nfs ， 挂载选项用的是默认的defaults  ，第一个0是不检查，第二个0 是不备份
_netdev 一定要加上这个，不然nfs关机，你重启客户端就会一直卡在那里

[root@client ~]# df -h
Filesystem              Size  Used Avail Use% Mounted on
devtmpfs                874M     0  874M   0% /dev
tmpfs                   893M     0  893M   0% /dev/shm
tmpfs                   893M  8.7M  885M   1% /run
tmpfs                   893M     0  893M   0% /sys/fs/cgroup
/dev/mapper/cs-root      17G  1.8G   16G  11% /
/dev/sda1              1014M  210M  805M  21% /boot
tmpfs                   179M     0  179M   0% /run/user/0
192.168.229.150:/media   17G  1.8G   16G  11% /mnt  // 查看已挂载


# 在客户机上查看里面是否有东西
[root@client ~]# ll /media/ -d
drwxr-xr-x. 2 root root 6 Jun 22  2021 /media/
[root@client ~]# ls /media
[root@client ~]#   // 显然是没有的


# 去 服务端创建一个文件测试，然后到客户机查看，是否存在
[root@server ~]# touch /media/abc
[root@server ~]# ls /media/
abc


# 客户机查看是否存在
[root@client ~]# ls /mnt/
abc

# 在客户端能否删除abc呢？
[root@client ~]# rm -rf /mnt/abc
rm: cannot remove '/mnt/abc': Read-only file system  // 只读，删不了
// 也就会说默认是只读的，


# 设置在所有主机都访问，给读写权限
[root@server ~]# vi /etc/exports
[root@server ~]# cat /etc/exports
/media *(rw)

[root@server ~]# systemctl restart nfs-server


# 再次删除
[root@client ~]# rm -rf /mnt/abc
rm: cannot remove '/mnt/abc': Permission denied  
// 还删除不了，刚才是只读，现在没有权限，那就有人问了，刚才不是给权限了吗？为什么删除不了
注意： 权限分为；两种，一种本地权限，一种网络权限。上面给的是网络权限，所以删除不了，还没有给本地权限，

[root@client ~]# ll /media/ -d
drwxr-xr-x. 2 root root 6 Jun 22  2021 /media/
// 所有者是root ，并不是nobody， 注意映射，所有这里使用nobody用户做的操作。

# 设置 nobody 用户能读能写能执行
[root@server ~]# setfacl -m u:nobody:rwx /media/
[root@server ~]# getfacl /media/
getfacl: Removing leading '/' from absolute path names
# file: media/
# owner: root
# group: root
user::rwx 
user:nobody:rwx  // nobody 用户能读能写能执行
group::r-x
mask::rwx
other::r-x



# 此时再去删除就能了
[root@client ~]# cd /mnt/
[root@client mnt]# ls
abc
[root@client mnt]# rm -f abc
[root@client mnt]# ls
[root@client mnt]#

# 在 客户端的/mnt/  创建hehe 文件查看所有者
[root@client mnt]# touch hehe
[root@client mnt]# ll
total 0
-rw-r--r--. 1 nobody nobody 0 Aug 13  2022 hehe



# 服务端查看
[root@server ~]# ll /media/
total 0
-rw-r--r--. 1 nobody nobody 0 Aug 13 23:06 hehe



创建tom用户
[root@server ~]# useradd tom
[root@server ~]# id tom
uid=1000(tom) gid=1000(tom) groups=1000(tom)


想让heh 文件变成tom 的怎么办？
[root@server ~]# vi /etc/exports
[root@server ~]# cat /etc/exports
/media *(rw,anonuid=1000)
[root@server ~]#


这时，我不想重启服务让其生效，怎么办呢

-r      //重新读取/etc/exports文件中的设置，并使其立即生效，无需重启服务
[root@server ~]# exportfs -r


创建xixi 目录
[root@client mnt]# mkdir xixi
mkdir: cannot create directory ‘xixi’: Permission denied
创建不了是因为 ，现在用的是tom 用户操作，tom 用户对 /media 目录没有权限


[root@server ~]# setfacl -m u:tom:rwx /media/
[root@server ~]# getfacl /media/
getfacl: Removing leading '/' from absolute path names
# file: media/
# owner: root
# group: root
user::rwx
user:tom:rwx
user:nobody:rwx
group::r-x
mask::rwx
other::r-x

再创
[root@client mnt]# mkdir xixi
[root@client mnt]# ll
total 0
-rw-r--r--. 1 nobody nobody 0 Aug 13  2022 hehe
drwxr-xr-x. 2   1000 nobody 6 Aug 13  2022 xixi
所有者 1000（也就是tom），只设置uid，所以只有uid是 tom

服务端
[root@server ~]# ll /media/
total 0
-rw-r--r--. 1 nobody nobody 0 Aug 13 23:06 hehe
drwxr-xr-x. 2 tom    nobody 6 Aug 13 23:17 xixi



[root@server ~]# cat /var/lib/nfs/etab
/media	*(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,no_all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=1000,anongid=65534,sec=sys,rw,secure,root_squash,no_all_squash)


[root@server ~]# cat /etc/exports
/media *(rw,anonuid=1000)