NFS存储服务器

今天药忘吃喽~ 2023-07-15 03:57 146阅读 0赞

### 文章目录 ###

*  NFS存储概述
 *   *  什么是NFS
     *  存储工具
     *  为什么使用NFS存储服务
     *  NFS应用场景
 *  nfs存储工作原理
 *   *  RPC与NFS如何通讯
 *  nfs服务端部署
 *   *  安装nfs
     *  配置参数
     *  配置NFS服务端
     *  启动nfs
     *  检查状态
     *  设置开机启动
     *  客户端配置和挂载
     *  NFS 权限验证
     *   *  验证ro权限
         *  验证all\_squash、 anonuid、 anongid 权限
     *  NFS端口号
     *   *  查看nfs端口
         *  防火墙配置
         *  将随机的端口号设置固定
 *  NFS故障案例
 *  附加:不同参数配置时的8位权限和属主属组问题

# NFS存储概述 #

## 什么是NFS ##

NFS 是 Network File System 的缩写及网络文件系统。 NFS 主要功能是通过局域网络让不同的主机系统之间可以共享文件或目录。  
NFS 系统和 Windows 网络共享、网络驱动器类似, 只不过 windows 用于局域网, NFS 用于企业集群架构中, 如果是大型网站, 会用到更复杂的分布式文件系统

## 存储工具 ##

FastDFS,glusterfs,HDFS

## 为什么使用NFS存储服务 ##

*  实现多台服务器之间数据共享
 *  实现多台服务器之间数据一致

## NFS应用场景 ##

*  没有共享存储  
    下面我将通过图解给大家展示集群需要共享存储服务的理由  
    1.A 用户上传图片经过负载均衡，负载均衡将上传请求调度至 WEB1 服务器上。  
    2.B 用户访问 A 用户上传的图片，此时 B 用户被负载均衡调度至 WEB2 上，因为 WEB2 上没有这张图片，所以 B用户无法看到 A 用户传的图片  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0YXI4ODExMjQ_size_16_color_FFFFFF_t_70]
 *  有共享存储  
    1.A 用户上传图片无论被负载均衡调度至 WEB1 还是 WEB2, 最终数据都被写入至共享存储  
    2.B 用户访问 A 用户上传图片时，无论调度至 WEB1 还是 WEB2，最终都会上共享存储访问对应的文件，这样就可以访问到资源了  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0YXI4ODExMjQ_size_16_color_FFFFFF_t_70 1]

# nfs存储工作原理 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0YXI4ODExMjQ_size_16_color_FFFFFF_t_70 2]

1）首先服务器端启动RPC服务，并开启111端口

2）服务器端启动NFS服务，并向RPC注册端口信息

3）客户端启动RPC（portmap服务），向服务端的RPC(portmap)服务请求服务端的NFS端口

4）服务端的RPC(portmap)服务反馈NFS端口信息给客户端。

5）客户端通过获取的NFS端口来建立和服务端的NFS连接并进行数据的传输。  
注意: rpc 是一个远程过程调用，那么使用 nfs 必须有 rpc 服务

## RPC与NFS如何通讯 ##

因为NFS支持的功能相当多，，而不同的功能都会使用不同的程序来启动，每启动一个功能就会启用一些端口来传输数据，因此NFS的功能对应的端口并不固定，客户端要知道NFS服务器端的相关端口才能建立连接进行数据传输，而RPC就是用来统一管理NFS端口的服务，并且统一对外的端口是111，RPC会记录NFS端口的信息，如此我们就能够通过RPC实现服务端和客户端沟通端口信息。PRC最主要的功能就是指定每个NFS功能所对应的port number,并且通知客户端，记客户端可以连接到正常端口上去。

那么RPC又是如何知道每个NFS功能的端口呢？

首先当NFS启动后，就会随机的使用一些端口，然后NFS就会向RPC去注册这些端口，RPC就会记录下这些端口，并且RPC会开启111端口，等待客户端RPC的请求，如果客户端有请求，那么服务器端的RPC就会将之前记录的NFS端口信息告知客户端。如此客户端就会获取NFS服务器端的端口信息，就会以实际端口进行数据的传输了。

*  相关的几个守护进程
    
     *  RPC远程过程调用:portmap(CentOS5) , rpcbind(CentOS6,7)
     *  NFS守护进程:nfsd(端口号一般是2049,/etc/services记录)
     *  管理NFS的文件系统:rpc.mountd 当client端顺利通过rpc.nfsd登入主机后，在它可以使用NFS服务器提供规定文件之前，还会经过文件使用权限的认证程序。它会去读取NFS的配置文件/etc/exports来对比客户端的权限，当通过这一关之后，client端也就取得使用NFS文件的权限

# nfs服务端部署 #

## 安装nfs ##

yum install nfs-utils -y
    
       
        
       
        
         1

## 配置参数 ##

nfs 服务程序的配置文件为/etc/exports，需要严格按照共享目录的路径允许访问的NFS客户端（共享权限参数）格式书写，定义要共享的目录与相应的权限，具体书写方式如下图所示  
![在这里插入图片描述][20190719212629162.png]

共享目录：存在于我们本机上的目录，我们想共享给网络上的其他主机使用。如我要共享/tmp/data目录，那么此选项可以就直接写/tmp/data目录，这个目录可以依照不同的权限共享给不同的主机。

客户端地址：客户端地址能够设置一个网络，也可以设置单个主机。参数：如读写权限rw,同步更新sync,压缩来访账号all\_squash，压缩后的匿名账号anonuid=uid，anongid=gid等等；

客户端地址的设置主要有以下几种方式：

1)、 可以使用完整的IP或者是网络号，例如192.168.100.100 或 192.168.8.0/24

2)、 可以使用主机名，但这个主机名必须要在/etc/hosts内，或可以使用DNS找到该名称才行，反正重点是可找到IP就行，如果是主机名的话，还可以支持通配符，例如‘\*’或‘？’均可接受；例如：host\[1-8\].ctos.zu,server?.test.com

*  配置参数详解

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0YXI4ODExMjQ_size_16_color_FFFFFF_t_70 3]

## 配置NFS服务端 ##

*  写入配置文件：注意！IP地址和后面的小括号没有空格

[root@nfs ~]#cat > /etc/exports <<EOF
    /data 172.16.1.0/24(rw,sync,all_squash)
    EOF

*  创建数据目录和授权

[root@nfs ~]# mkdir /data -p
    [root@nfs ~]# chown -R nfsnobody:nfsnobody /data/

## 启动nfs ##

[root@nfs ~]#systemctl start nfs-server.service 
    
       
        
       
        
         1

## 检查状态 ##

[root@nfs ~]#systemctl status nfs-server.service
    [root@nfs ~]# showmount -e 172.16.1.31
    Export list for 172.16.1.31:
    /data 172.16.1.0/24

## 设置开机启动 ##

在使用 NFS 服务进行文件共享之前，需要使用 RPC（Remote Procedure Call远程过程调用服务将NFS服务器的IP地址和端口号信息发送给客户端。因此，在启动NFS服务之前，需要先重启并启用rpcbind服务程序,同时都加入开机自启动

[root@nfs ~]# systemctl enable rpcbind nfs-server
    [root@nfs ~]# systemctl restart rpcbind nfs-server

## 客户端配置和挂载 ##

*  安装NFS客户端

[root@backup ~]# yum install nfs-utils -y
    
       
        
       
        
         1

安装完成后只需要启动rpcbind，不需要启动nfs

[root@backup ~]# systemctl restart rpcbind
    
       
        
       
        
         1

使用showmount命令查看nfs共享信息查询 NFS 服务器的远程共享信息，其输出格式为“共享的目录名称 允许使用客户端地址”。

[root@backup ~]# showmount -e 172.16.1.31
    Export list for 172.16.1.31:
    /data 172.16.1.0/24

*  挂载NFS文件
    
     *  在 NFS 客户端创建一个挂载目录, 使用 mount 命令并结合-t 参数, 指定要挂载的文件系统的类型, 并在命令后面写上服务器的IP地址,以及服务器上的共享目录, 最后需要写上要挂载到本地系统(客户端)的目录

[root@backup ~]# mkdir /data -p
    [root@backup ~]# mount -t nfs 172.16.1.31:/data /data

查看是否挂载成功：

[oldboy@backup ~]#df -h 
    Filesystem               Size  Used Avail Use% Mounted on
    /dev/mapper/centos-root   17G  2.4G   15G  14% /
    devtmpfs                 478M     0  478M   0% /dev
    tmpfs                    489M     0  489M   0% /dev/shm
    tmpfs                    489M   32M  458M   7% /run
    tmpfs                    489M     0  489M   0% /sys/fs/cgroup
    /dev/sda1               1014M  125M  890M  13% /boot
    tmpfs                     98M     0   98M   0% /run/user/0
    172.16.1.31:/data/w       17G  2.1G   15G  12% /data/w

测试写入数据是否正常

[root@backup ~]#cd /data/ 
    [root@backup data]#echo "hello star " >back.txt
    [root@backup data]#cat back.txt  
    hello star

写入开机自动挂载  
在/etc/fstab里添加下面一行 :  
172.16.1.31:/data /data nfs defaults 0 0

卸载命令：注意!卸载的时候如果提示”umount.nfs: /nfsdir: device is busy”先切换到其他目录再卸载

[root@backup ~]# umount /data/
    
     
      
     
      
       1

强制卸载

[root@backup ~]# umount -rl /data/
    
     
      
     
      
       1

## NFS 权限验证 ##

### 验证ro权限 ###

*  服务端配置：

[root@nfs ~]# cat /etc/exports
    /data 172.16.1.0/24(ro,sync,all_squash)
    [root@nfs ~]# systemctl restart nfs-server.service
    [root@nfs ~]# showmount -e 172.16.1.31
    Export list for 172.16.1.31:
    /data 172.16.1.0/24

然后挂载到客户端,测试读取写入权限

# 读取权限
    [root@backup data]#cat back.txt  
    hello star

# 写入权限 #

\[root@backup ~\]\# echo “backup” > /data/star.txt  
\-bash: /data/star.txt: 权限不够

### 验证all\_squash、 anonuid、 anongid 权限 ###

服务端配置：

[root@nfs ~]# cat /etc/exports 
    /data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)

服务端创建用户及授权：  
注意:如果用户组不存在先创建,再创建用户

[root@nfs ~]# useradd -s /sbin/nologin -M -u 666 -g 666 www
    [root@nfs ~]# id www
    uid=666(www) gid=666(www) 组=666(www)

重启NFS服务,更改目录授权

[root@nfs ~]# systemctl restart nfs-server.service
    [root@nfs ~]# chown -R www:www /data/
    [root@nfs ~]# ls -ld /data/
    drwxr-xr-x 2 www www 35 7月  17 19:50 /data/

客户端操作:  
挂载目录,然后查看文件,添加文件,删除文件都没有问题.再查看文件的属性,都变成了设定的用户(anonuid=666,anongid=666)的属主和属组

为了统一,方便日后进行操作,我们把客户端的uid和gid也改成666,用户就是www用户

[root@backup ~]# groupadd -g 666 www
    [root@backup ~]# useradd -s /sbin/nologin -M -u 666 -g 666 www

## NFS端口号 ##

### 查看nfs端口 ###

rpcinfo -p 或者 netstat -ntulp

### 防火墙配置 ###

*  firewall防火墙配置(如果以后在工作中需要开启情况)

firewall-cmd --add-service=nfs --permanent
    firewall-cmd --add-service=mountd --permanent
    firewall-cmd --add-service=rpc-bind --permanent
    firewall-cmd --reload

启动nfs会开启如下端口  
1）portmapper 端口：111 udp/tcp  
2）nfs/nfs\_acl 端口：2049 udp/tcp  
3）mountd 端口：“32768–65535” udp/tcp

系统 RPC服务在 nfs服务启动时默认会给 mountd 和 nlockmgr 动态选取一个随机端口来进行通讯。

### 将随机的端口号设置固定 ###

[root@nfs01 ~]# vim /etc/sysconfig/nfs
    [root@nfs01 ~]# tail -5 /etc/sysconfig/nfs
    RQUOTAD_PORT=4001
    LOCKD_TCPPORT=4002
    LOCKD_UDPPORT=4002
    MOUNTD_PORT=4003
    STATD_PORT=4004

重启nfs和rpc服务  
CentOS7中只需要重启服务nfs就可以了.重启后可以再查看端口号是否是刚才设置的.

*  iptables防火墙配置

-A INPUT -p tcp -m tcp --dport 111 -j ACCEPT
    -A INPUT -p udp -m udp --dport 111 -j ACCEPT
    -A INPUT -p tcp -m tcp --dport 2049 -j ACCEPT
    -A INPUT -p udp -m udp --dport 2049 -j ACCEPT
    -A INPUT -p tcp -m tcp --dport 4001:4004 -j ACCEPT
    -A INPUT -p udp -m udp --dport 4001:4004 -j ACCEPT

# NFS故障案例 #

如果设置了开机自启动，但是系统启动的时候NFS并没有提供服务，就会导致开机自检的时候卡在挂在那一步  
开机启动时添加rd.break  
ctrl+x  
mount -o remount,rw /sysroot/  
chroot /sysroot/  
网上方法很多,根本目的就是把/etc/fstab中添加的NFS文件不要开机启动,添加注释或者删除

# 附加:不同参数配置时的8位权限和属主属组问题 #

![在这里插入图片描述][20190719212733721.png]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0YXI4ODExMjQ_size_16_color_FFFFFF_t_70]: /images/20230529/3a0973fedccf4027a64d70d26fa80623.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0YXI4ODExMjQ_size_16_color_FFFFFF_t_70 1]: /images/20230529/ccc1eb8b16d1491f91e6abc63a19fd9b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0YXI4ODExMjQ_size_16_color_FFFFFF_t_70 2]: /images/20230529/aa42e5725c404d3b8f64f698f0c8b0d3.png
[20190719212629162.png]: /images/20230529/1f21627850b341aabcde707bc26ea7da.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N0YXI4ODExMjQ_size_16_color_FFFFFF_t_70 3]: /images/20230529/2f87478646154a7781ddab68a5ff7ac6.png
[20190719212733721.png]: /images/20230529/c9d55a6d85844a07b3b042ce4aababe9.png