2021年全网最细大数据学习笔记（六）：Hadoop 之 HDFS 进程详解

古城微笑少年丶 2022-10-07 14:58 166阅读 0赞

### 文章目录 ###

*  一、学前必备知识
 *  二、HDFS 概述
 *  三、HDFS 应用场景
 *  四、HDFS 的架构
 *  五、HDFS 的副本机制
 *  六、HDFS 的安全模式
 *  七、HDFS 的数据读写流程
 *   *  7.1 HDFS 写数据流程
     *  7.2 HDFS 读数据流程
 *  八、HDFS 的回收站
 *  九、NameNode、HDFS 的元数据辅助管理详解
 *  十、HDFS 的高可用和高扩展机制
 *   *  10.1 高可用
     *  10.2 高扩展机制

# 一、学前必备知识 #

1.  [2021年 全网最细大数据学习笔记（一）：初识 Hadoop][2021_ _ Hadoop]
2.  [2021年 全网最细大数据学习笔记（二）：Hadoop 伪分布式安装][2021_ _Hadoop]
3.  [2021年 全网最细大数据学习笔记（三）：Hadoop 集群的搭建与配置][2021_ _Hadoop 1]
4.  [2021年 全网最细大数据学习笔记（四）：Hadoop 之 HDFS的基本使用][2021_ _Hadoop _ HDFS]
5.  [2021年 全网最细大数据学习笔记（五）：Zookeeper 集群][2021_ _Zookeeper]

# 二、HDFS 概述 #

在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为 `分布式文件系统` 。HDFS（Hadoop Distributed File System) 是 Apache Hadoop 项目的一个子项目。Hadoop 非常适于存储大型数据(比如 TB 和 PB)，其就是使用 HDFS 作为存储系统。HDFS 使用多台计算机存储文件，并且提供统一的访问接口，像是访问一个普通文件系统一样使用分布式文件系统。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70]  
Doug Cutting 在做 Lucene 的时候，需要编写一个爬虫服务，这个爬虫写的并不顺利，遇到了一些问题，诸如：如何存储大规模的数据，如何保证集群的可伸缩性，如何动态容错等。2003 年的时候, Google 发布了三篇论文，被称作为三驾马车，其中有一篇叫做 GFS，是描述了 Google 内部的一个叫做 GFS 的分布式大规模文件系统，具有强大的可伸缩性和容错性。Doug Cutting 后来根据 GFS 的论文，创造了一个新的文件系统，叫做 `HDFS`。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 1]

# 三、HDFS 应用场景 #

**1、适合的应用场景**

1.  存储非常大的文件：这里非常大指的是几百M、G、或者 TB 级别，需要 **高吞吐量，对延时没有要求。**
2.  采用流式的数据访问方式：即 **一次写入、多次读取**，数据集经常从数据源生成或者拷贝一次，然后在其上做很多分析工作，且不支持文件的随机修改 。
3.  运行于商业硬件上：Hadoop 不需要特别贵的机器，可运行于普通廉价机器，可以 **节约成本**。
4.  需要高容错性。
5.  为数据存储提供所需的 **扩展能力**。

**2、不适合的应用场景**

1.  低延时的数据访问。对延时要求在毫秒级别的应用，不适合采用 HDFS。HDFS 是为高吞吐数据传输设计的，因此可能 **牺牲延时**。
2.  大量小文件。文件的元数据保存在 **NameNode 的内存中**，整个文件系统的文件数量会受限于 NameNode 的内存大小。经验而言，一个文件/目录/文件块一般占有 150 字节的元数据内存空间。如果有 100 万个文件，每个文件占用 1 个文件块，则需要大约 300M 的内存。因此十亿级别的文件数量在现有商用机器上难以支持。
3.  多方读写，需要任意的文件修改。HDFS 采用追加(append-only) 的方式写入数据。**不支持文件任意 offset 的修改**。不支持多个写入器(writer)。

**综合：正因为如此，HDFS 适合用来做大数据分析的底层存储服务，并不适合用来做网盘等应用，因为，修改不方便，延迟大，网络开销大，成本太高。**

# 四、HDFS 的架构 #

HDFS 是一个 主/从(Master/Slave) 体系结构，HDFS 由四部分组成，HDFS Client、NameNode、DataNode 和 Secondary NameNode。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 2]  
**1、Client：就是客户端。**

1.  文件切分。文件上传 HDFS 的时候，Client 将文件切分成一个一个的Block，然后进行存储。
2.  与 NameNode 交互，获取文件的位置信息。
3.  与 DataNode 交互，读取或者写入数据。
4.  Client 提供一些命令来管理和访问 HDFS，比如启动或者关闭 HDFS。

**2、NameNode：就是 master，它是一个主管、管理者。**

1.  管理 HDFS 的名称空间。
2.  管理数据块(Block)映射信息。
3.  配置副本策略。
4.  处理客户端读写请求。

**3、DataNode：就是 Slave。NameNode 下达命令，DataNode 执行实际的操作。**

1.  存储实际的数据块。
2.  执行数据块的读/写操作。

**4、Secondary NameNode：并非 NameNode 的热备。当 NameNode 挂掉的时候，它并不能马上替换 NameNode 并提供服务。**

1.  辅助 NameNode，分担其工作量。
2.  定期合并 fsimage 和 fsedits，并推送给 NameNode。
3.  在紧急情况下，可辅助恢复 NameNode。

**在这大家可以这样理解，公司用户：Client，公司老板 BOSS：NameNode，秘书：Secondary NameNode 员工：DataNode。**

# 五、HDFS 的副本机制 #

HDFS 被设计成能够在一个大集群中跨机器可靠地存储超大文件。它将每个文件存储成一系列的数据块，这个数据块被称为 Block，除了最后一个，所有的数据块都是同样大小的。为了容错，文件的所有 Block 都会有副本。每个文件的数据块大小和副本系数都是可配置的。所有的文件都是以 Block 块的方式存放在 HDFS 文件系统当中，作用如下：

1.  一个文件有可能大于集群中任意一个磁盘，引入块机制，可以很好的解决这个问题。
2.  使用块作为文件存储的逻辑单位可以简化存储子系统。
3.  块非常适合用于数据备份进而提供数据容错能力。
4.  副本优点是安全，缺点是占空间。

在 Hadoop1.x 当中, 文件的 block 块默认大小是 64M，hadoop3.x 当中，文件的 Block 块大小默认是 128M(134217728字节)。假设文件大小是 100GB，从字节位置 0 开始，每 128MB 字节划分为一个 Block，以此类推，可以划分出很多的 Block。每个 Block 就是 128MB 大小。我们可以在`/data/soft/hadoop-3.2.0/share/hadoop/hdfs/` 路径中，找到 `hadoop-hdfs-3.2.0.jar` 文件，这个文件中包含了 HDFS 相关的所有默认参数，咱们在配置集群的时候会修改一个 `hdfs-site.xml` 文件，`hdfs-site.xml` 文件属于 `hdfs-default.xml` 的一个扩展，它可以覆盖掉 `hdfs-default.xml` 中同名的参数。将 `hadoop-hdfs-3.2.0.jar` 包拉取到 Windows 桌面，解压，用记事本打开 `hdfs-default.xml` 文件，可以查看到 Block 块默认大小，如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 3]  
Block 块的大小可以通过 `hdfs-site.xml` 当中的配置文件进行指定，Hadoop 默认的副本数为 3，hdfs-default.xml 查看如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 4]  
我们在 hdfs-site.xml 配置副本数为，查看如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 5]  
副本图示如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 6]  
**HDFS 副本放置策略(机架感知)**

HDFS 分布式文件系统的内部有一个副本存放策略，默认副本数为 3，在这里以副本数 =3 为例：

1.  第一副本：优先放置到离写入客户端最近的 DataNode 节点，如果上传节点就是 DataNode，则直接上传到该节点，如果是集群外提交，则随机挑选一台磁盘不太满，CPU 不太忙的节点。
2.  第二个副本：放置在于第一个副本不同的机架的节点上(随机选择)。
3.  第三个副本：与第二个副本相同机架的不同节点中。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 7]

# 六、HDFS 的安全模式 #

安全模式是 Hadoop 的一种保护机制，用于保证集群中的数据块的安全性。当集群启动的时候，会首先进入安全模式。当系统处于安全模式时会检查数据块的完整性。大家在平时操作 HDFS 的时候，有时候可能会遇到这个问题，特别是刚启动集群的时候去上传或者删除文件，会发现报错，提示 NameNode 处于safe mode。这个属于 HDFS 的安全模式，因为在集群每次重新启动的时候，HDFS 都会检查集群中文件信息是否完整，例如副本是否缺少之类的信息，所以这个时间段内是不允许对集群有修改操作的，如果遇到了这个情况，可以稍微等—会，等 HDFS 自检完毕，就会自动退出安全模式。如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 8]  
接下来访问 HDFS 的 web ui 界面，可以看到下面信息，on 表示处于安全模式，off 表示安全模式已结束，如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 9]  
还比如：假设我们设置的副本数(即参数 dfs.replication)是 3，那么在 DataNode上就应该有 3 个副本存在，假设只存在 2 个副本，那么比例就是 `2/3=0.666`。hdfs 默认的副本率 0.999。我们的副本率 0.666 明显小于 0.999，因此系统会自动的复制副本到其他 DataNode，使得副本率不小于 0.999。如果系统中有 5 个副本，超过我们设定的 3 个副本，那么系统也会删除多于的 2 个副本。 在安全模式状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。在当整个系统达到安全标准时，HDFS 自动离开安全模式。安全模式操作命令：

[root@bigdata01 bin]# hdfs dfsadmin -safemode get  # 查看安全模式状态
    Safe mode is OFF
    [root@bigdata01 bin]# hdfs dfsadmin -safemode enter  # 进入安全模式
    Safe mode is ON
    [root@bigdata01 bin]# hdfs dfsadmin -safemode leave  # 离开安全模式
    Safe mode is OFF

# 七、HDFS 的数据读写流程 #

## 7.1 HDFS 写数据流程 ##

详细步骤解析：

1.  client 发起文件上传请求，通过 RPC 与 NameNode 建立通讯，NameNode 检查目标文件是否已存在，父目录是否存在，返回是否可以上传；
2.  client请求第一个 block该传输到哪些DataNode服务器上。
3.  NameNode 根据配置文件中指定的备份数量及副本放置策略进行文件分配，返回可用的 DataNode 的地址，如：A、B、C。
4.  client 请求 3 台 DataNode 中的一台 A 上传数据(本质上是一个 RPC 调用，建立pipeline)，A 收到请求会继续调用 B，然后 B 调用 C，将整个pipeline 建立完成，后逐级返回 client。
5.  client 开始往 A 上传第一个 block(先从磁盘读取数据放到一个本地内存缓存)，以 packet 为单位(默认64K)，A 收到一个 packet 就会传给 B，B 传给C；A 每传一个 packet 会放入一个应答队列等待应答。
6.  数据被分割成一个个 packet 数据包在 pipeline 上依次传输，在 pipeline 反方向上，逐个发送 ack(命令正确应答)，最终由 pipeline 中第一个 DataNode 节点 A 将 pipeline ack 发送给 client。
7.  当一个 block 传输完成之后，client 再次请求 NameNode 上传第二个 block 到服务器。

**详细步骤如下图：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 10]

## 7.2 HDFS 读数据流程 ##

1.  Client 向 NameNode 发起 RPC 请求，来确定请求文件 block 所在的位置。
2.  NameNode 会视情况返回文件的部分或者全部 block 列表，对于每个 block，NameNode 都会返回含有该 block 副本的 DataNode地址。
3.  这些返回的 DN 地址，会按照集群拓扑结构得出 DataNode 与客户端的距离，然后进行排序，排序两个规则：网络拓扑结构中距离 Client 近的排靠前；心跳机制中超时汇报的 DN 状态为 STALE，这样的排靠后。
4.  Client 选取排序靠前的 DataNode 来读取 block，如果客户端本身就是DataNode，那么将从本地直接获取数据；底层上本质是建立 Socket Stream (FSDataInputStream)，重复的调用父类 DataInputStream 的 read 方法，直到这个块上的数据读取完毕。
5.  当读完列表的 block 后，若文件读取还没有结束，客户端会继续向 NameNode 获取下一批的 block 列表。
6.  读取完一个 block 都会进行 checksum 验证，如果读取 DataNode 时出现错误，客户端会通知 NameNode，然后再从下一个拥有该 block 副本的 DataNode 继续读。
7.  read 方法是并行的读取 block 信息，不是一块一块的读取；NameNode 只是返回 Client 请求包含块的 DataNode 地址，并不是返回请求块的数据；最终读取来所有的 block 会合并成一个完整的最终文件。

**详细步骤图：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 11]

# 八、HDFS 的回收站 #

我们 Windows 系统里面有一个回收站，当想恢复删除的文件的话就可以到这里面进行恢复，HDFS 也有回收站。HDFS会为每一个用户创建一个回收站目录: `/user/用户名/.Trash/`，每一个被用户在 Shell 命令行删除的文件/目录，会进入到对应的回收站目录中，在回收站中的数据都有一个生存周期，也就是当回收站中的文件/目录在一段时间之内没有被用户恢复的话，HDFS 就会自动的把这个文件/目录彻底删除，之后，用户就永远也找不回这个文件/目录了。默认情况下 hdfs 的回收站是没有开启的，需要通过一个配置来开启，在 core-site.xml 中添加如下配置， value 的单位是分钟，1440 分钟表示是一天的生存周期。

【示例1】没有开启回收站删除文件。如下图所示：  
![在这里插入图片描述][20210618024518440.png]  
停掉集群，开启回收站：

-- 1. 停止集群
    [root@bigdata01 hadoop]# sbin/stop-all.sh
    --2.cd /data/soft/hadoop-3.2.0/etc/hadoop 目录，找到 core-site.xml 文件，修改如下：
    <property>
            <name>fs.trash.interval</name>
            <value>1440</value>
    </property>
    
    --3.将core-site.xml 文件同步到其他两个节点
    [root@bigdata01 hadoop-3.2.0]# scp -rq etc/hadoop/core-site.xml bigdata02:/data/soft/hadoop-3.2.0/etc/hadoop/
    [root@bigdata01 hadoop-3.2.0]# scp -rq etc/hadoop/core-site.xml bigdata03:/data/soft/hadoop-3.2.0/etc/hadoop/

启动集群，再执行删除文件操作：

[root@bigdata01 hadoop-3.2.0]# sbin/start-all.sh
    [root@bigdata01 hadoop-3.2.0]# hadoop fs -ls /
    [root@bigdata01 hadoop-3.2.0]# hadoop fs -rm /winin.txt     
    2021-06-18 02:55:22,419 INFO fs.TrashPolicyDefault: Moved: 'hdfs://bigdata01:9000/winin.txt' to trash at: hdfs://bigdata01:9000/user/root/.Trash/Current/winin.txt
    You have new mail in /var/spool/mail/root

此时看到提示信息说把删除的文件移到到了指定目录中，其实就是移动到了当前用户的回收站目录。回收站的文件也是可以下载到本地的。其实在这回收站只是一个具备了特殊含义的 HDFS 目录。

**注意：如果删除的文件过大，超过回收站大小的话会提示删除失败。需要指定参数 `-skipTrash`，指定这个参数表示删除的文件不会进回收站。如下：**

[root@bigdata01 hadoop-3.2.0]# hadoop fs -rm -skipTrash /test.txt 
    Deleted /test.txt

# 九、NameNode、HDFS 的元数据辅助管理详解 #

首先是 NameNode，NameNode 是整个文件系统的管理节点。它主要维护着整个文件系统的文件目录树，文件/目录的信息和每个文件对应的数据块列表，并且还负责接收用户的操作请求。

1.  目录树：表示目录之间的层级关系，就是我们在 HDFS 上执行 ls 命令可以看到的那个目录结构信息。
2.  文件/目录的信息：表示文件/目录的的一些基本信息，所有者属组修改时间文件大小等信息。
3.  每个文件对应的数据块列表：如果一个文件太大，那么在集群中存储的时候会对文件进行切割，这个时候就类似于会给文件分成一块一块的，存储到不同机器上面。所以 HDFS 还要记录一下一个文件到底被分了多少块，每一块都在什么地方存储着。在浏览器地址栏输入 `http://bigdata01:9870/explorer.html#/` ，集群的 9870 界面查看：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 12]  
    随便找一个文件看一下，点击文件名称，可以看到 Blockinformation 但是文件太小，只有一个块叫 Block 0，如下图所示：  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 13][]  
    上传一个大的文件，再来查看一下，命令：\[root@bigdata01 ~\]\# hadoop fs -put /data/soft/hadoop-3.2.0.tar.gz /  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 14][]
4.  接收用户的操作请求：其实我们在命令行使用 hdfs 操作的时候，是需要先和 NameNode 通信才能开始去操作数据的。

NameNode 是非常重要的，它的这些信息最终是会存储到文件上的，那接下来我们来看一下 NameNode 中包含的那些文件，NameNode 主要包括以下文件：  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 15][]  
**这些文件所在的路径是由 hdfs-default.xml 的 dfs.namenode.name.dir 属性控制的，搭建环境不同，则每个人的保存目录不同，如果说你在hdfs-site.xml文件中进行了配置，那你保存目录在hdfs-site.xml文件中查看。**

hdfs-default.xml 文件在 [2021年 全网最细大数据学习笔记（五）：Zookeeper 集群][2021_ _Zookeeper] 一文中，已经告知如何查找，这里笔者不再赘述。我们来查看一下这个文件中的 dfs.namenode.name.dir 属性：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 16]  
这个属性的值是由 hadoop.tmp.dir 属性控制的，这个属性的值默认在 core-default.xml 文件中。在 [2021年 全网最细大数据学习笔记（三）：Hadoop 集群的搭建与配置][2021_ _Hadoop 1] 一文中，搭建集群的时候，修改 core-site.xml 文件时，设置的有 hadoop.tmp.dir 属性的值，值是 /data/hadoop\_repo，所以说 core-site.xml 中的 hadoop.tmp.dir 属性会覆盖掉 core-default.xml 中的值。最终 dfs.namenode.name.dir 属性的值就是：/data/hadoop\_repo/dfs/name，在 bigdata01 节点上查看一下：  
![在这里插入图片描述][20210618184803821.png]  
current 目录，表示当前的意思，还有一个 in\_use.lock 这个只是一个普通文件，但是它其实有特殊的含义，文件名后缀值 lock 表示是锁的意思，文件名是 in\_use 表示这个文件现在正在使用，不允许你再启动 NameNode。当我们启动 NameNode 的时候会判断这个目录下是否有 in\_use.lock 这个相当于一把锁，如果没有的话，才可以启动成功，启动成功之后就会加一把锁，停止的时候会把这个锁去掉。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 17]  
里面有 edits 文件和 fsimage 文件。fsimage文件有两个文件名相同的，有一个后缀是 md5。 md5 是一种加密算法，这个其实主要是为了做 md5 校验的，为了保证文件传输的过程中不出问题，相同内容的 md5 是一样的，所以后期如果我把这个 fsimage 和对应的 fsimage.md5 发给你然后你根据 md5 对 fsimage 的内容进行加密，获取一个值和 fsimage.md5 中的内容进行比较，如果一样，说明你接收到的文件就是完整的。我们在网站下载一些软件的时候也会有一些 md5 文件，方便验证下载的文件是否完整。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 18]  
在这里可以把 fsimage 拆开 fs 是文件系统 filesystem image 是镜像。说明是文件系统镜像，就是给文件照了一个像，把文件的当前信息记录下来。我们可以看一下这个文件，这个文件需要使用特殊的命令进行查看：

-i 输入文件
    -o 输出文件
    [root@bigdata01 current]# hdfs oiv -p XML -i fsimage_0000000000000000590 -o fsimage59.xml
    2021-06-18 18:59:31,490 INFO offlineImageViewer.FSImageHandler: Loading 5 strings
    2021-06-18 18:59:31,525 INFO namenode.FSDirectory: GLOBAL serial map: bits=29 maxEntries=536870911
    2021-06-18 18:59:31,525 INFO namenode.FSDirectory: USER serial map: bits=24 maxEntries=16777215
    2021-06-18 18:59:31,525 INFO namenode.FSDirectory: GROUP serial map: bits=24 maxEntries=16777215
    2021-06-18 18:59:31,525 INFO namenode.FSDirectory: XATTR serial map: bits=24 maxEntries=16777215

把 fsimage59.xml 这个文件拉取到 Windows 上，进行查看：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 19]  
内容如下：

<?xml version="1.0"?>
    <fsimage><version><layoutVersion>-65</layoutVersion><onDiskVersion>1</onDiskVersion><oivRevision>e97acb3bd8f3befd27418996fa5d4b50bf2e17bf</oivRevision></version>
    <NameSection><namespaceId>1475726213</namespaceId><genstampV1>1000</genstampV1><genstampV2>1063</genstampV2><genstampV1Limit>0</genstampV1Limit><lastAllocatedBlockId>1073741887</lastAllocatedBlockId><txid>590</txid></NameSection>
    <ErasureCodingSection>
    <erasureCodingPolicy>
    <policyId>5</policyId><policyName>RS-10-4-1024k</policyName><cellSize>1048576</cellSize><policyState>DISABLED</policyState><ecSchema>
    <codecName>rs</codecName><dataUnits>10</dataUnits><parityUnits>4</parityUnits></ecSchema>
    </erasureCodingPolicy>
    
    <erasureCodingPolicy>
    <policyId>2</policyId><policyName>RS-3-2-1024k</policyName><cellSize>1048576</cellSize><policyState>DISABLED</policyState><ecSchema>
    <codecName>rs</codecName><dataUnits>3</dataUnits><parityUnits>2</parityUnits></ecSchema>
    </erasureCodingPolicy>
    
    <erasureCodingPolicy>
    <policyId>1</policyId><policyName>RS-6-3-1024k</policyName><cellSize>1048576</cellSize><policyState>ENABLED</policyState><ecSchema>
    <codecName>rs</codecName><dataUnits>6</dataUnits><parityUnits>3</parityUnits></ecSchema>
    </erasureCodingPolicy>
    
    <erasureCodingPolicy>
    <policyId>3</policyId><policyName>RS-LEGACY-6-3-1024k</policyName><cellSize>1048576</cellSize><policyState>DISABLED</policyState><ecSchema>
    <codecName>rs-legacy</codecName><dataUnits>6</dataUnits><parityUnits>3</parityUnits></ecSchema>
    </erasureCodingPolicy>
    
    <erasureCodingPolicy>
    <policyId>4</policyId><policyName>XOR-2-1-1024k</policyName><cellSize>1048576</cellSize><policyState>DISABLED</policyState><ecSchema>
    <codecName>xor</codecName><dataUnits>2</dataUnits><parityUnits>1</parityUnits></ecSchema>
    </erasureCodingPolicy>
    
    </ErasureCodingSection>
    
    <INodeSection><lastInodeId>16482</lastInodeId><numInodes>62</numInodes><inode><id>16385</id><type>DIRECTORY</type><name></name><mtime>1623956242604</mtime><permission>root:supergroup:0755</permission><nsquota>9223372036854775807</nsquota><dsquota>-1</dsquota></inode>
    <inode><id>16386</id><type>DIRECTORY</type><name>user</name><mtime>1617954462011</mtime><permission>root:supergroup:0755</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
    <inode><id>16387</id><type>DIRECTORY</type><name>root</name><mtime>1623956122405</mtime><permission>root:supergroup:0755</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
    <inode><id>16400</id><type>DIRECTORY</type><name>tmp</name><mtime>1617954463053</mtime><permission>root:supergroup:0700</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
    <inode><id>16401</id><type>DIRECTORY</type><name>hadoop-yarn</name><mtime>1617954463053</mtime><permission>root:supergroup:0700</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
    <inode><id>16402</id><type>DIRECTORY</type><name>staging</name><mtime>1617954466444</mtime><permission>root:supergroup:0700</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
    <inode><id>16403</id><type>DIRECTORY</type><name>root</name><mtime>1617954463053</mtime><permission>root:supergroup:0700</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
    <inode><id>16404</id><type>DIRECTORY</type><name>.staging</name><mtime>1617954494367</mtime><permission>root:supergroup:0700</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
    <inode><id>16410</id><type>DIRECTORY</type><name>history</name><mtime>1617954466444</mtime><permission>root:supergroup:0755</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
    <inode><id>16411</id><type>DIRECTORY</type><name>done_intermediate</name><mtime>1617954466451</mtime><permission>root:supergroup:1777</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
    <inode><id>16412</id><type>DIRECTORY</type><name>root</name><mtime>1617954493336</mtime><permission>root:supergroup:0770</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
    <inode><id>16425</id><type>FILE</type><name>job_1617952142345_0001.summary</name><replication>2</replication><mtime>1617954493272</mtime><atime>1617954493257</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0770</permission><blocks><block><id>1073741843</id><genstamp>1019</genstamp><numBytes>449</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16426</id><type>FILE</type><name>job_1617952142345_0001-1617954463624-root-QuasiMonteCarlo-1617954493243-10-1-SUCCEEDED-default-1617954468038.jhist</name><replication>2</replication><mtime>1617954493299</mtime><atime>1617954493282</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0770</permission><blocks><block><id>1073741844</id><genstamp>1020</genstamp><numBytes>56010</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16427</id><type>FILE</type><name>job_1617952142345_0001_conf.xml</name><replication>2</replication><mtime>1617954493330</mtime><atime>1617954493305</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0770</permission><blocks><block><id>1073741845</id><genstamp>1021</genstamp><numBytes>218831</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16428</id><type>DIRECTORY</type><name>test</name><mtime>1623955431776</mtime><permission>root:supergroup:0755</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
    <inode><id>16429</id><type>DIRECTORY</type><name>amo</name><mtime>1617963314707</mtime><permission>root:supergroup:0755</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
    <inode><id>16430</id><type>DIRECTORY</type><name>demo</name><mtime>1617963314707</mtime><permission>root:supergroup:0755</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
    <inode><id>16431</id><type>DIRECTORY</type><name>dir1</name><mtime>1617963606504</mtime><permission>root:supergroup:0755</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
    <inode><id>16432</id><type>DIRECTORY</type><name>dir2</name><mtime>1617963606504</mtime><permission>root:supergroup:0755</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
    <inode><id>16433</id><type>DIRECTORY</type><name>dir3</name><mtime>1617963606504</mtime><permission>root:supergroup:0755</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
    <inode><id>16435</id><type>FILE</type><name>readme.txt</name><replication>2</replication><mtime>1618033000212</mtime><atime>1618033000108</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741847</id><genstamp>1023</genstamp><numBytes>71</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16436</id><type>FILE</type><name>readme2.txt</name><replication>2</replication><mtime>1618033191428</mtime><atime>1618033191314</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741848</id><genstamp>1024</genstamp><numBytes>71</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16437</id><type>FILE</type><name>readme3.txt</name><replication>2</replication><mtime>1618033191448</mtime><atime>1618033191436</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741849</id><genstamp>1025</genstamp><numBytes>71</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16438</id><type>DIRECTORY</type><name>etc</name><mtime>1618033427550</mtime><permission>root:supergroup:0755</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
    <inode><id>16439</id><type>DIRECTORY</type><name>hadoop</name><mtime>1618033428208</mtime><permission>root:supergroup:0755</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
    <inode><id>16440</id><type>FILE</type><name>hadoop-env.cmd</name><replication>2</replication><mtime>1618033427709</mtime><atime>1618033427580</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741850</id><genstamp>1026</genstamp><numBytes>3999</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16441</id><type>FILE</type><name>hadoop-metrics2.properties</name><replication>2</replication><mtime>1618033427737</mtime><atime>1618033427722</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741851</id><genstamp>1027</genstamp><numBytes>3321</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16442</id><type>FILE</type><name>hadoop-policy.xml</name><replication>2</replication><mtime>1618033427759</mtime><atime>1618033427743</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741852</id><genstamp>1028</genstamp><numBytes>11392</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16443</id><type>FILE</type><name>hadoop-user-functions.sh.example</name><replication>2</replication><mtime>1618033427778</mtime><atime>1618033427764</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741853</id><genstamp>1029</genstamp><numBytes>3414</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16444</id><type>FILE</type><name>ssl-client.xml.example</name><replication>2</replication><mtime>1618033427793</mtime><atime>1618033427782</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741854</id><genstamp>1030</genstamp><numBytes>2316</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16445</id><type>FILE</type><name>ssl-server.xml.example</name><replication>2</replication><mtime>1618033427810</mtime><atime>1618033427797</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741855</id><genstamp>1031</genstamp><numBytes>2697</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16446</id><type>FILE</type><name>log4j.properties</name><replication>2</replication><mtime>1618033427826</mtime><atime>1618033427813</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741856</id><genstamp>1032</genstamp><numBytes>13994</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16447</id><type>DIRECTORY</type><name>shellprofile.d</name><mtime>1618033427846</mtime><permission>root:supergroup:0755</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
    <inode><id>16448</id><type>FILE</type><name>example.sh</name><replication>2</replication><mtime>1618033427844</mtime><atime>1618033427833</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741857</id><genstamp>1033</genstamp><numBytes>3880</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16449</id><type>FILE</type><name>user_ec_policies.xml.template</name><replication>2</replication><mtime>1618033427864</mtime><atime>1618033427849</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741858</id><genstamp>1034</genstamp><numBytes>2642</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16450</id><type>FILE</type><name>yarn-env.cmd</name><replication>2</replication><mtime>1618033427881</mtime><atime>1618033427869</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741859</id><genstamp>1035</genstamp><numBytes>2250</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16451</id><type>FILE</type><name>yarn-env.sh</name><replication>2</replication><mtime>1618033427897</mtime><atime>1618033427886</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741860</id><genstamp>1036</genstamp><numBytes>6056</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16452</id><type>FILE</type><name>container-executor.cfg</name><replication>2</replication><mtime>1618033427913</mtime><atime>1618033427900</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741861</id><genstamp>1037</genstamp><numBytes>1940</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16453</id><type>FILE</type><name>yarnservice-log4j.properties</name><replication>2</replication><mtime>1618033427929</mtime><atime>1618033427916</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741862</id><genstamp>1038</genstamp><numBytes>2591</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16454</id><type>FILE</type><name>capacity-scheduler.xml</name><replication>2</replication><mtime>1618033427945</mtime><atime>1618033427934</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741863</id><genstamp>1039</genstamp><numBytes>8260</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16455</id><type>FILE</type><name>configuration.xsl</name><replication>2</replication><mtime>1618033427959</mtime><atime>1618033427949</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741864</id><genstamp>1040</genstamp><numBytes>1335</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16456</id><type>FILE</type><name>mapred-env.cmd</name><replication>2</replication><mtime>1618033427976</mtime><atime>1618033427963</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741865</id><genstamp>1041</genstamp><numBytes>951</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16457</id><type>FILE</type><name>mapred-env.sh</name><replication>2</replication><mtime>1618033427993</mtime><atime>1618033427981</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741866</id><genstamp>1042</genstamp><numBytes>1764</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16458</id><type>FILE</type><name>mapred-queues.xml.template</name><replication>2</replication><mtime>1618033428007</mtime><atime>1618033427997</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741867</id><genstamp>1043</genstamp><numBytes>4113</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16459</id><type>FILE</type><name>httpfs-env.sh</name><replication>2</replication><mtime>1618033428021</mtime><atime>1618033428011</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741868</id><genstamp>1044</genstamp><numBytes>1484</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16460</id><type>FILE</type><name>httpfs-log4j.properties</name><replication>2</replication><mtime>1618033428034</mtime><atime>1618033428024</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741869</id><genstamp>1045</genstamp><numBytes>1657</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16461</id><type>FILE</type><name>httpfs-signature.secret</name><replication>2</replication><mtime>1618033428048</mtime><atime>1618033428038</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741870</id><genstamp>1046</genstamp><numBytes>21</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16462</id><type>FILE</type><name>httpfs-site.xml</name><replication>2</replication><mtime>1618033428065</mtime><atime>1618033428052</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741871</id><genstamp>1047</genstamp><numBytes>620</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16463</id><type>FILE</type><name>kms-acls.xml</name><replication>2</replication><mtime>1618033428081</mtime><atime>1618033428069</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741872</id><genstamp>1048</genstamp><numBytes>3518</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16464</id><type>FILE</type><name>kms-env.sh</name><replication>2</replication><mtime>1618033428095</mtime><atime>1618033428085</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741873</id><genstamp>1049</genstamp><numBytes>1351</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16465</id><type>FILE</type><name>kms-log4j.properties</name><replication>2</replication><mtime>1618033428108</mtime><atime>1618033428098</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741874</id><genstamp>1050</genstamp><numBytes>1860</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16466</id><type>FILE</type><name>kms-site.xml</name><replication>2</replication><mtime>1618033428124</mtime><atime>1618033428113</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741875</id><genstamp>1051</genstamp><numBytes>682</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16467</id><type>FILE</type><name>hadoop-env.sh</name><replication>2</replication><mtime>1618033428137</mtime><atime>1618033428127</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741876</id><genstamp>1052</genstamp><numBytes>16803</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16468</id><type>FILE</type><name>core-site.xml</name><replication>2</replication><mtime>1618033428151</mtime><atime>1618033428141</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741877</id><genstamp>1053</genstamp><numBytes>991</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16469</id><type>FILE</type><name>hdfs-site.xml</name><replication>2</replication><mtime>1618033428164</mtime><atime>1618033428154</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741878</id><genstamp>1054</genstamp><numBytes>994</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16470</id><type>FILE</type><name>mapred-site.xml</name><replication>2</replication><mtime>1618033428179</mtime><atime>1618033428167</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741879</id><genstamp>1055</genstamp><numBytes>862</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16471</id><type>FILE</type><name>yarn-site.xml</name><replication>2</replication><mtime>1618033428193</mtime><atime>1618033428183</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741880</id><genstamp>1056</genstamp><numBytes>1105</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16472</id><type>FILE</type><name>workers</name><replication>2</replication><mtime>1618033428207</mtime><atime>1618033428198</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741881</id><genstamp>1057</genstamp><numBytes>20</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16474</id><type>FILE</type><name>hadoopetc.txt</name><replication>2</replication><mtime>1618033972211</mtime><atime>1618033972120</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741883</id><genstamp>1059</genstamp><numBytes>591</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16478</id><type>FILE</type><name>winin.txt</name><replication>3</replication><mtime>1618043087108</mtime><atime>1618043086530</atime><preferredBlockSize>134217728</preferredBlockSize><permission>AmoXiang:supergroup:0644</permission><blocks><block><id>1073741886</id><genstamp>1062</genstamp><numBytes>25</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>
    <inode><id>16481</id><type>DIRECTORY</type><name>.Trash</name><mtime>1623974400041</mtime><permission>root:supergroup:0700</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
    <inode><id>16482</id><type>DIRECTORY</type><name>210618080000</name><mtime>1623956122416</mtime><permission>root:supergroup:0700</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
    </INodeSection>
    <INodeReferenceSection></INodeReferenceSection><SnapshotSection><snapshotCounter>0</snapshotCounter><numSnapshots>0</numSnapshots></SnapshotSection>
    <INodeDirectorySection><directory><parent>16385</parent><child>16431</child><child>16428</child><child>16400</child><child>16386</child></directory>
    <directory><parent>16386</parent><child>16387</child></directory>
    <directory><parent>16387</parent><child>16481</child></directory>
    <directory><parent>16400</parent><child>16401</child></directory>
    <directory><parent>16401</parent><child>16402</child></directory>
    <directory><parent>16402</parent><child>16410</child><child>16403</child></directory>
    <directory><parent>16403</parent><child>16404</child></directory>
    <directory><parent>16410</parent><child>16411</child></directory>
    <directory><parent>16411</parent><child>16412</child></directory>
    <directory><parent>16412</parent><child>16426</child><child>16425</child><child>16427</child></directory>
    <directory><parent>16428</parent><child>16429</child><child>16438</child><child>16474</child><child>16435</child><child>16436</child><child>16437</child></directory>
    <directory><parent>16429</parent><child>16430</child></directory>
    <directory><parent>16431</parent><child>16432</child></directory>
    <directory><parent>16432</parent><child>16433</child></directory>
    <directory><parent>16438</parent><child>16439</child></directory>
    <directory><parent>16439</parent><child>16454</child><child>16455</child><child>16452</child><child>16468</child><child>16440</child><child>16467</child><child>16441</child><child>16442</child><child>16443</child><child>16469</child><child>16459</child><child>16460</child><child>16461</child><child>16462</child><child>16463</child><child>16464</child><child>16465</child><child>16466</child><child>16446</child><child>16456</child><child>16457</child><child>16458</child><child>16470</child><child>16447</child><child>16444</child><child>16445</child><child>16449</child><child>16472</child><child>16450</child><child>16451</child><child>16471</child><child>16453</child></directory>
    <directory><parent>16447</parent><child>16448</child></directory>
    <directory><parent>16481</parent><child>16482</child></directory>
    <directory><parent>16482</parent><child>16478</child></directory>
    </INodeDirectorySection>
    <FileUnderConstructionSection></FileUnderConstructionSection>
    <SecretManagerSection><currentId>0</currentId><tokenSequenceNumber>0</tokenSequenceNumber><numDelegationKeys>0</numDelegationKeys><numTokens>0</numTokens></SecretManagerSection><CacheManagerSection><nextDirectiveId>1</nextDirectiveId><numDirectives>0</numDirectives><numPools>0</numPools></CacheManagerSection>
    </fsimage>

里面最外层是一个 fsimage 标签，看里面的 inode 标签，这个 inode 表示是 hdfs 中的每一个目录或者文件信息，例如下面这个：

<inode><id>16468</id><type>FILE</type><name>core-site.xml</name><replication>2</replication><mtime>1618033428151</mtime><atime>1618033428141</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks><block><id>1073741877</id><genstamp>1053</genstamp><numBytes>991</numBytes></block>
    </blocks>
    <storagePolicyId>0</storagePolicyId></inode>

id：唯一编号、type：文件类型、name：文件名称、replication：文件的副本数量、mtime：修改时间、atime：访问时间、preferredBlockSize：推荐每一个数据块的大小、permission：权限信息、blocks：包含多少数据块【文件被切成数据块】block：内部的 id 表示是块 id，genstamp 是一个唯一编号、numBytes 表示当前数据块的实际大小，storagePolicyId 表示是数据的存储策略。这个文件中其实就维护了整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表，所以说 fsimage 中存放了 hdfs 最核心的数据。

当我们上传一个文件的时候，上传一个 10G 的文件，假设传到 9G 的时候上传失败了，这个时候就需要重新传，那 hdfs 怎么知道这个文件失败了呢？这个是在 edits 文件中记录的。当我们上传大文件的时候，一个大文件会分为多个 block，那么 edits 文件中就会记录这些 block 的上传状态，只有当全部 block 都上传成功了以后，这个时候 edits 中才会记录这个文件上传成功了，那么我们执行 hdfs dfs -ls 的时候就能查到这个文件了，所以当我们在 hdfs 中执行 ls 命令的时候，其实会查询 fsimage 和 edits 中的内容。为什么会有这两个文件呢？首先，我们固化的一些文件内容是存储在 fsimage 文件中，当前正在上传的文件信息是存储在 edits 文件中。 这个时候我们来查看一下这个 edits 文件的内容，挑一个 edits 文件内容多一些的文件。

hdfs oev -i edits_0000000000000000591-0000000000000000610 -o edits1.xml

分析生成的 edits1.xml 文件，这个地方注意，可能有的 edits 文件生成的 edits.xml 为空，需要多试几个。这个 edits.xml 中可以大致看一下，里面有很多 record。

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
    <EDITS>
      <EDITS_VERSION>-65</EDITS_VERSION>
      <RECORD>
        <OPCODE>OP_START_LOG_SEGMENT</OPCODE>
        <DATA>
          <TXID>591</TXID>
        </DATA>
      </RECORD>
      <RECORD>
        <OPCODE>OP_ADD</OPCODE>
        <DATA>
          <TXID>592</TXID>
          <LENGTH>0</LENGTH>
          <INODEID>16483</INODEID>
          <PATH>/anaconda-ks.cfg._COPYING_</PATH>
          <REPLICATION>2</REPLICATION>
          <MTIME>1624011792952</MTIME>
          <ATIME>1624011792952</ATIME>
          <BLOCKSIZE>134217728</BLOCKSIZE>
          <CLIENT_NAME>DFSClient_NONMAPREDUCE_-840979681_1</CLIENT_NAME>
          <CLIENT_MACHINE>192.168.61.100</CLIENT_MACHINE>
          <OVERWRITE>true</OVERWRITE>
          <PERMISSION_STATUS>
            <USERNAME>root</USERNAME>
            <GROUPNAME>supergroup</GROUPNAME>
            <MODE>420</MODE>
          </PERMISSION_STATUS>
          <ERASURE_CODING_POLICY_ID>0</ERASURE_CODING_POLICY_ID>
          <RPC_CLIENTID>46b1020f-69d5-46d2-bfe7-ce4dfece4cc4</RPC_CLIENTID>
          <RPC_CALLID>3</RPC_CALLID>
        </DATA>
      </RECORD>
      <RECORD>
        <OPCODE>OP_ALLOCATE_BLOCK_ID</OPCODE>
        <DATA>
          <TXID>593</TXID>
          <BLOCK_ID>1073741888</BLOCK_ID>
        </DATA>
      </RECORD>
      <RECORD>
        <OPCODE>OP_SET_GENSTAMP_V2</OPCODE>
        <DATA>
          <TXID>594</TXID>
          <GENSTAMPV2>1064</GENSTAMPV2>
        </DATA>
      </RECORD>
      <RECORD>
        <OPCODE>OP_ADD_BLOCK</OPCODE>
        <DATA>
          <TXID>595</TXID>
          <PATH>/anaconda-ks.cfg._COPYING_</PATH>
          <BLOCK>
            <BLOCK_ID>1073741888</BLOCK_ID>
            <NUM_BYTES>0</NUM_BYTES>
            <GENSTAMP>1064</GENSTAMP>
          </BLOCK>
          <RPC_CLIENTID/>
          <RPC_CALLID>-2</RPC_CALLID>
        </DATA>
      </RECORD>
      <RECORD>
        <OPCODE>OP_CLOSE</OPCODE>
        <DATA>
          <TXID>596</TXID>
          <LENGTH>0</LENGTH>
          <INODEID>0</INODEID>
          <PATH>/anaconda-ks.cfg._COPYING_</PATH>
          <REPLICATION>2</REPLICATION>
          <MTIME>1624011793613</MTIME>
          <ATIME>1624011792952</ATIME>
          <BLOCKSIZE>134217728</BLOCKSIZE>
          <CLIENT_NAME/>
          <CLIENT_MACHINE/>
          <OVERWRITE>false</OVERWRITE>
          <BLOCK>
            <BLOCK_ID>1073741888</BLOCK_ID>
            <NUM_BYTES>1243</NUM_BYTES>
            <GENSTAMP>1064</GENSTAMP>
          </BLOCK>
          <PERMISSION_STATUS>
            <USERNAME>root</USERNAME>
            <GROUPNAME>supergroup</GROUPNAME>
            <MODE>420</MODE>
          </PERMISSION_STATUS>
        </DATA>
      </RECORD>
      <RECORD>
        <OPCODE>OP_RENAME_OLD</OPCODE>
        <DATA>
          <TXID>597</TXID>
          <LENGTH>0</LENGTH>
          <SRC>/anaconda-ks.cfg._COPYING_</SRC>
          <DST>/anaconda-ks.cfg</DST>
          <TIMESTAMP>1624011793627</TIMESTAMP>
          <RPC_CLIENTID>46b1020f-69d5-46d2-bfe7-ce4dfece4cc4</RPC_CLIENTID>
          <RPC_CALLID>9</RPC_CALLID>
        </DATA>
      </RECORD>
      <RECORD>
        <OPCODE>OP_ADD</OPCODE>
        <DATA>
          <TXID>598</TXID>
          <LENGTH>0</LENGTH>
          <INODEID>16484</INODEID>
          <PATH>/hadoop-3.2.0.tar.gz._COPYING_</PATH>
          <REPLICATION>2</REPLICATION>
          <MTIME>1624012112971</MTIME>
          <ATIME>1624012112971</ATIME>
          <BLOCKSIZE>134217728</BLOCKSIZE>
          <CLIENT_NAME>DFSClient_NONMAPREDUCE_1999384392_1</CLIENT_NAME>
          <CLIENT_MACHINE>192.168.61.100</CLIENT_MACHINE>
          <OVERWRITE>true</OVERWRITE>
          <PERMISSION_STATUS>
            <USERNAME>root</USERNAME>
            <GROUPNAME>supergroup</GROUPNAME>
            <MODE>420</MODE>
          </PERMISSION_STATUS>
          <ERASURE_CODING_POLICY_ID>0</ERASURE_CODING_POLICY_ID>
          <RPC_CLIENTID>d6137b17-2c40-4351-b865-0ab6c33c8ab6</RPC_CLIENTID>
          <RPC_CALLID>3</RPC_CALLID>
        </DATA>
      </RECORD>
      <RECORD>
        <OPCODE>OP_ALLOCATE_BLOCK_ID</OPCODE>
        <DATA>
          <TXID>599</TXID>
          <BLOCK_ID>1073741889</BLOCK_ID>
        </DATA>
      </RECORD>
      <RECORD>
        <OPCODE>OP_SET_GENSTAMP_V2</OPCODE>
        <DATA>
          <TXID>600</TXID>
          <GENSTAMPV2>1065</GENSTAMPV2>
        </DATA>
      </RECORD>
      <RECORD>
        <OPCODE>OP_ADD_BLOCK</OPCODE>
        <DATA>
          <TXID>601</TXID>
          <PATH>/hadoop-3.2.0.tar.gz._COPYING_</PATH>
          <BLOCK>
            <BLOCK_ID>1073741889</BLOCK_ID>
            <NUM_BYTES>0</NUM_BYTES>
            <GENSTAMP>1065</GENSTAMP>
          </BLOCK>
          <RPC_CLIENTID/>
          <RPC_CALLID>-2</RPC_CALLID>
        </DATA>
      </RECORD>
      <RECORD>
        <OPCODE>OP_ALLOCATE_BLOCK_ID</OPCODE>
        <DATA>
          <TXID>602</TXID>
          <BLOCK_ID>1073741890</BLOCK_ID>
        </DATA>
      </RECORD>
      <RECORD>
        <OPCODE>OP_SET_GENSTAMP_V2</OPCODE>
        <DATA>
          <TXID>603</TXID>
          <GENSTAMPV2>1066</GENSTAMPV2>
        </DATA>
      </RECORD>
      <RECORD>
        <OPCODE>OP_ADD_BLOCK</OPCODE>
        <DATA>
          <TXID>604</TXID>
          <PATH>/hadoop-3.2.0.tar.gz._COPYING_</PATH>
          <BLOCK>
            <BLOCK_ID>1073741889</BLOCK_ID>
            <NUM_BYTES>134217728</NUM_BYTES>
            <GENSTAMP>1065</GENSTAMP>
          </BLOCK>
          <BLOCK>
            <BLOCK_ID>1073741890</BLOCK_ID>
            <NUM_BYTES>0</NUM_BYTES>
            <GENSTAMP>1066</GENSTAMP>
          </BLOCK>
          <RPC_CLIENTID/>
          <RPC_CALLID>-2</RPC_CALLID>
        </DATA>
      </RECORD>
      <RECORD>
        <OPCODE>OP_ALLOCATE_BLOCK_ID</OPCODE>
        <DATA>
          <TXID>605</TXID>
          <BLOCK_ID>1073741891</BLOCK_ID>
        </DATA>
      </RECORD>
      <RECORD>
        <OPCODE>OP_SET_GENSTAMP_V2</OPCODE>
        <DATA>
          <TXID>606</TXID>
          <GENSTAMPV2>1067</GENSTAMPV2>
        </DATA>
      </RECORD>
      <RECORD>
        <OPCODE>OP_ADD_BLOCK</OPCODE>
        <DATA>
          <TXID>607</TXID>
          <PATH>/hadoop-3.2.0.tar.gz._COPYING_</PATH>
          <BLOCK>
            <BLOCK_ID>1073741890</BLOCK_ID>
            <NUM_BYTES>134217728</NUM_BYTES>
            <GENSTAMP>1066</GENSTAMP>
          </BLOCK>
          <BLOCK>
            <BLOCK_ID>1073741891</BLOCK_ID>
            <NUM_BYTES>0</NUM_BYTES>
            <GENSTAMP>1067</GENSTAMP>
          </BLOCK>
          <RPC_CLIENTID/>
          <RPC_CALLID>-2</RPC_CALLID>
        </DATA>
      </RECORD>
      <RECORD>
        <OPCODE>OP_CLOSE</OPCODE>
        <DATA>
          <TXID>608</TXID>
          <LENGTH>0</LENGTH>
          <INODEID>0</INODEID>
          <PATH>/hadoop-3.2.0.tar.gz._COPYING_</PATH>
          <REPLICATION>2</REPLICATION>
          <MTIME>1624012115911</MTIME>
          <ATIME>1624012112971</ATIME>
          <BLOCKSIZE>134217728</BLOCKSIZE>
          <CLIENT_NAME/>
          <CLIENT_MACHINE/>
          <OVERWRITE>false</OVERWRITE>
          <BLOCK>
            <BLOCK_ID>1073741889</BLOCK_ID>
            <NUM_BYTES>134217728</NUM_BYTES>
            <GENSTAMP>1065</GENSTAMP>
          </BLOCK>
          <BLOCK>
            <BLOCK_ID>1073741890</BLOCK_ID>
            <NUM_BYTES>134217728</NUM_BYTES>
            <GENSTAMP>1066</GENSTAMP>
          </BLOCK>
          <BLOCK>
            <BLOCK_ID>1073741891</BLOCK_ID>
            <NUM_BYTES>77190019</NUM_BYTES>
            <GENSTAMP>1067</GENSTAMP>
          </BLOCK>
          <PERMISSION_STATUS>
            <USERNAME>root</USERNAME>
            <GROUPNAME>supergroup</GROUPNAME>
            <MODE>420</MODE>
          </PERMISSION_STATUS>
        </DATA>
      </RECORD>
      <RECORD>
        <OPCODE>OP_RENAME_OLD</OPCODE>
        <DATA>
          <TXID>609</TXID>
          <LENGTH>0</LENGTH>
          <SRC>/hadoop-3.2.0.tar.gz._COPYING_</SRC>
          <DST>/hadoop-3.2.0.tar.gz</DST>
          <TIMESTAMP>1624012115914</TIMESTAMP>
          <RPC_CLIENTID>d6137b17-2c40-4351-b865-0ab6c33c8ab6</RPC_CLIENTID>
          <RPC_CALLID>10</RPC_CALLID>
        </DATA>
      </RECORD>
      <RECORD>
        <OPCODE>OP_END_LOG_SEGMENT</OPCODE>
        <DATA>
          <TXID>610</TXID>
        </DATA>
      </RECORD>
    </EDITS>

每一个 record 代表不同的操作，OP\_ADD：执行上传操作、OP\_ALLOCATE\_BLOCK\_ID：申请block块id、OP\_SET\_GENSTAMP\_V2：设置GENSTAMP、OP\_ADD\_BLOCK：添加block块、OP\_CLOSE：关闭上传操作。这里面的每一个 record 都有一个事务 id，txid，事务id 是连续的，其实一个 put 操作会在 edits 文件中产生很多的 record，对应的就是很多步骤，这些步骤对我们是屏蔽的。注意了，所有对 hdfs 的增删改操作都会在 edits 文件中留下信息，那么 fsimage 文件中的内容是从哪来的？其实是这样的，edits 文件会定期合并到 fsimage 文件中。

current 目录中还有一个 seen\_txid 文件，HDFS format 之后是 0，它代表的是 NameNode 里面的 `edits*` 文件的尾数，NameNode 重启的时候，会按照 seen\_txid 的数字，顺序从头跑 edits\_0000001~到 seen\_txid 的数字。如果根据对应的 seen\_txid 无法加载到对应的文件，NameNode 进程将不会完成启动以保护数据一致性。

[root@bigdata01 current]# cat seen_txid 
    611

最后这个 current 目录下面还有一个 VERSION 文件

[root@bigdata01 current]# cat VERSION
    #Fri Jun 18 01:05:47 CST 2021
    namespaceID=1475726213
    clusterID=CID-11923520-0c55-45b9-81c7-efc7e9e64f7b
    cTime=1617951604224
    storageType=NAME_NODE
    blockpoolID=BP-1991682159-192.168.61.100-1617951604224
    layoutVersion=-65

这里面显示的集群的一些信息、当重新对 hdfs 格式化 之后，这里面的信息会变化。

**DataNode 介绍**

DataNode 是提供真实文件数据的存储服务。针对 DataNode 主要掌握两个概念，一个是 block，一个是 replication。首先是 block，HDFS 会按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块称一个 Block， HDFS 默认 Block 大小是 128MB。Block 块是 HDFS 读写数据的基本单位，不管你的文件是文本文件还是视频或者音频文件，针对 HDFS 而言都是字节。上传的文件，它的 block 信息可以在 fsimage 文件中看到，也可以在 hdfs webui 上面看到，里面有 block 的 id 信息，并且也会显示这个数据在哪个节点上面。  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 20][]  
这里显示在 bigdata02 和 bigdata03 上面都有，可以去查看一下，DataNode 中数据的具体存储位置是由 dfs.datanode.data.dir 来控制的，通过查询 hdfs-default.xml 可以知道，具体的位置在这里

<property>
      <name>dfs.datanode.data.dir</name>
      <value>file://${hadoop.tmp.dir}/dfs/data</value>
      <description>Determines where on the local filesystem an DFS data node
      should store its blocks.  If this is a comma-delimited
      list of directories, then data will be stored in all named
      directories, typically on different devices. The directories should be tagged
      with corresponding storage types ([SSD]/[DISK]/[ARCHIVE]/[RAM_DISK]) for HDFS
      storage policies. The default storage type will be DISK if the directory does
      not have a storage type tagged explicitly. Directories that do not exist will
      be created if local filesystem permission allows.
      </description>
    </property>

连接到 bigdata02 这个节点上去看一下：

[root@bigdata01 hadoop]# ssh bigdata02
    Last login: Fri Jun 18 17:30:45 2021 from 192.168.61.1
    [root@bigdata02 ~]# cd /data/hadoop_repo/dfs/data/
    [root@bigdata02 data]# ll
    total 4
    drwxr-xr-x. 3 root root 71 Apr  9 15:04 current
    -rw-r--r--. 1 root root 14 Jun 18 02:54 in_use.lock

然后进入 current 目录，继续一路往下走：

[root@bigdata02 data]# cd current/
    [root@bigdata02 current]# ll
    total 4
    drwx------. 4 root root  54 Jun 18 02:54 BP-1991682159-192.168.61.100-1617951604224
    -rw-r--r--. 1 root root 229 Jun 18 02:54 VERSION
    You have new mail in /var/spool/mail/root
    [root@bigdata02 current]# cd BP-1991682159-192.168.61.100-1617951604224/
    [root@bigdata02 BP-1991682159-192.168.61.100-1617951604224]# ll
    total 4
    drwxr-xr-x. 4 root root  64 Jun 18 02:45 current
    -rw-r--r--. 1 root root 166 Jun 18 01:05 scanner.cursor
    drwxr-xr-x. 2 root root   6 Jun 18 02:54 tmp
    [root@bigdata02 BP-1991682159-192.168.61.100-1617951604224]# cd current/
    You have new mail in /var/spool/mail/root
    [root@bigdata02 current]# ll
    total 8
    -rw-r--r--. 1 root root  20 Jun 18 02:45 dfsUsed
    drwxr-xr-x. 3 root root  21 Apr  9 15:47 finalized
    drwxr-xr-x. 2 root root   6 Jun 18 18:28 rbw
    -rw-r--r--. 1 root root 146 Jun 18 02:54 VERSION
    [root@bigdata02 current]# cd finalized/
    [root@bigdata02 finalized]# ll
    total 0
    drwxr-xr-x. 3 root root 21 Apr  9 15:47 subdir0
    [root@bigdata02 finalized]# cd subdir0/
    [root@bigdata02 subdir0]# ll
    total 4
    drwxr-xr-x. 2 root root 4096 Jun 18 18:28 subdir0
    [root@bigdata02 subdir0]# cd subdir0/
    [root@bigdata02 subdir0]# ll
    total 340820
    -rw-r--r--. 1 root root       449 Apr  9 15:48 blk_1073741843
    -rw-r--r--. 1 root root        11 Apr  9 15:48 blk_1073741843_1019.meta
    -rw-r--r--. 1 root root     56010 Apr  9 15:48 blk_1073741844
    -rw-r--r--. 1 root root       447 Apr  9 15:48 blk_1073741844_1020.meta
    -rw-r--r--. 1 root root    218831 Apr  9 15:48 blk_1073741845
    -rw-r--r--. 1 root root      1719 Apr  9 15:48 blk_1073741845_1021.meta
    -rw-r--r--. 1 root root        71 Apr 10 13:36 blk_1073741847
    -rw-r--r--. 1 root root        11 Apr 10 13:36 blk_1073741847_1023.meta
    -rw-r--r--. 1 root root        71 Apr 10 13:39 blk_1073741848
    -rw-r--r--. 1 root root        11 Apr 10 13:39 blk_1073741848_1024.meta
    -rw-r--r--. 1 root root        71 Apr 10 13:39 blk_1073741849
    -rw-r--r--. 1 root root        11 Apr 10 13:39 blk_1073741849_1025.meta
    -rw-r--r--. 1 root root      3999 Apr 10 13:43 blk_1073741850
    -rw-r--r--. 1 root root        39 Apr 10 13:43 blk_1073741850_1026.meta
    -rw-r--r--. 1 root root      3321 Apr 10 13:43 blk_1073741851
    -rw-r--r--. 1 root root        35 Apr 10 13:43 blk_1073741851_1027.meta
    -rw-r--r--. 1 root root     11392 Apr 10 13:43 blk_1073741852
    -rw-r--r--. 1 root root        99 Apr 10 13:43 blk_1073741852_1028.meta
    -rw-r--r--. 1 root root      3414 Apr 10 13:43 blk_1073741853
    -rw-r--r--. 1 root root        35 Apr 10 13:43 blk_1073741853_1029.meta
    -rw-r--r--. 1 root root      2316 Apr 10 13:43 blk_1073741854
    -rw-r--r--. 1 root root        27 Apr 10 13:43 blk_1073741854_1030.meta
    -rw-r--r--. 1 root root      2697 Apr 10 13:43 blk_1073741855
    -rw-r--r--. 1 root root        31 Apr 10 13:43 blk_1073741855_1031.meta
    -rw-r--r--. 1 root root     13994 Apr 10 13:43 blk_1073741856
    -rw-r--r--. 1 root root       119 Apr 10 13:43 blk_1073741856_1032.meta
    -rw-r--r--. 1 root root      3880 Apr 10 13:43 blk_1073741857
    -rw-r--r--. 1 root root        39 Apr 10 13:43 blk_1073741857_1033.meta
    -rw-r--r--. 1 root root      2642 Apr 10 13:43 blk_1073741858
    -rw-r--r--. 1 root root        31 Apr 10 13:43 blk_1073741858_1034.meta
    -rw-r--r--. 1 root root      2250 Apr 10 13:43 blk_1073741859
    -rw-r--r--. 1 root root        27 Apr 10 13:43 blk_1073741859_1035.meta
    -rw-r--r--. 1 root root      6056 Apr 10 13:43 blk_1073741860
    -rw-r--r--. 1 root root        55 Apr 10 13:43 blk_1073741860_1036.meta
    -rw-r--r--. 1 root root      1940 Apr 10 13:43 blk_1073741861
    -rw-r--r--. 1 root root        23 Apr 10 13:43 blk_1073741861_1037.meta
    -rw-r--r--. 1 root root      2591 Apr 10 13:43 blk_1073741862
    -rw-r--r--. 1 root root        31 Apr 10 13:43 blk_1073741862_1038.meta
    -rw-r--r--. 1 root root      8260 Apr 10 13:43 blk_1073741863
    -rw-r--r--. 1 root root        75 Apr 10 13:43 blk_1073741863_1039.meta
    -rw-r--r--. 1 root root      1335 Apr 10 13:43 blk_1073741864
    -rw-r--r--. 1 root root        19 Apr 10 13:43 blk_1073741864_1040.meta
    -rw-r--r--. 1 root root       951 Apr 10 13:43 blk_1073741865
    -rw-r--r--. 1 root root        15 Apr 10 13:43 blk_1073741865_1041.meta
    -rw-r--r--. 1 root root      1764 Apr 10 13:43 blk_1073741866
    -rw-r--r--. 1 root root        23 Apr 10 13:43 blk_1073741866_1042.meta
    -rw-r--r--. 1 root root      4113 Apr 10 13:43 blk_1073741867
    -rw-r--r--. 1 root root        43 Apr 10 13:43 blk_1073741867_1043.meta
    -rw-r--r--. 1 root root      1484 Apr 10 13:43 blk_1073741868
    -rw-r--r--. 1 root root        19 Apr 10 13:43 blk_1073741868_1044.meta
    -rw-r--r--. 1 root root      1657 Apr 10 13:43 blk_1073741869
    -rw-r--r--. 1 root root        23 Apr 10 13:43 blk_1073741869_1045.meta
    -rw-r--r--. 1 root root        21 Apr 10 13:43 blk_1073741870
    -rw-r--r--. 1 root root        11 Apr 10 13:43 blk_1073741870_1046.meta
    -rw-r--r--. 1 root root       620 Apr 10 13:43 blk_1073741871
    -rw-r--r--. 1 root root        15 Apr 10 13:43 blk_1073741871_1047.meta
    -rw-r--r--. 1 root root      3518 Apr 10 13:43 blk_1073741872
    -rw-r--r--. 1 root root        35 Apr 10 13:43 blk_1073741872_1048.meta
    -rw-r--r--. 1 root root      1351 Apr 10 13:43 blk_1073741873
    -rw-r--r--. 1 root root        19 Apr 10 13:43 blk_1073741873_1049.meta
    -rw-r--r--. 1 root root      1860 Apr 10 13:43 blk_1073741874
    -rw-r--r--. 1 root root        23 Apr 10 13:43 blk_1073741874_1050.meta
    -rw-r--r--. 1 root root       682 Apr 10 13:43 blk_1073741875
    -rw-r--r--. 1 root root        15 Apr 10 13:43 blk_1073741875_1051.meta
    -rw-r--r--. 1 root root     16803 Apr 10 13:43 blk_1073741876
    -rw-r--r--. 1 root root       139 Apr 10 13:43 blk_1073741876_1052.meta
    -rw-r--r--. 1 root root       991 Apr 10 13:43 blk_1073741877
    -rw-r--r--. 1 root root        15 Apr 10 13:43 blk_1073741877_1053.meta
    -rw-r--r--. 1 root root       994 Apr 10 13:43 blk_1073741878
    -rw-r--r--. 1 root root        15 Apr 10 13:43 blk_1073741878_1054.meta
    -rw-r--r--. 1 root root       862 Apr 10 13:43 blk_1073741879
    -rw-r--r--. 1 root root        15 Apr 10 13:43 blk_1073741879_1055.meta
    -rw-r--r--. 1 root root      1105 Apr 10 13:43 blk_1073741880
    -rw-r--r--. 1 root root        19 Apr 10 13:43 blk_1073741880_1056.meta
    -rw-r--r--. 1 root root        20 Apr 10 13:43 blk_1073741881
    -rw-r--r--. 1 root root        11 Apr 10 13:43 blk_1073741881_1057.meta
    -rw-r--r--. 1 root root       591 Apr 10 13:52 blk_1073741883
    -rw-r--r--. 1 root root        15 Apr 10 13:52 blk_1073741883_1059.meta
    -rw-r--r--. 1 root root        25 Apr 10 16:24 blk_1073741886
    -rw-r--r--. 1 root root        11 Apr 10 16:24 blk_1073741886_1062.meta
    -rw-r--r--. 1 root root      1243 Jun 18 18:23 blk_1073741888
    -rw-r--r--. 1 root root        19 Jun 18 18:23 blk_1073741888_1064.meta
    -rw-r--r--. 1 root root 134217728 Jun 18 18:28 blk_1073741889
    -rw-r--r--. 1 root root   1048583 Jun 18 18:28 blk_1073741889_1065.meta
    -rw-r--r--. 1 root root 134217728 Jun 18 18:28 blk_1073741890
    -rw-r--r--. 1 root root   1048583 Jun 18 18:28 blk_1073741890_1066.meta
    -rw-r--r--. 1 root root  77190019 Jun 18 18:28 blk_1073741891
    -rw-r--r--. 1 root root    603055 Jun 18 18:28 blk_1073741891_1067.meta

**这里面就有很多的 block块 了，注意: 这里面的 `.meta` 文件也是做校验用的。** 根据前面看到的 blockid 信息到这对应的找到文件，可以直接查看，发现文件内容就是我们之前上传上去的内容。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 21]  
直接查看：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 22]  
**注意：这个 block 中的内容可能只是文件的一部分，如果你的文件较大的话，就会分为多个 block 存储，默认 hadoop3 中一个 block 的大小为 128M。根据字节进行截取，截取到 128M 就是一个 block。如果文件大小没有默认的 block 块大，那最终就只有一个 block。**

HDFS 中，如果一个文件小于一个数据块的大小，那么并不会占用整个数据块的存储空间。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 23]  
Size 是表示我们上传文件的实际大小，Block Size 是指文件的最大块大小。注意：这个 block 块是 hdfs 产生的，如果我们直接把文件上传到这个 block 文件所在的目录，这个时候 hdfs 是不识别的，没有用的。假设我们上传了两个 10M 的文件 又上传了一个 200M 的文件。问1：会产生多少个block块？ 4个。问2：在hdfs中会显示几个文件？3个。副本机制在之前已经介绍过，这里就不再赘述。

**SecondaryNameNode 的作用是合并 fsimage 和 edits 文件。**

NameNode 的存储目录树的信息，而目录树的信息则存放在 fsimage 文件中，当 NameNode 启动的时候会首先读取整个 fsimage 文件，将信息装载到内存中。Edits 文件存储日志信息，在 NameNode 上所有对目录的最新操作，增加，删除，修改等都会保存到 edits 文件中，并不会同步到 fsimage 中，当 NameNode 关闭的时候，也不会将 fsimage 和 edits 进行合并。所以当 NameNode 启动的时候，首先装载 fsimage 文件，然后按照 edits 中的记录执行一遍所有记录的操作，最后把信息的目录树写入 fsimage 中，并删掉 edits 文件，重新启用新的 edits 文件。但是如果 NameNode 执行了很多操作的话，就会导致 edits 文件会很大，那么在下一次启动的过程中，就会导致 NameNode 的启动速度很慢，慢到几个小时也不是不可能，所以出现了 SecondaryNameNode。

**SecondaryNameNode 唤醒合并的规则。**

SecondaryNameNode 会按照一定的规则被唤醒，进行 fsimage 和 edits 的合并，防止文件过大。合并的过程是，将 NameNode 的 fsimage 和 edits 下载到 SecondryNameNode 所在的节点的数据目录，然后合并到 fsimage 文件，最后上传到 NameNode 节点。合并的过程中不影响 NameNode 节点的操作。SecondaryNameNode 被唤醒的条件可以在 core-site.xml 中进行配置：fs.checkpoint.period：单位秒，默认值 3600(1小时)，检查点的间隔时间，当距离上次检查点执行超过该时间后启动检查点。fs.checkpoint.size：单位字节，默认值 67108864(64M)，当 edits 文件超过该大小后，启动检查点。

<property>
     <name>fs.checkpoint.period</name>
     <value>3600</value>
    </property>
    
    <property>
     <name>fs.checkpoint.size</name>
     <value>67108864</value>
    </property>

**SecondaryNameNode 一般处于休眠状态，当两个检查点满足一个，即唤醒 SecondaryNameNode 执行合并过程。**

**SecondaryNameNode 工作过程**

1.  第一步：将 hdfs 更新记录写入一个新的文件—— edits.new。
2.  第二步：将 fsimage 和 editlog 通过 http 协议发送至 SecondaryNameNode。
3.  第三步：将 fsimage 与 editlog 合并，生成一个新的文件—— fsimage.ckpt。这步之所以要在SecondaryNameNode 中进行，是因为比较耗时，如果在 NameNode 中进行，或导致整个系统卡顿。
4.  第四步：将生成的 fsimage.ckpt 通过 http 协议发送至 NameNode。
5.  第五步：重命名 fsimage.ckpt 为 fsimage，edits.new 为 edits。
6.  第六步：等待下一次 checkpoint 触发 SecondaryNameNode 进行工作，一直这样循环操作。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 24]  
    **注意：SecondaryNameNode 在合并 edits 和 fsimage 时需要消耗的内存和 NameNode 差不多, 所以一般把 NameNode 和 SecondaryNameNode 放在不同的机器上。**

# 十、HDFS 的高可用和高扩展机制 #

## 10.1 高可用 ##

**1、HDFS 的高可用介绍**

在 Hadoop 中，NameNode 所处的位置是非常重要的，整个 HDFS 文件系统的元数据信息都由 NameNode 来管理，NameNode 的可用性直接决定了 Hadoop 的可用性，一旦 NameNode 进程不能工作了，就会影响整个集群的正常使用。 在典型的 HA 集群中，两台独立的机器被配置为 NameNode。在工作集群中，NameNode 机器中的一个处于 Active 状态，另一个处于 Standby 状态。Active NameNode 负责群集中的所有客户端操作，而 Standby 充当从服务器。Standby 机器保持足够的状态以提供快速故障切换(如果需要)。![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 25]  
**2、组件介绍**

1.  Active NameNode 和 Standby NameNode：两台 NameNode 形成互备，一台处于 Active 状态，为主 NameNode，另外一台处于 Standby 状态，为备 NameNode，只有主 NameNode 才能对外提供读写服务。
2.  主备切换控制器ZKFC(ZKFailoverController)：ZKFailoverController 作为独立的进程运行，对 NameNode 的主备切换进行总体控制。ZKFailoverController 能及时检测到 NameNode 的健康状况，在主 NameNode 故障时借助 Zookeeper 实现自动的主备选举和切换。
3.  Zookeeper 集群：为主备切换控制器提供主备选举支持。
4.  元数据信息共享存储系统：共享存储系统是实现 NameNode 的高可用最为关键的部分，共享存储系统保存了 NameNode 在运行过程中所产生的 HDFS 的元数据。主 NameNode 和备用 NameNode 通过共享存储系统实现元数据同步。在进行主备切换的时候，新的主 NameNode 在确认元数据完全同步之后才能继续对外提供服务。原信息共享存储系统主要用于保存 EditLog，并不保存 FSImage 文件。FSImage 文件还是在 NameNode 的本地磁盘上。共享存储采用多个称为 JournalNode 的节点组成的 JournalNode 集群来存储 EditLog。每个 JournalNode 保存同样的 EditLog 副本。每次 NameNode 写 EditLog 的时候，除了向本地磁盘写入 EditLog 之外，也会并行地向 JournalNode 集群之中的每一个 JournalNode 发送写请求，只要大多数 的 JournalNode 节点返回成功就认为向 JournalNode 集群写入 EditLog 成功。如果有 2N+1 台 JournalNode，那么根据大多数的原则，最多可以容忍有 N 台 JournalNode 节点挂掉。
5.  DataNode 节点：除了通过共享存储系统共享 HDFS 的元数据信息之外，主 NameNode 和备 NameNode 还需要共享 HDFS 的数据块和 DataNode 之间的映

**3、NameNode 的主备切换实现**

NameNode 主备切换主要由 ZKFailoverController、HealthMonitor 和 ActiveStandbyElector 这 3 个组件来协同实现：

1.  ZKFailoverController 作为 NameNode 机器上一个独立的进程启动(在 HDFS 启动脚本之中的进程名为 ZKFC)，启动的时候会创建 HealthMonitor 和 ActiveStandbyElector 这两个主要的内部组件，ZKFailoverController 在创建 HealthMonitor 和 ActiveStandbyElector 的同时，也会向 HealthMonitor 和 ActiveStandbyElector 注册相应的回调方法。
2.  HealthMonitor 主要负责检测 NameNode 的健康状态，如果检测到 NameNode 的状态发生变化，会回调 ZKFailoverController 的相应方法进行自动的主备选举。
3.  ActiveStandbyElector 主要负责完成自动的主备选举，内部封装了 Zookeeper 的处理逻辑，一旦 Zookeeper 主备选举完成，会回调 ZKFailoverController 的相应方法来进行 NameNode 的主备状态切换。

NameNode 实现主备切换的流程有以下几步：

1.  HealthMonitor 初始化完成之后会启动内部的线程来定时调用对应 NameNode 的 HAServiceProtocol RPC 接口的方法，对 NameNode 的健康状态进行检测。
2.  HealthMonitor 如果检测到 NameNode 的健康状态发生变化，会回调 ZKFailoverController 注册的相应方法进行处理。
3.  如果 ZKFailoverController 判断需要进行主备切换，会首先使用 ActiveStandbyElector 来进行自动的主备选举。
4.  ActiveStandbyElector 与 Zookeeper 进行交互完成自动的主备选举。
5.  ActiveStandbyElector 在主备选举完成后，会回调 ZKFailoverController 的相应方法来通知当前的 NameNode 成为主 NameNode 或备 NameNode。
6.  ZKFailoverController 调用对应 NameNode 的 HAServiceProtocol RPC 接口的方法将 NameNode 转换为 Active 状态或 Standby 状态。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 26]

## 10.2 高扩展机制 ##

**1、背景概述。**

单 NameNode 的架构使得 HDFS 在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，NameNode 进程使用的内存可能会达到上百G，NameNode 成为了性能的瓶颈。因而提出了 NameNode **水平扩展方案-- Federation(联邦机制)**。

**2、Federation 架构设计。**

HDFS Federation 是解决 NameNode 内存瓶颈问题的水平横向扩展方案。Federation 意味着在集群中将会有多个 NameNode 和 Namepace。这些 Namenode 之间是联合的，也就是说，他们之间相互独立且不需要互相协调，各自分工，管理自己的区域。分布式的 DataNode 被用作通用的数据块存储存储设备。每个 DataNode 要向集群中所有的 DataNode 注册，且周期性地向所有 DataNode 发送心跳和块报告，并执行来自所有 DataNode 的命令。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 27]  
Federation一个典型的例子就是上面提到的 NameNode 内存过高问题，我们完全可以将上面部分大的文件目录移到另外一个 NameNode 上做管理，更重要的一点在于，这些 NameNode 是共享集群中所有的 DataNode 的，它们还是在同一个集群内的。这时候在 DataNode 上就不仅仅存储一个 Block Pool 下的数据了，而是多个 。概括起来：多个 NN 共用一个集群里的存储资源，每个 NN 都可以单独对外提供服务。每个 NN 都会定义一个存储池(Block Pool)，有单独的 id，每个 DN 都为所有存储池提供存储。DN 会按照存储池 id 向其对应的 NN 汇报块信息，同时，DN 会向所有 NN 汇报本地存储可用资源情况。

**3、HDFS Federation 加高可用。**

HDFS Federation 并没有完全解决单点故障问题。虽然 NameNode/NameSpace 存在多个，但是从单个 NameNode/NameSpace 看，仍然存在单点故障：如果某个 NameNode 挂掉了，其管理的相应的文件便不可以访问。Federation 中每个 NameNode 仍然像之前 HDFS 上实现一样，配有一个 SecondaryNamenode，以便主 NameNode 挂掉一下，用于还原元数据信息。所以一般集群规模真的很大的时候，会采用 HA+Federation 的部署方案。也就是每个联合的 NameNode 都是 HA 的。

**部分笔记参考徐葳(作者)老师！！！！猎豹移动大数据技术专家，中科院大数据研究院大数据技术专家，专注于大数据技术开发与研究，拥有8年一线互联网公司软件研发经验，曾为移动研究院、中移在线、中国联通、新华三等企业进行大数据技术企培，著有《Flink入门与实战》一书。**

[2021_ _ Hadoop]: https://blog.csdn.net/xw1680/article/details/115426714
[2021_ _Hadoop]: https://blog.csdn.net/xw1680/article/details/115434353
[2021_ _Hadoop 1]: https://blog.csdn.net/xw1680/article/details/115500104
[2021_ _Hadoop _ HDFS]: https://blog.csdn.net/xw1680/article/details/115555808
[2021_ _Zookeeper]: https://blog.csdn.net/xw1680/article/details/118002073
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70]: /images/20221005/ac11387f4a304f929fb33852391217d3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 1]: /images/20221005/849a1767ba394d59853defd46cd3b567.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 2]: /images/20221005/831d0e69a0b54068b469d271b3a179d3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 3]: /images/20221005/70ea79baa73c4188b13cc73ee7ab83b0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 4]: /images/20221005/90d98ac47b8f4df2b21e0c92c9cfc91d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 5]: /images/20221005/af280f48018e41d58aa4087c1db835af.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 6]: /images/20221005/59f6ade40ebb4ec1a4436472d0420759.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 7]: /images/20221005/7ea34dc7bf1346109272a7b3b239201d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 8]: /images/20221005/607d26e0457f4e3fb98aa4f0f8610e5c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 9]: /images/20221005/88455c0d996c414cbc546f383669b7d4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 10]: /images/20221005/64d4cda57e6045feb2bfefc122f09cb6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 11]: /images/20221005/e53993b2bf0048fb883e5319fc391327.png
[20210618024518440.png]: /images/20221005/85ed06917c544d20bbbd69c81a3562e0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 12]: /images/20221005/898dc623501f4c54837967b8dc03743e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 13]: /images/20221005/2b7a442690544595aa13bffff911e3d4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 14]: /images/20221005/a6c070b47beb43a0aca76397fdbf1fa7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 15]: /images/20221005/05965bf77e6f47a19a6d5682f560422f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 16]: /images/20221005/21c8c84e2de54a249c113b650d90dee3.png
[20210618184803821.png]: /images/20221005/0bacb5396dc04bfcb423f7b0c1d752cf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 17]: /images/20221005/e29b6d7a640449fa8a8793a22b7b2d63.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 18]: /images/20221005/89fdca479d844462803a433c3d262a6e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 19]: /images/20221005/df9f4476600947c5a122b6d30c9aac9e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 20]: /images/20221005/91032a5174e84d82bbcc2cb568fa51d8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 21]: /images/20221005/12186ae3fc714ea28bd319764ed459a1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 22]: /images/20221005/36f04f8ca8694915a5d07ac74417d729.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 23]: /images/20221005/5102a71738624f4dad4b429f8aa9714e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 24]: /images/20221005/d39f42f825804beb8f2bd02f85389743.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 25]: /images/20221005/4e8c875e32a94565adc00d83d372434a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 26]: /images/20221005/458b803329354246ac70f535e33fca08.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3h3MTY4MA_size_16_color_FFFFFF_t_70 27]: /images/20221005/40062a8997c14a2fa54699c197ef01a6.png