大数据离线阶段03：HDFS学习

客官°小女子只卖身不卖艺 2023-10-14 21:10 169阅读 0赞

### HDFS基本概念 ###

####  ####

#### HDFS介绍 ####

HDFS是Hadoop Distribute File System 的简称，意为：Hadoop分布式文件系统。是Hadoop核心组件之一，作为最底层的分布式存储服务而存在。

分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景，它们为存储和处理超大规模数据提供所需的扩展能力。

![图片][a1d90097ba538f59c56b881fb2eea628.png]

--------------------

####  ####

#### HDFS设计目标 ####

1.  硬件故障是常态， HDFS将有成百上千的服务器组成，每一个组成部分都有可能出现故障。因此故障的检测和自动快速恢复是HDFS的核心架构目标。
2.  HDFS上的应用与一般的应用不同，它们主要是以流式读取数据。HDFS被设计成适合批量处理，而不是用户交互式的。相较于数据访问的反应时间，更注重数据访问的高吞吐量。
3.  典型的HDFS文件大小是GB到TB的级别。所以，HDFS被调整成支持大文件。它应该提供很高的聚合数据带宽，一个集群中支持数百个节点，一个集群中还应该支持千万级别的文件。
4.  大部分HDFS应用对文件要求的是write-one-read-many访问模型。一个文件一旦创建、写入、关闭之后就不需要修改了。这一假设简化了数据一致性问题，使高吞吐量的数据访问成为可能。
5.  移动计算的代价比之移动数据的代价低。一个应用请求的计算，离它操作的数据越近就越高效，这在数据达到海量级别的时候更是如此。将计算移动到数据附近，比之将数据移动到应用所在显然更好。
6.  在异构的硬件和软件平台上的可移植性。这将推动需要大数据集的应用更广泛地采用HDFS作为平台。

--------------------

####  ####

#### HDFS重要特性 ####

首先，它是一个文件系统，用于存储文件，通过统一的命名空间目录树来定位文件；

其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。

![图片][559efd4c22d9a5d87421cee91c6dda3e.png]

####  ####

master/slave架构

HDFS采用master/slave架构。一般一个HDFS集群是有一个Namenode和一定数目的Datanode组成。

Namenode是HDFS集群主节点，Datanode是HDFS集群从节点，两种角色各司其职，共同协调完成分布式的文件存储服务。

####  ####

分块存储

HDFS中的文件在物理上是分块存储（block）的，块的大小可以通过配置参数来规定，默认大小在hadoop2.x版本中是128M。

####  ####

名字空间（NameSpace）

HDFS支持传统的层次型文件组织结构。用户或者应用程序可以创建目录，然后将文件保存在这些目录里。文件系统名字空间的层次结构和大多数现有的文件系统类似：用户可以创建、删除、移动或重命名文件。

Namenode负责维护文件系统的名字空间，任何对文件系统名字空间或属性的修改都将被Namenode记录下来。

HDFS会给客户端提供一个统一的抽象目录树，客户端通过路径来访问文件，形如：hdfs://namenode:port/dir-a/dir-b/dir-c/file.data。

####  ####

Namenode元数据管理

我们把目录结构及文件分块位置信息叫做元数据。Namenode负责维护整个hdfs文件系统的目录树结构，以及每一个文件所对应的block块信息（block的id，及所在的datanode服务器）。

####  ####

Datanode数据存储

文件的各个block的具体存储管理由datanode节点承担。每一个block都可以在多个datanode上。Datanode需要定时向Namenode汇报自己持有的block信息。

--------------------

####  ####

副本机制

为了容错，文件的所有block都会有副本。每个文件的block大小和副本系数都是可配置的。应用程序可以指定某个文件的副本数目。副本系数可以在文件创建的时候指定，也可以在之后改变。

副本数量也可以通过参数设置dfs.replication，默认是3。

####  ####

一次写入，多次读出

HDFS是设计成适应一次写入，多次读出的场景，且不支持文件的修改。

正因为如此，HDFS适合用来做大数据分析的底层存储服务，并不适合用来做.网盘等应用，因为，修改不方便，延迟大，网络开销大，成本太高。

--------------------

####  ####

#### HDFS基本操作 ####

####  ####

Shell 命令行客户端

Hadoop提供了文件系统的shell命令行客户端，使用方法如下：

hadoop fs <args>

文件系统shell包括与Hadoop分布式文件系统（HDFS）以及Hadoop支持的其他文件系统（如本地FS，HFTP FS，S3 FS等）直接交互的各种类似shell的命令。所有FS shell命令都将路径URI作为参数。

URI格式为scheme://authority/path。对于HDFS，该scheme是hdfs，对于本地FS，该scheme是file。scheme和authority是可选的。如果未指定，则使用配置中指定的默认方案。

对于HDFS,命令示例如下：

hadoop fs -ls hdfs://namenode:host/parent/child

hadoop fs -ls /parent/child fs.defaultFS中有配置

对于本地文件系统，命令示例如下：

hadoop fs -ls file:///root/

如果使用的文件系统是HDFS，则使用hdfs dfs也是可以的，此时

hadoop fs <args> = hdfs dfs <args>

--------------------

####  ####

Shell 命令选项

<table> 
 <tbody> 
 <tr> 
 <th> 选项名称 </th> 
 <th> 使用格式 </th> 
 <th> 含义 </th> 
 </tr> 
 <tr> 
 <td> -ls </td> 
 <td> -ls &lt;路径&gt; </td> 
 <td> 查看指定路径的当前目录结构 </td> 
 </tr> 
 <tr> 
 <td> -lsr </td> 
 <td> -lsr &lt;路径&gt; </td> 
 <td> 递归查看指定路径的目录结构 </td> 
 </tr> 
 <tr> 
 <td> -du </td> 
 <td> -du &lt;路径&gt; </td> 
 <td> 统计目录下个文件大小 </td> 
 </tr> 
 <tr> 
 <td> -dus </td> 
 <td> -dus &lt;路径&gt; </td> 
 <td> 汇总统计目录下文件(夹)大小 </td> 
 </tr> 
 <tr> 
 <td> -count </td> 
 <td> -count [-q] &lt;路径&gt; </td> 
 <td> 统计文件(夹)数量 </td> 
 </tr> 
 <tr> 
 <td> -mv </td> 
 <td> -mv &lt;源路径&gt; &lt;目的路径&gt; </td> 
 <td> 移动 </td> 
 </tr> 
 <tr> 
 <td> -cp </td> 
 <td> -cp &lt;源路径&gt; &lt;目的路径&gt; </td> 
 <td> 复制 </td> 
 </tr> 
 <tr> 
 <td> -rm </td> 
 <td> -rm [-skipTrash] &lt;路径&gt; </td> 
 <td> 删除文件/空白文件夹 </td> 
 </tr> 
 <tr> 
 <td> -rmr </td> 
 <td> -rmr [-skipTrash] &lt;路径&gt; </td> 
 <td> 递归删除 </td> 
 </tr> 
 <tr> 
 <td> -put </td> 
 <td> -put &lt;多个linux上的文件&gt; &lt;hdfs路径&gt; </td> 
 <td> 上传文件 </td> 
 </tr> 
 <tr> 
 <td> -copyFromLocal </td> 
 <td> -copyFromLocal &lt;多个linux上的文件&gt; &lt;hdfs路径&gt; </td> 
 <td> 从本地复制 </td> 
 </tr> 
 <tr> 
 <td> -moveFromLocal </td> 
 <td> -moveFromLocal &lt;多个linux上的文件&gt; &lt;hdfs路径&gt; </td> 
 <td> 从本地移动 </td> 
 </tr> 
 <tr> 
 <td> -getmerge </td> 
 <td> -getmerge &lt;源路径&gt; &lt;linux路径&gt; </td> 
 <td> 合并到本地 </td> 
 </tr> 
 <tr> 
 <td> -cat </td> 
 <td> -cat &lt;hdfs路径&gt; </td> 
 <td> 查看文件内容 </td> 
 </tr> 
 <tr> 
 <td> -text </td> 
 <td> -text &lt;hdfs路径&gt; </td> 
 <td> 查看文件内容 </td> 
 </tr> 
 <tr> 
 <td> -copyToLocal </td> 
 <td> -copyToLocal [-ignoreCrc] [-crc] [hdfs源路径] [linux目的路径] </td> 
 <td> 从本地复制 </td> 
 </tr> 
 <tr> 
 <td> -moveToLocal </td> 
 <td> -moveToLocal [-crc] &lt;hdfs源路径&gt; &lt;linux目的路径&gt; </td> 
 <td> 从本地移动 </td> 
 </tr> 
 <tr> 
 <td> -mkdir </td> 
 <td> -mkdir &lt;hdfs路径&gt; </td> 
 <td> 创建空白文件夹 </td> 
 </tr> 
 <tr> 
 <td> -setrep </td> 
 <td> -setrep [-R] [-w] &lt;副本数&gt; &lt;路径&gt; </td> 
 <td> 修改副本数量 </td> 
 </tr> 
 <tr> 
 <td> -touchz </td> 
 <td> -touchz &lt;文件路径&gt; </td> 
 <td> 创建空白文件 </td> 
 </tr> 
 <tr> 
 <td> -stat </td> 
 <td> -stat [format] &lt;路径&gt; </td> 
 <td> 显示文件统计信息 </td> 
 </tr> 
 <tr> 
 <td> -tail </td> 
 <td> -tail [-f] &lt;文件&gt; </td> 
 <td> 查看文件尾部信息 </td> 
 </tr> 
 <tr> 
 <td> -chmod </td> 
 <td> -chmod [-R] &lt;权限模式&gt; [路径] </td> 
 <td> 修改权限 </td> 
 </tr> 
 <tr> 
 <td> -chown </td> 
 <td> -chown [-R] [属主][:[属组]] 路径 </td> 
 <td> 修改属主 </td> 
 </tr> 
 <tr> 
 <td> -chgrp </td> 
 <td> -chgrp [-R] 属组名称 路径 </td> 
 <td> 修改属组 </td> 
 </tr> 
 <tr> 
 <td> -help </td> 
 <td> -help [命令选项] </td> 
 <td> 帮助 </td> 
 </tr> 
 </tbody> 
</table>

####  ####

Shell常用命令介绍

\-ls

使用方法：hadoop fs -ls \[-h\] \[-R\] <args>

功能：显示文件、目录信息。

示例：hadoop fs -ls /user/hadoop/file1

\-mkdir

使用方法：hadoop fs -mkdir \[-p\] <paths>

功能：在hdfs上创建目录，-p表示会创建路径中的各级父目录。

示例：hadoop fs -mkdir –p /user/hadoop/dir1

\-put使用方法：hadoop fs -put \[-f\] \[-p\] \[ -|<localsrc1> .. \]. <dst>

功能：将单个src或多个srcs从本地文件系统复制到目标文件系统。

\-p：保留访问和修改时间，所有权和权限。

\-f：覆盖目的地（如果已经存在）

示例：hadoop fs -put -f localfile1 localfile2 /user/hadoop/hadoopdir

\-get

使用方法：hadoop fs -get \[-ignorecrc\] \[-crc\] \[-p\] \[-f\] <src> <localdst>

\-ignorecrc：跳过对下载文件的CRC检查。

\-crc：为下载的文件写CRC校验和。

功能：将文件复制到本地文件系统。

示例：hadoop fs -get hdfs://host:port/user/hadoop/file localfile

\-appendToFile

使用方法：hadoop fs -appendToFile <localsrc> ... <dst>

功能：追加一个文件到已经存在的文件末尾

示例：hadoop fs -appendToFile localfile /hadoop/hadoopfile

\-cat

使用方法：hadoop fs -cat \[-ignoreCrc\] URI \[URI ...\]

功能：显示文件内容到stdout

示例：hadoop fs -cat /hadoop/hadoopfile

\-tail

使用方法：hadoop fs -tail \[-f\] URI

功能：将文件的最后一千字节内容显示到stdout。

\-f选项将在文件增长时输出附加数据。

示例：hadoop fs -tail /hadoop/hadoopfile

\-chgrp

使用方法：hadoop fs -chgrp \[-R\] GROUP URI \[URI ...\]

功能：更改文件组的关联。用户必须是文件的所有者，否则是超级用户。

\-R将使改变在目录结构下递归进行。

示例：hadoop fs -chgrp othergroup /hadoop/hadoopfile

\-chmod

功能：改变文件的权限。使用-R将使改变在目录结构下递归进行。

示例：hadoop fs -chmod 666 /hadoop/hadoopfile

\-chown

功能：改变文件的拥有者。使用-R将使改变在目录结构下递归进行。

示例：hadoop fs -chown someuser:somegrp /hadoop/hadoopfile

\-cp

功能：从hdfs的一个路径拷贝hdfs的另一个路径

示例：hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2

\-mv

功能：在hdfs目录中移动文件

示例：hadoop fs -mv /aaa/jdk.tar.gz /

\-getmerge

功能：合并下载多个文件

示例：比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,...

hadoop fs -getmerge /aaa/log.\* ./log.sum

\-rm

功能：删除指定的文件。只删除非空目录和文件。-r 递归删除。

示例：hadoop fs -rm -r /aaa/bbb/

\-df

功能：统计文件系统的可用空间信息

示例：hadoop fs -df -h /

\-du

功能：显示目录中所有文件大小，当只指定一个文件时，显示此文件的大小。

示例：hadoop fs -du /user/hadoop/dir1

\-setrep

功能：改变一个文件的副本系数。-R选项用于递归改变目录下所有文件的副本系数。

示例：hadoop fs -setrep -w 3 -R /user/hadoop/dir1

--------------------

####  ####

#### HDFS基本原理 ####

####  ####

NameNode概述

1.  NameNode是HDFS的核心。
2.  NameNode也称为Master。
3.  NameNode仅存储HDFS的元数据：文件系统中所有文件的目录树，并跟踪整个集群中的文件。
4.  NameNode不存储实际数据或数据集。数据本身实际存储在DataNodes中。
5.  NameNode知道HDFS中任何给定文件的块列表及其位置。使用此信息NameNode知道如何从块中构建文件。
6.  NameNode并不持久化存储每个文件中各个块所在的DataNode的位置信息，这些信息会在系统启动时从数据节点重建。
7.  NameNode对于HDFS至关重要，当NameNode关闭时，HDFS / Hadoop集群无法访问。
8.  NameNode是Hadoop集群中的单点故障。
9.  NameNode所在机器通常会配置有大量内存（RAM）。

![图片][21ee644da5cfdb001aa28895b9e126f5.png]

--------------------

####  ####

DataNode概述

1.  DataNode负责将实际数据存储在HDFS中。
2.  DataNode也称为Slave。
3.  NameNode和DataNode会保持不断通信。
4.  DataNode启动时，它将自己发布到NameNode并汇报自己负责持有的块列表。
5.  当某个DataNode关闭时，它不会影响数据或群集的可用性。NameNode将安排由其他DataNode管理的块进行副本复制。
6.  DataNode所在机器通常配置有大量的硬盘空间。因为实际数据存储在DataNode中。
7.  DataNode会定期（dfs.heartbeat.interval配置项配置，默认是3秒）向NameNode发送心跳，如果NameNode长时间没有接受到DataNode发送的心跳， NameNode就会认为该DataNode失效。
8.  block汇报时间间隔取参数dfs.blockreport.intervalMsec,参数未配置的话默认为6小时.

![图片][02399c17ce33259d2d88a19576e4431a.png]

--------------------

####  ####

HDFS的工作机制

NameNode负责管理整个文件系统元数据；DataNode负责管理具体文件数据块存储；Secondary NameNode协助NameNode进行元数据的备份。

HDFS的内部工作机制对客户端保持透明，客户端请求访问HDFS都是通过向NameNode申请来进行。

![图片][3206c1c9162e3963e8595b5a78ffec1f.jpeg]

[a1d90097ba538f59c56b881fb2eea628.png]: https://img-blog.csdnimg.cn/img_convert/a1d90097ba538f59c56b881fb2eea628.png
[559efd4c22d9a5d87421cee91c6dda3e.png]: https://img-blog.csdnimg.cn/img_convert/559efd4c22d9a5d87421cee91c6dda3e.png
[21ee644da5cfdb001aa28895b9e126f5.png]: https://img-blog.csdnimg.cn/img_convert/21ee644da5cfdb001aa28895b9e126f5.png
[02399c17ce33259d2d88a19576e4431a.png]: https://img-blog.csdnimg.cn/img_convert/02399c17ce33259d2d88a19576e4431a.png
[3206c1c9162e3963e8595b5a78ffec1f.jpeg]: https://img-blog.csdnimg.cn/img_convert/3206c1c9162e3963e8595b5a78ffec1f.jpeg