[hadoop] 重新格式化HDFS的详细步骤

柔情只为你懂 2023-06-05 08:28 61阅读 0赞

## 启用自动故障转移工作机制时 ##

此时active与standby状态会由zkfc管理.

1 删除两个目录  
core-site.xml配置文件中指定的目录(默认位置在/tmp目录)

<property>  
      <name>dfs.name.dir</name>  
      <value>/home/hadoop/hdfs/name</value>  
      <description>namenode上存储hdfs名字空间元数据</description>  
     </property>  
       
     <property>  
      <name>dfs.data.dir</name>  
      <value>/home/hadoop/hdsf/data</value>  
      <description>datanode上数据块的物理存储位置</description>  
     </property>

2 启动JournalNode组件  
分别在需要启动journalnode的节点输入

hadoop-daemon.sh start journalnode

3 格式化NameNode1并启动  
在nn1节点输入

hdfs namenode -format 
    hadoop-daemon.sh start namenode

4 格式化NameNode2并启动  
在nn2节点输入

hdfs namenode -bootstrapStandby 
    hadoop-daemon.sh start namenode

5 格式化zookeeper  
在管理节点输入

hdfs zkfc -formatZK

6 启动dfs  
在管理节点输入

start-dfs.sh

## 没启用自动故障转移工作机制时 ##

此时需要手动切换namenode的active/standby状态

在上述1,2,3,4步骤完成后,在nn1节点下输入

hdfs haadmin -transitionToActive nn1

此时hdfs-site.xml中不需要如下配置

<property> 
       <name>dfs.ha.automatic-failover.enabled</name> 
       <value>true</value> 
     </property>

core-site.xml中不需要如下配置

<property>
       <name>ha.zookeeper.quorum</name>       
       <value>node02:2181,node03:2181,node04:2181</value>
    </property>

发表评论取消回复

表情：

评论列表（有 0 条评论，61人围观）

还没有评论，来说两句吧...

相关阅读

相关 [hadoop] HDFS的读写详细流程

HDFS的写入过程 1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。 2）namenode返回是否可以上传。如果可以上

矫情吗；*/ 2023年10月09日 12:22/ 0 赞/ 54 阅读

相关 Hadoop：格式化脚本【删除所有节点的所有数据，重新格式化HDFS】【使用Hadoop之前需要格式化】

如果集群是第一次启动，需要在配置为NameNode的节点（比如：hadoop102节点）格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameN

Myth丶恋晨/ 2023年09月25日 21:01/ 0 赞/ 183 阅读

相关 [hadoop] 重新格式化HDFS的详细步骤

启用自动故障转移工作机制时此时active与standby状态会由zkfc管理. 1 删除两个目录 core-site.xml配置文件中指定的目录(默认位置在/t

柔情只为你懂/ 2023年06月05日 08:28/ 0 赞/ 62 阅读

相关 linux启动hdfs忘记密码,Hadoop datanode重新加载失败无法启动解决步骤

笔者使用的是基于虚拟机的Hadoop分布式安装，由于关闭datanode和namenode的顺序不恰当，所以经常会出现datanode加载失败的情况。本人的解决方法适用于首

太过爱你忘了你带给我的痛/ 2023年01月20日 01:59/ 0 赞/ 173 阅读

相关 HDFS 读写数据详细步骤

读取数据: ![这里写图片描述][20160504155103653] 如图所示： client 要从datanode 上读取file ，而file是由block1

青旅半醒/ 2022年08月21日 13:57/ 0 赞/ 289 阅读

相关重新格式化HDFS的方法

重新格式化hdfs系统的方法：（1）查看hdfs-ste.xml： \[html\] [view plain][] [copy][view plain] [pri

妖狐艹你老母/ 2022年07月13日 00:58/ 0 赞/ 598 阅读

相关 (2)Hadoop重新格式化HDFS的方法

1、查看hdfs-site.xml： ![复制代码][copycode.gif] <property> <name>dfs.name.di

小咪咪/ 2022年07月11日 16:27/ 0 赞/ 379 阅读

相关 Hadoop用户重新部署HDFS

前言：在这篇文章中[https://www.jianshu.com/p/eeae2f37a48c][https_www.jianshu.com_p_eeae2f37a48

素颜马尾好姑娘i/ 2022年05月24日 03:25/ 0 赞/ 297 阅读

相关 Hadoop格式化hdfs

0.停止集群 ./stop-all.sh 1.删除目录格式化NameNode时，会产生新的clusterID,导致NameNode和DataNode的c

「爱情、让人受尽委屈。」/ 2021年11月10日 10:34/ 0 赞/ 474 阅读

相关重新格式化HDFS的方法

由于多次格式化hdfs，可能会导致namenode无法启动，所以如果要重新格式化时，需要按如下步骤进行： 1、查看hdfs-ste.xml： <property>

水深无声/ 2021年06月24日 14:00/ 0 赞/ 530 阅读