hadoop 更换数据目录

快来打我* 2022-06-06 02:45 1082阅读 0赞

# 一、扩容本地磁盘并挂载 #

机器都是阿里云的服务器，需要现在阿里云购买磁盘。然后挂载到服务器上

1、把新加的磁盘挂载到了/hdfs\_data

2、原来默认的hdfs的数据目录为/usr/local/hadoop/hdfs/data/

<name>dfs.datanode.data.dir</name>
    <value>

# 二、停止Datanode    #

我这里有三台datanode，数量比较小，所以就一台一台的做操作了。

如果是小环境，就一台一台的Datanode操作，这样能保证数据不会丢，因为有3个副本，所以，即使停掉一台Datanode也没有问题，不影响使用。

注意：以下操作逐一在需要扩容的datanode服务器上都执行。

1、暴力停止（kill），因为./hadoop-daemon.sh stop datanode 不能停。

kill `ps -ef | grep datanode | grep -v grep | awk '{print $2}'`

2、迁移数据

mv /usr/local/hadoop/hdfs/data/current /hdfs_data/

3、修改hadoop配置文件

vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml
    
    把：
    <name>dfs.datanode.data.dir</name>
    <value>
    
    改成：
    <name>dfs.datanode.data.dir</name>
    <value>file:///hdfs_data</value>

# 三、启动Datanode #

逐一在Datanode服务器上执行：

/usr/local/hadoop/sbin/hadoop-daemon.sh start datanode

检测datanode是否正常启动：

ps -ef | grep datanode | grep -v grep

# 四、平衡数据 #

逐一在Datanode服务器上执行：

/usr/local/hadoop/sbin/start-balancer.sh

# 五、测试Datanode是否扩容成功 #

登陆：:[http://Namenode:50070查看。][http_Namenode_50070]

或者，通过hdfs dfsadmin -report 命令进行查看。

然后测试各种读写操作。

--------------------

最后上个图：

![165407_9wBj_112731.png][]

[http_Namenode_50070]: http://namenode:50070%E6%9F%A5%E7%9C%8B%E3%80%82/
[165407_9wBj_112731.png]: /images/20220606/7ef19e2b86e0424399bb30560589eba2.png

发表评论取消回复

表情：

评论列表（有 0 条评论，1082人围观）

还没有评论，来说两句吧...

相关阅读

相关 SVN项目资源库目录更换

今天重装了系统，布置好环境后，发现SVN还是以前的资源库位置，而我又建了一个新的SVN资源库，需要把老的更换成新的才能正常使用，正常的是应该先断开连接，然后重新连接新的资源库位

àì夳堔傛蜴生んèń/ 2023年10月17日 11:51/ 0 赞/ 176 阅读

相关 Ubuntu MySQL数据库data目录内容更换

新服务器安装数据库，数据都从原来的数据库拷贝过来；方法一：通过数据同步工具；方法二：拷贝数据库的sql到新安装的数据库执行；以上两种方法都不能满足和原始的数据库一模

不念不忘少年蓝@/ 2023年06月24日 14:24/ 0 赞/ 60 阅读

相关 Hadoop 教程目录

目录：基于 Hadoop3.1.3版本介绍 [Hadoop 专栏：][Hadoop] 1. [大数据技术生态体系][Link 1] 2. [Hadoop 自定义脚

女爷i/ 2023年01月19日 12:48/ 0 赞/ 130 阅读

相关 docker更换安装目录

docker安装在根目录，遇到把根目录空间占满的情况，现在采用将docker文件移动到其它磁盘大的空间. mv /var/lib/docker /home 生成

今天药忘吃喽~/ 2022年12月28日 14:21/ 0 赞/ 254 阅读

相关【Hadoop】Hadoop体系知识点梳理（目录）

Hadoop体系知识点梳理（目录）核心点第一章：Hadoop背景知识与起源第二章：搭建Hadoop环境第三章：HDFS体系架构第四

小鱼儿/ 2022年10月19日 05:34/ 0 赞/ 319 阅读

相关 npm 项目更换目录后无法启动

问题描述：使用 Vue-cli 创建的项目，当文件移动到其他目录后，无法正常启动，报错信息如下： ![1059788-20170216174402863-12420628

刺骨的言语ヽ痛彻心扉/ 2022年06月16日 03:47/ 0 赞/ 617 阅读

相关 hadoop 更换数据目录

一、扩容本地磁盘并挂载机器都是阿里云的服务器，需要现在阿里云购买磁盘。然后挂载到服务器上 1、把新加的磁盘挂载到了/hdfs\_data 2、原来默认的hd

快来打我*/ 2022年06月06日 02:45/ 0 赞/ 1083 阅读

相关安装 Hadoop 以及 Hadoop 的目录结构

搭建 Hadoop 的环境 1. 安装 JDK，关闭防火墙。 JKD 的安装请自行百度。查看防火墙状态：`systemctl st

「爱情、让人受尽委屈。」/ 2022年04月16日 02:52/ 0 赞/ 398 阅读

相关大数据之Hadoop目录

说在前面的话适合有java基础、Linux基础、具有一定java开发经验的人！参考的资料 Hadoop官

谁借莪１个温暖的怀抱￠/ 2022年04月12日 09:42/ 0 赞/ 364 阅读

相关 Hadoop目录结构

1、查看Hadoop目录结构 [atguigu@hadoop101 hadoop-2.7.2]$ ll 显示如下：总用量 52 d

蔚落/ 2021年09月20日 18:10/ 0 赞/ 591 阅读