基于CentOS7的Hadoop3.2.2完全分布式集群部署记录

- 日理万妓 2022-10-05 12:53 219阅读 0赞

服务器部署结构

<table> 
 <thead> 
  <tr> 
   <th>hostname</th> 
   <th>hadoop1</th> 
   <th>hadoop2</th> 
   <th>hadoop3</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>IP</td> 
   <td>192.168.10.25</td> 
   <td>192.168.10.27</td> 
   <td>192.168.10.28</td> 
  </tr> 
  <tr> 
   <td>HDFS</td> 
   <td>NameNode</td> 
   <td></td> 
   <td>SecondaryNameNode</td> 
  </tr> 
  <tr> 
   <td>HDFS</td> 
   <td>DataNode</td> 
   <td>DataNode</td> 
   <td>DataNode</td> 
  </tr> 
  <tr> 
   <td>YARN</td> 
   <td></td> 
   <td>ResourceManager</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>YARN</td> 
   <td>NodeManager</td> 
   <td>NodeManager</td> 
   <td>NodeManager</td> 
  </tr> 
 </tbody> 
</table>

# 一.环境准备 #

## 1、安装java环境，推荐rpm安装，自行安装。 ##

## 2、永久修改CentOS服务器hostname主机名，主机名和IP一一对应 ##

vi /etc/hostname

执行命令，将默认的 主机名 修改为想要的主机名，这里将三台机器的hostname分别修改为hadoop1，hadoop2和hadoop3

## 3、配置服务器hosts，所有服务器都要设置 ##

vi /etc/hosts

打开后增加一下内容，shift+g到文件尾部，o进行换行插入

192.168.10.25 hadoop1
    192.168.10.27 hadoop2
    192.168.10.28 hadoop2

修改完成后自动生效

## 4、设置服务器之间无密码ssh登陆 ##

Hadoop集群中的各个机器间会相互地通过SSH访问，每次访问都输入密码是不现实的，所以要配置所有服务器  
备注，每台机器都要配置对三台机器的ssh登陆，包含自身，不然启动时候会报错

### a.在服务器上生成公钥 ###

ssh-keygen -t rsa

一路回车，都设置为默认值，然后再当前用户的Home目录下的.ssh目录中会生成公钥文件（id\_rsa.pub）和私钥文件（id\_rsa）。

ssh-copy-id hadoop1
    ssh-copy-id hadoop2
    ssh-copy-id hadoop3

三台机器均需要进行此操作。

## 5、关闭防火墙 ##

sudo systemctl disable firewalld

也可以进行端口开放，这里不在进行描述

# 二.安装hadoop #

## 1.先在第一台机器上解压、配置Hadoop，然后再分发到其他两台机器上的方式来安装集群。 ##

我在这里使用的是hadoop-3.2.2版本，版本下载地址[点击跳转][Link 1]

wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz

下载后我这里放在/usr/local位置，然后进行解压

tar -zxf hadoop-3.2.2.tar.gz

在三台机器上配置环境变量

vi /etc/profile

添加以下内容

export HADOOP_HOME=/usr/local/hadoop-3.2.2
    export PATH=$HADOOP_HOME/bin:$PATH
    export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
    export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

执行以下命令使配置生效

source /etc/profile

## 2.修改hadoop，文件路径在etc/hadoop, 首先，配置Hadoop JDK路径，定义集群操作用户，在hadoop-env.sh文件中添加如下内容，jdk路径自行修改 ##

export JAVA_HOME=/usr/java/jdk1.8.0_111
    
    export HDFS_NAMENODE_USER=root
    export HDFS_DATANODE_USER=root
    export HDFS_SECONDARYNAMENODE_USER=root
    export YARN_RESOURCEMANAGER_USER=root
    export YARN_NODEMANAGER_USER=root
    export HADOOP_PID_DIR=/data/hadoop/pids
    export HADOOP_LOG_DIR=/data/hadoop/logs

## 3、配置core-site.xml ##

<configuration>
    	<property>
    		  <name>fs.defaultFS</name>
    		  <value>hdfs://hadoop1:8020</value>
    	</property>
    	<property>
    		  <name>hadoop.tmp.dir</name>
    		  <value>/data/hadoop/tmp</value>
    	</property>
    </configuration>

fs.defaultFS为NameNode的地址，hadoop.tmp.dir为hadoop临时目录的地址。

## 4、配置hdfs-site.xml ##

<configuration>
       <property>
    	     <name>dfs.namenode.secondary.http-address</name>
    	     <value>hadoop3:50090</value>
       </property>
       <property>
    	     <name>dfs.replication</name>
    	     <value>2</value>
       </property>
       <property>
    	     <name>dfs.namenode.name.dir</name>
    	     <value>file:/data/hadoop/hdfs/name</value>
       </property>
       <property>
    	     <name>dfs.datanode.data.dir</name>
    	     <value>file:/data/hadoop/hdfs/data</value>
       </property>
    </configuration>

dfs.namenode.secondary.http-address是指定secondaryNameNode的http访问地址和端口号，因为在规划中，我们将hadoop3规划为SecondaryNameNode服务器。

## 5、配置workers ##

hadoop1
    hadoop2
    hadoop3

## 6、配置yarn-site.xml ##

<configuration>
        <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
       </property>
       <property>
          <name>yarn.nodemanager.localizer.address</name>
          <value>0.0.0.0:8140</value>
       </property>
       <property>
           <name>yarn.resourcemanager.hostname</name>
           <value>hadoop2</value>
       </property>
       <property>
           <name>yarn.log-aggregation-enable</name>
           <value>true</value>
       </property>
       <property>
           <name>yarn.log-aggregation.retain-seconds</name>
           <value>604800</value>
       </property>
       <property>
           <name>yarn.log.server.url</name>
           <value>http://hadoop3:19888/jobhistory/logs</value>
       </property>
    </configuration>

根据规划yarn.resourcemanager.hostname这个指定resourcemanager服务器指向hadoop2。  
yarn.log-aggregation-enable是配置是否启用日志聚集功能。  
yarn.log-aggregation.retain-seconds是配置聚集的日志在HDFS上最多保存多长时间。

## 7、配置mapred-site.xml ##

<configuration>
       <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
       </property>
       
       <property>
           <name>yarn.app.mapreduce.am.env</name>
           <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.2.2</value>
       </property>
       <property>
           <name>mapreduce.map.env</name>
           <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.2.2</value>
       </property>
       <property>
           <name>mapreduce.reduce.env</name>
           <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.2.2</value>
       </property>
       
       <property>
           <name>mapreduce.jobhistory.address</name>
           <value>hadoop3:10020</value>
       </property>
       <property>
           <name>mapreduce.jobhistory.webapp.address</name>
           <value>hadoop3:19888</value>
       </property>
    </configuration>

mapreduce.framework.name设置mapreduce任务运行在yarn上。  
mapreduce.jobhistory.address是设置mapreduce的历史服务器安装在hadoop3机器上。  
mapreduce.jobhistory.webapp.address是设置历史服务器的web页面地址和端口号。

## 8、复制Hadoop配置好的包到其他服务器 ##

scp -r hadoop-3.2.2 hadoop2:/usr/local
    scp -r hadoop-3.2.2 hadoop3:/usr/local

## 9、格式化NameNode ##

在NameNode机器上执行格式化,这里是hadoop1，在/usr/local/hadoop-3.2.2下执行

hdfs namenode -format

注意：  
如果需要重新格式化NameNode,需要先将原来NameNode和DataNode下的文件全部删除，不然会报错，NameNode和DataNode所在目录是在core-site.xml中hadoop.tmp.dir、dfs.namenode.name.dir、dfs.datanode.data.dir属性配置的。

因为每次格式化，默认是创建一个集群ID，并写入NameNode和DataNode的VERSION文件中（VERSION文件所在目录为hdfs/name/current 和 hdfs/data/current），重新格式化时，默认会生成一个新的集群ID,如果不删除原来的目录，会导致namenode中的VERSION文件中是新的集群ID,而DataNode中是旧的集群ID，不一致时会报错。

# 三、启动集群服务 #

## 1、启动HDFS，在hadoop1上执行 ##

/usr/local/hadoop-3.2.2/sbin/start-dfs.sh

## 2、启动YARN ##

/usr/local/hadoop-3.2.0/sbin/start-yarn.sh

## 3、启动日志服务，在hadoop3上执行，规划在hadoop3运行jobhistoryserver服务 ##

mapred --daemon start historyserver

## 4、查看HDFS Web页面 ##

[http://192.168.10.25:9870/][http_192.168.10.25_9870]  
其中，192.168.10.25为服务器hadoop1的IP地址。

## 5、查看YARN Web页面 ##

http://192.168.10.27:8088/  
其中，192.168.10.27为服务器hadoop2的IP地址。  
在这里,我发现8088端口未开启，然后执行jps发现resourcemanager未启动  
然后手动将 resourcemanager进行开启

/usr/local/hadoop-3.2.2/sbin/yarn-daemon.sh start resourcemanager