Hadoop集群搭建准备环境，手把手教你一步一步搭建，超详细

川长思鸟来 2023-10-04 17:14 32阅读 0赞

### Hadoop运行环境搭建准备环境 ###

由于各种原因，本人决定要在实验室使用三台主机搭建一个集群，集群使用的机器是三台破旧主机，破旧到什么程度，就是去库房拔了一下午，扒到了三台勉强还能跑的动的电脑，一言难尽，但总归是找到了三台，配置不高，主要是用于平时的练手实验使用。

在主机准备好了之后，就是最开始的一步，重装系统，之前搭建系统使用的是Ubuntu20.0.4版本，但是这次改用了一下linux版本，使用的是CentOS7.5发行版本。重装系统的步骤就不多少，大概就是做系统盘，装系统，具体重装系统见这篇文章

[win10和Ubuntu重装系统][win10_Ubuntu]

如果是采用虚拟机的方式进行伪分布式的操作，那么在虚拟机中安装linux系统详情见

[虚拟机中安装linux系统][linux]

经过了长久的安装历程之后，三台电脑的CentOS系统已经安装完成，安装完成之后我就把三台电脑放到了机架上，然后通过远程连接进行操作。

使用Xshell远程工具进行连接，三台机器将其分别取名为hadoop102、hadoop103、hadoop104，因为最开始的集群名称就是这个，所以这次三台依然采用这三个名字

Xshell连接之后界面  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16]

顺便说一下Xshell配套的文件传输工具Xftp，Xftp可以去官网下载，然后安装即可，Xftp是收费的，你可以选择免费使用哪个30day，也可以申请免费使用，面向师生的，我选择的是申请免费使用。官网地址：https://www.netsarang.com/en/xftp-download/

**下面正式开始配置集群环境**

#### 一、安装软件包 ####

安装epel-release：Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供的额外的软件包。相当于一个大的软件曹库，那么就可以安装下来，为以后的软件安装提供便利

yum install -y epel-release

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_19_color_FFFFFF_t_70_g_se_x_16]

三台电脑一样的操作，再往后都是一样的，就不一一说明了

#### 二、配置用户sudo权限，并无密码使用sudo ####

在上一步装包的时候，他让我用root权限，我用了之后，他又报错说用户不在sudoer里，已经上报  
![在这里插入图片描述][eabca1e9642d4f56a9339cdcab6d03dc.png]

那就先解决一下这个问题，按照他的提示也可以知道，在sudoer文件中没有用户信息，那么就配置一下，文件在/etc/sudoers

vim /etc/suders

在vim编辑器中，找到相应的位置加入这么一段话

lnnu	ALL:(ALL)	NOPASSWD:ALL
    (用户)   			   (使用无密码)

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 1]

#### 三、关闭防火墙，关闭防火墙开机自启动 ####

systemctl stop firewalld
    systemctl disable firewalld.service

![在这里插入图片描述][6d77231956324beeb952e03c623ae73f.png]

#### 四、在/opt目录下创建文件夹，并修改所属用户和组 ####

1、在/opt目录创建module、software文件夹，放置之后的大数据框架

mkdir /opt/module
    mkdir /opt/software

修改所属组和用户，使用的命令是chown。

chown lnnu:lnnu /opt/module
    chown lnnu:lnnu /opt/software

查看文件所属用户和组  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 2]

#### 五、卸载虚拟机自带的JDK ####

在CentOS安装的时候，会自动安装一个jdk，在安装时候无聊我无意中看到了什么正在安装openJDK，所以要卸载这个jdk

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

参数说明：

rpm-qa：查询所安装的所有rpm软件包

grep -i：忽略大小写

xargs -n1：表示每次只传递一个参数

rpm -e -nodeps：强制卸载软件  
![在这里插入图片描述][d313f98253744a6caf78e209b61d7dcb.png]

#### 六、设置静态IP ####

动态IP会地址会变，所以如果在某些时刻IP地址变了，那么在集群中的通信就会出现故障，会内部连接不上，所以把IP配为静态

修改文件：

vim /etc/sysconfig/network-scripts/ifcfg-ens33

说明：文件不一定是ens33，要看你用的到底是哪个协议，可以使ifcfg-xxxxx

在该文件中修改几个地方

BOOTPROTO=static
    ONBOOT=yes
    IPADDR=192.168.3.102	//IP
    GATEWAY=192.168.3.1		//网关
    NETMASK=255.255.255.0	//子网掩码

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 3]

这个时候因为没有设置DNS，所以当你ping百度的时候或者外部IP的时候是会显示解析不了，所以配置DNS，选择8.8.8.8和8.8.4.4，谷歌的，在文件/etc/resolv.conf

vim /etc/resolv.conf

nameserver 8.8.8.8
    nameserver 8.8.4.4

![在这里插入图片描述][7cade66d3c2a4b13a6e70893517317fd.png]

配置之后重启网络

service network restart

上述配置完成，ping一下网址www.baidu.com，如果没问题，则设置成功  
![在这里插入图片描述][eaea216b6be249afaa29782deb36386c.png]

**注意：**

如果是虚拟机的话，那么配置过程可能有些不同，具体参见

[虚拟机中配置CentOs静态网络][CentOs]

#### 七、修改主机名 ####

将主机名修改为hadoop102、hadoop103、hadoop104

在文件/etc/hostname中修改  
![在这里插入图片描述][ce5a14c7c5f1417f8f046d61898c60ab.png]

#### 八、配置集群IP映射 ####

在内部通信时，为了让集群采用的是机器名通信，而不是每次都是输入IP，我们需要配置一下IP映射，在文件/etc/hosts中添加映射

192.168.3.102	hadoop102
    192.168.3.103	hadoop103
    192.168.3.104	hadoop104

![在这里插入图片描述][33632b9eff0f430ebe7276c636c9906e.png]

配置之后，如果能ping通hadoop102即时证明设置映射成功  
![在这里插入图片描述][2912577ec9264d139deddc45da0b1cce.png]

#### 九、安装JDK ####

**在安装JDK前要确保已经把自带的JDK卸载了**

将JDK的tar包通过Xftp传输到opt目录下的software，往后所有的安装包都放在software下，解压后的放在module下  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 4]

解压到module中

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

查看module中是否已经解压了jdk  
![在这里插入图片描述][25d7960e9c5148fcbad87330a06b313e.png]

配置JAVA\_HOME路径，创建文件/etc/profile.d/my\_env.sh

sudo vim /etc/profile.d/my_env.sh

添加JAVA\_HOME路径

export JAVA_HOME=/opt/module/jdk1.8.0_212
    export PATH+$PATH:JAVA_HOME/bin

![在这里插入图片描述][b9d1bfe7d3234c45b2d13b1d1c8e924b.png]

让PATH生效

source /etc/profile

测试是否jdk安装成功了

java -version

![在这里插入图片描述][a28ad4c638ba45baa707a5d3fc9f2baf.png]

到这里准备环境已经全部设置完成了

[win10_Ubuntu]: https://editor.csdn.net/md/?articleId=117390126
[linux]: https://editor.csdn.net/md/?articleId=108360406
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/19fd9c0a8b7e40a3aa04873ec157c9aa.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_19_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/cb36909e5ea64a29b4c0815be8e3c5aa.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_19,color_FFFFFF,t_70,g_se,x_16
[eabca1e9642d4f56a9339cdcab6d03dc.png]: https://img-blog.csdnimg.cn/eabca1e9642d4f56a9339cdcab6d03dc.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/bf2c55a381b64d16a02af28c40223e42.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16
[6d77231956324beeb952e03c623ae73f.png]: https://img-blog.csdnimg.cn/6d77231956324beeb952e03c623ae73f.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 2]: https://img-blog.csdnimg.cn/a12c4686cea049bcb2d0e963b642869a.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16
[d313f98253744a6caf78e209b61d7dcb.png]: https://img-blog.csdnimg.cn/d313f98253744a6caf78e209b61d7dcb.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 3]: https://img-blog.csdnimg.cn/a6db536a3fc14f56803fa774ee6dc7d5.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16
[7cade66d3c2a4b13a6e70893517317fd.png]: https://img-blog.csdnimg.cn/7cade66d3c2a4b13a6e70893517317fd.png
[eaea216b6be249afaa29782deb36386c.png]: https://img-blog.csdnimg.cn/eaea216b6be249afaa29782deb36386c.png
[CentOs]: https://editor.csdn.net/md/?articleId=108393633
[ce5a14c7c5f1417f8f046d61898c60ab.png]: https://img-blog.csdnimg.cn/ce5a14c7c5f1417f8f046d61898c60ab.png
[33632b9eff0f430ebe7276c636c9906e.png]: https://img-blog.csdnimg.cn/33632b9eff0f430ebe7276c636c9906e.png
[2912577ec9264d139deddc45da0b1cce.png]: https://img-blog.csdnimg.cn/2912577ec9264d139deddc45da0b1cce.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 4]: https://img-blog.csdnimg.cn/e5b3d451fb6c48a480b6d78179959aaa.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16
[25d7960e9c5148fcbad87330a06b313e.png]: https://img-blog.csdnimg.cn/25d7960e9c5148fcbad87330a06b313e.png
[b9d1bfe7d3234c45b2d13b1d1c8e924b.png]: https://img-blog.csdnimg.cn/b9d1bfe7d3234c45b2d13b1d1c8e924b.png
[a28ad4c638ba45baa707a5d3fc9f2baf.png]: https://img-blog.csdnimg.cn/a28ad4c638ba45baa707a5d3fc9f2baf.png