[Hadoop]HDFS伪分布式搭建(基于hadoop-2.6.5的单NameNode形式)

你的名字 2021-11-22 10:31 332阅读 0赞

相关链接:  
HDFS完全分布式搭建(基于hadoop-2.6.5的单NameNode形式)  
https://blog.csdn.net/a755199443/article/details/97163768

HDFS-HA高可用完全分布式搭建(基于hadoop-2.6.5的多NameNode形式)  
https://blog.csdn.net/a755199443/article/details/97165985

hadoop-yarn环境搭建(基于hadoop-2.6.5) 2019年07月25日 19:22:16  
https://blog.csdn.net/a755199443/article/details/97273269

### HDFS伪分布式搭建 ###

环境背景

1 修改hosts文件

2 免密钥登录

3 安装hadoop

### 环境背景 ###

伪分布式即NameNode和DataNode等都在一台机器上  
使用节点的操作系统为CentOS\_6.5  
预先安装好jdk1.7  
Hostname为node01  
Ip为192.168.110.101  
登录用户为root用户

hadoop-2.6.5资源链接:  
链接：https://pan.baidu.com/s/1NHTCtqHbsuKztpruSRyB-A  
提取码：j0sg

### 1 修改hosts文件 ###

vim /etc/hosts

![在这里插入图片描述][20190724195319334.png]

### 2 免密钥登录 ###

输入命令

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

在/root生成.ssh目录  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70]  
进入.ssh目录,其中有密钥id\_dsa和公钥id\_dsa.pub  
![在这里插入图片描述][20190724195428509.png]  
把公钥放到访问方的认证文件里即可获得免密钥登陆权限  
cat ~/.ssh/id\_dsa.pub >> ~/.ssh/authorized\_keys  
原本需要密码  
![在这里插入图片描述][20190724195448551.png]  
完成免密钥登录后不需要密码  
![在这里插入图片描述][20190724195500265.png]

### 3 安装hadoop ###

3.1 解压hadoop

将安装包文件上传至节点  
解压,获得hadoop-2.6.5文件夹

![在这里插入图片描述][20190724195513145.png]  
将其移动至新建的/opt/hdfs目录  
![在这里插入图片描述][20190724195623853.png]  
编辑环境变量,在/etc/profile文件末尾加上(含java环境变量,按自己实际情况更改)

export JAVA_HOME=/usr/java/jdk1.7.0_67
    export HADOOP_PREFIX=/opt/hdfs/hadoop-2.6.5
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin

使环境变量生效

source /etc/profile

![在这里插入图片描述][20190724195658453.png]

3.2 修改管理脚本

因为要远程执行hadoop的管理脚本,而远程执行时不会与先读取profile文件,即环境变量失效,解决办法为修改脚本中的命令为绝对路径查找  
进入/opt/hdfs/hadoop-2.6.5/etc/hadoop目录,逐个修改”env”后缀的文件

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 1]

hadoop-env.sh 第25行  
![在这里插入图片描述][20190724200146674.png]  
改为  
![在这里插入图片描述][20190724200153339.png]  
mapred-env.sh 第16行  
![在这里插入图片描述][2019072420023243.png]  
改为  
![在这里插入图片描述][20190724200242716.png]  
yarn-env.sh 第26行  
![在这里插入图片描述][20190724200722765.png]  
改为  
![在这里插入图片描述][20190724200728275.png]  
3.3 修改配置文件  
仍然在/opt/hdfs/hadoop-2.6.5/etc/hadoop目录  
core-site.xml文件中做修改  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 2]  
在configuration标签中加上

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/hdfs/hadoop/local</value>
    </property>

![在这里插入图片描述][2019072420113493.png]  
其中fs.defaultFS指定meNode的位置  
hadoop.tmp.dir位置的修改是出于安全性的考虑

继续修改hdfs-site.xml  
hadoop框架默认副本数为3,伪分布式环境只需要一个节点,因此副本数指定为1  
dfs.namenode.secondary.http-address设置SencondNameNode位置

<property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>node01:50090</value>
        </property>

![在这里插入图片描述][20190724201200486.png]  
slaves文件  
slaves文件用于设定DataNode节点,因为是伪分布式环境,因此只写本节点即可  
![在这里插入图片描述][20190724201216819.png]  
3.4 开始格式化

hdfs namenode -format

注意成功提示  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 3]

3.5 启动各角色

start-dfs.sh

![在这里插入图片描述][20190724201334648.png]  
之前设置的数据存放目录,现在已经自动创建  
![在这里插入图片描述][201907242013510.png]

3.6 检测是否成功  
在windows上检测伪分布式hdfs是否搭建成功  
打开浏览器输入网址http://192.168.110.101:50070(预先关闭linux的防火墙或者开放端口)  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 4]  
3.7 关闭hdfs

输入命令

stop-dfs.sh

![在这里插入图片描述][20190724201836764.png]

[20190724195319334.png]: /images/20211122/6386b3116736436d929c582ee5f510f1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70]: /images/20211122/42aa99b6da8d45469058bfca8be07859.png
[20190724195428509.png]: /images/20211122/9dbc8b658a5749da99b6709d50e8d58a.png
[20190724195448551.png]: /images/20211122/adebd98da95d47be96c62291b52795a0.png
[20190724195500265.png]: /images/20211122/911eeb1459f5448b8f3514e98151a429.png
[20190724195513145.png]: /images/20211122/88ef4db572dc44319aca64c26ad35aef.png
[20190724195623853.png]: /images/20211122/8ae7be46ec4e4d35b6236d87b42888b0.png
[20190724195658453.png]: /images/20211122/d7f86e68f96b4c12a0f6f724c050037e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 1]: /images/20211122/4c545ade48324c24a2c900022a1be53a.png
[20190724200146674.png]: /images/20211122/69adcdd8d1274c7c9f96527d89ff6507.png
[20190724200153339.png]: /images/20211122/5b2429403d9a41e68ef88b7e317f79e8.png
[2019072420023243.png]: /images/20211122/bbef967037714b6b8da35211eebd309c.png
[20190724200242716.png]: /images/20211122/bcfccee40ffb4df3be56b78cff8b7e01.png
[20190724200722765.png]: /images/20211122/bc6cb579255e4e5aaabefca8949bd3ad.png
[20190724200728275.png]: /images/20211122/d155384c1a0f4e999092a1773e456003.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 2]: /images/20211122/388f29f6959741e3a9e6a57a92d0ed4d.png
[2019072420113493.png]: /images/20211122/a6ffb75395e54a9b811d99f4a4201040.png
[20190724201200486.png]: /images/20211122/edc00ed8276a4ef1862306f2698a81cd.png
[20190724201216819.png]: /images/20211122/5b1dd188215d44c1b02eec51382e9305.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 3]: /images/20211122/208264ceabfc4438848f5762328598c5.png
[20190724201334648.png]: /images/20211122/77ff8802ff524f888d3cca6a99da1c06.png
[201907242013510.png]: /images/20211122/6a7de10fda3043309bee4e0fe7fca18e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 4]: /images/20211122/bd89010c39054cf290b4e32442c76c9a.png
[20190724201836764.png]: /images/20211122/a0c8485481094ad7afe97ec7d2871876.png