Hadoop-2.7.2在Linux（centos6.5）上安装配置

左手的ㄟ右手 2022-07-24 04:16 81阅读 0赞

## 下载Hadoop-2.7.2 ##

*  [官方下载地址][Link 1]
 *  [百度云下载地址][Link 2]

## 下载JAVA ##

*  [64位百度云下载][64]

## VMware启动linux ##

注意事项：

1.  VMware设置网络为nat模式
2.  linux设置启动后自动连接网络  
    方法一：修改配置文件 `vi /etc/sysconfig/network-scripts/ifcfg-eth0`，将ONBOOT=no 改成 yes 就表示开机后默认链接etho  
    方法二：右击网络链接图标-> Edit Connections… -> 选中“System eth0” 选择Edit 出现下面的对话框 把 Connect automatically 选上->右下角Apply
3.  linux设置开机进入文本模式  
    修改配置文件 `vi /etc/inittab`，将最后一行 id:5 中的5改为3

## windows下ssh连接linux ##

1.  下载Xshell或putty  
    [Xshell 百度云下载][Xshell]  
    [putty百度云下载][putty]
2.  查看linux的ip命令：`ifconfig`，假设查出的ip为192.168.1.5
3.  使用Xshell连接linux命令：`ssh 192.168.1.5`
4.  在Xshell中就可以操作linux了

## 更改linux主机名 ##

1.  `vi /etc/sysconfig/network`，修改HOSTNAME=node1（主机名）
2.  `vi /etc/hosts`，最后添加一行：192.168.1.5 node1
3.  `reboot`重启
4.  `ping node1`检查是否配置成功

## Windows下上传文件到linux ##

1.  安装winscp：[百度云下载][Link 3]
2.  以sftp方式连接到192.168.1.5
3.  上传hadoop和java文件到/home目录下

## linux安装java ##

1.  删除自带的OpenJDK
    
        [root@node1 ~]# rpm -qa|grep java
        java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
        tzdata-java-2013g-1.el6.noarch
        java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
        [root@node1 ~]# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
2.  安装java：`[root@node1 home]# rpm -ivh jdk-8u91-linux-x64.rpm`
3.  设置JAVA\_HOME：修改配置文件`vi /etc/profile`，最后一行添加以下代码
    
        export JAVA_HOME=/usr/java/jdk1.8.0_91   
        export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar  
        export PATH=$PATH:$JAVA_HOME/bin
4.  命令：`source /etc/profile` 使文件立即生效
5.  命令：`java -version` 检测是否安装成功

## linux配置ssh免密码登录 ##

1.  生成密钥 `ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa`
2.  把公钥加到用于认证的公钥文件中 `cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys`
3.  验证ssh免密码登录 `ssh localhost` 若不需要输入密码则配置成功
4.  如果登陆失败，把.ssh文件夹删除，做以上步骤

## 安装hadoop ##

1.  解压hadoop文件：`tar -zxvf hadoop-2.7.2.tar.gz`
2.  新建文件夹
    
        [root@node1 hadoop-2.7.2]# mkdir tmp
        [root@node1 hadoop-2.7.2]# mkdir tmp/dfs
        [root@node1 hadoop-2.7.2]# mkdir tmp/dfs/data
        [root@node1 hadoop-2.7.2]# mkdir tmp/dfs/name
3.  配置hadoop-env.sh和yarn-env.sh中的JAVA\_HOME `[root@node1 hadoop-2.7.2]# vim etc/hadoop/hadoop-env.sh`
    
        export JAVA_HOME=/usr/java/jdk1.8.0_91
4.  **单机模式运行**
    
        core-site.xml
        --------------------------------
        
        <configuration>
          <property>
            <name>fs.defaultFS</name>
            <value>hdfs://192.168.232.130:9000</value>
          </property>
          <property>
            <name>mapred.job.tracker</name>
            <value>hdfs://192.168.233.130:9001</value>
          </property>
          <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/hadoop-2.7.2/tmp</value>
          </property>
        </configuration>
        
        
        hdfs-site.xml
        -------------------------------
        
        <configuration>
          <property>
            <name>dfs.replication</name>
            <value>1</value>
          </property>
          <property>
            <name>dfs.permissions</name>
            <value>false</value>
          </property>
          <property>
            <name>dfs.hosts.exclude</name>
            <value>node2,node3</value>
          </property>
        </configuration>
        
        
        slaves
        -------------------------------
        
        node1
    
    **运行命令：**
    
        bin/hdfs namenode -format
        sbin/start-dfs.sh
    
    **至此hdfs分布式文件系统已启用**
5.  配置hadoop的HA（高可用性）修改hdfs-site.xml文件：`[root@node1 hadoop-2.7.2]# vim etc/hadoop/hdfs-site.xml`
    
        <configuration>
          <property>
            <name>dfs.nameservices</name>
            <value>jhclu</value>
          </property>
          <property>
            <name>dfs.ha.namenodes.jhclu</name>
          <property>
            <name>dfs.namenode.rpc-address.jhclu.nn1</name>
            <value>node1:8020</value>
          </property>
          <property>
             <name>dfs.namenode.rpc-address.jhclu.nn2</name>
             <value>node2:8020</value>
          </property>
          <property>
            <name>dfs.namenode.http-address.jhclu.nn1</name>
            <value>node1:50070</value>
          </property>
          <property>
             <name>dfs.namenode.http-address.jhclu.nn2</name>
             <value>node2:50070</value>
          </property>
          <property>
             <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://node2:8485;node3:8485;node4:8485/jhclu</value>
          </property>
          <property>
             <name>dfs.client.failover.proxy.provider.jhclu</name>
             <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
          </property>
          <property>
             <name>dfs.ha.fencing.methods</name>
             <value>sshfence</value>
          </property>
          <property>
             <name>dfs.ha.fencing.ssh.private-key-files</name>
             <value>/root/.ssh/id_dsa</value>
          </property>
          <property>
             <name>dfs.journalnode.edits.dir</name>
             <value>/opt/jn/data</value>
          </property>
          <property>
             <name>dfs.ha.automatic-failover.enabled</name>
             <value>true</value>
          </property>
        </configuration>

[Link 1]: http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz
[Link 2]: http://pan.baidu.com/s/1dFdRjVj
[64]: http://pan.baidu.com/s/1pLtLOIR
[Xshell]: http://pan.baidu.com/s/1kUFYzhP
[putty]: http://pan.baidu.com/s/1slP5NWT
[Link 3]: http://pan.baidu.com/s/1jHKem0m