educoder-Hadoop开发环境搭建各关卡通关答案

短命女 2022-10-06 01:57 215阅读 0赞

## 第1关：配置开发环境 - JavaJDK的配置 ##

mkdir /app
    
    cd /opt
    
    tar -zxvf jdk-8u171-linux-x64.tar.gz
    
    mv jdk1.8.0_171/ /app
    
    vim /etc/profile
    
    光标移动到文件末尾
    i
    
    JAVA_HOME=/app/jdk1.8.0_171
    CLASSPATH=.:$JAVA_HOME/lib/tools.jar
    PATH=$JAVA_HOME/bin:$PATH
    export JAVA_HOME CLASSPATH PATH
    
    按esc键
    
    冒号shift+:
    
    wq
    
    source /etc/profile

## 第2关：配置开发环境 - Hadoop安装与伪分布式集群搭建 ##

cd /opt
    tar -zxvf hadoop-3.1.0.tar.gz -C /app
    cd /app
    mv hadoop-3.1.0/ hadoop3.1

提示：如果出现文件解压大小限制的情况，可以使用 ulimit -f 1000000 命令来解除限制。

ssh-keygen -t rsa -P ''

回车

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    chmod 600 ~/.ssh/authorized_keys
    vim /etc/ssh/sshd_config

在文件中找到这三个
    
    
    
    找到之后，移动光标
    
    i
    1
    删掉开头的 # 和下图内容相同
    
    
    
    cd /app/hadoop3.1/etc/hadoop/
    
    vim hadoop-env.sh
    
    i

# The java implementation to use.  
    #export JAVA_HOME=${JAVA_HOME}  
    export JAVA_HOME=/app/jdk1.8.0_171

按esc键

冒号，shift+:

vim yarn-env.sh
    
    i
    
    export JAVA_HOME=/app/jdk1.8.0_171

按esc键

冒号，shift+:

vim core-site.xml
    
    在文件末尾的configuration标签中添加代码如下：
     <property>  
        <name>fs.default.name</name>  
        <value>hdfs://localhost:9000</value>  
        <description>HDFS的URI，文件系统://namenode标识:端口号</description>  
    </property>  
    <property>  
        <name>hadoop.tmp.dir</name>  
        <value>/usr/hadoop/tmp</value>  
        <description>namenode上本地的hadoop临时文件夹</description>  
    </property>

按esc键

冒号，shift+:

vim hdfs-site.xml
    
    在文件末尾的configuration标签中添加代码如下：
    <property>  
        <name>dfs.name.dir</name>  
        <value>/usr/hadoop/hdfs/name</value>  
        <description>namenode上存储hdfs名字空间元数据 </description>   
    </property>  
    <property>  
        <name>dfs.data.dir</name>  
        <value>/usr/hadoop/hdfs/data</value>  
        <description>datanode上数据块的物理存储位置</description>  
    </property>  
    <property>  
        <name>dfs.replication</name>  
        <value>1</value>  
    </property>

按esc键

冒号，shift+:

vim mapred-site.xml
    
    在文件末尾的configuration标签中添加代码如下：
    <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
    </property>

按esc键

冒号，shift+:

vim yarn-site.xml
    
    在文件末尾的configuration标签中添加代码如下：
    <property>  
            <name>yarn.nodemanager.aux-services</name>  
            <value>mapreduce_shuffle</value>  
    </property>  
    <property>  
            <name>yarn.resourcemanager.webapp.address</name>  
            <value>192.168.2.10:8099</value>  
            <description>这个地址是mr管理界面的</description>  
    </property>

按esc键

冒号，shift+:

mkdir -p /usr/hadoop/tmp 
    
    mkdir /usr/hadoop/hdfs 
    
    mkdir /usr/hadoop/hdfs/data 
    
    mkdir /usr/hadoop/hdfs/name
    
    vim /etc/profile
    
    文件末尾插入以下代码：
    #set Hadoop Enviroment
    export HADOOP_HOME=/app/hadoop3.1
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

按esc键

冒号，shift+:

wq
    
    source /etc/profile

hadoop namenode -format
    
    cd /app/hadoop3.1/sbin
    
    vim start-dfs.sh
    
    i
    
    回车键换行
    
    在文件顶部添加以下参数：
    #!/usr/bin/env bash
    HDFS_DATANODE_USER=root
    HADOOP_SECURE_DN_USER=hdfs
    HDFS_NAMENODE_USER=root
    HDFS_SECONDARYNAMENODE_USER=root

按esc键

冒号，shift+:

vim stop-dfs.sh
    
    i
    
    回车键换行
    
    在文件顶部添加以下参数：
    #!/usr/bin/env bash
    HDFS_DATANODE_USER=root
    HADOOP_SECURE_DN_USER=hdfs
    HDFS_NAMENODE_USER=root
    HDFS_SECONDARYNAMENODE_USER=root

按esc键

冒号，shift+:

vim start-yarn.sh
    
    i

回车键换行
    
    在文件顶部添加以下参数：
    #!/usr/bin/env bash
    YARN_RESOURCEMANAGER_USER=root
    HADOOP_SECURE_DN_USER=yarn
    YARN_NODEMANAGER_USER=root

按esc键

冒号，shift+:

vim stop-yarn.sh
    i
    
    回车键换行
    
    在文件顶部添加以下参数：
    #!/usr/bin/env bash
    YARN_RESOURCEMANAGER_USER=root
    HADOOP_SECURE_DN_USER=yarn
    YARN_NODEMANAGER_USER=root

按esc键

冒号，shift+:

start-dfs.sh
    
    jps