Hadoop：配置任务执行的历史服务器

落日映苍穹つ 2024-03-17 18:35 38阅读 0赞

### 历史服务器 ###

原因不配重启集群  
![在这里插入图片描述][2514e626e60345a7a0267983ab6828d8.png_pic_center]  
以前执行的任务不见了

1）配置mapred-site.xml  
vim mapred-site.xml  
在该文件里面增加如下配置。

<property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop102:10020</value>
    </property>
    
    
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop102:19888</value>
    </property>

2）分发配置  
xsync $HADOOP\_HOME/etc/hadoop/mapred-site.xml  
3）在hadoop102启动历史服务器  
mapred --daemon start historyserver  
4）查看历史服务器是否启动  
jps  
5）查看JobHistory  
http://hadoop102:19888/jobhistory

点击进去到  
![在这里插入图片描述][a1b67f24448047e5827e0e7c074e5a44.png_pic_center]  
不能查看到历史信息的内容

### 配置日志的聚集 ###

1）配置yarn-site.xml  
vim yarn-site.xml  
在该文件里面增加如下配置。

<property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    
    <property>  
        <name>yarn.log.server.url</name>  
        <value>http://hadoop102:19888/jobhistory/logs</value>
    </property>
    
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>

2）分发配置  
xsync $HADOOP\_HOME/etc/hadoop/yarn-site.xml  
3）关闭NodeManager 、ResourceManager和HistoryServer  
sbin/stop-yarn.sh  
mapred --daemon stop historyserver  
4）启动NodeManager 、ResourceManage和HistoryServer  
start-yarn.sh  
mapred --daemon start historyserver  
5）删除HDFS上已经存在的输出文件(可以通过页面删除)  
hadoop fs -rm -r /output  
6）执行WordCount程序  
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output  
7）查看日志  
（1）历史服务器地址  
http://hadoop102:19888/jobhistory  
（2）历史任务列表  
![在这里插入图片描述][3e9316badc4f44dbbe1fc3b61549d6b8.png_pic_center]

### 注意 ###

配置日志的聚集只对配置以后的任务执行有效  
以前任务执行日志还是不能直接查看

[2514e626e60345a7a0267983ab6828d8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/4abbed530b2d4d2184afb1d95f686fc2.png
[a1b67f24448047e5827e0e7c074e5a44.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/8307c46471434c5a8822791a6f869470.png
[3e9316badc4f44dbbe1fc3b61549d6b8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/883940c295b74ffb98cb980d574f366f.png