Yarn的工作原理、流程【重要】

客官°小女子只卖身不卖艺 2023-10-14 11:57 145阅读 0赞

![up-8ad8ac22f12a5824a738f6142c106ecbeea.png][]

![up-4ae15c44d3fd2408b86c7df1cdb261c799c.jpg][]

（1）首先，MR程序提交到客户端所在的结点，YarnRunner开始向ResourceManager申请一个Application，ResourceManager收到请求后返回给YarnRunner一个资源路径，随后该程序将运行所需的资源提交到HDFS上，资源提交完毕之后会向ResourceManager申请运行MRApplication。

（2）ResourceManager会将用户请求初始化成一个Task放入调度器中，默认使用Capacity Scheduler容量调度器。

（3）接着，由其中一个NodeManager领取到Task任务，该NodeManager会创建容器Container，并产生MRAPPMaster。其中，Container会从HDFS上拷贝资源到本地，MRAppMaster会向ResourceManager申请运行MapTask资源。

（4）然后，ResourceManager将运行MapTask任务分配给另外两个NodeManager，另外两个NodeManager分别领取任务并创建容器。

（5）接着，MRAppMaster会向接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动MapTask，MapTask对数据进行分区排序。

（6）MRAPPMaster等待所有MapTask运行完毕之后，会再次向ResourceManager申请容器，来运行ReduceTask。ReduceTask向MapTask获取相应的分区数据。

（7）最后，待程序运行完毕之后，MRAPPMaster会向ResourceManager申请注销自己，释放资源。

[up-8ad8ac22f12a5824a738f6142c106ecbeea.png]: https://oscimg.oschina.net/oscnet/up-8ad8ac22f12a5824a738f6142c106ecbeea.png
[up-4ae15c44d3fd2408b86c7df1cdb261c799c.jpg]: https://oscimg.oschina.net/oscnet/up-4ae15c44d3fd2408b86c7df1cdb261c799c.jpg

发表评论取消回复

表情：

评论列表（有 0 条评论，145人围观）

还没有评论，来说两句吧...

相关阅读

相关大数据_YARN的工作原理

目录一、YARN产生的背景二、YARN的设计思想三、YARN的基本架构四、YARN的工作流程 -------------------- 一、YARN产生的

喜欢ヅ旅行/ 2024年04月03日 08:27/ 0 赞/ 124 阅读

相关 5.RabbitMQ的工作原理（重要）

工作原理： RabbitMQ 有 4 个组件：生产者、Exchange、queue 队列、消费者。当生产者发出一条消息时，先经过 Exchange，由 Exchan

曾经终败给现在/ 2023年10月14日 12:07/ 0 赞/ 131 阅读

相关 MapReduce的原理、流程【重要】

MapReduce分为两个阶段，Map阶段和Reduce阶段： ![up-22fde71ce70c3ede48e02ffafe55e2ba381.png][] Map

秒速五厘米/ 2023年10月14日 11:59/ 0 赞/ 137 阅读

相关 Yarn的工作原理、流程【重要】

![up-8ad8ac22f12a5824a738f6142c106ecbeea.png][] ![up-4ae15c44d3fd2408b86c7df1cdb261c799

客官°小女子只卖身不卖艺/ 2023年10月14日 11:57/ 0 赞/ 146 阅读

相关 Hadoop-Yarn-工作机制、job的提交流程

Hadoop-Yarn-工作机制、job的提交流程文章目录 Hadoop-Yarn-工作机制、job的提交流程 Yarn基本概述

客官°小女子只卖身不卖艺/ 2023年03月02日 10:41/ 0 赞/ 150 阅读

相关 Yarn工作流程、Yarn三大调度器介绍

本文目录 1.Yarn 基础架构 2.Yarn工作机制 Ⅰ.流程说明 3.Yarn工作机制高清大图 4.Yarn调度器和调度算法 (仅

╰半橙微兮°/ 2023年01月15日 11:21/ 0 赞/ 58 阅读

相关 Kafka--原理--工作流程

原文网址：[Kafka--原理--工作流程\_IT利刃出鞘的博客-CSDN博客][Kafka--_--_IT_-CSDN] 简介本文介绍Kafka的工作流程（工作原理

蔚落/ 2022年11月05日 03:06/ 0 赞/ 489 阅读

相关 YARN的工作流程

[YARN的工作流程][YARN] 运行在YARN上的应用程序主要分为两类：（1）短应用程序（2）长应用程序短应用程序是指一定时间内（可能是秒级、分钟级或小时级，

小鱼儿/ 2022年08月08日 13:46/ 0 赞/ 302 阅读

相关 MapReduce On YARN的工作原理

MapReduce On YARN MapReduce计算框架将计算过程分为两个阶段：Map和Reduce 　　Map阶段并行处理输入数据；　　Reduce阶

￡神魔★判官ぃ/ 2022年06月14日 02:54/ 0 赞/ 307 阅读

相关 yarn的基本组成和工作流程

yarn的基本组成和工作流程 yarn是负责资源管理的，协调各个应用程序的资源使用情况一、基本组成 yarn主要由以下几个部分组成 1、resourcemanage

不念不忘少年蓝@/ 2022年01月27日 00:01/ 0 赞/ 358 阅读