Spark中Task，Partition，RDD、节点数、Executor数、core数目的关系和Application，Driver，Job，Task，Stage理解

r囧r小猫 2023-06-10 04:27 28阅读 0赞

梳理一下Spark中关于并发度涉及的几个概念`File`，`Block`，`Split`，`Task`，`Partition`，`RDD`以及节点数、`Executor`数、`core`数目的关系。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg1NDg4_size_16_color_FFFFFF_t_70]  
输入可能以多个文件的形式存储在`HDFS`上，每个File都包含了很多块，称为`Block`。

当Spark读取这些文件作为输入时，会根据具体数据格式对应的`InputFormat`进行解析，一般是将若干个`Block`合并成一个输入分片，称为`InputSplit`，注意`InputSplit`不能跨越文件。

随后将为这些输入分片生成具体的`Task`。`InputSplit`与`Task`是一一对应的关系。  
随后这些具体的`Task`每个都会被分配到集群上的某个节点的某个`Executor`去执行。

每个节点可以起一个或多个`Executor`。  
每个`Executor`由若干`core`组成，每个`Executor`的每个`core`一次只能执行一个`Task`。  
每个`Task`执行的结果就是生成了目标RDD的一个`partiton`。  
注意: 这里的`core`是虚拟的`core`而不是机器的物理`CPU`核，可以理解为就是`Executor`的一个工作线程。

而 `Task`被执行的并发度 = `Executor`数目 \* 每个`Executor`核数。

至于`partition`的数目：

对于数据读入阶段，例如`sc.textFile`，输入文件被划分为多少`InputSplit`就会需要多少初始`Task`。  
在`Map`阶段`partition`数目保持不变。  
在`Reduce`阶段，`RDD`的聚合会触发`shuffle`操作，聚合后的`RDD`的`partition`数目跟具体操作有关，例如`repartition`操作会聚合成指定分区数，还有一些算子是可配置的。

RDD在计算的时候，每个分区都会起一个`task`，所以rdd的分区数目决定了总的的task数目。申请的计算节点（`Executor`）数目和每个计算节点核数，决定了你同一时刻可以并行执行的task。

比如的RDD有100个分区，那么计算的时候就会生成100个task，你的资源配置为10个计算节点，每个两2个核，同一时刻可以并行的task数目为20，计算这个RDD就需要5个轮次。如果计算资源不变，你有101个task的话，就需要6个轮次，在最后一轮中，只有一个task在执行，其余核都在空转。如果资源不变，你的RDD只有2个分区，那么同一时刻只有2个task运行，其余18个核空转，造成资源浪费。这就是在spark调优中，增大RDD分区数目，增大任务并行度的做法。

### 1，Application ###

`application`（应用）其实就是用`spark-submit`提交的程序。比方说`spark examples`中的计算pi的`SparkPi`。一个`application`通常包含三部分：从数据源（比方说HDFS）取数据形成`RDD`，通过RDD的`transformation`和`action`进行计算，将结果输出到`console`或者外部存储（比方说`collect`收集输出到`console`）。

### 2，Driver ###

`Spark`中的`driver`感觉其实和`yarn中Application Master`的功能相类似。主要完成任务的调度以及和`executor和cluster manager`进行协调。有`client`和`cluster`联众模式。client模式driver在任务提交的机器上运行，而`cluster`模式会随机选择机器中的一台机器启动`driver`。从spark官网截图的一张图可以大致了解`driver`的功能。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg1NDg4_size_16_color_FFFFFF_t_70 1]

### 3，Job ###

Spark中的Job和MR中Job不一样。`MR`中Job主要是Map或者`Reduce Job`。而`Spark`的`Job`其实很好区别，一个`action`算子就算一个Job，比方说count，first等。

### 4, Task ###

`Task`是`Spark`中最新的执行单元。`RDD`一般是带有`partitions`的，每个`partition`在一个`executor`上的执行可以任务是一个Task。

![RDD,Patition和Tasks的关系][RDD_Patition_Tasks]

### 5, Stage ###

Stage概念是spark中独有的。一般而言一个Job会切换成一定数量的stage。各个stage之间按照顺序执行。至于stage是怎么切分的，首选得知道spark论文中提到的`narrow dependency`(窄依赖)和`wide dependency`（ 宽依赖）的概念。其实很好区分，看一下父RDD中的数据是否进入不同的子RDD，如果只进入到一个子RDD则是窄依赖，否则就是宽依赖。宽依赖和窄依赖的边界就是stage的划分点

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg1NDg4_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg1NDg4_size_16_color_FFFFFF_t_70 3]

参考  
[https://blog.csdn.net/u013013024/article/details/72876427][https_blog.csdn.net_u013013024_article_details_72876427]  
[https://blog.csdn.net/zhangzeyuan56/article/details/80935034][https_blog.csdn.net_zhangzeyuan56_article_details_80935034]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg1NDg4_size_16_color_FFFFFF_t_70]: /images/20230531/d70beda4b7ab425abf9da8fddc5743c4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg1NDg4_size_16_color_FFFFFF_t_70 1]: /images/20230531/1d2b1a10fc7f49f59a01cd0f553e2374.png
[RDD_Patition_Tasks]: /images/20230531/8a6cc9d16f9f47e39b9413b5014c44b3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg1NDg4_size_16_color_FFFFFF_t_70 2]: /images/20230531/657e0aa49caf434898702215ad531767.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODg1NDg4_size_16_color_FFFFFF_t_70 3]: /images/20230531/c15a6af0f2e24ffbab0b67962a6d69de.png
[https_blog.csdn.net_u013013024_article_details_72876427]: https://blog.csdn.net/u013013024/article/details/72876427
[https_blog.csdn.net_zhangzeyuan56_article_details_80935034]: https://blog.csdn.net/zhangzeyuan56/article/details/80935034