疯狂Spark之Spark集群搭建以及任务提交

末蓝、 2023-10-07 14:10 28阅读 0赞

### 集群搭建以及测试 ###

#### Standalone搭建 ####

在node01、node02、node03三台虚拟机上搭建spark集群

下载安装包，将安装包上传到node01上并解压

![format_png][]

上传安装包

![format_png 1][]

解压命令：tar -zxvf spark-1.6.0-bin-hadoop2.6.tgz

修改解压包名称命令：mv spark-1.6.0-bin-hadoop2.6 spark-1.6.0

#### 修改配置文件 ####

#### spark-env.sh ####

需要修改一下几个参数

SPARK\_MASTER\_IP:master的ip

SPARK\_MASTER\_PORT:提交任务的端口，默认是7077

SPARK\_WORKER\_CORES：每个worker从节点能够支配的core的个数

SPARK\_WORKER\_MEMORY:每个worker从节点能够支配的内存数

进入文件所在目录命令：cd spark-1.6.0/conf/

![format_png 2][]

修改文件名称命令：mv spark-env.sh.template spark-env.sh

编辑spark-env.sh命令：vi spark-env.sh

在该文件中配置如下内容

export SPARK_MASTER_IP=node01
    export SPARK_MASTER_PORT=7077
    export SPARK_WORKER_CORES=2
    export SPARK_WORKER_MEMORY=3g

![format_png 3][]

slaves

修改slaves.template文件，添加从节点。保存。

修改文件名称命令：mv slaves.template slaves

编辑文件命令：vi slaves

![format_png 4][]

下发文件到node02、node03上

下发命令：

scp -r spark-1.6.0 root@node02:/root/
    scp -r spark-1.6.0 root@node03:/root/

启动集群

在node01上进入sbin目录下，执行当前目录下的./start-all.sh

进入目录命令： cd spark-1.6.0/sbin/

启动命令：./start-all.sh

此时node01位master,node02、node03位worker,可以通过jps命令查看

**注意：**

8080是Spark WEBUI界面的端口，7077是Spark任务提交的端口。

修改master的WEBUI端口：

1、修改start-master.sh即可。

![format_png 5][]

2、可以在Master节点上导入临时环境变量，只是作用于之后的程序，重启就无效 了。

![format_png 6][]

删除临时环境变量：

![format_png 7][]

访问spark web-ui界面

![format_png 8][]

#### 测试 ####

PI案例：

![format_png 9][]

Standalone提交命令：

进入spark提交命令路径：cd spark-1.6.0/bin/

./spark-submit  --master spark://node01:7077 
    --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 1000

![format_png 10][]

web-ui界面效果

![format_png 11][]

搭建客户端

将spark安装包原封不动的拷贝到一个新的节点上，然后，在新的节点上提交任务即可。

在node04上上传spark安装包并解压

修改解压包名称命令：mv spark-1.6.0-bin-hadoop2.6 spark-1.6.0

进入spark提交命令路径：cd spark-1.6.0/bin/

./spark-submit  --master spark://node01:7077 
    --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 1000

![format_png 12][]

**Standalone模式两种提交任务方式**

#### Standalone-client提交任务方式 ####

#### 提交命令 ####

./spark-submit  --master spark://node01:7077 
    --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

或者

./spark-submit   --master spark://node01:7077   --deploy-mode client 
    --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

#### 执行原理图解 ####

![format_png 13][]

#### 执行流程 ####

1、client模式提交任务后，会在客户端启动Driver进程。

2、Driver会向Master申请启动Application启动的资源。

3、资源申请成功，Driver端将task发送到worker端执行。

4、worker将task执行结果返回到Driver端。

#### 总结 ####

client模式适用于测试调试程序。Driver进程是在客户端启动的，这里的客户端就是指提交应用程序的当前节点。**在Driver端可以看到task执行的情况。生产环境下不能使用client模式，是因为：假设要提交100个application到集群运行，Driver每次都会在client端启动，那么就会导致客户端100次网卡流量暴增的问题。**

#### Standalone-cluster提交任务方式 ####

#### 提交命令 ####

./spark-submit   --master spark://node01:7077   --deploy-mode cluster
    --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

#### 执行原理图解 ####

![format_png 14][]

#### 执行流程 ####

1、cluster模式提交应用程序后，会向Master请求启动Driver.

2、Master接受请求，随机在集群一台节点启动Driver进程。

3、Driver启动后为当前的应用程序申请资源。

4、Driver端发送task到worker节点上执行。

5、worker将执行情况和执行结果返回给Driver端。

#### 总结 ####

Driver进程是在集群某一台Worker上启动的，在客户端是无法查看task的执行情况的。假设要提交100个application到集群运行,每次Driver会随机在集群中某一台Worker上启动，那么这100次网卡流量暴增的问题就散布在集群上。

**总结Standalone两种方式提交任务，Driver与集群的通信包括：**

1. Driver负责应用程序资源的申请

2. 任务的分发。

3. 结果的回收。

4. 监控task执行情况。

### Yarn模式两种提交任务方式 ###

#### yarn-client提交任务方式 ####

#### 提交命令 ####

./spark-submit   --master yarn
     --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

或者

./spark-submit   --master yarn–client
     --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

或者

./spark-submit   --master yarn   --deploy-mode  client 
     --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

#### 执行原理图解 ####

![format_png 15][]

#### 执行流程 ####

1、客户端提交一个Application，在客户端启动一个Driver进程。

2、应用程序启动后会向RS(ResourceManager)发送请求，启动 AM(ApplicationMaster) 的资源。

3、RS收到请求，随机选择一台NM(NodeManager)启动AM。这里的NM相当于 Standalone中的Worker节点。

4、AM启动后，会向RS请求一批container资源，用于启动Executor.

a、RS会找到一批NM返回给AM,用于启动Executor。

b、AM会向NM发送命令启动Executor。

c、Executor启动后，会反向注册给Driver，Driver发送task到Executor,执 行 情况和结果返回给Driver端。

#### 总结 ####

Yarn-client模式同样是适用于测试，因为Driver运行在本地，Driver会与yarn集群中的Executor进行大量的通信，会造成客户机网卡流量的大量增加.

**ApplicationMaster的作用：**

1、为当前的Application申请资源

2、给NameNode发送消息启动Executor。

注意：ApplicationMaster有launchExecutor和申请资源的功能，并没有作业调度的功能。

#### yarn-cluster提交任务方式 ####

#### 提交命令 ####

./spark-submit   --master yarn   --deploy-mode cluster 
    --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

或者

./spark-submit   --master yarn-cluster
    --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

#### 执行原理图解 ####

![format_png 16][]

#### 执行流程 ####

1、客户机提交Application应用程序，发送请求到RS(ResourceManager),请求启动 AM(ApplicationMaster)。

2、RS收到请求后随机在一台NM(NodeManager)上启动AM（相当于Driver端）。

3、AM启动，AM发送请求到RS，请求一批container用于启动Executor。

4、RS返回一批NM节点给AM。

5、AM连接到NM,发送请求到NM启动Executor。

6、Executor反向注册到AM所在的节点的Driver。Driver发送task到Executor。

#### 总结 ####

Yarn-Cluster主要用于生产环境中，因为Driver运行在Yarn集群中某一台nodeManager中，每次提交任务的Driver所在的机器都是随机的，不会产生某一台机器网卡流量激增的现象，缺点是任务提交后不能看到日志。只能通过yarn查看日志。

**ApplicationMaster的作用：**

1、为当前的Application申请资源

2、给NameNode发送消息启动Excutor。

**3、任务调度。**

**停止集群任务命令：yarn application -kill applicationID**

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWM0LnpoaW1nLmNvbS84MC92Mi0yMWYwYzM0MmJlZjVkNGM3NGQ4NTFkNDhlMjMyMmIzN183MjB3LmpwZw?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWMzLnpoaW1nLmNvbS84MC92Mi0yYmYxZGViNmQyMmJkMDNmYjUwYjA2YmI1OTliNzRjYV83MjB3LmpwZw?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWMxLnpoaW1nLmNvbS84MC92Mi1mOTA0MThlOTFkNWVkMTAyNjc0MzIzOGM2NzA2ZGFiOF83MjB3LmpwZw?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWMxLnpoaW1nLmNvbS84MC92Mi1mMTIxZjU1MTFjMDE4ZjZkNmUzNTAwNjk5ZmE1MDM4NF83MjB3LmpwZw?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWM0LnpoaW1nLmNvbS84MC92Mi1lZDMxMzhhNzU2YjAwN2M0NTE2MGM3ZWQzYmYzMWU1Zl83MjB3LmpwZw?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWMzLnpoaW1nLmNvbS84MC92Mi0zZDU1NjJjMTZmNmUxM2RmZjc4YjdkNTgwZmVhYTFiYV83MjB3LmpwZw?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWMzLnpoaW1nLmNvbS84MC92Mi03ZWJkOGNlYjIzMjEyZWM1YzM2Y2ZlODFhOGRhYTcxNl83MjB3LmpwZw?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWM0LnpoaW1nLmNvbS84MC92Mi0xNjcxNzU5ZTQ1OTRjZWEyNDdhNDIxOTJlNDEzMDhhN183MjB3LmpwZw?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWMzLnpoaW1nLmNvbS84MC92Mi0xN2Q4NjM5MzI4ZmY5MjY3YzA2Y2QzOGM2NGY5M2RkMl83MjB3LmpwZw?x-oss-process=image/format,png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWM0LnpoaW1nLmNvbS84MC92Mi1mYzBhM2Y1ZDJiOWEwZjhiMzA2ZDUzNWQyMTgzMzk2Yl83MjB3LmpwZw?x-oss-process=image/format,png
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWMzLnpoaW1nLmNvbS84MC92Mi01NWJiYmI0OTk3Nzg3YWNlMDA2N2ZiMzNmZWUwNTdlMl83MjB3LmpwZw?x-oss-process=image/format,png
[format_png 11]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWMyLnpoaW1nLmNvbS84MC92Mi1hYjk1YWQwMzhkYTQ1ZmMwMWNkMTU1YjI2Njk4NThiMV83MjB3LmpwZw?x-oss-process=image/format,png
[format_png 12]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWMxLnpoaW1nLmNvbS84MC92Mi0xODgxNDc4NjExNTVjNzc5OTdlMTA4NjE5OTI4MTc4OF83MjB3LmpwZw?x-oss-process=image/format,png
[format_png 13]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWMzLnpoaW1nLmNvbS84MC92Mi1iZWViY2QzZDhiMDNiZDM4ZTFiODg5OGViYmU3MTMyYV83MjB3LmpwZw?x-oss-process=image/format,png
[format_png 14]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWMzLnpoaW1nLmNvbS84MC92Mi00Y2RiMzJjNDFhYjg0N2QxM2YzMjRmMjEzYmI4ZmIwZV83MjB3LmpwZw?x-oss-process=image/format,png
[format_png 15]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWMyLnpoaW1nLmNvbS84MC92Mi0xOTJmODAyMWZjNmEzYWZmOGE5YzQ5YmExNmVjN2UxZF83MjB3LmpwZw?x-oss-process=image/format,png
[format_png 16]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWM0LnpoaW1nLmNvbS84MC92Mi05OTE0ZDBjYTQ5ZTQ4MzExMDYyNmYzNTM0Yjc3NTk5N183MjB3LmpwZw?x-oss-process=image/format,png