spark-submit 提交yarn-client yarn-cluster两种模式的差别

系统管理员 2024-04-18 09:33 175阅读 0赞

spark-submit提交给yarn的两种方式总结与区分：

spark-submit提交给yarn有两种方式， 1为yarn-cluster, 2为yarn-client

两种方式的区别

yarn-client主要是用于测试，因为driver运行在本地客户端，负责调度application，会与yarn集群产生大量的网络通信，会导致网卡流量激增！！好处在于直接执行时，本地可以看到所有的log，方便调试

yarn-cluster用户生产环境，以为driver运行在nodemanager，没有网卡流量激增的问题。缺点在于调试不方便，本地用spark-submit提交后，看不到log，只能通过yarn application -logs application\_id这种命令来查看，比较麻烦  或者  yarn logs -applicationId application\_id

spark作业提交示例：

以下三个示例都可提交上集群 。有一个问题待解决。新增一个节点提交时候总是报jar包找不到，问题挂起，见另一篇文章

spark-submit --class "com.hadoop.init.P\_app" --master yarn-cluster --num-executors 2 --executor-cores 1 --executor-memory 6G   app.jar 4

spark-submit --class "com.hadoop.init.P\_app" --master yarn-cluster --num-executors 2 --executor-cores 1 --executor-memory 6G --driver-class-path spark\_json\_lib/druid-1.0.13.jar --driver-class-path spark\_json\_lib/druid-1.0.23.jar --driver-class-path spark\_json\_lib/gson-2.7.jar --driver-class-path spark\_json\_lib/mysql-connector-java-5.1.33.jar  app.jar 4

spark-submit --class "com.hadoop.init.P\_app" --master yarn-cluster --num-executors 2 --executor-cores 1 --executor-memory 6G --driver-class-path spark\_json\_lib/druid-1.0.13.jar  --jars spark\_json\_lib/druid-1.0.13.jar,spark\_json\_lib/druid-1.0.23.jar,spark\_json\_lib/gson-2.7.jar,spark\_json\_lib/mysql-connector-java-5.1.33.jar app.jar 4