flink 在yarn 上的运行

电玩女神 2023-03-02 10:12 43阅读 0赞

> 参考资料  
> https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/yarn\_setup.html  
> https://www.jianshu.com/p/1b05202c4fb6 （非常的详细）

# flink在yarn上运行的模式 #

目前基于的版本是1.11.1

##### 前置条件 #####

hadoop版本最少为2.4.1

flink在yarn上有2种模式  
1、Flink YARN Session  
2、Run a single Flink job on YARN

# 1、Flink YARN Session #

这里先讲下含义。 这个session如果启动将一直存在，将JobManager and TaskManagers预先启动好，方便程序在里面提交。这个session里面可以运行多个程序。（个人简介，感觉和sparkThriftserver很像啊，都是预先初始化）

**注意:** 提前设置YARN\_CONF\_DIR 或者HADOOP\_CONF\_DIR环境变量，这样方便去读取yarn和hdfs的配置

启动命令为

> ./bin/yarn-session.sh

有很多先关参数可以去上述官网去查看。  
然后我们提交flink内置的wordcount jar

> ./bin/flink run ./examples/batch/WordCount.jar

在flink的自带的界面就能看到有job在这行并且成功了，如图所示  
![image.png][]

##### Detached YARN Session #####

独立模式的yarn 需要在启动命令后加 -d参数 这块为什么独立虽然看了官网还不太了解 这块后续补充

# 2、Run a single Flink job on YARN #

这种情况是在yarn 上运行一个单独的flink任务。示例如下

> ./bin/flink run -m yarn-cluster ./examples/batch/WordCount.jar

区别相当于多了一个-m 参数 这种方式是将任务直接提交到yarn上面。每个的任务的JobManager和TaskManagers 都可以自己设置。这块的任务是直接在yarn界面进行查看的，如下图所示  
![image.png][image.png 1]

[image.png]: /images/20230208/c86deb2c1a774b4fa1566f3cc7c4dcae.png
[image.png 1]: /images/20230208/66aa1bab279c46bb8fe7dbde6ef3e075.png

发表评论取消回复

表情：

评论列表（有 0 条评论，43人围观）

还没有评论，来说两句吧...

相关阅读

相关 Flink on Yarn

Flink On yarn

待我称王封你为后i/ 2024年04月28日 13:07/ 0 赞/ 166 阅读

相关 Flink-1.8 在 Hadoop yarn cluster 的坑

link1.8版本相比1.7在打包和jar包拆分上作出些许调整，对使用者有一定影响；如下是在使用flink-1.8 on hdp yarn时踩的两个小坑操作步骤 ...

曾经终败给现在/ 2024年04月17日 05:56/ 0 赞/ 89 阅读

相关 Flink 1.17教程：Hadoop yarn会话运行模式

YARN运行模式\_环境准备 YARN上部署的过程是：客户端把Flink应用提交给Yarn的ResourceManager，Yarn的ResourceManager会向Y

水深无声/ 2023年10月15日 14:37/ 0 赞/ 67 阅读

相关 flink 在yarn 上的运行

> 参考资料 > https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/yarn\_s

电玩女神/ 2023年03月02日 10:12/ 0 赞/ 44 阅读

相关 CDH在yarn上运行程序乱码

参考文章：[CDH在yarn上运行程序乱码][CDH_yarn] 安装完成CDH后，在yarn上不管是使用hive运行mapreduce还是spark，中文全都会乱码。

ゝ一世哀愁。/ 2023年02月13日 11:19/ 0 赞/ 96 阅读

相关 Flink on yarn

1、准备准备集群 Zookeeper集群 Hadoop集群准备flink jar包官网地址：[https://flink.apache.o

太过爱你忘了你带给我的痛/ 2023年02月11日 04:59/ 0 赞/ 294 阅读

相关执行yarn报错： yarn.ps1，因为在此系统上禁止运行脚本

执行yarn报错： yarn.ps1，因为在此系统上禁止运行脚本 PS E:\code\near-contracts\Whitelist-Contract-mai

短命女/ 2022年11月16日 10:38/ 0 赞/ 282 阅读

相关 Flink安装与运行——flink on yarn

Flink下载地址：[https://flink.apache.org/downloads.html][https_flink.apache.org_downloads.htm

朴灿烈づ我的快乐病毒、/ 2022年04月23日 01:20/ 0 赞/ 700 阅读

相关 kill掉yarn上运行的job

转自：[https://blog.csdn.net/high2011/article/details/51941115][https_blog.csdn.net_high201

电玩女神/ 2022年03月01日 14:14/ 0 赞/ 447 阅读

相关 Flink On YARN

1. 两种模式 1. 共用一个 yarn-session 在 YARN 中初始化一个 Flink 集群，初始化好资源，提交的任务都在这个集群执行，共用集群的资源。

缺乏、安全感/ 2021年09月23日 15:12/ 0 赞/ 438 阅读