面试篇Flink

傷城~ 2024-02-17 12:00 169阅读 0赞

## 一：为什么学习flink？ ##

相比较spark，flink对于实时这块，使用过流的方式进行实现。  
spark是通过批流的方式实现，通过减少批的时间间隔来实现流的功能。

## 二：什么是flink？ ##

flink是一个针对于实时进行处理的框架。高可用，低延迟。

## 三：flink怎么使用？ ##

### 1. flink的俩种架构模式。 ###

####  ####

*  Standalone模式。  
    ![在这里插入图片描述][0ddda8d552f24e948b6c1c79a233d645.png]

1.  JobManager  
    1.将程序转为物理执行图。  
    2. 申请资源。  
    3. 监控taskmanager运行情况和checkpoint的协调。
2.  ResourceManager  
    资源管理器主要负责管理任务管理器（TaskManager）的插槽（slot）。
3.  TaskManager  
    执行任务
4.  Dispatcher

*  Flink on yarn模式。
 *  ![在这里插入图片描述][8e711f3ab69248fb8fcf5a024deaab5e.png]

![在这里插入图片描述][e67fe5c6fc674831ad9f1a6161444cac.png]

### 2. TaskSlot与Parallelism。 ###

slot是指taskmanager的并发执行能力。  
parallelism是指taskmanager实际使用的并发能力

### 3. flink 窗口，时间，水位线。 ###

窗口  
1. 滚动  
2. 滑动  
3. 累加  
时间

1.  事件时间。
2.  处理时间。
3.  摄入时间。

水位线

### 4. 状态。 ###

1.  source端保证。  
    在kafka的源头，我们有偏移量，当重跑的时候，会找到上次的offest进行重新加载数据。
2.  中间进行保证。  
    checkpoint  
    savepoint  
    当jobmanager发送任务的时候，会伴随发送一个barriers（栅栏），每一个操作都会进行一次拍照，最后sink。跑完会将数据存储起来。完成一次保存。最后通知jobmanager。  
    存储的方式
    
    1.  内存
    2.  磁盘
    3.  数据库
3.  sink端进行保证。  
    俩阶段提交。  
    ![在这里插入图片描述][dfc279b75fc349bf9d171ab9e3757644.png]

[0ddda8d552f24e948b6c1c79a233d645.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/31ee3627e5ba4bc995577c253255bc10.png
[8e711f3ab69248fb8fcf5a024deaab5e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/5d7e11f525034515ad89c96d7a42d361.png
[e67fe5c6fc674831ad9f1a6161444cac.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/8031cf1d229b4ba6a526cdd38c01cff7.png
[dfc279b75fc349bf9d171ab9e3757644.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/73ce3b4c31de465a988528bca3e6fa1d.png