DStream相关操作, DStream的Transformations转换算子和OutPut输出算子, Window Operations开窗函数 30

青旅半醒 2023-06-05 15:57 17阅读 0赞

# 前言 #

DStream上的操作与RDD的类似，分为Transformations（转换）和Output Operations（输出）两种，此外转换操作中还有一些比较特殊的操作，如：updateStateByKey()、transform()以及各种Window相关的操作。

# 1. Transformations on DStreams #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][20191009162529194.png]  
**特殊的Transformations操作**

*  **UpdateStateByKey Operation**  
    UpdateStateByKey用于记录历史记录，保存上次的状态
 *  **Window Operations(开窗函数)**, 滑动窗口转换操作:
    
    1.  滑动窗口转换操作的计算过程如下图所示，我们可以事先设定一个滑动窗口的长度（**也就是窗口的持续时间**），
    2.  并且设定滑动窗口的时间间隔（**每隔多长时间执行一次计算**）.
    3.  然后，就可以让窗口按照指定时间间隔在源DStream上滑动，每次窗口停放的位置上，都会有一部分DStream被框入窗口内，形成一个小段的DStream.
    4.  这时，就可以启动对这个小段DStream的计算。  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 2]  
        （1)**红色的矩形就是一个窗口**，**窗口框住的是一段时间内的数据流**。  
        （2）这里面每一个time都是时间单元，在官方的例子中，每隔window size是3 time unit, 而且每隔2个单位时间，窗口会slide一次。  
        所以基于窗口的操作，需要指定2个参数：  
        **window length - The duration of the window** (3 in the figure)  
        **slide interval - The interval at which the window-based operation is performed** (2 in the figure).  
        a.窗口大小，一段时间内数据的容器。  
        b.滑动间隔，每隔多久计算一次。  
        **注意, 滑动间隔必须是窗口的整数倍,否则会出现数据重复消费或者遗忘消费的情况**

# 2. Output Operations on DStreams #

Output Operations可以将DStream的数据输出到外部的数据库或文件系统，当某个Output Operations被调用时（与RDD的Action相同），spark streaming程序才会开始真正的计算过程.  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 3]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70]: /images/20230601/ae6c01cbebc848518ddcc114ea20b26d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 1]: /images/20230601/dc858933d3d94fefab0053b9e592a230.png
[20191009162529194.png]: /images/20230601/a10337a8e1ba4d8a936ac8522f1f2feb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 2]: /images/20230601/821b718451cc4a62b6f743fd9f86adff.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 3]: /images/20230601/d0e0a0d1ddfa46d3b4bb8be41179bd0f.png