Flink CEP 基本概念及使用规则

骑猪看日落 2022-10-09 12:23 372阅读 0赞

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODIwMTkzNg_size_16_color_FFFFFF_t_70][]

公众号文章链接：[Flink CEP 基本概念及使用规则][Flink CEP]

![20210624193718966.png][]

**CEP的概念：**

Ø复杂事件处理（Complex Event Processing），用于识别输入流中符合指定规则的事件，并按照指定方式输出。

Ø起床—>洗漱—>吃饭—>上班一系列串联起来的事件流形成的模式

Ø浏览商品—>加入购物车—>创建订单—>支付完成—>发货—>收货事件流形成的模式。

通过概念可以了解，CEP主要是识别输入流中用户指定的一些基本规则的事件，然后将这些事件再通过指定方式输出。

如下图所示： 我们指定“方块、圆”为基本规则的事件，在输入的原始流中，将这些事件作为一个结果流输出来。

![图片][762d4f954e2bf8c38977d1d0dea8d04c.png]

**CEP的使用场景：**

![图片][8ef9a5f287d5191db1b477ae89ab8fb7.png]

![图片][4cf5ea0baa211abe84d4f562e1fbbbf1.png]

像用户异常检测：我们指定异常操作事件为要输出的结果流；策略营销：指定符合要求的事件为结果流；运维监控：指定一定范围的指标为结果流；银行卡盗刷：指定同一时刻在两个地方被刷两次为异常结果流。

![20210624193226767.png][]

在Flink CEP** **API中，主要通过Pattern 类来进行实现。CEP模式主要分为三种模式：

**1、个体模式**

Ø单例模式：只接收一个事件

p 触发条件 (.where()/.or()/.until())

Ø循环模式：可以接收一个或多个事件

p单例 +量词（在个体模式后追加量词，指定循环次数）

个体模式分为单例模式和循环模式：

单例模式只接收一个事件，主要通过(.where()/.or()/.until())等条件触发，使用规则如下：start为定义的变量。

![图片][d31275a21a8a427cf65ae31fe9a70135.png]

循环模式可以接收一个或多个事件，使用规则为 单例+量词，如下图所示：

![图片][b6c2ea1f62e533b4728ef9aa41edb41c.png]

**2、组合模式（多个个体模式的组合）**

Ø严格连续(next)

Ø中间没有任何不匹配的事件

Ø宽松连续(followBy)

Ø忽略匹配的事件之间的不匹配的事件

Ø不确定的宽松连续(followByAny)

Ø一个匹配的事件能够再次使用

组合模式主要分为三种使用规则：但是在使用组合模式之前，必须以初始模式开始，使用begin() 控制，如下图：

![图片][48c68f750154fb68e5f76f48db9b185b.png]

（1）严格连续，通过next()方法控制，这句话是指用户定义的基本事件，如最上图中的方块，必须是连续都是方块，不能出圆圈。可以通过下图理解。

![图片][a1157d430b3b7f6ebdd52f466159956c.png]

（2）宽松连续，通过followBy()控制，中间可以有不匹配的事件

![图片][bf0af1ff3e4b401fea48af0061b517ba.png]

（3）不确定的宽松连续，通过followByAny()方法控制，表示一个匹配的事件可以多次被使用

![图片][d91cb1396bc9ee068f97de8066c19f46.png]

组合模式还包含：“不希望出现某种连续关系”：

.notNext()—— 不想让某个事件严格近邻前一个事件发生

.notFollowedBy()——不想让某个事件在两个事件之间发生

** 组合模式注意事项：**

所有组合模式必须以.begin()开始；组合模式不能以.notFollowedBy()结束；"not"类型的模式不能被optional所修饰；此外，还可以为模式指定时间约束，用来要求在多长时间内匹配有效。

**3、模式组**

Ø一个组合模式作为条件嵌套在个体模式里pPattern(（ab）c)

![20210624193302394.png][]

为例帮助大家更好的理解CEP的API使用，接下里通过两个案例，对CEP的使用进行讲解。

**（a）电商案例——条件创建订单之后15分钟之内一定要付款，否则取消订单**

案例介绍：在电商系统当中，经常会发现有些订单下单之后没有支付，就会有一个倒计时的时间值，提示你在15分钟内完成支付，如果没有完成支付，那么该订单就会被取消，主要是因为拍下订单就会减库存，但是如果一直没有支付，那么就会造成库存没有了，后面购买的时候买不到。

在CEP概念介绍时，引入过一条链路：

Ø浏览商品—>加入购物车—>创建订单—>支付完成—>发货—>收货事件流形成的模式。

上述模式是标准的电商事件流，我们案例中定义的CEP规则是 创建订单—>支付完成 这两个环节，要求是，判断15分钟内是否付款，否则订单取消。

代码设计：

Ø（1）定义实体类：订单编号，订单状态（1 创建订单，等待支付，2支付订单完成，3取消订单，申请退款，4已发货，5确认收货，已经完成）订单创建时间，订单金额

![图片][1aa212516bc31f65ab1ccfcbd2309ae2.png]

Ø（2）创建运行环境，设置流时间特性为事件时间，设置并行度

![图片][ecbaaa3cc034ff381623069ffa8411a2.png]

Ø（3）设置Source源

![图片][b1b02132c44350149b8931619133cf8a.png]

Ø（4）定义Pattern模式，指定条件

![图片][246dcb62f876bfe6d203f670816868ee.png]

在Pattern模式中，我们使用到了个体模式，组合模式

*   首先，使用begin()方法以模式作为开始；
 *   其次，由于创建的CEP规则是 创建订单—>支付完成 ，则在单例模式下，通过where条 件触发订单的状态已将处于 1 创建订单，等待支付状态
 *   接着，通过宽松连续followBy()方法忽略15分钟内的产生的其他订单，所以使用宽松连续。  
 *  然后，通过where条件触发订单的状态是否已将处于 2 支付完成。
 *  最后，通过within()方法判断第二次触发的订单是否在支付的15分钟内完成。

Ø（5）订单超时检测

![图片][1e53a8eaddc916f6186a61cd55eef4c8.png]

Ø（6）运行结果对比

![图片][afa3348d0bee4bb043ee12287a6b0b70.png]

查看最终的运行结果，可以得知201608041140.... 这个订单的状态为1，且没有其他状态，最终被系统判断为超时订单。

**（b）系统登录案例——当2秒内出现两次登录失败（“fail”）时，输出异常报警信息**

同样，根据上述信息，我们做以下代码设计：

Ø（1）设置实体类：用户ID，登录IP，事件类型，事件时间

![图片][34f7af5e1b33560db985f92aae746389.png]

Ø（2）设置环境，指定source源，传入实体类

![图片][ca12fad77e421e3a8ea456200a1cd5ed.png]

Ø（3）定义pattern匹配模式（规则），指定条件

begin: 第一次；where:  出现 fail；next： 紧接着第二次出现 fail；times: 出现一次 ；within:表示在2秒内。

![图片][fe3538fe0569cb38c3d676091b798332.png]

Ø（4）结果对比

![图片][80b17d4a72bd4301db2daee3febde5e3.png]

![图片][f4ea3b327bfb3b7c1573bc76b58dc9c9.png]

查看最终的运行结果，可以得知服务器编号为1，连续2秒在两个服务器登录，登录失败；服务器编号为3，连续2秒在一台服务器登录，登录失败！

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODIwMTkzNg_size_16_color_FFFFFF_t_70]: /images/20221005/54f8a99232494b6b81c34cd7e1b85a5e.png
[Flink CEP]: https://mp.weixin.qq.com/s?__biz=MzU4NjY4NDU0MQ==&mid=2247488125&idx=1&sn=98d1fca971c609f490e6fc945adeb99d&chksm=fdf6d36fca815a79525340ebead9464a5fab1b5705cc4f68122b0d14487a3dac134d4ad7135a&token=1660020721&lang=zh_CN#rd
[20210624193718966.png]: /images/20221005/ef802d1c12db4a9882d36141f96c2000.png
[762d4f954e2bf8c38977d1d0dea8d04c.png]: /images/20221005/e91141324c82429db372c4ef33381f03.png
[8ef9a5f287d5191db1b477ae89ab8fb7.png]: /images/20221005/628b8f63c84d4763b099463b564b686b.png
[4cf5ea0baa211abe84d4f562e1fbbbf1.png]: /images/20221005/00195a98bc424e65ad5bf5ea7300820a.png
[20210624193226767.png]: /images/20221005/81339be3f4924a1791f4c49d8ea48728.png
[d31275a21a8a427cf65ae31fe9a70135.png]: /images/20221005/cabd995257134a27a8c0104c59c80d41.png
[b6c2ea1f62e533b4728ef9aa41edb41c.png]: /images/20221005/11410879c6cc41ffbe09eb5a5276d211.png
[48c68f750154fb68e5f76f48db9b185b.png]: /images/20221005/f0a1140c2373499db0bd8762ce701dc0.png
[a1157d430b3b7f6ebdd52f466159956c.png]: /images/20221005/c2cb7829f4d045c3a5c02a6ba3300402.png
[bf0af1ff3e4b401fea48af0061b517ba.png]: /images/20221005/acff14d8c3e24179abf24cd5777263c4.png
[d91cb1396bc9ee068f97de8066c19f46.png]: /images/20221005/a7fba84b4e6342e49ab1ef84697ea5bf.png
[20210624193302394.png]: /images/20221005/17279fcdccd948e48c80dfd5322bdf8a.png
[1aa212516bc31f65ab1ccfcbd2309ae2.png]: /images/20221005/8091fa1a710949048382c80a0f1a4e5d.png
[ecbaaa3cc034ff381623069ffa8411a2.png]: /images/20221005/16f29a240e4c4fa18d53a31b6bfc34b4.png
[b1b02132c44350149b8931619133cf8a.png]: /images/20221005/6eb882505e8145ae817a11f89cfceb68.png
[246dcb62f876bfe6d203f670816868ee.png]: /images/20221005/6e444f5b6634474bac591b404105d7b9.png
[1e53a8eaddc916f6186a61cd55eef4c8.png]: /images/20221005/64de1daf8dee4247b8c9aa5204e485dd.png
[afa3348d0bee4bb043ee12287a6b0b70.png]: /images/20221005/b2753dcea56a4e87b244b30db9f266d4.png
[34f7af5e1b33560db985f92aae746389.png]: /images/20221005/58e11e1e4eec4c1eb5e79ddef8df138c.png
[ca12fad77e421e3a8ea456200a1cd5ed.png]: /images/20221005/c24ee3b89aeb44c78fbb529f260df1da.png
[fe3538fe0569cb38c3d676091b798332.png]: /images/20221005/339973679fcc4dc8af50a798103050bb.png
[80b17d4a72bd4301db2daee3febde5e3.png]: /images/20221005/86a5379442434d5596f11ee7bff70da4.png
[f4ea3b327bfb3b7c1573bc76b58dc9c9.png]: /images/20221005/4e4e6100b1de4edfb139780356c34d44.png