高性能的异步处理框架Disruptor(一)——认识RingBuffer与Disruptor

曾经终败给现在 2023-06-05 11:18 54阅读 0赞

### Disruptor是什么 ###

Disruptor 基于线程内通信框架，用于线程里共享数据。也是一个高性能的异步处理框架。

LMAX 创建Disruptor 作为可靠消息架构的一部分并将它 设计成一种在不同组件中共享数据非常快的方法。

在这种最简单的情况下，Disruptor 可以用来代替队列作为在不同的线程传递消息的工具

可以认为是最快的消息框架(轻量的JMS)，也可以认为是一个观察者模式的实现，或者事件监听模式的实现。它允许开发者使用多线程技术去创建基于任务的工作流。Disruptor 能用来并行创建任务，同时保证多个处理过程的有序性。Disruptor 的目标就是快，高效。

ArrayBlockingQueue也是一个非常优秀的有界队列实现，但是低延迟队列Disruptor与之相比，性能更加的优秀。

### Disruptor的核心——RingBuffer ###

Ringbuffer数据结构是整个模式(Disruptor)的核心，但是Disruptor对Ringbuffer的访问控制策略才是真正的关键点所在。

在数据结构的角度上来看，Ringbuffer是一个线性表(顺序式存储，首尾相接)，为简单理解可以把它想想成一个环。可以把它用做在不同上下文(线程)间传递数据的 buffer。

基本来说，RingBuffer中的每个数据节点Entry都拥有一个序号，同时RingBuffer也维护了一个指向数组中下一个可用的元素的指针cursor（也可以理解指向最后一个填充了数据的元素）。随着你不停地填充这个 buffer(可能也会有相应的读取)，数据节点Entry序号会一直增长，直到绕过这个环并覆盖掉之前的数据，如此循环。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nhbm90_size_16_color_FFFFFF_t_70]  
在上面的图示里，是一个 size 为 7 的 RingBuffer，从 0-2 的坐标位 置是填充了数据的。“next”指针指向就是第一个可用的元素。“cursor”指针指向最后一个填充了数据的区块。

如果想找到数组中当前序号指向的元素，可以通过 “取余” 操作:

对于上述的有7个槽（数组下标0～6）。取某个序号的元素序号如12则通过如下计算：  
如12 % 7 = 5，则在数据下表为0的位置。

如果熟悉HashMap定位数组元素的方法，就会知道有种比取余的速度更快  
的方法。但这种限制了槽的个数必须是 2 的 N 次方。  
如果槽的个数是2的3次方 = 8（槽的位置为0～7）  
如 12 & (8 - 1) = 4 = 12 % 8。

实际的RingBuffer 也是保证了size长度为 2 的 N 次方。定位元素也是采用了二进制的 &(与)操作。

也许读者了解环形 buffer与本文介绍的实现方式有所不同，如:RingBuffer没有尾指针而只维护了一个指向下一个可用位置的序号。

这种实现是基于Disruptor的使用场景考虑的——RingBuffer就是想要提供可靠的消息传递。需要将已经被服务发送过的消息保存起来，这样当另外一个服务通过 nak (拒绝应答信号)告诉Disruptor没有成功收到消息时，能够重新发送给他们。它维护了一个指向数组中下一个可用的元素的指针，当收到 nak 请求，可以重发从那一点到当前序号之间的所有消息。

Ringbuffer和其他常用的队列之间的另一个区别是：Ringbuffer不会删除 buffer中的数据，也就是说这些数据一直存放在 buffer 中，直到新的数据覆盖他们。这也就是不需要尾指针的原因。

了解了Ringbuffer结构后，接下来的文章会学习Disruptor对 Ringbuffer的访问控制策略。

总结：

Disruptor 的关键在于是它的设计目标是在框架内没有竞争，这是通过遵守single-writer 原则，即只有一块数据可以写入一个数据块中。遵循这样的规则使得 Disruptor 避免了代价高昂的 CAS 锁，这也使得 Disruptor非常快。

Disruptor 通过使用 RingBuffer 以及每个事件处理器(EventProcessor)监测各自的序号从而减少了竞争。消费者-事件处理器只能更新自己所获得的序号。当介绍向 RingBuffer 读取和写入数据时会对这个概念作进一步解释。

Disruptor 模式适合在基于 CQRS(命令查询责任分类，Command Query Responsibility Segregation)架构的基础上来处理命令。当某个进程“预加载(pre-load)”一个聚合对象群(aggregate)时，其他进程将执行命令处理器(command handler)，之后其它的存储事件(store events)进入事件存储(event store)中，且在事件总线(event bus)上发布这个存储事件。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nhbm90_size_16_color_FFFFFF_t_70]: /images/20230601/f2ab2aea095942aeaa24cce4cd6bb37d.png