3.7、Flink流处理（Stream API）- State & Fault Tolerance（状态和容错）之 State Schema Evolution（状态模式演化）

偏执的太偏执、 2023-05-31 06:47 54阅读 0赞

**目录**

进化状态模式

支持模式演化的数据类型

POJO types

Avro types

--------------------

Apache Flink 流应用程序通常被设计为无限期或长时间运行。与所有长时间运行的服务一样，需要更新应用程序以适应不断变化的需求。应用程序所针对的数据模式也是如此；它们随着应用程序的发展而发展。

这个页面提供了如何演进状态类型的数据模式的概述。当前的限制因不同类型和状态结构( ValueState、ListState 等)而异。

请注意，只有在使用由Flink自己的类型序列化框架生成的状态序列化器时，此页面的信息才相关。也就是说，在声明状态时，所提供的状态描述符没有配置为使用特定的类型序列化器或类型信息，在这种情况下，Flink推断关于状态类型的信息：

ListStateDescriptor<MyPojoType> descriptor =
        new ListStateDescriptor<>(
            "state-name",
            MyPojoType.class);
    
    checkpointedState = getRuntimeContext().getListState(descriptor);

本质上，状态模式是否可以演化取决于用于读取/写入持久状态字节的序列化器。简单地说，注册状态的模式只有在它的序列化程序正确地支持它的情况下才能得到发展。这是由 Flink 类型序列化框架生成的序列化器透明地处理的(当前支持范围如下所示)。

如果您打算为您的状态类型实现自定义类型序列化器，并且希望了解如何实现序列化器来支持状态模式演化，请参阅：[自定义状态序列化][Link 1]。那里的文档还包括关于状态序列化器和 Flink 的状态后端之间相互作用的必要内部细节，以支持状态模式的演化。

# 进化状态模式  #

要演进给定状态类型的模式，您将采取以下步骤：

*  取你的Flink流作业的一个保存点。
 *  更新应用程序中的状态类型(例如，修改Avro类型模式)。
 *  从保存点恢复作业。当第一次访问状态时，Flink将评估状态模式是否已经更改，并在必要时迁移状态模式。

迁移状态以适应更改模式的过程是自动发生的，并且独立于每个状态。该过程由Flink在内部执行，首先检查状态的新序列化器是否具有与前一个序列化器不同的序列化模式；如果是，则使用先前的序列化器将状态读取到对象，然后使用新的序列化器再次将其写入字节。

关于迁移过程的详细信息超出了本文档的范围，请参考：[Flink流处理（Stream API）- State & Fault Tolerance（状态和容错）之 Custom Serialization for Managed （管理状态的自定义序列化）][Link 1]。

# 支持模式演化的数据类型 #

目前，模式演化只支持 POJO 和 Avro 类型。因此，如果您关心状态的模式演化，那么目前建议始终对状态数据类型使用 Pojo 或 Avro。

## POJO types ##

Flink 支持基于以下规则集的 POJO 类型的演进模式:

1.  可以删除字段。删除后，删除字段的前一个值将在以后的检查点和保存点中删除。
2.  可以添加新字段。新字段将初始化为其类型的默认值，如 Java 所定义的那样。
3.  声明的字段类型不能更改。
4.  POJO 类型的类名不能更改，包括类的命名空间。

请注意，POJO类型状态的模式只能在从以前的保存点恢复到比1.8.0更新的Flink版本时进行演化。使用大于1.8.0的Flink版本恢复时，模式不能更改。

## Avro types ##

Flink 完全支持 Avro 类型状态的模式演进，只要 Avro 的模式解析规则认为模式更改是兼容的。

一个限制是，Avro生成的用作状态类型的类在作业恢复时不能被重新定位或具有不同的名称空间。

> 不支持键的模式演化。

示例：RocksDB状态后端依赖于二进制对象标识，而不是hashCode方法实现。对keys对象结构的任何更改都可能导致不确定性行为。

> Kryo不能用于模式演化。

使用 Kryo 时，框架不可能验证是否进行了任何不兼容的更改。

[Link 1]: https://blog.csdn.net/zpf_940810653842/article/details/102702787

3.7、Flink流处理（Stream API）- State & Fault Tolerance（状态和容错）之 State Schema Evolution（状态模式演化）

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 3.5、Flink流处理（Stream API）- State & Fault Tolerance（状态和容错）之 Queryable State Beta（可查询状态）

相关 3.2、Flink流处理（Stream API）- State & Fault Tolerance（状态和容错）之 State的工作原理

相关 3.1、Flink流处理（Stream API）- State & Fault Tolerance（状态和容错）

相关 3.6、Flink流处理（Stream API）- State & Fault Tolerance（状态和容错）之 State Backends（状态后端）

相关 3.8、Flink流处理（Stream API）- State & Fault Tolerance（状态和容错）之 Custom Serialization for Managed

相关 3.7、Flink流处理（Stream API）- State & Fault Tolerance（状态和容错）之 State Schema Evolution（状态模式演化）

相关 3.3、Flink流处理（Stream API）- State & Fault Tolerance（状态和容错）之 The Broadcast State Pattern（广播状态模式）

相关 Flink 状态与容错 ( state 和 Fault Tolerance)

相关 Flink 的 State & Fault Tolerance （状态和容错）

相关 3.4、Flink流处理（Stream API）- State & Fault Tolerance（状态和容错）之 Checkpointing