KafKa(二)：具体名词概念

左手的ㄟ右手 2023-07-22 05:56 25阅读 0赞

### 一、kafka流程图 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0NjA3ODM3_size_16_color_FFFFFF_t_70][]

### 二、具体概念 ###

*  **producer**: 生产者即数据的发布者，该角色将消息发布到kafka的topic中，broker接收到生产者发布的消息后，broker将该消息追加到当前用于追加数据的segment文件中，生产者发送的消息，存储到一个partition中，生产者也可以指定存储的partition。
 *  **consumer**:消费者可以从broker中读取数据，消费者可以消费多个topic中的数据。
 *  **Topic**:在kafka中，使用一个类别属性来划分数据的所属类，划分数据的这个类称之为topic,如果把kafka看作为一个数据库，topic可以理解为数据库中的一张表，topic的名字即为表名。
 *  **Partition**:topic中的数据分割为一个或者多个partition,每个topic至少一个partition，每个partition中的数据使用多个segment文件存储，partition中的数据是有序的，partition间的数据丢失了数据的顺序，如果topic有多个partition,消费数据时就不能保证数据的有序性。在需要严格保证消息的消费顺序的场景下，需要将partition的数目设置为1.
 *  **partition offset**:每条消息都有一个当前partition下唯一的64字节的offset,它指明了这条消息的起始位置。
 *  Replicas of partition:副本是一个分区的备份，副本不会被消费，副本之用于防止数据丢失，即消费者不从follower的partition中消费数据，只从leader的partition中读取数据，副本之间是一主多从的关系。
 *  **Broker**:kafka集群中包含一个或者多个服务器，服务器节点称为broker,broker存储topic的数据。如果某topic有N个partition,集群有N个broker,那么每个节点存储该topic的一个partition。如果某topic有N个partition,集群有（N+M）个broker，那么,其中N个存储该topic的一个partition，剩下的m个broker不存储该topic的partition。这种情况容易导致kafka集群数据不均衡，出现数据缺少的情况。
 *  **Leader:**每个partition有多个副本，每个副本只有一个leader,leader是负责当前数据读写的partition.
 *  **Follower**:follower跟随leader，所有请求都通过leader路由，数据变更会通过路由广播给所有的follower,Follower保持跟leader同步，如果leader失败，则从Follower中选举出来一个新的leader。当follower挂掉、卡住或者同步太慢，leader会将该follower从"in sync replicas"列表中删除，重新创建一个follower。
 *  **zookeeper:**zookeeper负责维护和协调broker,当kafka系统中新增了broker或者broker发生重大故障的时候，由zookeeper同志生产者和消费者，生产者和消费者依据zookeeper的broker状态信息，与broker协调数据状态的发布和订阅任务。
 *  **AR(assigned replicas):**分区中所有的副本统称为AR.
 *  **ISR(in-sync-replicas):所有leader部分保持一定程度的副本（包括leader副本在内）lsr。**
 *  **osr(out of sync replicas):**与leader副本同步滞后过多的副本。
 *  **hw(height watermark):**高水位，标示了一个特定的offset,消费者只能拉取到这个offset之前的消息。
 *  **LEO(log end offset)**:即日志末端位移，记录了该副本底层日志(log)消息下一条消息的位移值，注意下一条消息是说，如果leo=10,表示该副本保存了10条信息，位移范围是\[0,9\].

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0NjA3ODM3_size_16_color_FFFFFF_t_70 1][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0NjA3ODM3_size_16_color_FFFFFF_t_70]: /images/20230528/dd78c575a738456fa9fdac379493c99c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0NjA3ODM3_size_16_color_FFFFFF_t_70 1]: /images/20230528/d1353031da2e46e799d059393673d297.png