kafka broker Leader -1引起spark Streaming不能消费

Myth丶恋晨 2023-06-25 03:07 32阅读 0赞

# 一、问题描述： #

Kafka生产集群中有一台机器cdh-003由于物理故障原因挂掉了，并且系统起不来了，使得线上的spark Streaming实时任务不能正常消费，重启实时任务都不行。查看kafka topic状态，发现broker Leader出现-1的情况，如下图  
![kafka broker Leader -1引起spark Streaming不能消费  已解决][kafka broker Leader -1_spark Streaming_]

# 二、问题分析 #

Kafka Broker Leader 为-1，表示有partition在选举Leader的时候失败了，因此引起了消费该Topic的实时任务都出现了异常，经过排除发现挂掉的cdh-003机器正好是broker id为257。(但为何192没有被选举为leader呢？？)

# 三、解决方法:修改kafka元数据，手动指定kakfa Leader。 #

kafka partition状态信息存在Zookeeper上，我的环境目录是 /kafka/brokers/topics/，具体操作如下：

## 1、查看leader为-1的partition状态 ##

\[zk: localhost:2181(CONNECTED) 2\] get /kafka/brokers/topics/mds001/partitions/1/state

\{"controller\_epoch":87,"leader":-1,"version":1,"leader\_epoch":96,"isr":\[257\]\}

## 2、强制修改partition leader为192 ##

\[zk: localhost:2181(CONNECTED) 3\] set /kafka/brokers/topics/mds001/partitions/1/state \{"controller\_epoch":87,"leader":192,"version":1,"leader\_epoch":96,"isr":\[192\]\}

## 3、查看修改是否成功 ##

\[zk: localhost:2181(CONNECTED) 4\] get /kafka/brokers/topics/mds001/partitions/1/state

\{"controller\_epoch":87,"leader":192,"version":1,"leader\_epoch":96,"isr":\[192\]\}

\[zk: localhost:2181(CONNECTED) 5\]  
![kafka broker Leader -1引起spark Streaming不能消费  已解决][kafka broker Leader -1_spark Streaming_ 1]

## 4、重启Kafka服务 （必须重启，我最开始就是没有重启，使得SS消费依然不正常） ##

## 5、重启Spark Streaming实时任务，此时消费正常，则完美解决 ##

[kafka broker Leader -1_spark Streaming_]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9zMS41MWN0by5jb20vaW1hZ2VzL2Jsb2cvMjAxOTA2LzIxLzEwYzBlZDBmYTJjZTk1NmM4MTI2Y2E4Y2I2ZjcyNmUxLnBuZw?x-oss-process=image/format,png
[kafka broker Leader -1_spark Streaming_ 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9zMS41MWN0by5jb20vaW1hZ2VzL2Jsb2cvMjAxOTA2LzIxLzc4OGFjNzRjN2Y1MDgyZDQwM2UzY2E2Mjk2MmU4NThmLnBuZw?x-oss-process=image/format,png