kafka+zk三台集群问题排查

ゝ一世哀愁。 2021-09-25 14:36 386阅读 0赞

### 问题描述： ###

项目中人大金仓同步工具同步数据增量到kafka集群，无法自动创建topic，以及出现同步到topic时连接失败的问题，经过排查修改配置参数最终解决。

### 重新安装zk和kafka ###

操作步骤

**1、先把zk和kafka都停掉**

三台都执行

zookeeper/bin/zkServer.sh stop

三台都执行

kafka/bin/kafka-server-stop.sh

**2、把之前的目录文件都备份删除**

mv /data/zkData /data/zkData-bak

mv /data/zkLogData /data/zkLogData-bak

mv /mnt/kafka-logs /mnt/kafka-logs-bak

**重新建目录**

mkdir /data/zkData

mkdir /data/zkLogData

每台zk的 /data/zkData目录下创建myid文件，内容分别是1、2、3

最后重启zk和kafka

### 彻底删除topic ###

配置文件增加delete.topic.enable=true

使用kafka-topic的delete命令删除

./bin/kafka-topics  --delete --zookeeper 【zookeeper server】  --topic 【topic name】

登录zk删除

（1）登录zookeeper客户端：命令：./bin/zkCli.sh
    
         （2）找到topic所在的目录：ls /brokers/topics
    
         （3）找到要删除的topic，执行命令：rmr /brokers/topics/【topic name】即可，此时topic被彻底删除。

### **自动创建topic** ###

**修改kafka配置文件server.properties**

`auto.create.topics.enable` =true

重启kafka即可

### 连接失败的问题 ###

报错信息如下

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5pyq56uf_size_20_color_FFFFFF_t_70_g_se_x_16][]

搜索后提示配置zk的最大连接数据

修改zoo.cfg

maxClientCnxns=10000

重启zookeeper即可

到这里基本上没啥问题了，金仓同步工具测试建表，不过没有自动创建topic，再测试推送一批数据，kafka这边自动创建了topic并且数据量也一致的，说明没问题了。

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5pyq56uf_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20210923/ba62eab4b03d4550a45900acda0171c0.png

发表评论取消回复

表情：

评论列表（有 0 条评论，386人围观）

还没有评论，来说两句吧...

相关阅读

相关 MySQL集群部署及问题排查指南

MySQL集群部署是一种高可用性和扩展性的解决方案，通常由多台MySQL服务器通过网络连接组成。以下是一个MySQL集群部署及问题排查的指南： 1. **规划集群**：

谁借莪１个温暖的怀抱￠/ 2025年03月16日 00:42/ 0 赞/ 43 阅读

相关 MySQL集群环境问题：排查与解决

在MySQL集群环境中，可能会遇到一些问题。以下是一些常见问题的排查和解决方法： 1. 集群节点连接失败： - 确认网络通畅。 - 检查节点间的IP配置是否正确。

比眉伴天荒/ 2025年03月09日 01:30/ 0 赞/ 45 阅读

相关 MySQL集群部署与问题排查

MySQL集群部署是将多台MySQL服务器通过一定的网络架构进行连接，以提供更高的数据处理能力和可用性。以下是一些集群部署和问题排查的步骤： 1. **规划集群**：明确需求

矫情吗；*/ 2025年01月11日 12:30/ 0 赞/ 96 阅读

相关 MySQL集群稳定性问题：故障排查示例

在MySQL集群中，如果出现稳定性问题，我们通常需要通过一系列步骤进行故障排查。以下是一个基本的示例： 1. **系统监控**：首先，你需要查看系统的整体状态，包括C

电玩女神/ 2025年01月01日 22:27/ 0 赞/ 129 阅读

相关 kubernetes集群问题排查

本文个人博客地址为：[http://www.huweihuang.com/article/kubernetes/kubernetes-troubleshooti

水深无声/ 2022年06月16日 05:42/ 0 赞/ 388 阅读

相关三台服务器搭建zookeeper集群

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeepe

系统管理员/ 2022年05月24日 06:42/ 0 赞/ 338 阅读

相关三台机器搭建Hadoop集群

目标：一台Master 两台Slave 一、修改主机名，配置/etc/hosts文件 "/etc/hosts"这个文件是用来配置主机将用的DNS服务

╰+哭是因爲堅強的太久メ/ 2022年05月18日 00:38/ 0 赞/ 283 阅读

相关三台服务器Redis集群搭建

1、安装配置redis 安装redis步骤如下：下载最新版本或拷贝源版本到安装机器 \ wget http://download.redis.io/releases

淡淡的烟草味﹌/ 2022年02月28日 14:58/ 0 赞/ 749 阅读

相关 hadoop集群搭建-（三台机器）

目录安装jdk 安装hadoop 配置ssh 配置集群集群启动及测试附录 Hadoop组成 HDFS架构概述 YARN架构概述 MapReduce架

r囧r小猫/ 2021年11月23日 11:34/ 0 赞/ 483 阅读

相关 kafka+zk三台集群问题排查

问题描述：项目中人大金仓同步工具同步数据增量到kafka集群，无法自动创建topic，以及出现同步到topic时连接失败的问题，经过排查修改配置参数最终解决。重新

ゝ一世哀愁。/ 2021年09月25日 14:36/ 0 赞/ 387 阅读