KAFKA 最新版单机安装、配置、部署（linux环境）

野性酷女 2022-08-28 14:53 578阅读 0赞

### 文章目录 ###

*   *   *   *   *  一、基础软件下载
                 *   *  1. JDK
                     *  2. KAFKA
                     *  3. ZOOKEEPER
                 *  二、zookeeper配置启动
                 *   *  2.1. 解压
                     *  2.2. 配置环境变量
                     *  2.3. 刷新环境变量
                     *  2.4. 配置文件调整
                     *  2.4. 启动zookeeper
                     *  2.5. 监控zk启动状态
                     *  2.6. 查看日志
                 *  三、kafka配置启动
                 *   *  3.1. 解压
                     *  3.2. 配置环境变量
                     *  3.3. 刷新环境变量
                     *  3.4. 验证是否生效
                     *  3.5. 配置文件
                     *  3.6. 数据目录配置
                     *  3.7. 创建数据目录
                     *  3.8. 启动kafka
                     *  3.9. 登录zk验证节点
                     *  3.10. kafka服务停止
                     *  3.11. 环境变量

##### 一、基础软件下载 #####

###### 1. JDK ######

[Linux 安装、卸载JDK][Linux _JDK]

###### 2. KAFKA ######

[http://kafka.apache.org/downloads][http_kafka.apache.org_downloads]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAZ2JsZnk_size_20_color_FFFFFF_t_70_g_se_x_16]

wget https://dlcdn.apache.org/kafka/2.8.0/kafka_2.12-2.8.0.tgz

###### 3. ZOOKEEPER ######

[https://archive.apache.org/dist/zookeeper/][https_archive.apache.org_dist_zookeeper]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAZ2JsZnk_size_20_color_FFFFFF_t_70_g_se_x_16 1]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAZ2JsZnk_size_20_color_FFFFFF_t_70_g_se_x_16 2]

wget https://archive.apache.org/dist/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz

##### 二、zookeeper配置启动 #####

###### 2.1. 解压 ######

cd /app
    tar -zxvf apache-zookeeper-3.7.0-bin.tar.gz
    mv apache-zookeeper-3.7.0-bin zookeeper-3.7.0

###### 2.2. 配置环境变量 ######

vim /etc/profile
    
    # ZK
    export ZOOKEEPER_HOME=/app/zookeeper-3.7.0
    export PATH=$PATH:${ZOOKEEPER_HOME}/bin
    # 修改zk保存数据文件的目录
    export ZK_LOG_DIR=/var/gblfy/zookeeper/log

###### 2.3. 刷新环境变量 ######

source /etc/profile

###### 2.4. 配置文件调整 ######

cd zookeeper-3.7.0/conf/
    cp zoo_sample.cfg zoo.cfg
    vim zoo.cfg
    
    将dataDir=/tmp/zookeeper调整为
    dataDir=/var/gblfy/zookeeper/data

###### 2.4. 启动zookeeper ######

cd /app/zookeeper-3.7.0/bin
    ./zkServer.sh start

###### 2.5. 监控zk启动状态 ######

./zkServer.sh status

###### 2.6. 查看日志 ######

cd /var/gblfy/zookeeper

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAZ2JsZnk_size_20_color_FFFFFF_t_70_g_se_x_16 3]

##### 三、kafka配置启动 #####

###### 3.1. 解压 ######

tar -zxvf kafka_2.12-2.8.0.tgz

###### 3.2. 配置环境变量 ######

vim /etc/profile
    
    #kafaka
    export KAFKA_HOME=/app/kafka_2.12-2.8.0
    export PATH=$PATH:${KAFKA_HOME}/bin

###### 3.3. 刷新环境变量 ######

source /etc/profile

###### 3.4. 验证是否生效 ######

输入kafka-按Tab键（命令补全），如果自动显示下面这些脚本说明，配置环境变量生效

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAZ2JsZnk_size_20_color_FFFFFF_t_70_g_se_x_16 4]

###### 3.5. 配置文件 ######

> 1.指定 kafka在哪存储消息持久化的数据目录  
> 2.kafka连接zookeeper的地址以及kafka的节点

cd /app/kafka_2.12-2.8.0/config/
    vim server.properties
    
    将#zookeeper.connect=localhost:2181
    修改为
    zookeeper.connect=localhost:2181/mykafka
    # 在zk根目录下，会创建一个mykafka节点，这个节点的子节点，存放的是kafka的元数据

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAZ2JsZnk_size_20_color_FFFFFF_t_70_g_se_x_16 5]

###### 3.6. 数据目录配置 ######

将 #log.dirs=/tmp/kafka-logs
    修改为
    log.dir=/var/gblfy/kafka/kafka-logs
    #指定 kafka在哪存储消息持久化的数据的目录

###### 3.7. 创建数据目录 ######

mkdir /var/gblfy/kafka/kafka-logs -p

###### 3.8. 启动kafka ######

# 独占（前台）模式启动kafka
    kafka-server-start.sh ../config/server.properties 
    
    # 后台启动kafka
    kafka-server-start.sh -daemon /app/kafka_2.12-2.8.0/config/server.properties

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAZ2JsZnk_size_20_color_FFFFFF_t_70_g_se_x_16 6]

###### 3.9. 登录zk验证节点 ######

> 登录zk，在根目录下面是否是否创建mykafka节点

# 登录zk
    zkCli.sh 
    
    # 查看zk根节点
    ls /
    
    # 查看mykafka里面的子节点
    ls /mykafka

[zk: localhost:2181(CONNECTED) 0] ls /
    [mykafka, zookeeper]
    [zk: localhost:2181(CONNECTED) 1] ls /mykafka
    [cluster,集群
     controller, 控制器
     controller_epoch,控制器的纪元
     brokers,kafka实例有哪些？
     admin, 管理者
     isr_change_notification, 同步的副本
     consumers, 消费者
     log_dir_event_notification,  log_dir的一个事件通知
     latest_producer_id_block, 最后一个生产者
     config]
    [zk: localhost:2181(CONNECTED) 2]

![在这里插入图片描述][7078fb0943bb400e88d163dabf12a7ce.png]  
到目前这一步，节点创建成功了，kafka启动也没问题！

###### 3.10. kafka服务停止 ######

# 停止kafka服务
    kafka-server-stop.sh

###### 3.11. 环境变量 ######

export JAVA_HOME=/data/soft/jdk1.8
    export ZOOKEEPER_HOME=/app/zookeeper-3.7.0
    export KAFKA_HOME=/app/kafka_2.12-2.8.0
    export PATH=.:$JAVA_HOME/bin:$KAFKA_HOME/bin:$ZOOKEEPER_HOME/bin:$PATH
    scl enable devtoolset-9 bash
    
    # 修改zk保存数据文件的目录
    export ZK_LOG_DIR=/var/gblfy/zookeeper/log

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAZ2JsZnk_size_20_color_FFFFFF_t_70_g_se_x_16 7]

[Linux _JDK]: https://blog.csdn.net/weixin_40816738/article/details/90475657
[http_kafka.apache.org_downloads]: http://kafka.apache.org/downloads
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAZ2JsZnk_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/83acf66dc79b45f68dbe61cb7961a064.png
[https_archive.apache.org_dist_zookeeper]: https://archive.apache.org/dist/zookeeper/
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAZ2JsZnk_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/9195c2e16ff84c6388d6f40ad1a685fa.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAZ2JsZnk_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/ed60c93067544f94a2299edd00b0a818.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAZ2JsZnk_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/f311251c16cf48b7bc5744fb606bb7c9.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAZ2JsZnk_size_20_color_FFFFFF_t_70_g_se_x_16 4]: /images/20220828/ce3f410920194fa6979dffa98e2b06b6.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAZ2JsZnk_size_20_color_FFFFFF_t_70_g_se_x_16 5]: /images/20220828/7754c46898fa427ca46c6233505f6f2f.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAZ2JsZnk_size_20_color_FFFFFF_t_70_g_se_x_16 6]: /images/20220828/bf28df9d477e4ba2ba6ce0847d0686e2.png
[7078fb0943bb400e88d163dabf12a7ce.png]: /images/20220828/ec70c33b28ec42129de8fc2e04dcdca5.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAZ2JsZnk_size_20_color_FFFFFF_t_70_g_se_x_16 7]: /images/20220828/49dce36c18e042f59b59d79b7585c48c.png