Kafka-流量控制Quota功能

ゝ一纸荒年。 2023-01-18 14:27 37阅读 0赞

## [https://shiyueqi.github.io/2017/04/27/Kafka-%E6%B5%81%E9%87%8F%E6%8E%A7%E5%88%B6Quota%E5%8A%9F%E8%83%BD/][https_shiyueqi.github.io_2017_04_27_Kafka-_E6_B5_81_E9_87_8F_E6_8E_A7_E5_88_B6Quota_E5_8A_9F_E8_83_BD] ##

[https://blog.csdn.net/qq\_36142114/article/details/80404212][https_blog.csdn.net_qq_36142114_article_details_80404212]

## 一、Quota 功能简介官方文档 ##

[http://kafka.apache.org/documentation/\#design\_quotas][http_kafka.apache.org_documentation_design_quotas]

## 二、Quota功能简介 ##

Kafka从0.9版本开始增加流量控制功能–Quotas，并在broker中增加了以下的配置。

[![kafka\_quota\_broker\_config][kafka_quota_broker_config]][kafka_quota_broker_config_kafka_quota_broker_config]

*  可以在broker的配置文件中增加相应的对producer和consumer的流量控制配置，即每秒生产/消费的byte数目大小。
 *  默认值是Long类型的最大值，即不限制流量，尽最大可能地生产/消费消息。
 *  但可以看到在新版的配置中，这两项配置已经被声明为Deprecated，即不再建议使用，且官方声明在未来的release版本中，会删除这两项配置。
 *  0.10版本的Kafka已经通过与Zookeeper结合来完成Quota的功能。将Quota限流的配置信息存储到ZK的结点中，这样配置一旦更新，可以立刻被所有的broker读取到，并且立即生效。这让我们可以更新Quota的配置，而不需要重启整体broker集群。因此，broker配置的限流功能会被废弃掉。

## 三、Quota使用参考文档 ##

[http://kafka.apache.org/documentation/\#quotas][http_kafka.apache.org_documentation_quotas]

## 四、Quota使用 ##

在0.10版本的Kafka中提供了用户权限认证这一功能，即每一台客户端实例，均可以配置相应的user属性，同时可以配置client-id属性。暂时对user属性研究还不太透彻，这里以client-id为例进行说明。

Producer Config

[![kafka\_producer\_client\_id][kafka_producer_client_id]][kafka_producer_client_id_kafka_producer_client_id]

Consumer Config

[![kafka\_consumer\_client\_id][kafka_consumer_client_id]][kafka_consumer_client_id_kafka_consumer_client_id]

1.  上面是producer和consumer的配置说明，均有client.id的配置项，客户端在启动时，可以配置client.id的属性。如我在producer客户端配置的client.id为producer\_test\_id。
2.  对client.id = producer\_test\_id的客户端实例进行限流，执行Kafka/bin目录下的脚本
    
        sh kafka-configs.sh --zookeeper 172.18.55.21:2181,172.18.55.21:2182 --alter --add-config 'producer_byte_rate=1024,consumer_byte_rate=2048' --entity-type clients --entity-name producer_test_id
3.  kafka-configs.sh脚本主要参数说明
    
        --zookeeper           指定zk集群地址
        
        --producer_byte_rate  指定producer生产速率限制，单位byte
        
        --consumer_byte_rate  指定consumer消费速率限制，单位byte
        
        --entity-type         指定Quota功能是基于user还是client.id维度
        
        --entity-name         指定user或client.id
4.  Kafka集群所连接的Zookeeper集群中，在根节点中有/config结点，负责存储配置相关信息。查看client.id配置情况
    
    [![kafka\_quota\_zk\_config\_clients\_list][kafka_quota_zk_config_clients_list]][kafka_quota_zk_config_clients_list_kafka_quota_zk_config_clients_list]
    
    可以看到在/config/clients 结点路径下，有配置的三个client.id
5.  查看client.id = producer\_test\_id 的配置情况
    
    [![kafka\_quota\_zk\_config\_clients\_config][kafka_quota_zk_config_clients_config]][kafka_quota_zk_config_clients_config_kafka_quota_zk_config_clients_config]
    
    可以看到刚刚通过脚本写入的配置信息，已经以json格式存储到zk结点中。
6.  运行kafka/bin 目录下的性能测试脚本
    
        sh kafka-producer-perf-test.sh --topic topic_2 --num-records 300 --record-size 100 --throughput 15 --producer-props bootstrap.servers=172.18.55.21:9092,172.18.55.21:9093 client.id=producer_test_id
7.  kafka-producer-perf-test.sh脚本主要参数说明
    
        --topic           指定topic
        
        --num-records     指定producer生产消息条数
        
        --record-size     指定producer生产每条消息大小，单位byte
        
        --throughput      指定吞吐量，单位消息条数
        
        --producer-props  指定procuder配置情况，包括servers地址和client.id
8.  观察性能测试脚本运行结果，可以看到限流配置已经生效，生产速率不稳定。
    
    [![kafka\_quota\_perf\_result][kafka_quota_perf_result]][kafka_quota_perf_result_kafka_quota_perf_result]
    
    而正常的性能测试，测试结果应该如下图，每秒的吞吐量应该是趋于稳定的。
    
    [![kafka\_perf\_normal][kafka_perf_normal]][kafka_perf_normal_kafka_perf_normal]
    
    当配置的吞吐量过大，kafka已经达到限流的上限，且消息堆积一段时间后，kafka broker会采取抛弃策略，这样会出现以下的性能测试结果，可以看到消息均抛出异常。
    
    [![kafka\_quota\_perf\_exception][kafka_quota_perf_exception]][kafka_quota_perf_exception_kafka_quota_perf_exception]
    
    在本地运行producer客户端，每生产一条消息打印一条日志，效果更加明显，可以明显看到生产是一段一段的，当达到限流的时候，生产速率非常非常慢。当过了一秒左右，又可以看到速度提升到正常速度。

## 五、Quota详细配置 ##

上文提到0.10版本的kafka提供了用户权限认证功能，即在设置限流Quota功能时，可以基于user和client.id两个维度。

1.  User维度的配置在Zookeeper中，存储在/config/usres结点下。
    
    当指定了一个user时，存储结点路径为/config/users/<user>。
2.  在user的维度下，也可以设置client.id的。
    
    当既指定了user，又指定了client.id时，存储结点路径为/config/users/<user>/clients/<client.id>
3.  这样在配置Quota功能时，有优先级顺序，优先级如下：
    
        /config/users/<user>/clients/<client-id>
        /config/users/<user>/clients/<default>
        /config/users/<user>
        /config/users/<default>/clients/<client-id>
        /config/users/<default>/clients/<default>
        /config/users/<default>
        /config/clients/<client-id>
        /config/clients/<default>
4.  指定user = user1，指定client.id = producer\_test\_id进行限流Quota配置
    
        sh kafka-configs.sh --zookeeper 172.18.55.21:2181,172.18.55.21:2182 --alter --add-config 'producer_byte_rate=1024,consumer_byte_rate=2048' –entity-type users –entity-name  user1 --entity-type clients --entity-name producer_test_id
5.  其他详细文档参考官方文档
    
    [http://kafka.apache.org/documentation/\#quotas][http_kafka.apache.org_documentation_quotas]

## 六、结论 ##

1.  需要使用Quota功能，必须升级Kafka版本，从0.9版本才开始提供该功能
2.  若可以接受升级，不推荐升级到0.9版本，0.9.0.0版本有bug。
3.  建议升级到最新版0.10.2.0版本。

[https_shiyueqi.github.io_2017_04_27_Kafka-_E6_B5_81_E9_87_8F_E6_8E_A7_E5_88_B6Quota_E5_8A_9F_E8_83_BD]: https://shiyueqi.github.io/2017/04/27/Kafka-%E6%B5%81%E9%87%8F%E6%8E%A7%E5%88%B6Quota%E5%8A%9F%E8%83%BD/
[https_blog.csdn.net_qq_36142114_article_details_80404212]: https://blog.csdn.net/qq_36142114/article/details/80404212
[http_kafka.apache.org_documentation_design_quotas]: http://kafka.apache.org/documentation/#design_quotas
[kafka_quota_broker_config]: https://img-blog.csdnimg.cn/img_convert/14c5db617a07e2e017083984c63c536a.png
[kafka_quota_broker_config_kafka_quota_broker_config]: /images/20221021/05b7b401e45e47ad8c16bbb985b6b47f.png
[http_kafka.apache.org_documentation_quotas]: http://kafka.apache.org/documentation/#quotas
[kafka_producer_client_id]: https://img-blog.csdnimg.cn/img_convert/c678d4f39560f51fa710c46ab8adee93.png
[kafka_producer_client_id_kafka_producer_client_id]: /images/20221021/6f8129d9fcee4fa2bd70876a5bb2e5fb.png
[kafka_consumer_client_id]: https://img-blog.csdnimg.cn/img_convert/fed31aea4e5c0071ac640c26a3f50311.png
[kafka_consumer_client_id_kafka_consumer_client_id]: /images/20221021/5176e34bcd6548dfaf118767cf2abc27.png
[kafka_quota_zk_config_clients_list]: https://img-blog.csdnimg.cn/img_convert/79ab13ea936302dca5b1d157d5c6e1fa.png
[kafka_quota_zk_config_clients_list_kafka_quota_zk_config_clients_list]: /images/20221021/6aa7fc4a5d094af9bc409881969a8980.png
[kafka_quota_zk_config_clients_config]: https://img-blog.csdnimg.cn/img_convert/788b84ae5030fffd308a8a4d7bd4e5e6.png
[kafka_quota_zk_config_clients_config_kafka_quota_zk_config_clients_config]: /images/20221021/cf89b215db05482bba0ec389a798b8ee.png
[kafka_quota_perf_result]: https://img-blog.csdnimg.cn/img_convert/141cb57df6d48f44538a45ad958b922e.png
[kafka_quota_perf_result_kafka_quota_perf_result]: /images/20221021/5480a15384854a5c822b581b4a6153cc.png
[kafka_perf_normal]: https://img-blog.csdnimg.cn/img_convert/2836e09cf93780cb6dcbf7c86568a9f8.png
[kafka_perf_normal_kafka_perf_normal]: /images/20221021/4111e04111a04be6b90c6e68e56abb27.png
[kafka_quota_perf_exception]: https://img-blog.csdnimg.cn/img_convert/ab83e81f9f93b3503a9a9b32afa29a79.png
[kafka_quota_perf_exception_kafka_quota_perf_exception]: /images/20221021/19063bde26014085800f73933bba62e2.png