记一次Kafak重复消费的问题

朱雀 2023-06-24 04:42 218阅读 0赞

就在今天早上发现推送连续推了几条重复的消息，于是就仔细地查阅了下kafka相关配置，大概如下：

kafka:
        producer:
          key-serializer: org.apache.kafka.common.serialization.StringSerializer
          value-serializer: org.apache.kafka.common.serialization.StringSerializer
          batch-size: 1000
          buffer-memory: 524288
          retries: 0
          acks: -1
        consumer:
          #      group-id: consumer-tutorial-${server.port}
          group-id: consumer-tutorial
          key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
          value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
          auto-offset-reset: earliest
          enable-auto-commit: true

消费使用地是默认值，自动提交，间隔时间也没有设置（其实之前别人设置了，auto-commit-interval-ms，但这个属性在SpringBoot配置中并不存在，而是auto-commit-interval。也就是说之前设置的都是错误的，没有起作用）。我在本地做测试也没发现问题，没办法就分析了下日志，发现消费端从接收到业务处理完花了好几分钟（**说到这里，我原先以为kafka自动提交点是在消费端一接收到消息时就提交，但是并不是这样的**）。于是，我就试着在本地做延时操作，分别试了延迟2分钟、3分钟、5分钟。当我延时了5分钟的时候，就出现消费端重复消费的问题。**那么问题就很明显了，就是因为消费端不是在一收到消息就提交，而是在整个业务完成之后才提交的。**

> 另外，说一下，我使用的时Spring提供的@KafkaListener来监听。

发表评论取消回复

表情：

评论列表（有 0 条评论，218人围观）

还没有评论，来说两句吧...

相关阅读

相关记一次zookeeper异常问题

题：测试环境所有的服务都无法连接zookeeper Refusing session request for client /10.0.2.153:33126 ...

灰太狼/ 2024年04月18日 16:30/ 0 赞/ 186 阅读

相关记一次SpringBoot Filter的坑-过滤器被重复执行问题

背景在做[易支付][Link 1](个人免签支付平台)的时候，使用了过滤器来做了接口日志打印、跨域处理、登录验证等功能，最近查看日志文件的时候突然发现日志打印的信息都是

我会带着你远行/ 2024年03月26日 11:44/ 0 赞/ 110 阅读

相关记一次redis使用问题

`阅读大概需要5分钟` 一个生产中的问题，建议阅读四颗星文章目录现象分析可能原因调查原因概念详细介绍

比眉伴天荒/ 2023年10月05日 17:04/ 0 赞/ 134 阅读

相关记一次oom问题排查

大家好，我是大彬~ 今天给大家分享最近出现的OOM问题。上周五早上，测试同学反馈测试环境的子系统服务一直超时，请求没有响应。收到这个问题之后，我有点纳闷，最近这个系统

╰半夏微凉°/ 2023年10月01日 13:17/ 0 赞/ 160 阅读

相关记一次Kafak重复消费的问题

就在今天早上发现推送连续推了几条重复的消息，于是就仔细地查阅了下kafka相关配置，大概如下： kafka: producer:

朱雀/ 2023年06月24日 04:42/ 0 赞/ 219 阅读

相关记一次解决MQ不消费问题

现象 1. MQ不消费，MQ线程全部处于等待状态 2. 项目重启之后问题解决 3. jvm内存状态正常 4. fullGC时间持续加长 5. CPU 100%

秒速五厘米/ 2023年06月19日 11:18/ 0 赞/ 39 阅读

相关记一次面试vue问题

你用的vue-cli版本用的vue2，脚手架用的3 vue生命周期总共分为8个阶段创建前/后，载入前/后，更新前/后，销毁前/后。 > 创建前/后：

太过爱你忘了你带给我的痛/ 2022年12月02日 04:27/ 0 赞/ 398 阅读

相关记一次MySQL重复插入问题可重复读和读提交间隙锁

问题描述 MySQL 5.7 有表t2： CREATE TABLE `t2` ( `id` INT(10) UNSIGNED NOT NULL AUT

墨蓝/ 2022年11月27日 06:54/ 0 赞/ 246 阅读

相关记一次rsyslog的转发问题

rsyslog是可以配置tcp的转发模式的,使用两个@符号作为标记,一个的话就是udp模式在/etc/rsyslog.conf中发现配置了三条转发规则 1. \.\ @

雨点打透心脏的1/2处/ 2022年01月21日 08:55/ 0 赞/ 543 阅读

相关记一次npm的版本问题

基于vue-cli 2.0脚手架和webpack4的vue项目出现莫名奇葩的错误。 npm run build 报错，提示说import 无效，但是我webpack中也loa

缺乏、安全感/ 2022年01月20日 00:35/ 0 赞/ 425 阅读