面试官问：为什么kafka这么快，又能保证消息不丢失？

墨蓝 2022-01-17 07:23 323阅读 0赞

小菜鸡最近在疯狂面试中，就是为了能拿到一份满意的offer，这不上周又去头条受虐了。

面试过程中，由于小菜鸡的充分准备（letcode各种刷），各种算法题不在话下，顺利的通过的头条变态的算法面试。

面试官： `我看你项目中用到了kafka，你觉得你这个场景一定需要kafka吗，有没有其它替代方案？`

小菜鸡一听，很紧张啊，早知道简历上不写kafka了，原因你懂得，就好像redis只会put和get，kafka只会生产和消费，领导说用什么，就用什么。

小菜鸡挠挠头： `当时接手这个项目的时候，设计方案已经定型了，如果要采用其它方案实现的话，改造成本比较大，不太实际，所以也就一直没对这块逻辑进行架构上的调整。`

小菜鸡回答完，好想给自己的机智点赞。

面试官似乎还想在kafka上为难小菜鸡： `那你知道为什么kafka这么快，又能保证消息不丢失？`

小菜鸡实在没有过多的接触过kafka，只能投降了。

要回答上述问题，需要对kafka有较深入的理解。

### 如何做到消息不丢失 ###

ACK 机制

通过 ACK 机制保证消息送达。Kafka 采用的是至少一次（At least once），消息不会丢，但是可能会重复传输。

发送消息

为了得到更好的性能，Kafka 支持在生产者一侧进行本地buffer，也就是累积到一定的条数才发送，如果这里设置不当是会丢消息的。

生产者端设置 producer.type=async, sync，默认是 sync。

当设置为 async，会大幅提升性能，因为生产者会在本地缓冲消息，并适时批量发送。

如果对可靠性要求高，那么这里可以设置为 sync 同步发送。

消费消息

如果更注重可靠性，则需要显示提交 Offset，也就是当所有业务都处理完成的时候，再提交 Offset。这样会导致重复消费，需要提供幂等性接口。

### 为什么 Kafka 性能高？ ###

顺序写磁盘

顺序写磁盘的性能是随机写入的性能的6000倍的提升，媲美内存随机访问的性能，磁盘不再是瓶颈点。

Page Cache

为了优化读写性能，Kafka利用了操作系统本身的Page Cache，就是利用操作系统自身的内存而不是JVM空间内存。通过操作系统的Page Cache，Kafka的读写操作基本上是基于内存的，读写速度得到了极大的提升。

零拷贝技术

零拷贝技术，可以有效的减少上下文切换和拷贝次数。

发表评论取消回复

表情：

评论列表（有 0 条评论，323人围观）

还没有评论，来说两句吧...

相关阅读

相关 kafka如何保证消息不丢失？

文章目录一、分析消息丢失场景 1、kafka消息传输过程 2、消息丢失的几种情况二、如何解决 1、kafka pro

我不是女神ヾ/ 2024年04月01日 19:42/ 0 赞/ 215 阅读

相关 Kafka如何保证消息不丢失

Kafka如何保证消息不丢失 Kafka的架构 1. Producer端 1.1 原因分析 1.2 解决方案

Bertha 。/ 2024年02月17日 10:31/ 0 赞/ 163 阅读

相关 Kafka为什么这么快？

Kafka 是一个基于发布-订阅模式的消息系统，它可以在多个生产者和消费者之间传递大量的数据。Kafka 的一个显著特点是它的高吞吐率，即每秒可以处理百万级别的消息。那么 Ka

痛定思痛。/ 2023年10月15日 11:53/ 0 赞/ 121 阅读

相关面试被问如何保证 RocketMQ 不丢失消息

前言 > 分析那几步会丢失，然后给出大致解决思路。生产阶段生产者（Producer）通过网络发送消息给 Broker，当 Broker 收到之后，将会返回确

曾经终败给现在/ 2023年10月03日 10:29/ 0 赞/ 67 阅读

相关面试官: Kafka 为什么这么快？

有人说：他曾在一台配置较好的机子上对 Kafka 进行性能压测，压测结果是 Kafka 单个节点的极限处理能力接近每秒 2000万条消息，吞吐量达到每秒 600MB。 ![

朱雀/ 2023年10月01日 23:37/ 0 赞/ 39 阅读

相关面试官：Kafka 为什么那么快？

有人说：他曾在一台配置较好的机子上对 Kafka 进行性能压测，压测结果是 Kafka 单个节点的极限处理能力接近每秒 2000万条消息，吞吐量达到每秒 600MB。那

桃扇骨/ 2023年09月24日 23:38/ 0 赞/ 137 阅读

相关面试官问我如何保证Kafka不丢失消息?我哭了！

kafka如何保证不丢消息 ps:这篇文章自我感觉说的很大白话了！希望你们看过了之后能有收获。不了解 Kafka 的朋友建议先看一看我的下面这几篇文章，第一篇一定要看

向右看齐/ 2023年07月15日 11:06/ 0 赞/ 20 阅读

相关回答面试官：如何保证消息不丢失

> rocketmq是阿里开源的一个性能很强大的消息队列，很多公司都在用，而且经历了多次双十一的洗礼，支持多种特性对于这个技术点不知道大家掌握的如何了，消息队列现在应该是公

比眉伴天荒/ 2022年08月28日 02:58/ 0 赞/ 397 阅读

相关面试官问：为什么kafka这么快，又能保证消息不丢失？

小菜鸡最近在疯狂面试中，就是为了能拿到一份满意的offer，这不上周又去头条受虐了。面试过程中，由于小菜鸡的充分准备（letcode各种刷），各种算法题不在话下，顺利的通过

墨蓝/ 2022年01月17日 07:23/ 0 赞/ 324 阅读

相关 Kafka消息保证不丢失

[https://blog.csdn.net/john2522/article/details/64555065][https_blog.csdn.net_john2522_a

ゝ一纸荒年。/ 2021年09月15日 05:50/ 0 赞/ 523 阅读