关于Kafka，你需要知道的一切 _Kafka

Kafka通过使用“long polling”等待模式的方式解决了这个问题。简而言之，如果分区上没有数据，Kafka 不会返回空响应。相反，broker保持连接并等待数据进入，然后再将其返回给消费者。前言Kafka 一开始是LinkedIn这家公司研发的技术，它是一种高吞吐量的分布式发布订阅消息系统，现在已成为大多数公司使用的技术，我们公司也不例外。那么你对kafka的了解有多少呢?那么本文就带你过一过kafka中的一些关键要点。
为什么我们需要Kafka？

文章插图

订单发生时通知其他服务
在我们深入研究之前，有必要重新审视一下 Kafka 最初被发明的原因。
想象一下为一家电子商务公司维护一组微服务。
下订单时，订单服务要通知很多服务，如下：

钱包服务从用户账户中扣除金额
仓库服务扣除物品的库存数量
物流服务发货

当订单服务要通知更多的服务时，复杂度就要进一步提高。
订单服务器需要做以下事情：

跟踪都通知了谁
确保所有其他服务确实收到并处理
和其他服务建立直接的连接和处理不同的响应

发现没有，这很难扩展，如果接入更多的系统，订单系统的开发天天996了。
因此，Kafka就很好的解决这样的问题。
消息队列与发布订阅

文章插图

订单服务器只是将消息发布到 Pub-Sub/Message Queue
消息队列和发布订阅系统都是解决上述问题的关键。
也就是说，不是让订单服务维护直接和各种系统打交道，而是将事件发布或者推送到中间队列中，对队列感兴趣的服务器（通常称为消费者）订阅队列并相应地消费事件。
那么消息队列和发布订阅系统有什么区别呢？
消息队列消息队列是一种类似队列的结构，其中消息被发布并且仅被消费一次。这对于非幂等的进程很方便，事件应该只由一个消费者处理，RabbitMQ 最初被设计成一个消息队列。
发布-订阅系统另一方面，发布订阅系统允许多个消费者多次使用一条消息。订单事件被多个系统订阅消费，所以更适合发布订阅系统模式。Kafka 被设计为既是消息队列又是发布订阅系统。
Kafka组件为了充分理解 Kafka 的工作原理，让我们剖析下Kafka 的各个组件。
Kafka Broker 和集群