全球快播：（一）kafka从入门到精通之初识kafka

手机

光庭信息跌4.57% 2021上市超募11亿2022扣非降74% 时快讯

搜狐汽车全球快讯 | 大众汽车最新专利曝光：仪表支持拆卸可用手机、平板替代-环球关注

全球快播：（一）kafka从入门到精通之初识kafka

2023-07-02 21:05:53 来源：博客园

一、发布订阅系统

在学习kafka之前，我们先来看看什么是发布订阅系统。

(资料图片仅供参考)

概念

数据的发送者不会直接把消息发送给接收者，这是发布与订阅消息系统的一个特点。发布者以某种方式对消息进行分类，接受者订阅它们，以便接受特定类型的消息。发布与订阅系统一般会有一个broker，也就是发布消息的中心点，来进行提供服务。

发展历程

先来看第一种简单的消息队列

随着业务的发展，我们的消息队列需要适应更多的消费者和数据采集来的入口，那么就出现第二种队列架构。

于是我们尝试着通过一个中间者去把这些消息整合起来，提供一个统一的消息入口和出口。

同时，针对每一种业务场景，我们也可以形成多个消息队列系统来支撑我们的业务，形成独立的队列系统。

虽然这种方式比直接使用点对点的连接要好得多，但这里有太多重复的地方，因此而产生的代价就是要为数据队列维护多个系统，每个系统要有各自的缺陷和不足，因此我们迫切的需要一个单一的集中式系统，它可以用来发布通用类型的数据，其规模可以随着公司业务的增长和增长，这就是kafka出现的背景。

二、kafka相关概念

消息和批次

kafka的数据单元被称为消息，类似于我们的关系型数据库中的一个数据行或一条记录。消息有一个可选的元数据，也就是key，kafka会根据这个key生成一个一次性散列值，然后使用该散列值对主题分区数进行取模，为消息进行分区，这样可以保证具有相同key的消息总是被写到相同的分区上。为了提高发送效率，消息被分批次写入kafka。批次就是一组消息，这些消息属于同一个主题的分区，有利于减少网络传输的开销。不过如果批次过大，则消息发送的时候会产生一定的延迟，所以要在时间延迟和吞吐量之间做出权衡，批次越大，单位时间内处理的消息越多，单位消息的发送时间就越长，批次数据会被压缩，这样就可以提升传输数据和存储能力，但要做更多的计算处理。

主题和分区

kafka的消息通过主题进行分类。主题就好比数据库的表，主题可以分为若干个分区，一个分区就是一个提交日志。消息以追加的方式写入分区，然后以先入先出的顺序读取。要注意的是，一个主题一般包含几个分区，因此无法在整个主题范围内保证消息的顺序，但可以保证消息在单个分区内的顺序。kafka通过分区来实现数据冗余和伸缩性，分区可以分布在不同的服务器上，也就是说，一个主题可以横跨多个服务器，以此来提供比单个服务器更强大的性能。

生产者和消费者

kafka的客户端就是kafka系统的用户，他们被分为两种基本类型:生产者和消费者。

生产者创建消息，一般情况下，一个消息会被发布到一个特定的主题上，通常在默认情况下，把消息均衡的分布到主题的所有分区上，而并不关心特定消息会被写到哪个分区。

不过，在某些情况下，生产者会把消息直接写到指定的分区，这通常是通过消息的key和分区器来实现的，分区器为可以生成一个散列值，并将其映射到指定的分区上，这样就可以保证包含同一个key的消息会被写到同一个分区上，生产者也可以使用自定义的分区器，根据不同的业务规则，将消息映射到对应分区。

消费者读取消息，消费者通过检查消息的偏移量来区分已经读取过的消息。消费者是消费者群组的一部分，说也就是说会有一个和多个消费者共同读取一个主题，群组保证每个分区只能被一个消费者使用。

Broker和集群

一个独立的kafka服务器被称为broker，broker接受来自生产者的消息，为消息设置偏移量，并提交到磁盘保存。broker也为消费者提供服务，对读取分区的请求作出响应，返回已经提交到磁盘上的消息。

在kafka每一个集群中都有一个broker充当了集群控制器的角色，也就是leader。

多集群

kafka多集群部署的原因主要是下面几个：

数据类型分离
安全需求管理
多数据中心（灾备容错）

如果使用多个数据中心，就要在他们之间复制消息。kafka的消息复制机制只能在单个集群里进行，不能在多个集群之间进行。针对集群间的消息复制场景，kafka提供了一个叫做mirrorMaker的工具，它的核心组件包含了一个生产者和消费者两者之间，通过一个队列相连。

关键词：