最新要闻

广告

手机

iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?

iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?

警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案

警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案

家电

全球速读:Kafka简单介绍和安装

来源:博客园


(相关资料图)

1.什么是Kafka

Kafka传统定义:Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。

**Kafka最新定义 **: Kafka是 一个开源的分布式事件流平台 (Event Streaming Platform),被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。

目 前企业中比较常见的消息队列产品 要有Kafka、ActiveMQ 、RabbitMQ 、 RocketMQ 等。 在大数据场景主要采用 Kafka作为消息队列。在 JavaEE 开发中主要采用 ActiveMQ、RabbitMQ、RocketMQ。

传统的消息队列的主要应用场景包括:缓存/消峰解耦异步通信

2.KafKa安装

在官网下载Kafka,地址:https://kafka.apache.org/downloads将安装包上传到服务器中,我习惯于将软件安装到/usr/local/目录中,将kafka压缩包上传至目录中,进行解压:

tar -zxvf kafka_2.12-3.0.0.tgz#重命名mv kafka_2.12-3.0.0 kafka

进入kafka目录查看

bin:主要是kafka的可执行文件,一些常用脚本,比如启动,关闭config:主要存放配置文件datas:我们自己新建的目录,主要用于存放kafka数据libs:kafka依赖的一些文件logs:日志

进入配置文件目录上面三个配置文件是我们关注的重点,我们先进入server.properties查看,进行第一次启动准备

第一次主要进行几个配置的设置:broker.id #broker 的全局唯一编号,不能重复,只能是数字log.dirs=/usr/local/kafka/datas 运行日志(数据)存放的路径,路径不需要提前创建,kafka 自动帮你创建,可以配置多个磁盘路径,路径与路径之间可以用","分隔zookeeper.connect#配置连接 Zookeeper 集群地址

启动:./bin/kafka-server-start.sh -daemon ./config/server.properties,使用jps查看注意:启动之前,一定要先启动Zookeeper集群

关键词: 配置文件 简单介绍 实时处理