最新要闻

广告

手机

iphone11大小尺寸是多少？苹果iPhone11和iPhone13的区别是什么？

iphone11大小尺寸是多少？苹果iPhone11和iPhone13的区别是什么？

 警方通报辅警执法直播中被撞飞：犯罪嫌疑人已投案

警方通报辅警执法直播中被撞飞：犯罪嫌疑人已投案

家电

  1. 首页
  2. 移动通信
  3. 内容

【环球播资讯】kafka常用指令

来源：博客园

1. 前言

kafka作为数据中间键在数据服务解耦，大数据，日志方面堪称一把瑞士军刀，备受青睐，作为提供了一套完整命令行的程序，日常进行调试过程中难免会用到一些指令，现总结18条最常用指令。

2. 常用指令

  1. 启动消费者

    bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 -topic quickstart-events --from-beginning

  2. 启动生产者


    (资料图)

    bin/kafka-console-producer.sh --broker-list localhost:9092 --topic quickstart-events

  3. 启动zookeeper

    /mnt/d/wsl/kafka_2.12-2.8.0# bin/zookeeper-server-start.sh config/zookeeper.properties

  4. 启动kafka服务端进程

    /mnt/d/wsl/kafka_2.12-2.8.0# bin/kafka-server-start.sh config/server.properties

  5. 创建topic

    bin/kafka-topics.sh --create --topic topicname --replication-factor 1 --partitions 1 --zookeeper localhost:2181

  6. 查看topic

    bin/kafka-topics.sh --list --zookeeper localhost:2181

  7. 查看所有topic

    ./bin/kafka-topics.sh --zookeeper localhost:2181 --list

  8. 删除某个topic

    bin/kafka-topics.sh --delete --topic synch.postgres_db  --zookeeper localhost:2181

  9. 查看topic详情

    bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic soar_alarm --describe

  10. 查看topic消费进度，必须参数为--group， 不指定--topic，默认为所有topic

    bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group merge_data_service

  11. 列出所有主题中的所有用户组

    bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group merge_data_service --members# 输出CONSUMER-ID                                  HOST            CLIENT-ID       #PARTITIONSrdkafka-22797a51-c161-4377-a4cb-e60423784779 /10.249.151.24  rdkafka         1

  12. 删除消费者组

    bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --delete --group merge_data_service

  13. 通过 state 参数来查看消费组当前的状态

    bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group merge_data_service --state# 输出COORDINATOR (ID)          ASSIGNMENT-STRATEGY       STATE                #MEMBERSlinkage:9094 (1001)       range                     Stable               1

  14. 通过 verbose 参数，那么还会罗列出每个消费者成员的分配情况

    bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group merge_data_service --members --verbose# 输出CONSUMER-ID                                  HOST            CLIENT-ID       #PARTITIONS     ASSIGNMENTrdkafka-22797a51-c161-4377-a4cb-e60423784779 /10.249.151.24  rdkafka         1               soar_alarm_merge(0)

  15. 查看所有消费者组

    ./bin/kafka-consumer-groups.sh --bootstrap-server 10.48.93.9:9092 --list# 输出sabre.monitormerge_data_servicerule_data_topictest-consumer-grfilebeat-soarsalmon_groupid_002

  16. 查看 集群版 topic详情

    ./bin/kafka-topics.sh --zookeeper zk1.node:12181,zk2.node:12181,zk3.node:12181  --describe --topic test05

  17. 获取某个topic每个分区的文件条目

    ./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic SOAR_OCNN57

  18. 彻底删除topic

    # 进入zookeeper客户端zookeeper-clientrmr /admin/delete_topics/soar_alarm_mergermr /brokers/topics/soar_alarm_merge

关键词：