查看kafka消息队列的积压情况

创建topic

kafka-topics --create --zookeeper master:2181/kafka2 --replication-factor 2 --partitions 3 --topic mydemo5

列出topic

kafka-topics --list --zookeeper master:2181/kafka2

描述topic

kafka-topics --describe --zookeeper master:2181/kafka2 --topic mydemo5

生产者生产消息

kafka-console-producer --broker-list master:9092 --topic mydemo5

消费者消费消息指定消费组名

kafka-console-consumer --bootstrap-server master:9092,node01:9092,node02:9092 --new-consumer --consumer-property group.id=test_kafka_game_x_g1 --topic mydemo5

查看正在运行的消费组
　查看consumer group列表有新、旧两种命令，分别查看新版(信息保存在broker中)consumer列表和老版

(信息保存在zookeeper中)consumer列表，因而需要区分指定bootstrap–server和zookeeper参数。

./kafka-consumer-groups --new-consumer --bootstrap-server 166.188.xx.xx:9092 --list

./kafka-consumer-groups --zookeeper 166.188.20.32:2181 --list

计算消息的消息堆积情况

./kafka-consumer-groups --new-consumer --bootstrap-server 166.188.xx.xx:9092 --group logstash --describe

./kafka-consumer-groups --zookeeper 166.188.xx.xx:2181 --group console-consumer-12278 --describe

这里同样需要根据新、旧版本的consumer，分别指定bootstrap-server与zookeeper参数。其中依次

展示group名称、消费的topic名称、partition id、consumer group最后一次提交的offset、最后提交的生

产消息offset、消费offset与生产offset之间的差值、当前消费topic-partition的group成员id(不一定包含

hostname)。

####详细说明
LogEndOffset 下一条将要被加入到日志的消息的位移
CurrentOffset 当前消费的位移
LAG 消息堆积量

消息堆积量：消息中间件服务端中所留存的消息与消费掉的消息之间的差值即为消息堆积量也称之为消费滞后量

LogEndOffset：代表Partition的最高日志位移。简称LEO

消息发送到LeaderA之后会更新LEO的值，FollowerB和FllowerC也会实时拉取LeaderA中的消息来更新自己，HW就表示A、B、C三者同时达到的日志位移。也就是A、B、C三者中LEO最小的那个值。由于B、C拉取A消息之间延时问题，所有HW必然不会与Leader的LEO相等，即LEO>=HW

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！