kafka查询topic列表,和topic下消息

使用Kafka经常碰到需要查看topic是否创建，或是查看topic下的数据。

最开始想直接找可视化工具进行查看就找到了Kafka tool 然后发现链接数据较少的环境确实比较好用，但是如果topic或topic下的数据较多就会直接卡死，导致无法打开。

Kafka tool 的简单使用

首先去官网下载 Kafka tool ：https://www.kafkatool.com/

无脑下一步进行安装。安装完成后进行新建链接操作

因为数据在Kafka都是byte所以要配置byte转string才能更方便的查看

在 tools –> settings –> Topics

然后选中想要查看的topic在properties中配置key和message为string

然后进入topic下的分区进行查看，点击绿色查询按钮即可查看

如果数据量较少可以使用这个工具进行查看，但是数据太多回直接卡死

使用Kafka命令脚本查看

由于我们公司Kafka是部署在docker中所以需要先进入Kafka容器，然后进入opt/kafka/bin/目录下，Kafka脚本命令都在这个目录下

查看kafka topic列表

1

kafka-topics.sh -list --zookeeper zookeeper地址:端口

从头开始查看kafka topic下的数据

1

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_name --from-beginning

按照偏移量查看topic下数据

1
2
3
4

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_name --offset latest --partition 0

# --offset设置偏移量 latest代表最后 ，可以设置区间，不设置结尾的话默认为查询到latest(最后)
# --partition 设置分区 使用偏移量查询时一定要设置分区才能查询

清除Kafka topic下所有消息

1

kafka-topics.sh --zookeeper zookeeper地址:端口 --delete --topic topic_name

删除所有消息方便从头开始观看topic消息记录