topic相关
- 创建topic,
--replication-factor
指定副本数,--partitions
指定分区数,--topic
指定topic名称。
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
- 查看所有topic
./kafka-topics.sh --list --zookeeper localhost:2181
- 查看topic详情
./kafka-topics.sh --zookeeper localhost:2181 --describe --topic test
- 修改分区个数
./kafka-topics.sh --zookeeper localhost:2181 --alter --topic test --partitions 2
生产者相关
- 创建生产者
./kafka-console-producer.sh --broker-list localhost:9092 --topic test
消费者相关
- 创建消费者,
--from-begin
从最开始消费,--partition
指定分区,--offset
可以指定偏移位置,其中--offset latest
从最新消息消费。
# 从开始消费
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-begin
ning
# 从最新消息消费,并指定分区(必须指定)
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --offset latest --partition 0
# 指定分区
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --partition 0
- 指定消费组
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --group haha
- 查看消费族列表
./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list
- 查看消费组详情,
CURRENT-OFFSET
消费组消费的偏移量,LOG-END-OFFSET
当前topic最新的偏移量,LAG
还有多少没有消费的偏移量
./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group haha --describe